UA MATH567 高维统计II 随机向量3 常见的高维随机向量的分布

UA MATH567 高维统计II 随机向量3 常见的高维随机向量的分布

• • Spherical Distribution
  • Symmetric Bernoulli Distribution
  • 正态分布
  • Frames

Spherical Distribution

$X\sim Unif(\sqrt{n}{S}^{n-1})$，其中$S^{n-1}$表示$n$维空间中的单位球面，这个符号说明$X$在半径在$\sqrt{n}$的球面上服从均匀分布。对于这个在球面上的均匀分布，它具有非常完美的对称性，比如任意改变若干个坐标的符号，分布不会变，比如$(-X_1,\cdots ,X_n)\sim Unif(\sqrt{n}{S}^{n-1})$。

考虑
$$\begin{gathered} (-X_1,\cdots ,X_n)\sim Unif(\sqrt{n}{S}^{n-1}) \\ (X_1,\cdots ,X_n)\sim Unif(\sqrt{n}{S}^{n-1}) \end{gathered}$$

因为$\sqrt{n}{S}^{n-1}$的球心在原点，所以$E{X}_1=0$（因为关于原点对称），对于每一个坐标，这个结论都成立，也就是$E{X}_i=0,\forall i$。根据这种完美的对称性，我们还可以得到一个结论：
$$E(-X_1{X}_i)=E(X_1{X}_i)\Rightarrow E(X_1{X}_i)=0$$

事实上$\forall i\ne j$，$E{X}_i{X}_j=0$。因为球的半径为$\sqrt{n}$，所以
$$X_1^2+\cdots +X_n^2=n$$

根据对称性，$E{X}_1^2=\cdots =E{X}_n^2$，所以
$$E{X}_1^2=\cdots =E{X}_n^2=\frac{n}{n}=1$$

于是$EX{X}^T=I_n$，也就是说Spherical Distribution是零均值各向同性的。

注意事项
Spherical Distribution是一个非常神奇的分布，它满足任意两个坐标协方差为0但不独立，比如考虑$(X_1,X_2)$服从$X_1^2+X_2^2=1$上的均匀分布，则
$$\begin{gathered} P(X_1>a)P(X_2>a)\ne 0,\forall a\in (1/\sqrt{2},1) \\ P(X_1>a,X_2>a)=0 \end{gathered}$$

即$X_1,X_2$不独立。

Symmetric Bernoulli Distribution

$X\sim Unif(\{-1,1{\}}^n)$，也就是$X=(X_1,\cdots ,X_n)$，每一个坐标取值都是$-1$或$1$且概率都是1/2。这个分布就是Spherical Distribution的特殊情况，所以它也是零均值、各向同性的随机变量。但是与Spherical Distribution不同的是，它的每个坐标是独立的。

正态分布

先考虑标准正态分布，$X\sim N(0,I_n)$，显然它是各向同性的，它的概率密度为
$$f(x)=(2\pi {)}^{-n/2}{e}^{-\frac{{\Vert x\Vert }_2^2}{2}}$$

根据location-scale变换，如果$X\sim N(\mu ,\Sigma )$，
$$\begin{gathered} X+a\sim N(\mu +a,\Sigma ) \\ AX\sim N(A\mu ,A\Sigma A^T) \end{gathered}$$

于是对于一般的正态分布，我们总是可以做标准化：
$$Z={\Sigma }^{-1/2}(X-\mu )\sim N(0,I_n)$$

正态分布的边缘分布与条件分布都是正态分布，正态分布协方差为0等价于独立，这些性质可以参考多元正态分布基础。

关于标准正态分布还有一个重要的结果，$X\sim N(0,I_n)$，则${\Vert X\Vert }_2-\sqrt{n}$是亚高斯的，这个可以直接用第一讲的结论L2-Norm的Concentration得到。

接下来我们讨论标准正态分布的分解：
$$X=r\theta ={\Vert X\Vert }_2\frac{X}{{\Vert X\Vert }_2}$$

根据第一讲定理的推论：
$$E|{\Vert X\Vert }_2-\sqrt{n}|<o(1)$$

于是当$n$足够大时，我们可以做近似：
$$X\approx \sqrt{n}\theta \sim Unif(\sqrt{n}{S}^{n-1})$$

这说明在高维的情况下，$N(0,I_n)\approx Unif(\sqrt{n}{S}^{n-1})$。

Frames

frames的思想比较像是对标准正交基的推广，我们称$\{u_i{\}}_{i=1}^N,u_i\in {\mathbb{R}}^n$是frames，如果
$$A{\Vert x\Vert }_2^2\le \sum _{i=1}^N⟨u_i,x{⟩}^2\le B{\Vert x\Vert }_2^2,\forall x\in {\mathbb{R}}^n$$

其中$A,B$叫frame bound。如果$A=B$，称这个frame为tight frame。tight frame也可以用来表示一个向量，但是它比标准正交基更有一般性。比如在二维欧氏空间中，$u_1=(1,0),u_2=(-1/2,\sqrt{3}/2),u_3=(-1/2,-\sqrt{3}/2)$就是一组tight frame，frame bound是$3/2$，对于任意点$(x_1,x_2)$，
$$\sum _{i=1}^3⟨u_i,x{⟩}^2=\frac{3}{2}(x_1^2+x_2^2)$$

tight frame的充要条件 $\{u_i{\}}_{i=1}^N$是tight frame的充要条件是${\sum }_{i=1}^N{u}_i{u}_i^T=A{I}_n,\exists A$，其中$A$是frame bound

说明

根据定义，tight frame等价于
$$\sum _{i=1}^N⟨u_i,x{⟩}^2=A{\Vert x\Vert }_2^2=x^T(A{I}_n)x$$

其中
$$\sum _{i=1}^N⟨u_i,x{⟩}^2=\sum _{i=1}^N{x}^T{u}_i{u}_i^{T}x=x^T(\sum _{i=1}^N{u}_i{u}_i^T)x$$

于是
$$\sum _{i=1}^N{u}_i{u}_i^T=A{I}_n$$

《新程序员》：云原生和全面数字化实践50位技术专家共同创作，文字、视频、音频交互阅读

总结

以上是生活随笔为你收集整理的UA MATH567 高维统计II 随机向量3 常见的高维随机向量的分布的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。