UA MATH567 高维统计II 随机向量2 各向同性的随机向量

UA MATH567 高维统计II 随机向量2 各向同性的随机向量

上一讲讨论随机向量L2范数的concentration的时候假设随机向量每个分量的方差为1，这其实是一种常用的假设，这一讲我们的目标就是讨论这种假设，可以把它理解为一元随机变量方差为1的假设的推广。

各向同性 (Isotropy) 称一个随机向量是各向同性的如果它的协方差矩阵为单位矩阵。对于均值为$\mu$，协方差为$\Sigma$的随机向量$X$，我们可以定义$Z={\Sigma }^{-1/2}(X-\mu )$，显然$Z$就是一个零均值各向同性的随机向量。

各向同性的充要条件 $n$维随机向量$X$各向同性等价于$\forall x\in {\mathbb{R}}^n$,
$$E⟨X,x{⟩}^2={\Vert x\Vert }_2^2$$

其中$⟨X,x⟩$表示欧氏内积。

说明
$$\begin{gathered} E⟨X,x{⟩}^2=E[x^{T}X{X}^{T}x]=x^{T}E[X{X}^T]x={\Vert x\Vert }_2^2=x^{T}x \\ \iff E[X{X}^T]=\Sigma =I_n \end{gathered}$$

各向同性的性质

如果$X$是$n$维各向同性随机向量，则$E{\Vert X\Vert }_2^2=n$

如果$X,Y$是独立的$n$维各向同性随机向量，则$E⟨X,Y{⟩}^2=n$

如果$X,Y$是独立的$n$维零均值各向同性随机向量，则$E{\Vert X-Y\Vert }_2^2=2n$

说明
第一条，$E{\Vert X\Vert }_2^2=E[X^{T}X]=E[tr(X^{T}X)]=E[tr(X{X}^T)]=tr(E[X{X}^T])=tr(I_n)=n$

第二条，$E⟨X,Y{⟩}^2=E[X^{T}Y{Y}^{T}X]=E_X[E_Y[X^{T}Y{Y}^{T}X]]=E_X[X^T{I}_{n}X]=E_X[X^{T}X]=n$

第三条，$E{\Vert X-Y\Vert }_2^2=E[(X-Y{)}^T(X-Y)]=E[X^{T}X]-E[X^{T}Y]-E[Y^{T}X]+E[Y^{T}Y]=E[X^{T}X]+E[Y^{T}Y]=2n$

---

几乎正交的随机向量：根据各向同性的性质，假设$X,Y$是独立的$n$维各向同性随机向量，定义
$$X_0=\frac{X}{{\Vert X\Vert }_2},Y_0=\frac{Y}{{\Vert Y\Vert }_2}$$

则
$$E⟨X_0,Y_0⟩=\frac{E⟨X,Y⟩}{{\Vert X\Vert }_2{\Vert Y\Vert }_2}$$

根据各向同性的性质第一条与第二条，
$$\frac{E⟨X,Y⟩}{{\Vert X\Vert }_2{\Vert Y\Vert }_2}=\frac{1}{\sqrt{n}}$$

另外，我们还可以计算
$$E⟨X_0,Y_0{⟩}^2=E{X}_0^T{Y}_0{Y}_0^T{X}_0=\frac{E{X}^{T}Y{Y}^{T}X}{{\Vert X\Vert }_2^2{\Vert Y\Vert }_2^2}=\frac{1}{n}$$

这样就比较明显了，
$$⟨X_0,Y_0⟩{\to }_{L^2}0$$

也就是当$n$足够大时，$X_0$与$Y_0$按$L^2$趋于正交。

总结

以上是生活随笔为你收集整理的UA MATH567 高维统计II 随机向量2 各向同性的随机向量的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。