UA MATH564 概率论V 中心极限定理

• 随机变量序列的极限
• • 收敛模式之间的关系
• 大数法则
• 中心极限定理
• • Classical Central Limit Theorem
  • • Sugden法则
  • Delta方法

现在考虑随机序列的收敛以及相关应用。假设$\{X_i{\}}_{i=1}^n$是定义在概率空间$(\Omega ,\mathcal{F},P)$上的一列随机变量，$n\in \mathbb{N}$，假设$X$是定义在这个概率空间上的随机变量，它和那个序列的象空间都是可测空间$(\mathcal{X},\mathcal{B}(\mathcal{X}))$。定义随机序列的收敛之前先定义随机事件的收敛，这个概念在之后证明某些性质的时候用得上。假设$\{A_j{\}}_{j=1}^m\subset \mathcal{F}$，我们比较熟悉的是实数极限的定义，因此我们可以用indicate function把随机事件的收敛转换成实数的收敛来讨论。考虑序列$\{I_{A_j}{\}}_{j=1}^m$，这个序列是一个0-1序列，它并不总存在极限，但它一定有上极限和下极限。
这个序列的上极限，只可能取0或者1，如果上极限为0，说明几乎所有的事件都是零概率事件，如果下极限为1，说明只有有限个事件是零概率事件。对于
$$\begin{gathered} \underset{m\to \infty }{\mathrm{limsup}}{I}_{A_m}=1 \\ \iff \forall n\in \mathbb{N},\exists m>n,I_{A_m}=1 \end{gathered}$$
这个极限可以等价地表示为
$$w\in \underset{m\to \infty }{\mathrm{limsup}}{A}_m=\bigcap _{m=1}^{\infty }\bigcup _{l=m}^{\infty }{A}_l=A_{m}i.o.$$
$i.o.$是infinite often的缩写，后面三项是等价的记号。对于
$$\begin{gathered} \underset{m\to \infty }{\mathrm{liminf}}{I}_{A_m}=1 \\ \iff \exists n\in \mathbb{N},\forall m<n,I_{A_m}=1 \end{gathered}$$
这个极限可以等价地表示为
$$w\in \underset{m\to \infty }{\mathrm{liminf}}{A}_m=\bigcup _{m=1}^{\infty }\bigcap _{l=m}^{\infty }{A}_l=A_{m}a.a.$$
$a.a.$是almost always的缩写。
需要注意的是，尽管极限也可以表达上面那些含义，并且形式更简洁，但还是那句话，极限并不总是存在的，但上极限和下极限一定是存在的，所以用上极限和下极限来表达infinite often和almost always。

随机变量序列的极限

下面给出四种随机变量序列收敛的模式：

几乎必然收敛，$X_n\to Xa.s.$
$$P[\underset{n\to \infty }{\lim }{X}_n=X]=1$$

$L_p(p>0)$收敛，$X_n{\to }_{L_p}X$
$$\underset{n\to \infty }{\lim }E[|X_n-X{|}^p]=0$$
如果$p=1$，称为依均值收敛；如果$p=2$，称为均方收敛；

依概率收敛，$X_n{\to }_{P}X$
$$\forall ϵ>0,P[|X_n-X|>ϵ]=0$$

依分布收敛，$X_n{\to }_{D}X$
对任一有界连续函数$h:(\mathcal{X},\mathcal{B}(\mathcal{X}))\to (\mathcal{X},\mathcal{B}(\mathcal{X}))$，
$$\underset{n\to \infty }{\lim }Eh(X_n)=Eh(X)$$

收敛模式之间的关系

定理1：$p>q$，若$X_n{\to }_{L_p}X$，则$X_n{\to }_{L_q}X$
证明
考虑期望的Jensen不等式（参考信息论第一篇文章）
$$0\le E[|X_n-X{|}^q{]}^{p/q}\le E[|X_n-X{|}^p]$$
显然$E[|X_n-X{|}^q]$可以被$E[|X_n-X{|}^p]$控制，因此若$X_n{\to }_{L_p}X$，则$X_n{\to }_{L_q}X$。

定理2 ：若$X_n{\to }_{L_p}X$，则$X_n{\to }_{P}X$
证明
这个定理的证明非常简单，根据Chebyshev不等式，
$$0\le P[|X_n-X|>ϵ]\le \frac{E[|X_n-X{|}^p]}{{ϵ}^p}$$
$L_p$收敛的时候上界被控制，因此中间的概率也会趋近于0。

定理3：若$X_n\to Xa.s.$，则$X_n{\to }_{P}X$
证明
考虑几乎必然收敛的叙述，$$P[\underset{n\to \infty }{\lim }{X}_n=X]=1$$
对于${\lim }_{n\to \infty }{X}_n=X$，定义事件$A_n=|X_n-X|>ϵ,\forall ϵ$，则上面那个极限等价于
$$P[A_{n}i.o.]=1$$
因为
$$A_{n}i.o.=\bigcap _{n=1}^{\infty }\bigcup _{m=n}^{\infty }{A}_m$$
注意到${\bigcup }_{m=n}^{\infty }{A}_m$会递减到概率空间$(\Omega ,\mathcal{F},P)$中的零概集。因此根据
$$0\le P[A_n]\le P[A_{n}i.o.]$$
可以将$P[A_n]$控制为0。

关于这些收敛模式还有几个比较重要的性质：假设$g$是定义在$(\mathcal{X},\mathcal{B}(\mathcal{X}))$上的连续函数，
定理4：若$X_n\to Xa.s.$，则$g(X_n)\to g(X)a.s.$
定理5：若$X_n{\to }_{D}X$，则$g(X_n){\to }_{D}g(X)$
定理6：若$X_n{\to }_{P}X$，则$g(X_n){\to }_{P}g(X)$
这几个定理本质就是交换一下极限的顺序，都非常平凡。
定理7：$X_n\to Xa.s.$，$g(x)$是一个凸函数，且$x^p=o(g(x))$。如果$\{Eg(X_n)\}$是一个有界序列，则$X_n{\to }_{L_p}X$
定理8给出了几乎必然收敛与$L_p$收敛的关系，$o()$是Landau符号，那个式子的含义是$g(x)$阶数比$p$高，则在$\{Eg(X_n)\}$有界的条件下可以根据Lebesgue控制收敛定理让$\{|X_n-X{|}^p\}$收敛。

再深入讨论一下依分布收敛，因为之后讨论中心极限定理要用。首先根据依分布收敛的叙述，对任一有界连续函数$h:(\mathcal{X},\mathcal{B}(\mathcal{X}))\to (\mathcal{X},\mathcal{B}(\mathcal{X}))$，
$$\underset{n\to \infty }{\lim }Eh(X_n)=Eh(X)$$
这个极限可以写成
$$\underset{n\to \infty }{\lim }{\int }_{\mathcal{X}}h(x)d{F}_{X_n}={\int }_{\mathcal{X}}h(x)d{F}_X$$
我们可以取$h(x)=I_B(x),\forall B\in \mathcal{B}(\mathcal{X})$，从而上面的极限可以变成
$$\underset{n\to \infty }{\lim }{F}_{X_n}(x)=F(X),\forall x\in \mathcal{X}$$
根据这个关系，根据Fourier变换、Laplace变换的完备性，我们可以进一步得到$X_n$的特征函数与矩生成函数趋近于$X$的特征函数与矩生成函数。
关于依分布收敛还有一个非常重要的定理，这个定理在后面做中心极限定理的推广的时候会比较有用。
定理（Slutsky定理）
$X_n{\to }_{D}X$，$Y_n{\to }_{P}c$，则$X_n{Y}_n{\to }_{D}cX$，$X_n+Y_n{\to }_{D}X+c$

大数法则

数理统计中最常用的统计量是样本均值，大数法则和中心极限定理讨论的就是样本均值的收敛情况，只是二者讨论的是不同的收敛模式。
定理(Weak Law of Large Number)
假设$\{X_1,\cdots ,X_n\}$是总体$X$的简单随机样本，总体的均值存在，记为$\mu =EX$，总体的方差有界，记${\sigma }^2=Var(X)$，则样本均值满足
$$\bar{X}{\to }_{L_2}\mu$$
证明
因为$E\bar{X}=\mu$，因此
$$E[\bar{X}-\mu {]}^2=Var(\bar{X})=\frac{{\sigma }^2}{n}$$
因为方差有界，$\exists M>0$，${\sigma }^2\le M$，则
$$E[\bar{X}-\mu {]}^2\le \frac{M}{n}\to 0,asn\to \infty$$
所以
$$\bar{X}{\to }_{L_2}\mu$$

中心极限定理

Classical Central Limit Theorem

定理（Classical Central Limit Theorem）
$$Z_n=\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}{\to }_{D}N(0,1)$$
证明
思路是说明
$$\underset{n\to \infty }{\lim }{M}_{Z_n}(t)=\exp \frac{t^2}{2}$$
等价地，也就是证明累积量生成函数的极限满足
$$\underset{n\to \infty }{\lim }{K}_{Z_n}(t)=\frac{t^2}{2}$$
定义$Y_i=\frac{X_i-\mu }{\sigma }{\sim }_{iid}N(0,1)$，它的矩生成函数和累积量生成函数是
$$M_{Y_i}(t)=\exp \frac{t^2}{2},K_{Y_i}=\frac{t^2}{2}$$
将$Z_n$写成
$$Z_n=\frac{1}{\sqrt{n}}\sum _{i=1}^n{Y}_i$$
因为独立随机变量和的矩生成函数等于他们矩生成函数的乘积，因此
$$\begin{gathered} M_{Z_n}=\prod _{i=1}^n{M}_{Y_i}(\frac{t}{\sqrt{n}})=[M_{Y_i}(\frac{t}{\sqrt{n}}){]}^n \\ {K}_{Z_n}(t)=\ln M_{Z_n}=n{K}_{Y_i}(\frac{t}{\sqrt{n}}) \end{gathered}$$
注意到
$$K_{Y_i}^{\prime }(0)=0,K_{Y_i}^{\prime \prime }(0)=1$$
根据洛必达法则，
$$\underset{n\to \infty }{\lim }n{K}_{Y_i}(\frac{t}{\sqrt{n}})=\underset{ϵ\to 0}{\lim }\frac{1}{{ϵ}^2}{K}_{Y_i}(ϵt)=\underset{ϵ\to 0}{\lim }\frac{t^2{K}_{Y_i}^{\prime \prime }(ϵt)}{2}=\frac{t^2}{2}$$

Sugden法则

中心极限定理的理论结果非常美好，但实际应用中样本数就是科研经费呀！所以人们更关心的是到底要多少样本才能有这种收敛的效果。一个经验法则是，如果总体分布的偏度越大，那么要收敛需要的样本数就越多，基于这个观察Sugden et al. (2000)提出了近似为正态需要的最小样本数的经验法则：
$$n^{\ast }=28+25{\gamma }_1^2$$
其中${\gamma }_1$为偏度。需要指出的是这篇文章是根据Cochran规则和Edgeworth展开，28和25是近似值，这个经验法则能够保证样本数不少于$28+25{\gamma }_1^2$时，我们有95%的confidence认为$Z_n$服从标准正态分布。这个经验法则的推导在之后写统计中张量方法那个系列的时候再来完成。

Delta方法

在误差分析中，通常假设某个准确值为$X^{\ast }$的测量会有一个Gaussian误差$Y$，$Y\sim N(0,{\sigma }^2)$，测量结果为$X=X^{\ast }+Y\sim N(X^{\ast },{\sigma }^2)$。通常测量结果会用来进行某些运算，假设要做的运算为$g$，则运算结果为$g(X)$。接下来我们研究一下这个测量误差怎么影响运算结果。
首先对$g(X)$在$X^{\ast }$附近做一阶Taylor展开，则
$$g(X)\approx g(X^{\ast })+g^{\prime }(X^{\ast })Y$$
对式子两边求期望与方差：
$$\begin{gathered} Eg(X)\approx Eg(X^{\ast }) \\ Var[g(X)]\approx [g^{\prime }(X^{\ast }){]}^{2}Var(Y)=[g^{\prime }(X^{\ast }){]}^2{\sigma }^2 \end{gathered}$$
第一个式子说明只考虑一阶量，Gaussian误差对这个测量的运算结果不会有影响，即具有近似的无偏性。第二个式子给出了误差的方差在运算中的传播规则。
如果这个测量是多元变量，则Gaussian误差$Y$，$Y\sim N_n(0,\Sigma )$，做一阶Taylor展开为
$$g(X)\approx g(X^{\ast })+Dg(X^{\ast })Y$$
对式子两边求期望与方差：
$$\begin{gathered} Eg(X)\approx Eg(X^{\ast }) \\ Var[g(X)]\approx [g^{\prime }(X^{\ast }){]}^{2}Var(Y)=Dg(X^{\ast })\Sigma [Dg(X^{\ast }){]}^T \end{gathered}$$
在中心极限定理的实际应用中，我们构造统计量$Z_n$替代样本均值并试图用标准正态分布来近似$Z_n$的分布。为了分析这个近似的效率，我们需要知道$Z_n$的一些数字特征，而$Z_n$可以看成是$\bar{X}$的一个函数。假设我们考虑任一用样本均值构造的统计量$g(\bar{X})$，根据上面的方差传播规律，并设$X^{\ast }=\mu$：
$$Var[g(\bar{X})]\approx [g^{\prime }(\mu ){]}^{2}Var(\bar{X}-\mu )=[g^{\prime }(\mu ){]}^2\frac{{\sigma }^2}{n}$$
根据这个式子可以用来估计根据样本均值构造的统计量$g(\bar{X})$的方差，这个方法叫做Delta方法。Delta方法的意义远不止如此，它可以用来推广中心极限定理。考虑
$$Z_n=\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}{\to }_{D}N(0,1)$$
可以用$g(\bar{X})$替换$\bar{X}$，用delta方法近似标准差和均值，则
$$Z_n=\frac{g(\bar{X})-g(\mu )}{\sqrt{[g^{\prime }(\mu ){]}^2\frac{{\sigma }^2}{n}}}{\to }_{D}N(0,1)$$
证明
根据Lagrange中值定理，$\exists \eta$在$\bar{X}$与$\mu$之间，
$$g(\bar{X})-g(\mu )=g^{\prime }(\eta )(\bar{X}-\mu )$$
这个式子左右两边可以同时乘以$\sqrt{n}$：
$$\sqrt{n}g(\bar{X})-g(\mu )=g^{\prime }(\eta )\sqrt{n}(\bar{X}-\mu )$$
根据弱大数法则，$\bar{X}\to \mu a.s.$，则$\eta \to \mu a.s.$，根据定理4，$g^{\prime }(\eta )\to g^{\prime }(\mu )a.s.$。记$Z$为标准正态随机变量，根据中心极限定理，
$$\sqrt{n}(\bar{X}-\mu ){\to }_D\sigma Z$$
再用一下Slutsky定理即可：
$$g^{\prime }(\eta )\sqrt{n}(\bar{X}-\mu )\to \sigma g^{\prime }(\mu )Z$$

关于Delta方法还有几点补充：从一元推广到多元就用多元的方差传递公式做就可以了；如果正好$g(\mu )=0$，那就用二阶Taylor展开来做近似。

总结

以上是生活随笔为你收集整理的UA MATH564 概率论V 中心极限定理的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。