UA MATH563 概率论的数学基础 中心极限定理6 独立随机变量的和与Kolmogorov扩展定理

UA MATH563 概率论的数学基础 中心极限定理6 独立随机变量的和的分布

因为中心极限定理回答的是$n$个随机变量的和/均值的极限分布的问题，所以在考虑渐近结果之前，我们有必要先理解一下如果不考虑极限分布，有没有可能计算出当$n$有限时，$n$个随机变量的和/均值的极限分布。

考虑$n=2$，假设$X,Y$独立，我们试图分析一下$X+Y$的分布：
$$\begin{gathered} F_{X+Y}(z)=P(X+Y\le z)={\int }_{x+y\le z}d{\mu }_X\times {\mu }_Y \\ =\iint 1_{(-\infty ,z]}(x+y)d{\mu }_X\times {\mu }_Y \\ {=}_{Fubini}\iint 1_{(-\infty ,z]}(x+y)d{\mu }_{X}d{\mu }_Y \\ =\int F_X(z-y)d{F}_Y(y)=\int F_Y(z-x)d{F}_X(x) \end{gathered}$$

它的密度为
$$\begin{gathered} f_{X+Y}(z)=\int f_X(z-y)d{F}_Y(y)=\int f_Y(z-x)d{F}_X(x) \\ =\int f_X(z-y)f_Y(y)dy=\int f_Y(z-x)f_X(x)dx \end{gathered}$$

称$f_{X+Y}$是$f_X$与$f_Y$的卷积，记为
$$f_{X+Y}=f_X\ast f_Y$$

评注

有一些比较特殊的分布族，分布族的函数之间的卷积仍然属于这个分布族，这样的分布族有：Gamma分布、正态分布、Poisson分布、Bernoulli/二项分布、几何分布/负二项分布等；

直接计算卷积是比较困难的，通常我们用Fourier变换计算卷积会容易得多，或者在概率论的语境下，即用特征函数来计算卷积。

应用 在对实际问题进行建模时，我们常常需要用随机变量，记为$X$，描述一些复杂的随机性，这样的随机变量通常是没有办法写出密度函数的解析式的，但是我们可以加上一个非常“小”的正态分布$Y\sim N(0,{ϵ}^2)$，使得$X+Y$有密度函数的解析式，这样我们就可以用下面的近似：
$$f_X(x)\approx f_{X+Y}(x)$$

---

接下来我们考虑$n$个独立的随机变量，关于$n$个独立随机变量我们首要关心的问题并不是它们的分布如何计算，因为按照$n=2$的结果进行类比，$n$个独立随机变量的和的密度一定它们密度的卷积，至于如何计算它们的卷积那就是统计计算的问题，而不是概率论的问题了。所以从理论的角度讨论$n$个独立随机变量, $n\in \mathbb{N}$，我们真正需要讨论的是对任意自然数$n$，是否真的存在$n$个互相独立的随机变量？这个问题由Kolmogorov extension theorem回答。

我们首先建立一个合适的概率空间$(\Omega ,\mathcal{F},P)$：
$$\begin{gathered} \Omega ={\mathbb{R}}^n,\mathcal{F}=\mathcal{B}({\mathbb{R}}^n) \\ P={\mu }_1\times {\mu }_2\times \cdots \times {\mu }_n \end{gathered}$$

其中${\mu }_i$表示第$i$个概率分布。然后我们定义随机变量$X_i:\Omega \to \mathbb{R}$，简单起见，我们假设$X_i$是coordinate map，即
$$X_i(w)=w_i,w=(w_1,\cdots ,w_i,\cdots ,w_n)$$

不难验证$X_1,\cdots ,X_n$就是$n$个独立的随机变量。

但当我们想要进一步延长这个随机变量序列，问题就比较复杂了，是否存在$\{X_i{\}}_{i\ge 1}$（无限个随机变量的序列）使得所有的随机变量都是独立的呢？

同样的，我们先试图建立概率空间，
$$\begin{gathered} \Omega ={\mathbb{R}}^{\infty }=\{(w_1,w_2,\cdots ,w_i,\cdots ),w_i\in \mathbb{R},i\ge 1\} \\ \mathcal{F}=\mathcal{B}({\mathbb{R}}^{\infty })=\sigma (\{A_{i_1}\times \cdots \times A_{i_k},k\ge 1\}) \end{gathered}$$

其中$A_{i_1},\cdots ,A_{i_k}$是rectangles。那么如何在$(\Omega ,\mathcal{F})$上定义概率测度呢？

• 对于$A_{i_1}\times \cdots \times A_{i_k}$，$$P(A_{i_1}\times \cdots \times A_{i_k})={\mu }_{i_1}(A_1)\times \cdots \times {\mu }_{i_k}(A_k)$$
• Kolmogorov extension theorem: 如果在$({\mathbb{R}}^n,\mathcal{B}({\mathbb{R}}^n))$上有概率测度${\nu }_n$，且${\nu }_n$是一致的(consistent)，即$${\nu }_{n+1}((a_1,b_1]\times \cdots \times (a_n,b_n]\times \mathbb{R})={\nu }_n((a_1,b_1]\times \cdots \times (a_n,b_n])$$那么我们可以在可测空间$({\mathbb{R}}^{\infty },\mathcal{B}({\mathbb{R}}^{\infty }))$上构造唯一一个概率测度$P$，它满足$$P(\{w:w_i\in (a_i,b_i],1\le i\le n\})={\nu }_n((a_1,b_1]\times \cdots \times (a_n,b_n])$$事实上Kolmogorov extension theorem的含义更具有一般性，只是这里我们应用一下这个定理用来构造无限个独立的随机变量。

下面我们用这个思路构造无限个独立随机变量。前文我们论述了当$n$有限时，$X_1,\cdots ,X_n$是独立的，记它们的分布为${\mu }_i,1\le i\le n$，定义
$$\begin{gathered} {\nu }_n={\mu }_1\times \cdots \times {\mu }_n \\ {\nu }_n((a_1,b_1]\times \cdots \times (a_n,b_n])=\prod _{i=1}^n{\mu }_i((a_i,b_i]) \end{gathered}$$

可以验证${\nu }_n$是一致的概率测度,
$$\begin{gathered} {\nu }_{n+1}((a_1,b_1]\times \cdots \times (a_n,b_n]\times \mathbb{R})=\prod _{i=1}^n{\mu }_i((a_i,b_i]){\mu }_{n+1}(\mathbb{R}) \\ =\prod _{i=1}^n{\mu }_i((a_i,b_i])={\nu }_n((a_1,b_1]\times \cdots \times (a_n,b_n]) \end{gathered}$$

根据Kolmogorov extension theorem，存在唯一一个$P$是$({\mathbb{R}}^{\infty },\mathcal{B}({\mathbb{R}}^{\infty }))$上的概率测度，于是定义coordinate map
$$X_i:\Omega \to \mathbb{R},X_i(w)=w_i,\forall i\ge 1$$

这就是无限个独立的随机变量。

总结

以上是生活随笔为你收集整理的UA MATH563 概率论的数学基础 中心极限定理6 独立随机变量的和与Kolmogorov扩展定理的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。