UA MATH564 概率分布1 二项分布下
UA MATH564 概率分布1 二项分布下
- de Moivre-Laplace定理
- Poisson分布近似二项分布
这一篇考虑二项分布的一些近似计算问题，考虑X∼Binom(n,p)X \sim Binom(n,p)X∼Binom(n,p)，
P(X=k)=Cnkpk(1−p)n−k,k=0,1,⋯,nP(X = k) = C_n^k p^k(1-p)^{n-k},k=0,1,\cdots,nP(X=k)=Cnkpk(1−p)n−k,k=0,1,⋯,n
最主要的计算问题是在计算组合数的时候
Cnk=n!(n−k)!k!C_n^k = \frac{n!}{(n-k)!k!}Cnk=(n−k)!k!n!
一般会根据这个公式按阶乘来计算，但阶乘的增长是很快的，数字比较大的时候通过阶乘计算组合数精度不理想。
de Moivre-Laplace定理
如果n,k,n−kn,k,n-kn,k,n−k都比较大，就可以用Stirling公式近似计算阶乘：
n!≈2πnn+1/2e−nCnk≈2πnn+1/2e−n(2π(n−k)n−k+1/2e−n+k)(2πkk+1/2e−k)=12πn(nn−k)n−k+1/2(nk)k+1/2n! \approx \sqrt{2\pi}n^{n+1/2}e^{-n}\\ C_n^k\approx \frac{\sqrt{2\pi}n^{n+1/2}e^{-n}}{(\sqrt{2\pi}(n-k)^{n-k+1/2}e^{-n+k})(\sqrt{2\pi}k^{k+1/2}e^{-k})} \\= \frac{1}{\sqrt{2\pi n}} \left( \frac{n}{n-k} \right)^{n-k+1/2} \left( \frac{n}{k} \right)^{k+1/2}n!≈2πnn+1/2e−nCnk≈(2π(n−k)n−k+1/2e−n+k)(2πkk+1/2e−k)2πnn+1/2e−n=2πn1(n−kn)n−k+1/2(kn)k+1/2
将这个组合数的近似公式带入二项分布的概率中
P(X=k)=12πnp(1−p)(n(1−p)n−k)n−k+1/2(npk)k+1/2P(X=k) = \frac{1}{\sqrt{2\pi np(1-p)}} \left( \frac{n(1-p)}{n-k} \right)^{n-k+1/2} \left( \frac{np}{k} \right)^{k+1/2}P(X=k)=2πnp(1−p)1(n−kn(1−p))n−k+1/2(knp)k+1/2
这个形式的好处是避开了大整数的阶乘运算。接下来我们进一步做点推导，看看有没有更简单的形式。考虑
ln(npk)k+1/2=−(k+1/2)lnknp\ln \left( \frac{np}{k}\right)^{k+1/2} = -(k+1/2)\ln \frac{k}{np}ln(knp)k+1/2=−(k+1/2)lnnpk
记xk=k−npnp(1−p),k=np+xknp(1−p)ln(npk)k+1/2=−(np+xknp(1−p)+1/2)ln(1+xk(1−p)np(1−p))x_k = \frac{k-np}{\sqrt{np(1-p)}},\ k=np + x_k\sqrt{np(1-p)} \\ \ln \left( \frac{np}{k}\right)^{k+1/2}=-(np + x_k\sqrt{np(1-p)}+1/2)\ln \left( 1+\frac{x_k(1-p)}{\sqrt{np(1-p)}}\right)xk=np(1−p)k−np, k=np+xknp(1−p)ln(knp)k+1/2=−(np+xknp(1−p)+1/2)ln(1+np(1−p)xk(1−p))
取Taylor展开的前两项做近似
ln(1+xk(1−p)np(1−p))≈xk(1−p)np(1−p)−(xk(1−p)np(1−p))2\ln \left( 1+\frac{x_k(1-p)}{\sqrt{np(1-p)}}\right) \approx \frac{x_k(1-p)}{\sqrt{np(1-p)}}-\left( \frac{x_k(1-p)}{\sqrt{np(1-p)}}\right)^2ln(1+np(1−p)xk(1−p))≈np(1−p)xk(1−p)−(np(1−p)xk(1−p))2
回带化简得
ln(npk)k+1/2≈−xknp(1−p)−12(1−p)xk2(npk)k+1/2=exp(−xknp(1−p)−1−p2xk2)\ln \left( \frac{np}{k}\right)^{k+1/2} \approx -x_k\sqrt{np(1-p)}-\frac{1}{2}(1-p)x_k^2 \\ \left( \frac{np}{k}\right)^{k+1/2} = \exp \left( -x_k\sqrt{np(1-p)} -\frac{1-p}{2}x_k^2\right)ln(knp)k+1/2≈−xknp(1−p)−21(1−p)xk2(knp)k+1/2=exp(−xknp(1−p)−21−pxk2)
类似地
(n(1−p)n−k)n−k+1/2=exp(xknp(1−p)−p2xk2)\left( \frac{n(1-p)}{n-k}\right)^{n-k+1/2} = \exp \left( x_k\sqrt{np(1-p)} -\frac{p}{2}x_k^2\right)(n−kn(1−p))n−k+1/2=exp(xknp(1−p)−2pxk2)
因此
P(X=k)=12πnp(1−p)exp(−xk22)=ϕ(xk)np(1−p)P(X=k) = \frac{1}{\sqrt{2\pi np(1-p)}} \exp\left( -\frac{x_k^2}{2}\right)=\frac{\phi(x_k)}{\sqrt{np(1-p)}}P(X=k)=2πnp(1−p)1exp(−2xk2)=np(1−p)ϕ(xk)
其中ϕ(x)\phi(x)ϕ(x)是标准正态分布的密度函数，这个结论也叫做de Moivre-Laplace定理，它给出了用正态分布近似二项分布的计算方法，同时指出二项分布的极限分布是正态分布。进一步实际上de Moivre-Laplace定理是中心极限定理的特例，观察xkx_kxk的构造
xk=k−npnp(1−p)x_k = \frac{k-np}{\sqrt{np(1-p)}}xk=np(1−p)k−np
也就是
P(X=k)=12πnp(1−p)exp(−(k−np)22np(1−p))P(X=k)=\frac{1}{\sqrt{2\pi np(1-p)}} \exp\left( -\frac{(k-np)^2}{2np(1-p)}\right)P(X=k)=2πnp(1−p)1exp(−2np(1−p)(k−np)2)
这正是N(np,np(1−p))N(np,np(1-p))N(np,np(1−p))的密度函数。
Poisson分布近似二项分布
在de Moivre-Laplace定理的推导中，取Taylor展开前两项做近似要求xk(1−p)np(1−p)\frac{x_k(1-p)}{\sqrt{np(1-p)}}np(1−p)xk(1−p)是一个比较小的数，这就需要ppp不能很小，当ppp是一个比较小的值时，基于de Moivre-Laplace定理的近似计算误差就会比较大。当ppp比较小时，定义λ=np\lambda = npλ=np，则
P(X=k)=Cnkpk(1−p)n−k=n(n−1)⋯(n−k+1)k!(λn)k(1−λn)n−k=λkk!(1−λn)n−kn(n−1)⋯(n−k+1)nk→λkk!e−λP(X = k) = C_n^k p^k(1-p)^{n-k} = \frac{n(n-1)\cdots(n-k+1)}{k!} \left(\frac{\lambda}{n}\right)^k \left( 1-\frac{\lambda}{n} \right)^{n-k} \\ = \frac{\lambda^k}{k!} \left( 1-\frac{\lambda}{n} \right)^{n-k}\frac{n(n-1)\cdots(n-k+1)}{n^k} \to \frac{\lambda^k}{k!}e^{-\lambda}P(X=k)=Cnkpk(1−p)n−k=k!n(n−1)⋯(n−k+1)(nλ)k(1−nλ)n−k=k!λk(1−nλ)n−knkn(n−1)⋯(n−k+1)→k!λke−λ
当ppp足够小，nnn足够大时成立，此时二项分布被近似为Poisson分布。
因此二项分布有两种可能的极限分布，当n,k,n−kn,k,n-kn,k,n−k都比较大，并且ppp不小的时候，可以用de Moivre-Laplace定理将二项分布近似为正态分布；当nnn比较大，ppp比较小时，可以将二项分布近似为Poisson分布。
总结
以上是生活随笔为你收集整理的UA MATH564 概率分布1 二项分布下的全部内容，希望文章能够帮你解决所遇到的问题。
- 上一篇： UA MATH566 统计理论2 C-R
- 下一篇： 矩阵分析与多元统计 线性空间与线性变换2