[概统]本科二年级 概率论与数理统计 第三讲 离散型随机变量

[概统]本科二年级 概率论与数理统计 第三讲 离散型随机变量

• • 离散型随机变量的基本概念
  • Bernoulli分布与二项分布
  • 超几何分布
  • 几何分布
  • Poisson分布

离散型随机变量的基本概念

定义3.1 离散型概率空间
假设$\Omega$是非空的有有限个元素的集合，$\mathcal{P}(\Omega )$是它的幂集，简记为$\mathcal{P}$，也就是$\Omega$的所有子集构成的集合，称$(\Omega ,\mathcal{P})$是一个事件空间，$\Omega$中的元素是基本事件，$\mathcal{P}$中的元素是事件。假设$P:\mathcal{P}\to [0,1]$是一个概率，如果

$P(\varphi )=0$，即不可能事件概率为0

$P(\Omega )=1$，即必然事件概率为1

对一列互斥的事件$\{A_n{\}}_{n\ge 1}\subset \mathcal{P}$, $$P(\bigcup _{n\ge 1}{A}_n)=\sum _{n\ge 1}P(A_n)$$即互斥事件和的概率等于互斥事件概率之和

称$(\Omega ,\mathcal{P},P)$是离散型概率空间。

评注
这个定义稍微有点抽象，因为我们要开始试图熟悉能够公理化表达概率的语言了。首先就是事件空间，在更高层次的概率论（硕士二年级那个系列，还没开始施工呢）中，我们会从集族与$\sigma$-代数的角度来解释，但现在我们暂时叫它事件空间，在下面的例子中我们可以看到怎么用事件空间来表述我们耳熟能详的古典概型问题。然后是概率的定义，这里我们通过对$\mathcal{P}$上的映射加以三条公理来定义的概率。在古典概型中我们就做了一些叙述，事件=一些基本事件的集合，因此我们完全可以用集合来表示事件，事件的概率就可以理解成把事件映射成一个$[0,1]$上的数的映射，既然事件可以用集合表示，那么概率其实就是一个自变量为集合的映射。因为$\mathcal{P}$可以表示所有可能的事件，因此它可以作为概率的定义域，所以概率是从$\mathcal{P}$到$[0,1]$的映射。

例3.1 掷骰子
我们考虑一个最简单的问题，假设我们要讨论丢一个均匀骰子的所有可能性，则$\Omega$表示所有可能的点数：
$$\Omega =\{1,2,3,4,5,6\}$$

它的幂集（所有子集）是
$$\mathcal{P}=\{\varphi ,\{1\},\cdots ,\{6\},\{1,2\},\cdots ,\{1,6\},\{2,3\},\cdots ,\Omega \}$$

也就是幂集一共包含$2^6=64$个集合，用$A_{ij}$表示这些集合，$i$表示集合包含的元素个数，$0\le i\le 6$，$j=1,\cdots ,C_6^i$。

接下来我们可以讨论在$(\Omega ,\mathcal{P})$上定义概率。因为这个是一个均匀骰子，所以我们可以使用古典概型，也就是所有基本事件概率相等，即
$$P(\{1\})=P(\{2\})=\cdots =P(\{6\})=\frac{1}{6}$$

如果是有两个元素的集合，比如$\{1,2\}$，它表示投掷点数属于这个集合，也就是点数为1或者2，因此
$$P(\{1,2\})=P(\{1\})+P(\{2\})=\frac{1}{3}$$

因此我们可以写出基于古典概型定义的概率：
$$P(A_{ij})=\frac{i}{6}$$

定义3.2 离散型随机变量
称$X:(\Omega ,\mathcal{P},P)\to \mathbb{R}$是一个离散型随机变量，如果$(\Omega ,\mathcal{P},P)$是一个离散型概率空间。

例3.2 掷骰子续
假设在某个抽奖活动中，规则是用例3.1中的骰子投掷一次，获得的奖金是
$$(10+2.5\times 点数)\times 点数$$

参加这个抽奖活动需要交100元，用$X$表示参加这个抽奖活动可以获得的净收益，显然$X$是从$\Omega$到$\mathbb{R}$的映射，于是$X$是离散型随机变量，我们用表格表示$X$这个映射

$\Omega$123456

$X$	-87.5	-70	-47.5	-20	12.5	50

定义3.3 离散型随机变量的分布列 (probability mass function, pmf)
$X:(\Omega ,\mathcal{P},P)\to \mathbb{R}$是一个离散型随机变量，称$\rho :\mathbb{R}\to [0,1]$是$X$的pmf如果：
$$\rho (x)=P(\{w:X(w)=x\})$$

其中$P(\{w:X(w)=x\})$可以简写为$P(X=x)$。

评注
$x$的取值范围是整个实数集，记值域为
$$X(\Omega )=\{X(w):w\in \Omega \}$$

则显然$\forall x\in X(\Omega {)}^C$, $\{w:X(w)=x\}=\varphi$，即$\rho (x)=0$；另外，pmf满足归一性：
$$\begin{gathered} \sum _{x\in X(\Omega )}\rho (x)=\sum _{x\in X(\Omega )}P(\{w:X(w)=x\}) \\ =P(\bigcup _{x\in X(\Omega )}\{w:X(w)=x\})=P(\Omega )=1 \end{gathered}$$

例3.3 掷骰子再续
现在我们试图写出$X$的pmf，

$\Omega$123456

$X$	-87.5	-70	-47.5	-20	12.5	50
$\rho$	1/6	1/6	1/6	1/6	1/6	1/6

定义3.4 离散型随机变量的期望
$X:(\Omega ,\mathcal{P},P)\to \mathbb{R}$是一个离散型随机变量，$\rho$是$X$的pmf，则$X$的期望为
$$EX=\sum _{x\in X(\Omega )}x\rho (x)$$

例3.4 掷骰子最后一续
我们来计算一下$X$的期望，
$$EX=\frac{-87.5-70-47.5-20+12.5+50}{6}\approx -27.08$$

说明参加这个活动的人平均要亏27.08

例3.5
甲、乙、丙准备玩一个游戏，他们请丁来投掷一枚硬币两次，如果第一次出现正面，则甲胜，如果出现背面，则继续；如果第二次出现正面，则乙胜，否则丙获胜。他们进行了3次游戏，计算丙获胜次数的期望。

如果不按严谨的方式进行定义，我们直接进行计算，那么分析一次游戏的结果，甲获胜的概率是$1/2$，乙获胜的概率是$1/4$，丙获胜的概率是$1/4$，所以三次游戏中丙获胜次数的期望是$3/4$。

如果按严谨的方式定义，那么用$\Omega$表示所有可能的投掷结果，用$H$表示正面，$T$表示背面，所以
$$\Omega =\{(H,H),(H,T),(T,H),(T,T)\}$$

比如$(H,T)$表示第一次正面，第二次反面。$\mathcal{P}$表示它的幂集，用古典概型定义概率，则
$$P(\{(H,H)\})=P(\{(H,T)\})=P(\{(T,H)\})=P(\{T,T\})=\frac{1}{4}$$

这样我们就有了事件与概率空间$(\Omega ,\mathcal{P},P)$。现在要进行三次游戏，于是能够描述这三次游戏的概率空间可以用集合的笛卡尔积表示
$$\Omega \times \Omega \times \Omega$$

$\Omega \times \Omega \times \Omega$上的概率就是$P\times P\times P$，比如$\{((H,H),(H,T),(T,T))\}$的概率为
$$\begin{gathered} P\times P\times P(\{((H,H),(H,T),(T,T))\}) \\ =P(\{(H,H)\})P(\{(H,T)\})P(\{(T,T)\})=1/64 \end{gathered}$$

于是三次游戏的概率空间为$({\Omega }^3,\mathcal{P}({\Omega }^3),P^3)$。下面我们定义随机变量$X$表示丙获胜的次数，则我们可以求出
$$\{w:X(w)=x\},x=0,1,2,3$$

然后在概率空间$({\Omega }^3,\mathcal{P}({\Omega }^3),P^3)$计算对应的概率，从而得到pmf，最后计算期望。我们称在一次游戏中统计丙的获胜情况的试验叫做Bernoulli试验，丙的获胜次数服从Bernoulli分布；称独立重复多次的游戏中统计丙获胜情况的试验叫做独立重复的Bernoulli试验或者简称独立重复试验，丙的获胜次数服从二项分布。显然如果每次都像这道题这样从定义事件空间开始，到赋予概率，再定义随机变量然后求pmf和期望就太麻烦了，于是接下来我们研究独立重复试验的一般规律。

Bernoulli分布与二项分布

Bernoulli分布用来描述Bernoulli试验的结果，Bernoulli试验指的是只有两种可能的结果的随机试验，比如明天是否下雨、新生儿是男孩还是女孩。用$X$表示Bernoulli试验的结果，$X=1$表示试验成功，$X=0$表示试验失败，记$X\sim Ber(p)$，则
$$P(X=1)=p,P(X=0)=1-p$$

定义3.5 方差
对于离散型随机变量$X$，称$Var(X)$是它的方差，其中
$$Var(X)=\sum _{x\in X(\Omega )}(x-EX{)}^2\rho (x)=E{X}^2-(EX{)}^2$$

性质3.1 $E{X}^r=p$，$Var(X)=p(1-p)$
证明
$$\begin{gathered} E{X}^r=0^r\times (1-p)+1^r\times p=p \\ Var(X)=p-p^2=p(1-p) \end{gathered}$$

定义3.6 将Bernoulli试验独立重复的$n$次，记$X$为成功的次数，则$X$服从二项分布，记为$X\sim Binom(n,p)$，
$$P(X=k)=C_n^k{p}^k(1-p{)}^{n-k},k=0,1,\cdots ,n$$

评注

二项分布的归一性由二项式定理给出，因此得名二项分布，$$\sum _{k=0}^n{C}_n^k{p}^k(1-p{)}^{n-k}=(p+(1-p){)}^n=1$$

另一种定义二项分布的办法是用Bernoulli分布和，记$Y_1,\cdots ,Y_n$表示这$n$次Bernoulli试验的结果，则
$$X=Y_1+Y_2+\cdots +Y_n\sim Binom(n,p)$$

性质3.2 $EX=np$，$Var(X)=np(1-p)$
证明
$$EY=\sum _{k=0}^{n}kP(Y=k)=\sum _{k=0}^{n}k{C}_n^k{p}^k(1-p{)}^{n-k}$$
为了凑二项式定理的形式，需要处理掉组合数前的$k$，根据组合数的性质，这里面的$k{C}_n^k$可以替换为$n{C}_{n-1}^{k-1}$，因此
$$\begin{gathered} EY=\sum _{k=0}^{n}n{C}_{n-1}^{k-1}{p}^k(1-p{)}^{n-k}=np\sum _{k=1}^n{C}_{n-1}^{k-1}{p}^{k-1}(1-p{)}^{(n-1)-(k-1)} \\ =np\sum _{k=0}^{n-1}{C}_{n-1}^k{p}^k(1-p{)}^{(n-1)-k}=np \end{gathered}$$$$\begin{gathered} E{Y}^2=\sum _{k=0}^n{k}^{2}P(Y=k)=\sum _{k=0}^n{k}^2{C}_n^k{p}^k(1-p{)}^{n-k} \\ =np\sum _{k=0}^{n-1}(k+1)C_{n-1}^k{p}^k(1-p{)}^{(n-1)-k} \\ =np\sum _{k=0}^{n-1}k{C}_{n-1}^k{p}^k(1-p{)}^{(n-1)-k}+np \\ =np\sum _{k=0}^{n-1}(n-1)C_{n-2}^{k-1}{p}^k(1-p{)}^{(n-1)-k}+np \\ =n(n-1)p^2+np \end{gathered}$$$$Var(Y)=E{Y}^2-(EY{)}^2=np(1-p)$$

超几何分布

定义3.7 有个箱子里有$M$个球，其中$N$个是白球，其他球是黑球，从中抽出$n$个球，其中白球的数量为$X$，则$X$服从超几何分布。
$$P(X=k)=\frac{C_{M-N}^{n-k}{C}_N^k}{C_M^n}$$

评注
下面给出一个恒等式
$$C_M^n=\sum _{k=0}^n{C}_{M-N}^{n-k}{C}_N^k$$
这个恒等式叫Vandermonde恒等式，它的证明也比较简单。考虑
$$(1+t{)}^M=\sum _{i=0}^M{C}_M^i{t}^i$$
将$M$写成$M=N+(M-N)$
$$\begin{gathered} (1+t{)}^M=(1+t{)}^N(1+t{)}^{M-N} \\ \sum _{i=0}^M{C}_M^i{t}^i=(\sum _{i=0}^N{C}_N^i{t}^i)(\sum _{i=0}^{M-N}{C}_{M-N}^i{t}^i) \end{gathered}$$
等式左边$t^n$项的系数为$C_M^n$，等式右边$t^n$项的系数为
$$\sum _{k=0}^n{C}_{M-N}^{n-k}{C}_N^k$$
同阶项的系数相等，因此上述恒等式成立。超几何分布的归一化条件就是以Vandermonde恒等式为基础的。
$$\sum _{k=0}^{n}P(X=k)=\sum _{k=0}^n\frac{C_{M-N}^{n-k}{C}_N^k}{C_M^n}=\frac{C_M^n}{C_M^n}=1$$

性质3.3
$$EX=\frac{Nn}{M},E{X}^2=\frac{nN}{M}+\frac{Nn(N-1)(n-1)}{M(M-1)}$$

证明
$$EX=\sum _{k=0}^{n}k\frac{C_{M-N}^{n-k}{C}_N^k}{C_M^n}$$
先将$k{C}_N^k$替换为$N{C}_{N-1}^{k-1}$，
$$\begin{gathered} EX=N\sum _{k=0}^n\frac{C_{M-N}^{n-k}{C}_{N-1}^{k-1}}{C_M^n}=N\sum _{k=0}^{n-1}\frac{C_{M-N}^{(n-1)-k}{C}_{N-1}^k}{C_M^n} \\ =\frac{nN}{M}\sum _{k=0}^{n-1}\frac{C_{M-N}^{(n-1)-k}{C}_{N-1}^k}{C_{M-1}^{n-1}}=\frac{nN}{M} \end{gathered}$$
方差要稍微困难点，这里给出计算二阶原点矩的计算过程
$$\begin{gathered} E{X}^2=\sum _{k=0}^n{k}^2\frac{C_{M-N}^{n-k}{C}_N^k}{C_M^n}=N\sum _{k=0}^{n}k\frac{C_{M-N}^{n-k}{C}_{N-1}^{k-1}}{C_M^n} \\ =N\sum _{k=0}^n\frac{C_{M-N}^{n-k}{C}_{N-1}^{k-1}}{C_M^n}+N\sum _{k=0}^n(k-1)\frac{C_{M-N}^{n-k}{C}_{N-1}^{k-1}}{C_M^n} \\ =\frac{nN}{M}+N(N-1)\sum _{k=0}^n\frac{C_{M-N}^{n-k}{C}_{N-2}^{k-2}}{C_M^n} \\ =\frac{nN}{M}+N(N-1)\sum _{k=0}^{n-2}\frac{C_{M-N}^{(n-2)-k}{C}_{N-2}^k}{C_M^n} \\ =\frac{nN}{M}+\frac{Nn(N-1)(n-1)}{M(M-1)}\sum _{k=0}^{n-2}\frac{C_{M-N}^{(n-2)-k}{C}_{N-2}^k}{C_{M-2}^{n-2}} \\ =\frac{nN}{M}+\frac{Nn(N-1)(n-1)}{M(M-1)} \end{gathered}$$

几何分布

定义3.8 几何分布记录独立重复Bernoulli试验第一次成功前失败的次数，其分布列为
$$P(X=k)=p(1-p{)}^k,k=0,1,\cdots$$

评注

归一化的条件来自几何序列的级数，因此被称为几何分布$$\sum _{k=0}^{\infty }P(X=k)=p\sum _{k=0}^{\infty }(1-p{)}^k=p\frac{1-(1-p{)}^{\infty }}{1-(1-p)}=1$$

几何分布有另一种定义的方法，如果记录的是独立重复Bernoulli试验第一次成功前试验的次数，则同样是服从几何分布的，这时的随机变量记为$Y$，读者可以验证$EY=1/p,Var(Y)=1/p^2$

需要注意的是几何分布可能会做无限次独立重复试验，因此例3.5所叙述的概率空间是没法用的，我们考虑基本事件无限的情况，构造一个分割
$$\mathcal{D}=\{D_1,D_2,\cdots \}$$满足$$\Omega =\underset{i=1}{\overset{\infty }{⨆}}{D}_i$$以丢硬币为例，定义
$$A_k=\{w:firstHoccursafterktoss\}$$显然$\Omega ={⨆}_{k=1}^{\infty }{A}_k$，并且
$$P(A_k)=\frac{1}{2^k}$$这样我们就有了一个可以表述无限次独立重复试验的概率空间。

性质3.4
$$EX=\frac{1-p}{p},Var(X)=\frac{1-p}{p^2}$$

这个性质留给读者证明。

Poisson分布

定义3.9 Poisson分布$X\sim Pois(\lambda )$的分布列为
$$P(X=k)=\frac{{\lambda }^k{e}^{-\lambda }}{k!},k=0,1,2,\cdots$$

Poisson分布一般用于记录单位时间内随机事件发生的次数，$\lambda$的含义是事件发生的平均速率或者称为强度。

评注
归一化条件的来自$e^{\lambda }$的Taylor展开
$$\sum _{k=0}^{\infty }P(X=k)=\sum _{k=0}^{\infty }\frac{{\lambda }^k{e}^{-\lambda }}{k!}=e^{-\lambda }{e}^{\lambda }=1$$

性质3.5 Poisson分布的期望和方差都是$\lambda$
证明
$$\begin{gathered} EX=\sum _{k=0}^{\infty }k\frac{{\lambda }^k{e}^{-\lambda }}{k!}=\sum _{k=1}^{\infty }k\frac{{\lambda }^k{e}^{-\lambda }}{k!}=\lambda \sum _{k=1}^{\infty }\frac{{\lambda }^{k-1}{e}^{-\lambda }}{(k-1)!}=\lambda \sum _{k=0}^{\infty }\frac{{\lambda }^k{e}^{-\lambda }}{k!}=\lambda \\ E{X}^2=\sum _{k=0}^{\infty }{k}^2\frac{{\lambda }^k{e}^{-\lambda }}{k!}=\lambda \sum _{k=0}^{\infty }(k+1)\frac{{\lambda }^k{e}^{-\lambda }}{k!}=\lambda (\lambda +1) \\ VarX=E{X}^2-(EX{)}^2=\lambda \end{gathered}$$

性质3.6 $X_1\sim Pois({\lambda }_1)$与$X_2\sim Pois({\lambda }_2)$互相独立，则$X_1|X_1+X_2=x\sim Binom(x,\frac{{\lambda }_1}{{\lambda }_1+{\lambda }_2})$
证明 根据性质4，$X_1+X_2\sim Pois({\lambda }_1+{\lambda }_2)$
$$\begin{gathered} P(X_1=k|X_1+X_2=x)=\frac{P(X_1=k,X_1+X_2=x)}{P(X_1+X_2=x)}=\frac{P(X_1=k)P(X_2=x-k)}{P(X_1+X_2=x)} \\ =\frac{\frac{{\lambda }_1^k{e}^{-{\lambda }_1}}{k!}\frac{{\lambda }_2^{x-k_1}{e}^{-{\lambda }_2}}{(x-k_1)!}}{\frac{({\lambda }_1+{\lambda }_2{)}^x{e}^{-({\lambda }_1+{\lambda }_2)}}{x!}}=\frac{x!}{(x-k)!k!}{\left(\frac{{\lambda }_1}{{\lambda }_1+{\lambda }_2}\right)}^k{\left(1-\frac{{\lambda }_1}{{\lambda }_1+{\lambda }_2}\right)}^{x-k} \\ =C_x^k{\left(\frac{{\lambda }_1}{{\lambda }_1+{\lambda }_2}\right)}^k{\left(1-\frac{{\lambda }_1}{{\lambda }_1+{\lambda }_2}\right)}^{x-k} \end{gathered}$$
因此$X_1|X_1+X_2=x\sim Binom(x,\frac{{\lambda }_1}{{\lambda }_1+{\lambda }_2})$

性质3.7 假设服从二项分布的随机变量$Y$的参数满足$\lambda =np$，则$n\to \infty$时，
$$\begin{gathered} P(Y=k)=C_n^k{p}^k(1-p{)}^{n-k}=\frac{n!}{(n-k)!k!}{p}^k(1-p{)}^{n-k} \\ \to \frac{\sqrt{2\pi }{n}^{n+1/2}{e}^{-n}}{\sqrt{2\pi }(n-k{)}^{n-k+1/2}{e}^{-n+k}k!}{p}^k(1-p{)}^{n-k} \\ \to \frac{(np{)}^k{e}^{-\lambda }}{k!}(\frac{n}{n-k}{)}^{n-k+1/2}{e}^{-k} \\ \to \frac{{\lambda }^k{e}^{-\lambda }}{k!}(1+\frac{k}{n-k}{)}^{n-k+1/2}{e}^{-k} \\ \to \frac{{\lambda }^k{e}^{-\lambda }}{k!} \end{gathered}$$

上式说明二项分布独立重复试验次数足够多，成功概率足够小时，二项随机变量依分布收敛于Poisson随机变量。推导过程中第一个近似用的是Stirling公式，接下来运用的主要是以下引理：
如果$a_k\to 0$，$c_k\to \infty$，$a_k{c}_k\to \lambda$，则
$$(1+a_k{)}^{c_k}\to e^{\lambda }$$

通常在$n\ge 20,p\le 0.05$时可以用这个近似。

例3.6 复合Poisson分布
假设某只昆虫产卵数量为$N\sim Pois(\lambda )$，每个卵被成功孵化的概率为$p$，请问这只母体生产的子代昆虫数量$X$服从什么分布？

显然$X|N=n\sim Binom(n,p)$，
$$\begin{gathered} P(X=k)=\sum _{n=0}^{\infty }P(X=k,N=n)=\sum _{n=0}^{\infty }P(X=k|N=n)P(N=n) \\ =\sum _{n=0}^{\infty }[C_n^k{p}^k(1-p{)}^{n-k}]\frac{{\lambda }^n{e}^{-\lambda }}{n!}=\sum _{n=k}^{\infty }[C_n^k{p}^k(1-p{)}^{n-k}]\frac{{\lambda }^n{e}^{-\lambda }}{n!} \end{gathered}$$
先化简一下被求和的式子
$$\begin{gathered} [C_n^k{p}^k(1-p{)}^{n-k}]\frac{{\lambda }^n{e}^{-\lambda }}{n!}=\frac{n!}{(n-k)!k!}{p}^k(1-p{)}^{n-k}\frac{{\lambda }^n{e}^{-\lambda }}{n!} \\ =\frac{(\lambda p{)}^k}{k!}{e}^{-\lambda }\frac{[\lambda (1-p){]}^{n-k}}{(n-k)!} \end{gathered}$$
这样求和的结果就很明显了
$$\begin{gathered} \sum _{n=k}^{\infty }\frac{(\lambda p{)}^k}{k!}{e}^{-\lambda }\frac{[\lambda (1-p){]}^{n-k}}{(n-k)!}=\frac{(\lambda p{)}^k}{k!}{e}^{-\lambda }\sum _{n=k}^{\infty }\frac{[\lambda (1-p){]}^{n-k}}{(n-k)!} \\ =\frac{(\lambda p{)}^k}{k!}{e}^{-\lambda }{e}^{\lambda (1-p)}=\frac{(\lambda p{)}^k{e}^{-\lambda p}}{k!} \end{gathered}$$
因此$X\sim Pois(\lambda p)$

总结

以上是生活随笔为你收集整理的[概统]本科二年级 概率论与数理统计 第三讲 离散型随机变量的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。