UA MATH564 概率论IV 次序统计量

• 次序统计量的分布
• 例子
• • 例1：均匀分布的次序统计量
  • 例2：Dirichlet分布

次序统计量的分布

次序统计量的作用是比较大的，经常可以作为某些分布的充分统计量，统计量的含义以及次序统计量的重要性可以参考统计理论那个系列。假设样本为$\{X_1,X_2,\cdots ,X_n\}$，总体分布为$F(X)$，概率密度为$f(x)$。将这组样本按从小到大的顺序排列，并记为$\{X_{(1)},X_{(2)},\cdots ,X_{(n)}\}$，则这种统计量叫做样本的次序统计量。

定理1（单个次序统计量的分布）
$$F_{X_{(j)}}=\sum _{k=j}^n{C}_n^k[F(x){]}^k[1-F(x){]}^{n-k}$$
证明
先描述一个比较直观的推导：要计算$X_{(j)}$的分布就是要想办法估计$P(X_{(j)}\le x)$，显然$X_{(1)}$到$X_{(j-1)}$也要小于$x$。这意味着在原来的$n$个样本$\{X_1,X_2,\cdots ,X_n\}$中，至少有$j$个比$x$小。简单随机样本独立同分布，因此比$x$小的样本数目服从二项分布$binom(n,F(x))$。如果有$k\ge j$个比$x$小，那么概率就是$C_n^k[F(x){]}^k[1-F(x){]}^{n-k}$，对所有可能的$k$求和就可以得到$P(X_{(j)}\le x)$。
下面给出正式证明：
定义$Y_j=I_{(-\infty ,x]}(X_j)$，记
$$p=P(Y_j=1)=P(X_j\le x)=F(x)$$
从而$Y_j\sim Ber(F(x))$。定义$S_n={\sum }_{j=1}^n{Y}_j$，根据Bernoulli分布的可加性，$S_n\sim Binom(n,F(x))$。从而
$$\begin{gathered} F_{X_{(j)}}=P(X_{(j)}\le x)=P(S_n\ge j) \\ =\sum _{k=j}^n{C}_n^k[F(x){]}^k[1-F(x){]}^{n-k} \end{gathered}$$

定理2（单个次序统计量的概率密度）
$$f_{X_{(j)}}(x)=j{C}_n^j[F(x){]}^{j-1}[1-F(x){]}^{n-j}f(x)$$
证明
这个其实可以直接硬算，但这里给一个比较直观的推导：考虑
$$f_{X_{(j)}}(x)\Delta x=P(x\le X_{(j)}<x+\Delta x)$$
这个概率可以分成三部分来求：

有一个样本在$[x,x+\Delta x)$中；

有$j-1$个样本在$(\infty ,x)$中；

有$n-j$个样本在$[x+\Delta x,+\infty )$中；

第一条对应的概率为$C_n^{1}f(x)\Delta x$；第二条对应的概率为$C_{n-1}^{j-1}[F(x){]}^{j-1}$；第三条对应的概率为$[1-F(x){]}^{n-j}$。因此
$$\begin{gathered} f_{X_{(j)}}(x)\Delta x=[C_n^{1}f(x)\Delta x][C_{n-1}^{j-1}[F(x){]}^{j-1}][[1-F(x){]}^{n-j}] \\ =j{C}_n^j[F(x){]}^{j-1}[1-F(x){]}^{n-j}f(x)\Delta x \end{gathered}$$
这里只用了一个$n{C}_{n-1}^{j-1}=j{C}_n^j$的关系。

定理3（两个次序统计量的联合概率密度）不妨假设$j>i$，则
$$f_{X_{(i)},X_{(j)}}(x_i,x_j)=(n{)}_{2}f(x_i)f(x_j)C_{n-2}^{i-1}{C}_{n-i-3}^{j-i-1}[F(x_i){]}^{i-1}[F(x_j)-F(x_i){]}^{j-i-1}[1-F(x_j){]}^{n-j}$$
证明
用上面那个定理那种比较直观的推导办法。
$$f_{X_{(i)},X_{(j)}}(x_i,x_j)(\Delta x{)}^2=P(x_i\le X_{(i)}<x_i+\Delta x,x_j\le X_{(j)}<x_j+\Delta x)$$
将这个概率分成四部分计算：

有两个样本，一个在$[x_i,x_i+\Delta x)$中，另一个在$[x_j,x_j+\Delta x)$中；

有$i-1$个样本在$(\infty ,x_i)$中；

有$j-i-1$个样本在$[x_i+\Delta x,x_j]$中；

有$n-j$个样本在$[x_j+\Delta x,+\infty )$中；

第一条对应的概率是$(n{)}_{2}f(x_i)\Delta xf(x_j)\Delta x$；第二条对应的概率是$C_{n-2}^{i-1}[F(x_i){]}^{i-1}$；第三条对应的概率是$C_{n-i-3}^{j-i-1}[F(x_j)-F(x_i){]}^{j-i-1}$；第四条对应的概率是$[1-F(x_j){]}^{n-j}$。因此
$$f_{X_{(i)},X_{(j)}}(x_i,x_j)(\Delta x{)}^2=[(n{)}_{2}f(x_i)\Delta xf(x_j)\Delta x][C_{n-2}^{i-1}[F(x_i){]}^{i-1}][C_{n-i-3}^{j-i-1}[F(x_j)-F(x_i){]}^{j-i-1}][[1-F(x_j){]}^{n-j}]$$

例子

例1：均匀分布的次序统计量

假设$\{U_1,\cdots ,U_n\}$是一组$[0,1]$上的均匀分布的简单随机样本，则
$$F(x)=x,f(x)=1$$
根据定理2：
$$\begin{gathered} f_{U_{(j)}}(x)=j{C}_n^j[F(x){]}^{j-1}[1-F(x){]}^{n-j}f(x) \\ =\frac{n!}{(j-1)!(n-j)!}{x}^{j-1}(1-x{)}^{n-j} \\ =\frac{\Gamma (n+1)}{\Gamma (j)\Gamma (n-j+1)}{x}^{j-1}(1-x{)}^{n-j} \end{gathered}$$
因此$U_{(j)}\sim Beta(j,n-j+1)$。即均匀分布$U[0,1]$的次序统计量会服从beta分布。根据定理3：
$$\begin{gathered} f_{U_{(i)},U_{(j)}}(x_i,x_j)=(n{)}_2{C}_{n-2}^{i-1}{C}_{n-i-3}^{j-i-1}[F(x_i){]}^{i-1}[F(x_j)-F(x_i){]}^{j-i-1}[1-F(x_j){]}^{n-j} \\ =\frac{n!}{(i-1)!(j-i-1)!(n-j)!}{x}_i^{i-1}(x_j-x_i{)}^{j-i-1}(1-x_j{)}^{n-j} \\ =\frac{\Gamma (n+1)}{\Gamma (i)\Gamma (j-i)\Gamma (n-j+1)}{x}_i^{i-1}(x_j-x_i{)}^{j-i-1}(1-x_i-(x_j-x_i){)}^{n-j} \end{gathered}$$
记$u_i=x_i,u_j=x_j-x_i$，
$$f_{U_{(i)},U_{(j)}}(u_i,u_j)=\frac{\Gamma (n+1)}{\Gamma (i)\Gamma (j-i)\Gamma (n-j+1)}{u}_i^{i-1}{u}_j^{j-i-1}(1-u_i-u_j{)}^{n-j}$$
这个是二元的beta分布，可以记为$beta(i,j-i,n-j+1)$。

例2：Dirichlet分布

在上面的例子中，提到一个多元beta分布的东西，但它一般被称为Dirichlet分布，其一般形式为
$$f(x|\alpha )=\frac{\Gamma ({\sum }_{i=1}^n{\alpha }_i)}{{\prod }_{i=1}^n\Gamma ({\alpha }_i)}\prod _{i=1}^n{x}_i^{{\alpha }_i-1}$$
这个分布定义在$n-1$维（因为是$n-1$维的线性流形）的单纯形${\Delta }^{n-1}=\{x:{\sum }_{i=1}^n{x}_i=1,x_i\ge 0\}$上，分布可以记为$Dir({\alpha }_1,\cdots ,{\alpha }_n)$。关于Dirichlet分布有几个有趣的性质：

${\alpha }_i=1,\forall i$，Dirichlet分布退化为单纯形${\Delta }^n$上的均匀分布；

$(X_1,\cdots ,X_i+X_{i+1},\cdots ,X_n)\sim Dir({\alpha }_1,\cdots ,{\alpha }_i+{\alpha }_{i+1},\cdots ,{\alpha }_n)$

$X_i\sim beta({\alpha }_i,{\sum }_{j=1}^n{\alpha }_j-{\alpha }_i)$

$\{U_1,\cdots ,U_n\}$的$m$个次序统计量（序号为$i_1,\cdots ,i_m$）的联合分布为$Dir(i_1,i_2-i_2,\cdots ,n-i_m+1)$

总结

以上是生活随笔为你收集整理的UA MATH564 概率论IV 次序统计量的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。