UA MATH566 统计理论 Fisher信息量的性质上
UA MATH566 统计理论 Fisher信息量的性质上
- Fisher信息量的定义
- Fisher信息量的数学意义
C-R下界是由Fisher统计量定义的，在推导C-R下界的时候，我们只是把下界的逆定义成了Fisher信息量，但尚未探讨这个量的本质是什么？为什么要叫它信息量？它有哪些性质？以及怎么计算的问题。这一讲我们讨论前两个问题，下一讲讨论它的性质，计算则留到后续的博客结合例题介绍。
Fisher信息量的定义
某分布族为f(x,θ),θ∈Θf(x,\theta),\theta \in \Thetaf(x,θ),θ∈Θ，假设Θ⊂R\Theta \subset \mathbb{R}Θ⊂R，则此时的得分函数关于分布参数是一维的
S(x,θ)=∂logL(θ)∂θ=1f(x,θ)∂f(x,θ)∂θS(x,\theta) = \frac{\partial \log L(\theta)}{\partial \theta} = \frac{1}{f(x,\theta)} \frac{\partial f(x,\theta)}{\partial \theta}S(x,θ)=∂θ∂logL(θ)=f(x,θ)1∂θ∂f(x,θ)
则它的一阶矩为零，并称它的二阶矩为Fisher信息量
E[S(X,θ)]=0,E[S(X,θ)]2=I(θ)E[S(X,\theta)]=0,\ \ E[S(X,\theta)]^2 = I(\theta)E[S(X,θ)]=0, E[S(X,θ)]2=I(θ)
Fisher信息量的数学意义
下面说明为什么I(θ)I(\theta)I(θ)可以用来衡量信息的多少。在UA MATH636 信息论1 熵中我们介绍了熵、Divergence、互信息等用来衡量信息多少的量，下面我们就来讨论一下Fisher信息量与信息论中的这些信息度量之间的关系。
参考UA MATH636 信息论6 微分熵，微分熵的定义是
h(θ)=−E[logf(x,θ)]=−∫f(x,θ)logf(x,θ)dxh(\theta) = -E[\log f(x,\theta)] = -\int f(x,\theta) \log f(x,\theta)dxh(θ)=−E[logf(x,θ)]=−∫f(x,θ)logf(x,θ)dx
计算微分熵的差分
Δh=h(θ+Δθ)−h(θ)=−∫f(x,θ)[logf(x,θ+Δθ)−logf(x,θ)]dx\Delta h = h(\theta + \Delta\theta) - h(\theta) = -\int f(x,\theta)[ \log f(x,\theta + \Delta\theta)- \log f(x,\theta)]dxΔh=h(θ+Δθ)−h(θ)=−∫f(x,θ)[logf(x,θ+Δθ)−logf(x,θ)]dx
接下来做Taylor展开
logf(x,θ+Δθ)−logf(x,θ)=∂logf(x,θ)∂θΔθ+12!∂2logf(x,θ)∂2θ(Δθ)2+o(Δθ)2\log f(x,\theta + \Delta\theta)- \log f(x,\theta) = \frac{\partial \log f(x,\theta)}{\partial \theta}\Delta \theta +\frac{1}{2!} \frac{\partial^2 \log f(x,\theta)}{\partial^2 \theta}(\Delta \theta)^2 + o(\Delta \theta)^2logf(x,θ+Δθ)−logf(x,θ)=∂θ∂logf(x,θ)Δθ+2!1∂2θ∂2logf(x,θ)(Δθ)2+o(Δθ)2
下面计算那两个导数
∂logf(x,θ)∂θ=f′(x,θ)f(x,θ),∂2logf(x,θ)∂2θ=f′′(x,θ)f(x,θ)−[f′(x,θ)]2f2(x,θ)\frac{\partial \log f(x,\theta)}{\partial \theta} = \frac{f'(x,\theta)}{f(x,\theta)},\ \frac{\partial^2 \log f(x,\theta)}{\partial^2 \theta} = \frac{f''(x,\theta)}{f(x,\theta)}-\frac{[f^{'}(x,\theta)]^2}{f^2(x,\theta)}∂θ∂logf(x,θ)=f(x,θ)f′(x,θ), ∂2θ∂2logf(x,θ)=f(x,θ)f′′(x,θ)−f2(x,θ)[f′(x,θ)]2
把这些结论带入差分中，
Δh=−∫f(x,θ)[f′(x,θ)f(x,θ)Δθ+12(f′′(x,θ)f(x,θ)−[f′(x,θ)]2f2(x,θ))(Δθ)2+o(Δθ)2]dx\Delta h = -\int f(x,\theta)[ \frac{f'(x,\theta)}{f(x,\theta)}\Delta \theta +\frac{1}{2}(\frac{f''(x,\theta)}{f(x,\theta)}-\frac{[f^{'}(x,\theta)]^2}{f^2(x,\theta)})(\Delta \theta)^2+o(\Delta \theta)^2]dx Δh=−∫f(x,θ)[f(x,θ)f′(x,θ)Δθ+21(f(x,θ)f′′(x,θ)−f2(x,θ)[f′(x,θ)]2)(Δθ)2+o(Δθ)2]dx
我们逐项分析，第一项
∫f(x,θ)f′(x,θ)f(x,θ)Δθdx=E[S(X,θ)]Δθ=0\int f(x,\theta) \frac{f'(x,\theta)}{f(x,\theta)}\Delta \theta dx = E[S(X,\theta)]\Delta \theta = 0∫f(x,θ)f(x,θ)f′(x,θ)Δθdx=E[S(X,θ)]Δθ=0
最后一项积分后还是高阶无穷小量，可以忽略
∫o(Δθ)2dx=o(Δθ)2\int o(\Delta \theta)^2 dx = o(\Delta \theta)^2∫o(Δθ)2dx=o(Δθ)2
第二项中的第一部分
∫f(x,θ)f′′(x,θ)f(x,θ)dx=E[∂S(X,θ)∂θ]=∂∂θE[S(X,θ)]=0\int f(x,\theta )\frac{f''(x,\theta)}{f(x,\theta)} dx = E[\frac{\partial S(X,\theta)}{\partial \theta}] = \frac{\partial}{\partial \theta}E[S(X,\theta)] = 0∫f(x,θ)f(x,θ)f′′(x,θ)dx=E[∂θ∂S(X,θ)]=∂θ∂E[S(X,θ)]=0
因此最后只剩下
Δh=12∫f(x,θ)[f′(x,θ)]2f2(x,θ)(Δθ)2dx=E[∂logL(x,θ)∂θ∂logL(x,θ)∂θ](Δθ)2=12I(θ)(Δθ)2\Delta h = \frac{1}{2} \int f(x,\theta)\frac{[f^{'}(x,\theta)]^2}{f^2(x,\theta)}(\Delta \theta)^2dx \\= E[\frac{\partial \log L(x,\theta)}{\partial \theta}\frac{\partial \log L(x,\theta)}{\partial \theta}](\Delta \theta)^2 = \frac{1}{2}I(\theta)(\Delta \theta)^2Δh=21∫f(x,θ)f2(x,θ)[f′(x,θ)]2(Δθ)2dx=E[∂θ∂logL(x,θ)∂θ∂logL(x,θ)](Δθ)2=21I(θ)(Δθ)2
如果是多维分布，那么
Δh=12ΔθTI(θ)Δθ\Delta h = \frac{1}{2} \Delta \theta^TI(\theta)\Delta \thetaΔh=21ΔθTI(θ)Δθ
也就是说，熵的差分可以表示为以Fisher信息量为矩阵的二次型。
总结
以上是生活随笔为你收集整理的UA MATH566 统计理论 Fisher信息量的性质上的全部内容，希望文章能够帮你解决所遇到的问题。
- 上一篇： UA MATH566 统计理论 Cram
- 下一篇： UA MATH566 统计理论 Fish