贝叶斯统计：Tweedie公式及其证明

贝叶斯统计：Tweedie公式及其证明

Tweedie公式是贝叶斯统计中用来研究正态分布的均值问题的最重要的公式之一，不管是在经典的对正态均值进行区间估计、假设检验等领域中，还是在现代贝叶斯统计用均值的特殊先验构造其shrinkage estimator的领域中，Tweedie公式都是重要的基础工具，所以这一篇我们一起学习一下这个公式及其证明。

Tweedie公式 考虑$y|\mu \sim N(\mu ,{\sigma }^2)$，其中${\sigma }^2$已知，$\mu$服从先验概率密度$f(\mu )$，$y$的先验边缘概率为
$$m(y)={\int }_{-\infty }^{+\infty }\frac{f(\mu )}{\sqrt{2\pi }\sigma }{e}^{-\frac{(y-\mu {)}^2}{2{\sigma }^2}}d\mu$$

而$\mu$的后验均值为
$$E[\mu |y]=y+\frac{d\ln m(y)}{dy}$$

证明
先计算score function $\frac{d\ln m(y)}{dy}$,
$$\begin{array}{rl}\frac{d\ln m(y)}{dy}& =\frac{1}{m(y)}\frac{d}{dy}m(y)\\ & =\frac{1}{m(y)}\frac{d}{dy}{\int }_{-\infty }^{+\infty }\frac{f(\mu )}{\sqrt{2\pi }\sigma }{e}^{-\frac{(y-\mu {)}^2}{2{\sigma }^2}}d\mu \\ & =\frac{1}{m(y)}{\int }_{-\infty }^{+\infty }\frac{f(\mu )}{\sqrt{2\pi }\sigma }\frac{d}{dy}{e}^{-\frac{(y-\mu {)}^2}{2{\sigma }^2}}d\mu \\ & =\frac{1}{m(y)}{\int }_{-\infty }^{+\infty }(\mu -y)\frac{f(\mu )e^{-\frac{(y-\mu {)}^2}{2{\sigma }^2}}}{\sqrt{2\pi }\sigma }dy\end{array}$$

然后计算后验均值
$$\begin{array}{rl}E[\mu |y]& ={\int }_{-\infty }^{+\infty }\mu \frac{f(\mu )e^{-\frac{(y-\mu {)}^2}{2{\sigma }^2}}}{\sqrt{2\pi }\sigma m(y)}dy\\ & ={\int }_{-\infty }^{+\infty }[y+(\mu -y)]\frac{f(\mu )e^{-\frac{(y-\mu {)}^2}{2{\sigma }^2}}}{\sqrt{2\pi }\sigma m(y)}dy\\ & =y{\int }_{-\infty }^{+\infty }\frac{f(\mu )e^{-\frac{(y-\mu {)}^2}{2{\sigma }^2}}}{\sqrt{2\pi }\sigma m(y)}dy+{\int }_{-\infty }^{+\infty }(\mu -y)\frac{f(\mu )e^{-\frac{(y-\mu {)}^2}{2{\sigma }^2}}}{\sqrt{2\pi }\sigma m(y)}dy\\ & =y+\frac{d\ln m(y)}{dy}\end{array}$$

证毕

总结

以上是生活随笔为你收集整理的贝叶斯统计：Tweedie公式及其证明的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。