贝叶斯统计：信噪对偶与Dawid定理

贝叶斯统计：信噪对偶与Dawid定理

• • 信噪对偶
  • Dawid定理

Dawid定理由Dawid (1973)提出，是贝叶斯理论中对贝叶斯模型的边缘密度做渐近分析的重要工具之一，虽然后续也有文章对Dawid定理的条件进行了改进，比如O‘Hagan (1979)，但Dawid定理的思想还是很有意义的。所以这一篇就简单介绍一下Dawid定理的思想及其证明。

---

信噪对偶

假设Observation满足$X\sim f(x-\theta )$，也就是只引入$\theta$这个位置参数，$\theta$的先验密度记为$g(\theta )$；这个简单的模型可以改写为
$$\begin{gathered} X=\theta +\varphi \\ \theta \sim g(\theta ),\varphi \sim f(\varphi ) \end{gathered}$$

其中$\theta$表示信号，$\varphi$表示噪声，二者叠加组成了我们的观测值，通常假设信号与噪声是独立的。非常巧合的是在$X=\theta +\varphi$中，$\theta$与$\varphi$的作用是完全一样的（毕竟加法交换律），也就是说用$\theta$表示信号，$\varphi$表示噪声完全就是人为规定而已，我们也可以认为$\varphi$代表噪声、$\theta$代表信号，只要使用合适的分布即可。

根据这个观察，我们可以直接得出下面的结论：用$C(\cdot ,\cdot )$表示信号的先验（第一个变量）与噪声的分布（第二个变量）满足的某些条件，则在$C(f,g)$下，$\theta$的后验分布或后验均值满足的某些性质，在$C(g,f)$下，$\varphi$的后验分布于后验均值同样满足。这个现象被称为信噪对偶。尽管这个事实看上去很平凡，但它体现的是贝叶斯统计与频率派统计的核心区别，也就是贝叶斯统计认为参数也是随机变量，而频率派则认为参数是常数，那么在频率派统计模型中信噪对偶自然就是不存在的。信噪对偶的意义在于推导贝叶斯理论的时候我们并不需要去特意区分信号与噪声，只需要把观测值$X$拆成两个随机变量的和即可。

Dawid定理

假设观察值满足$X=Y_1+Y_2$，其中$Y_1,Y_2$是两个独立的、绝对连续的、密度分别为$f_1,f_2$的随机变量，假设$E[m(Y_1)]<\infty$，其中$m$是一个可测函数，$$E[m(Y_1)]={\int }_{-\infty }^{+\infty }m(y)f_1(y)dy$$引入下面三个条件：

$\forall ϵ,h>0$, $\exists A$, $\forall y>A$, $|f_2(y^{\prime })-f_2(y)|<ϵf_2(y)$ when $|y^{\prime }-y|<h$

$\exists B,M$ constant, $\forall y^{\prime }>y>B$, $0<f_2(y^{\prime })<M{f}_2(y)$

$k(y)={\sup }_x\frac{f_2(x-y)}{f_2(x)}$, $$\begin{gathered} {\int }_{-\infty }^{+\infty }k(y)f_1(y)dy<\infty \\ {\int }_{-\infty }^{+\infty }|m(y)|k(y)f_1(y)dy<\infty \end{gathered}$$

在这三个条件作为充分条件时$$\underset{x\to \infty }{\lim }E[m(Y_1)|X=x]=E[m(Y_1)]$$

评注

条件1的作用是保证$f_2$在$y$比较大的时候几乎是水平的；

条件2的作用是保证$f_2$的尾部行为不会很震荡；

条件3的作用是限制$f_1$与$f_2$的对称性，在以上三个条件中，$f_1$与$f_2$可以交换位置，但当条件1和2限制了$f_2$后，相当于默认$f_2$就是噪声分布了，这时就需要限制$f_1$与$f_2$的对称性了，否则会出现矛盾

证明

$Y_1$的后验分布为
$$\pi (y_1|X=x)=\frac{f_1(y_1)f_2(x-y)}{J},J={\int }_{-\infty }^{+\infty }{f}_1(y_1)f_2(x-y_1)dy$$

这里把$y_2$替换成了$x-y_1$，这样可以避免出现太多自变量，于是下文就用$y$表示$y_1$了；所以
$$E[m(Y_1)|X=x]=\frac{I}{J},I={\int }_{-\infty }^{+\infty }m(y)f_1(y)f_2(x-y)dy$$

取$x>B$（因为是要计算$I/J$在$x$趋近于无穷时的极限，所以这里可以让$x$大于某一个常数），估计
$$\begin{array}{rl}\left|\frac{I}{f_2(x)}-E[m(Y_1)]\right|& =\left|{\int }_{-\infty }^{+\infty }m(y)f_1(y)\left(\frac{f_2(x-y)}{f_2(x)}-1\right)dy\right|\\ & =\left|{\int }_{-\infty }^{-h}+{\int }_{-h}^h+{\int }_h^{+\infty }m(y)f_1(y)\left(\frac{f_2(x-y)}{f_2(x)}-1\right)dy\right|\\ & \le (M+1){\int }_{-\infty }^{-h}|m(y)|f_1(y)dy\\ & +{\int }_h^{+\infty }|m(y)|f_1(y)[k(y)+1]dy\\ & +\left|{\int }_{-h}^{h}m(y)f_1(y)\left(\frac{f_2(x-y)}{f_2(x)}-1\right)dy\right|\end{array}$$

当$h$趋近于无穷时，第一项、第二项趋近于0，对任意$h>0$，根据条件1，第三项趋近于0，所以$I/f_2(x)\to E[m(Y_1)]$，根据条件3，
$$\frac{J}{f_2(x)}\le \underset{x}{\sup }{\int }_{-\infty }^{+\infty }\frac{f_2(x-y)}{f_2(x)}{f}_1(y)dy={\int }_{-\infty }^{+\infty }k(y)f_1(y)dy<\infty$$

因此，取$m(y)=1$，根据$I/f_2(x)$的结果，$J/f_2(x)\to 1$，综上，
$$\frac{I}{J}\to E[m(Y_1)]$$

总结

以上是生活随笔为你收集整理的贝叶斯统计：信噪对偶与Dawid定理的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。