Noise-contrastive estimation（NCE）是一种估计统计模型参数的方法。
基本思想是用非线性逻辑回归（nonlinear logistic regression）区分观测数据和一些人为产生的噪声数据，在区分的时候学习统计模型的参数。
作者证明该方法的估计量是一个一致（收敛）估计量，并分析了渐近方差。
特别地，该方法可以直接用于非归一化模型的参数估计，即概率密度函数积分不为1的模型。归一化常数可以像任何其他参数一样进行估计。

NCE的估计量

用$X=({\mathbf{x}}_1,\dots ,{\mathbf{x}}_T)$表示观测数据，我们用分布$p_m(\cdot ;\theta )$去拟合。$Y=({\mathbf{y}}_1,\dots ,{\mathbf{y}}_T)$表示任意的噪声数据，其符合分布$p_n(\cdot )$。估计量${\hat{\theta }}_T$被定义为最大化下面目标函数的$\theta$：
$$J_T(\theta )=\frac{1}{2T}\sum _t\ln [h({\mathbf{x}}_t;\theta )]+\ln [1-h({\mathbf{y}}_t;\theta )]\text{\hspace{1em}(1)}$$其中
$$\begin{gathered} h(\mathbf{u};\theta )=\frac{1}{1+\exp [-G(\mathbf{u};\theta )]} \\ G(\mathbf{u};\theta )=\ln p_m(\mathbf{u};\theta )-\ln p_n(\mathbf{u}) \end{gathered}$$
logistic regression的函数是$r(x)=\frac{1}{1+\exp (-x)}$，那么$h(\mathbf{u};\theta )=r(G(\mathbf{u};\theta ))$。
公式(1)是区分数据来自X或者噪声Y的logistic regression的log-likelihood。
NCE的思想就是，通过区分数据和噪声，可以学习到数据的分布。

作者证明了估计量${\hat{\theta }}_T$的一致性：

噪声分布的选择

噪声分布应该尽可能的和数据分布相似，否则的话分类问题太过于简单，算法学习不到符合真实数据分布的参数。
可以先学习一个基础的模型去拟合数据分布，再将这个基础模型作为噪声分布。

参考

AISTATS 2010《Noise-contrastive estimation: A new estimation principle for unnormalized statistical models》

总结

以上是生活随笔为你收集整理的Noise-contrastive estimation简介的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。