8. An Introduction to MCMC for Machine Learning (2)

MCMC的应用：

MCMC经常被用来解决高维空间中的积分和优化问题。这两类问题在机器学习、物理、统计、计量经济学和决策分析中起着基础性的作用。

以下只是一些例子：
（1）贝叶斯推理与学习；%例：动力学系统的参数估计（见笔记）
（2）统计力学；
（3）最优化：在可行域很大(large number of possible configurations)时有效找到最优解——RBM 优化目标函数中的问题；
（4）惩罚可能性模型的选择：在众多模型中快速找到更好的模型——MDL, BIC, AIC 模型选择问题；

MCMC在物理系统的仿真中也起着基础性的作用。这在核物理和计算机图形学中具有重要意义。

2.1. 蒙特卡洛原理

思想起源：假设玩一局牌的赢的概率只取决于你抽到牌的组合情况，如果用穷举的方法则有 52! 种情况，计算复杂度太大。而现实中的做法是先玩几局试试，统计赢的概率，如果你不太确信这个概率，你可以尽可能多玩几局，当你玩的次数很大的时候，得到的概率就非常接近真实概率了。

上述方法可以估算随机事件的概率，接下来内容的重点是用Monte Carlo抽样计算随机变量的期望值：
X表示随机变量，服从概率分布p(x)，那么要计算f(x)的期望，只需要不停从p(x)中抽样。

</ 《新程序员》：云原生和全面数字化实践50位技术专家共同创作，文字、视频、音频交互阅读

总结

以上是生活随笔为你收集整理的8. An Introduction to MCMC for Machine Learning (2)的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。