信息论与编码曹雪虹第三版学习第二章总结

信源 （连续 离散  有记忆 无记忆）

马尔科夫信源（齐次）

当信源的记忆长度为m+1时，该时刻发出的符号与前m个符号有关联性，而与更前面的符号无关

以下默认为离散信源

信息量（自，联合，条件，彼此关系）

自信息量：

联合自信息量：

条件自信息量：

相互之间的关系：

熵（条件，联合，符号，相对）

信息熵（平均信息量）：

条件熵：

联合熵：

彼此关系：

总结：

互信息 （平均，与信息熵条件熵的关系，联合，条件互信息量）

互信息：H(X)－H(X/Y)= I(X;Y)= I(Y;X)=H(Y)－H(Y/X)

彼此关系：

平均互信息量性质

性质不拓展

熵的性质

最大熵（总结）

无约束条件的最大熵不存在

限峰功率最大熵

限平均功率最大熵

冗余度

ppt总结，便于复习。

ppt链接

链接：https://pan.baidu.com/s/1r7d3-LwCAKOZwZHgYDmDkg 
提取码：1tjc 
 

总结

以上是生活随笔为你收集整理的信息论与编码曹雪虹第三版学习第二章总结的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。