信息论基础-(第2版)

第1章 绪论

1.1　信息的基本概念

1.1.1　信息论的产生

1.1.2　信息的基本概念

1.2　香农信息论研究的内容

1.2.1　通信系统模型

1.2.2　香农信息论的主要内容

1.3　香农信息论研究的进展与应用

　1.3.1 香农信息论创立的背景

1.3.2　香农的主要贡献

1.3.3　香农信息论研究进展

1.3.4　香农信息论的应用

思考题

第2章　离散信息的度量

2.1　自信息和互信息

　2.1.1 自信息

　2.1.2 互信息

2.2　信息熵的基本概念

　2.2.1 信息熵

　2.2.2联合熵与条件熵

　2.2.3 相对熵

　2.2.4 各类熵之间的关系

2.3　信息熵的基本性质

　2.3.1 凸函数及其性质

　2.3.2熵的基本性质

2.3.3熵函数的唯一性

2.3.4　有根概率树与熵的计算

2.4　平均互信息

　2.4.1 平均互信息的定义

　2.4.2 平均互信息的性质

　2.4.3 平均条件互信息

本章小结

思考题

习题

第3章　离散信源

3.1　离散信源的分类与数学模型

3.1.1　离散信源的分类

3.1.2离散无记忆信源数学模型

3.1.3离散有记忆信源数学模型

3.1.4离散平稳信源数学模型

3.2　离散无记忆信源的扩展

3.2.1　等长消息扩展

3.2.2　变长消息扩展

3.3　离散平稳信源的熵

　3.3.1单符号信源的熵

3.3.2等长无记忆扩展源的熵

3.3.3变长无记忆扩展源的熵

3.3.4平稳有记忆信源的熵

3.4　有限状态马尔可夫链

3.4.2　马氏链的基本概念

3.4.2　齐次马氏链

3.4.3马氏链状态分类

3.4.4　马氏链的平稳分布

3.5　马尔可夫信源

　3.5.1 马氏源的基本概念

3.5.2　马氏源的产生模型

3.5.3　马氏链n次扩展源熵的计算

3.5.4　马氏源符号熵的计算

3.6　信源的相关性与剩余度

3.6.1　信源的相关性

3.6.2信源的剩余度

3.6.3　文本信源

本章小结

思考题

习题

第4章　连续信息与连续信源

4.1　连续随机变量的熵

4.1.1连续随机变量的离散化

4.1.2连续随机变量的熵

4.1.3连续随机变量差熵的性质

4.1.4连续随机变量集的相对