信息论与编码

目录 第1章 绪论 1 1.1 信息的概念 1 1.1.1 信息科技促使人们对信息概念进行更深刻的剖析与理解 1 1.1.2 信息是特定信息场景中的“信息” 2 1.1.3 信息的基本属性 4 1.1.4 信息的香农定义与维纳定义 5 1.2 信息论的研究内容 6 1.2.1 信息度量、信息熵与消息 7 1.2.2 信息表征与数据压缩 9 1.2.3 信息传输、信道容量、调制与编码 11 1.2.4 信息安全、加密与认证 13 1.3 从“香农贡献”洞悉信息科技 15 1.3.1 香农的信息科技创新贡献 15 1.3.2 香农培养的后起之秀与留存后世的至理名言 16 1.4 从香农奖看信息论的发展历程 17 习题 20 第2章 信源及其熵 21 2.1 信源与信息度量的基本概念 21 2.2 自信息量与熵 22 2.2.1 自信息量 22 2.2.2 信息熵 24 2.2.3 熵的基本性质 31 2.3 互信息量与平均互信息量 36 2.3.1 互信息量 36 2.3.2 平均互信息量 38 2.4 离散信源的熵 42 2.4.1 单符号离散信源的熵 42 2.4.2 多符号离散信源的熵 42 2.4.3 马尔可夫信源的熵 43 2.4.4 离散信源的时间熵 47 2.5 连续信源的熵 48 2.5.1 单符号连续信源的熵 48 2.5.2 连续信源的熵的性质 54 2.5.3 多符号连续信源的熵 57 2.5.4 熵功率 58 2.6 信息论不等式及其应用 60 2.6.1 对数和不等式及其应用 60 2.6.2 数据处理不等式 62 2.6.3 数据处理定理 62 2.6.4 费诺不等式 63 习题 65 第3章 信道及其信道容量 70 3.1 信道及其信道容量的基本概念 70 3.1.1 信道的数学模型及其分类 70 3.1.2 信道容量的定义 71 3.2 单符号离散信道及其信道容量 72 3.2.1 特殊的单符号离散信道及其信道容量 73 3.2.2 对称离散信道及其信道容量 74 3.2.3 准对称离散信道及其信道容量 77 3.2.4 一般离散无记忆信道及其信道容量 79 3.3 多符号离散信道及其信道容量 82 3.3.1 多符号离散信道的数学模型 82 3.3.2 多符号离