普通高等教育“十三五”规划教材. 电子信息与电气 工程类专业规划教材信息论:经典与现代/刘宴涛

目录

第1章 绪论 1
1.1 从通信谈起 1
1.2 模拟通信与数字通信 2
1.3 信息论的诞生——香农1948年发表的论文 3
1.4 什么是信息 4
1.5 信息论的研究内容 5
习题 7
第2章 离散信源和离散熵 8
2.1 信源的数学模型及分类 8
2.2 离散熵 9
2.3 离散熵的性质 12
2.4 二维信源的联合熵和条件熵 13
2.5 平均互信息 15
2.5.1 两个随机变量的平均互信息 15
2.5.2 多个随机变量的平均互信息 17
2.6 离散平稳信源的熵率 18
2.7 马尔可夫信源 21
2.7.1 马尔可夫链 21
2.7.2 马尔可夫信源 23
2.8 本章小结 25
习题 25
第3章 离散无失真信源编码 28
3.1 信源编码的基本概念 28
3.1.1 信源编码的两种策略 28
3.1.2 信源编码的分类 29
3.2 渐近等分割性定理 30
3.3 等长信源编码 33
3.4 变长信源编码 35
3.5 离散信源编码方法 39
3.5.1 Huffman编码 39
3.5.2 Fano编码 42
3.5.3 香农编码 43
3.5.4 算术编码 44
3.6 本章小结 46
习题 46
第4章 离散信道和信道容量 48
4.1 信道的数学模型 48
4.1.1 信道的分类 48
4.1.2 信道的数学模型 49
4.2 平均互信息的凸性 50
4.3 信道容量 52
4.3.1 一般离散信道的信道容量 55
4.3.2 对称信道的信道容量 60
4.4 多符号信道和并联信道 62
4.5 串联信道和数据处理定理 64
4.6 本章小结 65
习题 66
第5章 有噪信道编码 69
5.1 单符号离散信道的译码规则 69
5.2 如何降低译码错误概率 73
5.3 译码错误概率和信息传输率的折中 76
5.4 信道编码 80
5.5 联合渐近等分割性定理和香农第二定理 82
5.6 信源信道分离编码 88
5.7 本章小结 89
习题 90
第6章 波形信源和波形信道 92
6.1 随机过程基础 92
6.1.1 信号的分类 92
6.1.2 随机过程 93
6.1.3 随机波形信源 96
6.2 连续型随机变量的微分熵 96
6.2.1 连续型随机变量 96
6.2.2 微分熵 99
6.2.3 微分熵的性质 102
6.2.4 *大熵分布 103
6.3 连续信道和波形信道 104
6.3.1 连续信道和波形信道的分类 104
6.3.2 连续加性信道的转移概率密度函数 104
6.3.3 连续信道和波形信道的信道容量 106
6.4 高斯信道 106
6.4.1 高斯信道与离散信道 107
6.4.2 高斯信道的信道容量 109
6.4.3 限带AWGN信道的信道容量 111
6.5 香农公式 112
6.5.1 增加信道容量的两种方法 112
6.5.2 Eb/N0和香农限 112
6.6 本章小结 114
习题 115
第7章 率失真理论 116
7.1 量化失真 117
7.2 失真度与率失真函数 117
7.3 率失真函数的定义域 121
7.4 率失真函数的性质 125
7.5 率失真函数的计算 126
7.5.1 离散信源率失真函数的计算 126
7.5.2 连续信源率失真函数的计算 132
7.6 保真度准则下的信源编码定理 136
7.7 本章小结 136
习题 137
第8章 线性分组码 139
8.1 线性分组码的一般理论 140
8.1.1 基本概念 140
8.1.2 G矩阵和H矩阵 141
8.1.3 伴随式 144
8.1.4 检错和纠错 144
8.1.5 标准阵译码和伴随式译码 147
8.1.6 线性分组码的几何解释和检错、纠错能力 149
8.2 汉明码（Hamming Code） 150
8.3 本章小结 152
习题 153
第9章 循环码 155
9.1 基本概念 155
9.2 循环码的多项式表示法 155
9.3 循环码的G矩阵和H矩阵 159
9.4 系统循环码 160
9.5 循环码的编码 161
9.6 循环码的译码 162
9.6.1 梅吉特译码 163
9.6.2 捕错译码 165
9.6.3 大数逻辑译码 166
9.7 本章小结 167
习题 167
第10章 卷积码 168
10.1 一般概念 168
10.2 卷积码的多项式表示 173
10.3 卷积码的状态图表示 174
10.4 卷积码的网格图表示 175
10.5 维特比译码 176
10.6 本章小结 178
习题 179
第11章 多用户信息论 180
11.1 相关信源编码 180
11.2 具有边信息的信源编码 183
11.3 多址接入信道 183
11.4 广播信道 186
11.5 中继信道 187
11.6 本章小结 188
习题 189
第12章 现代网络信息论 190
12.1 网络编码基本思想 191
12.2 网络编码的概念 193
12.3 线性网络编码 195
12.3.1 确定网络编码 195
12.3.2 随机网络编码 199
12.4 本章小结 200
习题 201
第13章 网络容量域 202
13.1 网络流 202
13.2 网络容量域 203
13.3 均匀分数网络 205
13.4 路由容量域 206
13.4.1 多重单播路由网络容量域 207
13.4.2 一重组播路由网络容量域 210
13.4.3 二重混合路由网络容量域 218
13.5 编码容量域 221
13.5.1 编码容量域的理论解 221
13.5.2 编码容量域的割集限 223
13.6 本章小结 226
习题 226
附录A 有限域 227
A.1 集合 227
A.1.1 集合的定义 227
A.1.2 集合的运算 228
A.1.3 映射 230
A.1.4 代数系统 231
A.2 群 231
A.2.1 群的定义 231
A.2.2 陪集和拉格朗日定理 233
A.3 环 233
A.3.1 环的定义 233
A.3.2 整环 235
A.3.3 多项式环 236
A.4 域 237
A.4.1 域的定义 237
A.4.2 扩域 240
A.4.3 GF(2) 244
A.5 小结 246
附录B 向量空间 247
附录C 矩形博弈 249
附录D 信息不等式 253
D.1 从集合论视角看待信息量 253
D.2 熵空间和原子空间 257
D.3 信息不等式 261
D.4 元形式香农信息度量 263
D.5 和 266
D.6 267
习题答案 269
参考文献 295