信息理论与编码基础

目录前言常用符号第1章 绪论 11.1 通信系统的基本单元 11.2 信息科学的有关概念 21.2.1 信息的特征 21.2.2 信息理论要解决的基本问题 31.2.3 信息论的创始人 41.2.4 信息科学的定义及迅速发展的背景 41.2.5 信息理论的研究内容 41.3 香农信息论梗概 5思考题 6第2章 信息的度量 72.1 度量信息的基本思路 72.1.1 单符号离散信源 72.1.2 自信息量 72.2 信源熵和条件熵 92.2.1 信源熵 92.2.2 条件自信息量 102.2.3 条件熵 112.3 互信息量和平均互信息量 112.3.1 互信息量 112.3.2 互信息量的性质 122.3.3 条件互信息量 132.3.4 平均互信息量 142.3.5 平均互信息量的性质 142.3.6 平均互信息量的物理意义 162.4 多维随机变量的熵 182.4.1 熵的链接准则 182.4.2 信息链接准则 182.4.3 熵的界 192.4.4 数据处理不等式 19本章小结 20思考题 21习题 21第3章 离散信源及其信源编码 233.1 信源分类 233.1.1 信源分类方法 233.1.2 自然语信源 243.1.3 马尔可夫信源 263.2 离散信源的熵 283.2.1 发出单符号消息离散无记忆信源的熵 283.2.2 发出符号序列消息离散无记忆信源的熵 293.2.3 发出符号序列消息的离散有记忆信源的熵 303.2.4 发出符号序列消息的马尔可夫信源的熵 323.2.5 各种离散信源的时间熵 323.3 信源的冗余度 343.3.1 *大信源熵 353.3.2 信源的冗余度 353.4 信源编码及其描述 373.4.1 信源编码模型 373.4.2 编码效率 383.5 单义可译定理 413.5.1 单义可译码 413.5.2 即时码的构造 423.5.3 单义可译定理 423.5.4 平均码长界定定理 443.6 香农**定理 463.6.1 无失真信源编码 463.6.2 等长码的信源编码 483.7 信源编码实例 493.7.1 费诺编码方法 493.7.2 霍夫曼编码方法 513.7.3 Lempel-Ziv编码 53本章小结 56思考题 56习题 56第4章 离散信道及其信道编码 604.1 信道的分类 604.2 离散信道的传输特性 614.2.1 无扰离散信道的传输特性 614.2.2 有扰离散信道的传输特性 624.2.3 几种特殊的有扰离散信道 644.2.4 消息在有扰离散信道上的信息传输速率 664.2.5 有扰离散信道的信道容量 664.3 译码准则 724.3.1 常用的译码准则 734.3.2 关于译码准则的讨论 754.4 香农第二定理 764.4.1 信道编码与平均错误译码概率 764.4.2 汉明距离与编码原则 774.4.3 有扰离散信道的信道编码定理 78本章小结 79思考题 80习题 80第5章 连续消息和连续信道 835.1 连续消息的信息度量 835.1.1 基本思路 835.1.2 几种连续信源的相对熵 855.1.3 条件熵 895.1.4 平均互信息量 905.1.5 连续消息熵的性质 925.1.6 *大相对熵定理 925.1.7 熵功率和熵功率不等式 955.2 连续消息在信道上的传输问题 975.3 香农信道容量公式 985.3.1 高斯信道的信道容量 985.3.2 带限信道的信道容量 995.3.3 香农公式的含义 100本章小结 101思考题 101习题 102第6章 限失真信源编码 1046.1 失真函数和平均失真度 1046.1.1 失真函数 1046.1.2 平均失真度 1076.2 信息率失真函数 1096.2.1 保真度准则 1096.2.2 失真许可的试验信道 1106.2.3 信息率失真函数及其性质 1106.2.4 几种典型信源的信息率失真函数 1136.3 保真度准则下的信源编码定理 116本章小结 117思考题 118习题 118第7章 差错控制的基本概念 1207.1 差错控制系统的分类 1207.1.1 自动请求重传系统 1207.1.2 前向纠错系统 1227.1.3 信息重复查询系统和混合纠错系统 1237.2 纠错编码的分类及其性能评价 1247.2.1 纠错编码的分类 1247.2.2 纠错码的基本概念 1257.2.3 纠错编码方法的性能评价 128本章小结 130思考题 130习题 131第8章 线性分组码 1328.1 有关概念 1328.1.1 线性分组码的定义及其性质 1328.2 线性分组码的编码和译码 1358.2.1 线性分组码的编码 1358.2.2 线性分组码译码 1368.2.3 线性分组码举例 1418.3 循环码的描述 1418.3.1 循环码的定义 1428.3.2 循环码的性质 1438.3.3 生成矩阵和一致校验矩阵 1478.4 循环码的编码和译码 1488.4.1 循环码的编码 1488.4.2 循环码的译码 1508.4.3 循环码的检错能力 1528.4.4 循环码的缩短与扩展 1538.5 二元BCH码 1548.5.1 BCH码的描述 1548.5.2 BCH码的编码和译码 1578.6 多元BCH码和R-S码 1598.7 纠突发错误码 1608.7.1 纠突发错误码的定义及基本性质 1608.7.2 交织码 161本章小结 163思考题 164习题 165第9章 卷积码 1689.1 卷积码的编码及其描述 1689.1.1 卷积码的编码 1689.1.2 卷积码的描述 1709.2 卷积码的*大似然译码 1789.2.1 Viterbi译码 1789.2.2 序列译码 1809.3 卷积码的性能评估 1869.3.1 译码的错误扩展及恶性卷积码 1869.3.2 卷积码的自由距离 187本章小结 189思考题 189习题 189第10章 信道编码新进展简介 19210.1 Turbo码 19210.1.1 Turbo码的编码及其性能 19210.1.2 Turbo码的译码简介 19410.2 空时分组码 19510.2.1 正交空时分组码 19510.2.2 正交空时分组码的译码 19710.2.3 准正交空时分组码 19710.2.4 准正交空时分组码的译码 19810.3 低密度奇偶校验码 19910.3.1 低密度奇偶校验码的定义 19910.3.2 低密度奇偶校验码的译码 20010.4 网络编码与协作 20510.4.1 网络编码 20510.4.2 网络编码协作 207本章小结 208思考题 208习题 209参考文献 210索引 213