信息论与编码

第4版前言
第3版前言
再版前言
前言
引言

第1章 单符号离散信源
1．1 信源的信息熵
1．1．1 信源的数学模型
1．1．2 信源符号的自信量
1．1．3 信源的信息熵
1．2 信息熵的代数性质
1．2．1 对称性
1．2．2 非负性和确定性
1．2．3 连续性和扩展性
1．2．4 可加性
1．2．5 递推性
1．3 信息熵的解析性质
1．3．1 极值性
1．3．2 上凸性
1．3．3 信息熵的*大值（I）
1．3．4 信息熵的*大值（Ⅱ）
1．4 熵函数的唯一性
1．5 效用信息熵
1．5．1 加权熵的定义
1．5．2 权熵的数学特性
1．5．3 权熵的唯一性
1．5．4 效用信息熵的定义
1．5．5 效用信息熵的数学特性
习题

第2章 单符号离散信道
2．1 平均互信息
2．1．1 信道的数学模型
2．1．2 信道两端符号的概率变化
2．1．3 两个符号之间的互信息
2．1．4 两个随机变量之间的平均互信息
2．1．5 信息距离
2．1．6 交互系数
2．2 平均互信息的数学特性
2．2．1 交互性
2．2．2 非负性
2．2．3 极值性
2．2．4 下凸性
2．2．5 上凸性
2．3 信道容量和匹配信源
2．3．1 信道容量的定义
2．3．2 信道容量的一般算法
2．3．3 匹配信源的等量平衡特性
2．4 几种特殊信道的信道容量
2．4．1 无噪信道的信道容量
2．4．2 对称信道的信道容量
2．4．3 强对称信道的信道容量
2．4．4 准对称信道的信道容量
2．4．5 可逆矩阵信道的信道容量
2．5 信道容量的迭代计算
2．5．1 信道容量的迭代算法
2．5．2 迭代算法的收敛性
2．6 平均条件互信息
2．6．1 串接信道的数学描述
2．6．2 条件互信息
2．6．3 平均条件互信息
2．6．4 中心信息差
2．6．5 随机变量序列的平均条件互信息
2．7 平均联合互信息
2．7．1 联合互信息的表达式
2．7．2 联合互信息的对称性
2．7．3 平均联合互信息
2．7．4 信源的信息测量
2．8 数据处理
2．8．1 两个信道串接的平均互信息不增性
2．8．2 N个信道串接平均互信息的不增性
2．8．3 信道两端平均互信息的不增性
习题

第3章 多符号离散信源与信道
3．1 离散平稳信源的数学模型
3．1．1 多符号离散信源的一般概念
3．1．2 离散平稳信源的定义
3．1．3 离散平稳信源的数学模型
3．2 扩展信源的信息熵
3．2．1 无记忆扩展信源的信息熵
3．2．2 有记忆扩展信源的信息熵
3．2．3 扩展信源信息熵的比较
3．3 平均符号熵和极限熵
3．3．1 平均符号熵
3．3．2 极限熵
3．4 马尔可夫（Markov）信源的极限熵
3．4．1 M信源的定义
3．4．2 m-M信源消息转移特性
3．4．3 各态历经m-M信源消息极限概率分布
3．4．4 各态历经m-M信源的数学模型
3．4．5 各态历经m-M信源的极限熵
3．4．6 有记忆信源的剩余度
3．5 扩展信道的平均互信息
3．5．1 扩展信道的由来
3．5．2 扩展信道的数学模型
3．5．3 扩展信道平均互信息的数学特性
3．6 无记忆扩展信道的独立并列特性
3．6．1 无记忆性
3．6．2 无预感性
3．6．3 独立并列与信道无记忆
3．7 独立并列信道的信道容量
3．7．1 并列信道的数学模型
3．7．2 并列信道的概率变化关系
3．7．3 独立并列信道平均互信息的极值性
3．7．4 信道容量的计算
习题

第4章 单维连续信源与信道
4．1 连续信源的相对熵
4．1．1 相对熵的由来及其内涵
4．1．2 几种连续信源的相对熵
4．1．3 相对熵的数学特性
4．1．4 相对熵的*大值
4．1．5 熵功率与信息变差
4．1．6 相对熵的变换
4．2 连续信道的平均互信息
4．2．1 连续信道的数学描述
4．2．2 “信息熵差”与“相对熵差
4．2．3 平均互信息的三种表达式
4．2．4 平均互信息的不增性
4．2．5 平均互信息的不变性
4．2．6 连续信道的测量信息
4．3 连续信道的信道容量
4．3．1 信道容量的定义
4．3．2 加性信道的信道容量
4．3．3 高斯加性信道的信道容量
习题

第5章 多维连续信源与信道
5．1 随机过程的离散化
5．1．1 傅里叶（Fourier）分析的基本概念
5．1．2 随机过程在时间域上的离散化
5．1．3 随机过程在频率域上的离散化
5．1．4 时域和频域随机变量序列的转换
5．2 多维连续信源的相对熵
5．2．1 均匀分布N维连续信源的要对熵
5．2．2 高斯分布N维连续信源的相对熵
5．3 多维连续信源的*大相对熵
5．3．1 取值区域受限的N维连续信源的*大相对熵
5．3．2 协方差矩阵受限的N维连续信源的*大相对熵
5．4 多维相对熵的变换
5．5 无记忆扩展连续信道的平均互信息
5．5．1 N次扩展连续信道的统计特性
5．5．2 无记忆N次扩展连续信道的传递特性
5．5．3 无记忆N次扩展信道平均互信息的极值性
5．6 高斯白噪声的统计特性
5．7 高斯白噪声加性信道的传递特性
5．8 高斯白噪声加性信道的信道容量
5．9 独立并列高斯加性信道容量的*大化
习题

第6章 无失真信源编码定理
6．1 单义可译结构定理
6．1．1 单义可译码
6．1．2 非延长码及其构成
6．1．3 单义可译定理
6．2 平均码长界限定理
6．2．1 平均码长与码率
6．2．2 平均码长界限定理
6．2．3 *佳码
6．3 符号传输速率极限定理
6．3．1 平均码长极限定理
6．3．2 符号传输速率极限定理
习题

第7章 抗干扰信道编码定理
7．1 译码规则和误码率
7．1．1 译码规则
7．1．2 误码率
7．2 *小误码率译码准则
7．2．1 *大后验概率译码准则
7．2．2 *大似然译码准则
7．3 汉明（Hamming）距离
7．3．1 汉明距离的数学特性
7．3．2 汉明距离与检纠能力
7．3．3 汉明距离与*小误码率
7．4 抗干扰信道编码定理
7．4．1 费诺（Fano）不等式
7．4．2 可靠性与有效性之间的制约关系
7．4．3 误码率极限定理
习题

第8章 限失真信源编码定理
8．1 R（D）函数的定义
8．1．1 平均互信息量的下凸性
8．1．2 平均失真度
8．1．3 信息率一失真函数R（D）的定义
8．1．4 R（D）函数的定义域
8．2 R（D）函数的数学特性
8．2．1 R（D）的下凸性
8．2．2 R（D）的单调递减性
8．2．3 R（D）的连续性
8．3 离散信源的R（D）
8．3．1 二元离散信源的R（D）
8．3．2 r元等概率散信源的R（D）
8．3．3 离散信源R（D）函数的参量表述
8．3．4 二元离散信源R（D）函数的参量计算
8．4 连续信源的R（D）
8．4．1 高斯连续信源的R（D）
8．4．2 连续信源R（D）的参量表述
8．4．3 高斯连续信源R（D）的参量计算
8．5 R（D）的迭代计算
8．6 R（D）与信息价值
8．7 广义信息率一失真函数
8．7．1 定义平均互信息
8．7．2 广义信息率一失真函数
8．8 K次扩展信源的信息率一失真函数Rk（D）
8．8．1 扩展信源的平均失真度DK
8．8．2 RK（D）的定义及其数学特性
8．9 限失真信源编码定理
8．9．1 数据压缩的一般概念
8．9．2 限失真信源编码极限定理
习题

第9章 信源一信道编码定理
9．1 信息传输速率的上界
9．2 信源一信道编码极限定理
习题
附录 供熵函数计算用的几种函数表
参考文献