面向信号处理的机器学习:数据科学、算法与计算统计学

目　录

Machine Learning for Signal Processing：Data Science，Algorithms,and Computational Statistics








译者序

前言
第1章　数学基础1
　1.1　抽象代数1

　　1.1.1　群1

　　1.1.2　环2

　1.2　度量3

　1.3　向量空间4

　　1.3.1　线性算子6

　　1.3.2　矩阵代数7

　　1.3.3　方阵和可逆矩阵7

　　1.3.4　特征值和特征向量8

　　1.3.5　特殊矩阵9

　1.4　概率与随机过程10

　　1.4.1　样本空间、事件、度量和
分布10

　　1.4.2　联合随机变量：独立性、
条件性和边缘性12

　　1.4.3　贝叶斯准则13

　　1.4.4　期望、生成函数和
特征函数14

　　1.4.5　经验分布函数和样本期望16

　　1.4.6　变换随机变量17

　　1.4.7　多元高斯分布和其他
极限分布17

　　1.4.8　随机过程19

　　1.4.9　马尔可夫链20

　1.5　数据压缩与信息论23

　　1.5.1　信息映射的重要性25

　　1.5.2　互信息和KL散度26

　1.6　图27

　1.7　凸性29

　1.8　计算复杂性31

　　1.8.1　复杂性的阶和大O表示法31

　　1.8.2　可处理和难处理的问题：
NP完全性31
第2章　优化33
　2.1　预备知识33

　　2.1.1　连续可微问题与临界点33

　　2.1.2　等式约束下的连续优化：
拉格朗日乘子34

　　2.1.3　不等式约束：二元性和
KarushKuhnTucker条件35

　　2.1.4　迭代法的收敛性和收敛
速度36

　　2.1.5　不可微的连续问题37

　　2.1.6　离散（组合）优化问题38

　2.2　连续凸问题的解析方法39

　　2.2.1　L2范数目标函数39

　　2.2.2　混合L2-L1范数目标
函数40

　2.3　连续凸问题的数值方法41

　　2.3.1　迭代重加权小二乘法41

　　2.3.2　梯度下降42

　　2.3.3　调整步长：线搜索43

　　2.3.4　牛顿方法45

　　2.3.5　其他梯度下降方法47

　2.4　不可微连续凸问题47

　　2.4.1　线性规划48

　　2.4.2　二次规划48

　　2.4.3　次梯度法49

　　2.4.4　原始对偶内点法50

　　2.4.5　路径跟踪方法52

　2.5　连续非凸问题53

　2.6　离散（组合）优化的启发式算法53

　　2.6.1　贪婪搜索54

　　2.6.2　（简单）禁忌搜索54

　　2.6.3　模拟退火55

　　2.6.4　随机重启56
第3章　随机采样57
　3.1　生成（均匀）随机数57

　3.2　从连续分布中进行采样58

　　3.2.1　分位数函数（逆累积分布
函数）与逆变换采样58

　　3.2.2　随机变量变换方法59

　　3.2.3　拒绝采样59

　　3.2.4　对数凹密度的自适应
抑制采样60

　　3.2.5　特殊分布的特殊方法62

　3.3　离散分布采样63

　　3.3.1　基于顺序查找的逆变换
采样63

　　3.3.2　离散变量的拒绝采样64

　　3.3.3　（大）有限样本空间的逆序
二分查找64

　3.4　一般多元分布的采样65

　　3.4.1　原始采样65

　　3.4.2　吉布斯采样66

　　3.4.3　MetropolisHastings算法68

　　3.4.4　其他马尔可夫链蒙特卡罗
方法70
第4章　统计建模和推断73
　4.1　统计模型73

　　4.1.1　参数模型和非参数模型73

　　4.1.2　贝叶斯模型和非贝叶斯
模型74

　4.2　概率推断74

　　4.2.1　似然和小KL散度75

　　4.2.2　损失函数和经验风险估计76

　　4.2.3　后验和正则化77

　　4.2.4　正则化、模型复杂性和
数据压缩79

　　4.2.5　交叉验证和正则化82

　　4.2.6　自助法83

　4.3　贝叶斯推理84

　4.4　与度量和范数相关的分布86

　　4.4.1　小二乘法86

　　4.4.2　小Lq范数87

　　4.4.3　协方差、加权范数和
马氏距离88

　4.5　指数族89

　　4.5.1　熵分布90

　　4.5.2　充分统计和规范90

　　4.5.3　共轭先验93

　　4.5.4　先验和后验可预测指数族95

　　4.5.5　共轭指数族先验混合95

　4.6　通过分位数定义的分布96

　4.7　与分段线性损失函数相关的
密度98

　4.8　非参数密度估计100

　4.9　采样推理101

　　4.9.1　马尔可夫链蒙特卡罗
推理101

　　4.9.2　马尔可夫链蒙特卡罗方法
的收敛性评估102
第5章　概率图模型104
　5.1　利用概率图模型的统计建模104

　5.2　对概率图模型中条件独立性的
探讨107

　　5.2.1　隐藏变量和观察变量107

　　5.2.2　定向连接和分离108

　　5.2.3　节点的马尔可夫毯109

　5.3　关于概率图模型的推论110

　　5.3.1　精确推理110

　　5.3.2　近似推理113
第6章　统计机器学习117
　6.1　特征和核函数117

　6.2　混合建模117

　　6.2.1　混合模型的吉布斯采样119

　　6.2.2　混合模型的期望化119

　6.3　分类121

　　6.3.1　二次判别分析和线性判别
分析122

　　6.3.2　逻辑回归123

　　6.3.3　支持向量机124

　　6.3.4　分类损失函数和误分类
计数126

　　6.3.5　分类器的选择127

　6.4　回归127

　　6.4.1　线性回归127

　　6.4.2　贝叶斯和正则线性回归128

　　6.4.3　线性参数回归129

　　6.4.4　广义线性模型130

　　6.4.5　非参数、非线性回归131

　　6.4.6　变量选择133

　6.5　聚类134

　　6.5.1　K均值和变量135

　　6.5.2　软K均值聚类、均值
漂移聚类及其变体137

　　6.5.3　半监督聚类和分类139

　　6.5.4　聚类数的选择139

　　6.5.5　其他聚类方法140

　6.6　降维140

　　6.6.1　主成分分析141

　　6.6.2　概率主成分分析143

　　6.6.3　非线性降维145
第7章　线性高斯系统和信号
处理148
　7.1　预备知识148

　　7.1.1　三角信号和相关函数148

　　7.1.2　复数、单位根和复指数149

　　7.1.3　线性高斯模型的边缘和
条件150

　7.2　线性时不变系统151

　　7.2.1　卷积和脉冲响应151

　　7.2.2　离散时间傅里叶变换152

　　7.2.3　有限长周期信号：离散
傅里叶变换156

　　7.2.4　连续时间线性时不变
系统159

　　7.2.5　海森堡不确定性160

　　7.2.6　吉布斯现象161

　　7.2.7　离散时间线性时不变系统的
传递函数分析162

　　7.2.8　快速傅里叶变换164

　7.3　线性时不变信号处理167

　　7.3.1　有理滤波器设计：有限脉冲
响应和无限脉冲响应滤波167

　　7.3.2　数字滤波器设计方案175

　　7.3.3　超长信号的傅里叶变换176

　　7.3.4　作为离散卷积的核回归178

　7.4　线性高斯DSP的统计稳定性
研究179

　　7.4.1　离散时间高斯过程和
DSP179

　　7.4.2　非参数功率谱密度估计183

　　7.4.3　参数化功率谱密度估计187

　　7.4.4　子空间分析：在DSP中
使用主成分分析188

　7.5　卡尔曼滤波192

　　7.5.1　用于卡尔曼滤波计算的
连接树算法193

　　7.5.2　前向滤波194

　　7.5.3　后向平滑195

　　7.5.4　不完全数据似然196

　　7.5.5　线性高斯系统中的
维特比译码196

　　7.5.6　BaumWelch参数估计197

　　7.5.7　信号子空间分析中的
卡尔曼滤波199

　7.6　时变线性系统200

　　7.6.1　短时傅里叶变换和完美
重构200

　　7.6.2　连续时间小波变换202

　　7.6.3　离散化和离散小波变换204

　　7.6.4　小波设计207

　　7.6.5　离散小波变换的应用208
第8章　离散信号：采样、量化
和编码210
　8.1　离散时间采样210

　　8.1.1　带限采样211

　　8.1.2　均匀带限采样：Shannon
Whittaker插值212

　　8.1.3　广义均匀采样214

　8.2　量化217

　　8.2.1　率失真理论218

　　8.2.2　LloydMax和熵约束量化器
设计220

　　8.2.3　统计量化和抖动223

　　8.2.4　矢量量化228

　8.3　有损信号压缩229

　　8.3.1　音频压缩扩展229

　　8.3.2　线性预测编码230

　　8.3.3　变换编码232

　8.4　压缩感知234

　　8.4.1　稀疏和不相干235

　　8.4.