智能科学与技术丛书:模式识别

前言
符号表
**部分概述.........................................................................1
第1章绪论.............................................................................2
1.1样例:自动驾驶..................................................................3
1.2模式识别与机器学习.............................................................5
1.2.1一个典型的模式识别流程.....................................................5
1.2.2模式识别vs.机器学习.......................................................8
1.2.3评估、部署和细化...........................................................9
1.3本书的结构......................................................................9
习题.................................................................................12
第2章数学背景知识..................................................................14
2.1线性代数.......................................................................14
2.1.1内积、范数、距离和正交性..................................................14
2.1.2角度与不等式..............................................................15
2.1.3向量投影..................................................................16
2.1.4矩阵基础..................................................................17
2.1.5矩阵乘法..................................................................18
2.1.6方阵的行列式与逆..........................................................19
2.1.7方阵的特征值、特征向量、秩和迹............................................20
2.1.8奇异值分解................................................................22
2.1.9(半)正定实对称矩阵.......................................................22
2.2概率............................................................................23
2.2.1基础......................................................................23
2.2.2联合分布、条件分布与贝叶斯定理............................................25
2.2.3期望与方差/协方差矩阵.....................................................26
2.2.4不等式....................................................................27
2.2.5独立性与相关性............................................................28
2.2.6正态分布..................................................................29
2.3优化与矩阵微积分..............................................................30
2.3.1局部极小、必要条件和矩阵微积分............................................30
2.3.2凸优化与凹优化............................................................31
2.3.3约束优化和拉格朗日乘子法.................................................33
2.4算法复杂度.....................................................................34
2.5阅读材料.......................................................................35
习题.................................................................................35
第3章模式识别系统概述.............................................................39
3.1人脸识别.......................................................................39
3.2一个简单的*近邻分类器.......................................................40
3.2.1训练或学习................................................................40
3.2.2测试或预测................................................................40
3.2.3*近邻分类器..............................................................41
3.2.4k-近邻....................................................................42
3.3丑陋的细节.....................................................................43
3.4制定假设并化简................................................................46
3.4.1设计工作环境vs.设计复杂算法.............................................46
3.4.2假设与简化................................................................47
3.5一种框架.......................................................................51
3.6阅读材料.......................................................................51
习题.................................................................................53
第4章评估............................................................................55
4.1简单情形中的准确率和错误率..................................................55
4.1.1训练与测试误差............................................................56
4.1.2过拟合与欠拟合............................................................56
4.1.3使用验证集来选择超参数...................................................58
4.1.4交叉验证..................................................................59
4.2*小化代价/损失...............................................................61
4.2.1正则化....................................................................62
4.2.2代价矩阵..................................................................62
4.2.3贝叶斯决策理论............................................................63
4.3不平衡问题中的评估............................................................64
4.3.1单个类别内的比率..........................................................64
4.3.2ROC曲线下的面积.........................................................65
4.3.3查准率、查全率和F值.....................................................66
4.4我们能达到100％的准确率吗?..................................................68
4.4.1贝叶斯错误率..............................................................68
4.4.2真实标记..................................................................69
4.4.3偏置-方差分解.............................................................70
4.5对评估结果的信心..............................................................73
4.5.1为什么要取平均?...........................................................73
4.5.2为什么要报告样本标准差?..................................................74
4.5.3比较两个分类器............................................................75
4.6阅读材料.......................................................................79
习题.................................................................................79
第二部分与领域知识无关的特征提取.............................................83
第5章主成分分析.....................................................................84
5.1动机............................................................................84
5.1.1维度与内在维度............................................................84
5.1.2降维......................................................................86
5.1.3PCA与子空间方法.........................................................86
5.2PCA降维到零维子空间........................................................86
5.2.1想法-形式化-优化实践......................................................87
5.2.2一个简单的优化............................................................87
5.2.3一些注释..................................................................88
5.3PCA降维到一维子空间........................................................88
5.3.1新的形式化................................................................88
5.3.2*优性条件与化简..........................................................89
5.3.3与特征分解的联系..........................................................90
5.3.4解........................................................................91
5.4PCA投影到更多维度...........................................................91
5.5完整的PCA算法...............................................................92
5.6方差的分析.....................................................................93
5.6.1从*大化方差出发的PCA..................................................94
5.6.2一种更简单的推导..........................................................95
5.6.3我们需要多少维度呢?.......................................................95
5.7什么时候使用或不用PCA呢?..................................................96
5.7.1高斯数据的PCA..........................................................96
5.7.2非高斯数据的PCA........................................................96
5.7.3含异常点数据的PCA......................................................98
5.8白化变换.......................................................................98
5.9特征分解vs.SVD..............................................................98
5.10阅读材料......................................................................99
习题.................................................................................99
第6章Fisher线性判别..............................................................103
6.1用于二分类的FLD...........................................................104
6.1.1想法:什么是隔得很远呢?..................................................104
6.1.2翻译成数学语言...........................................................105
6.1.3散度矩阵vs.协方差矩阵..................................................107
6.1.4两种散度矩阵以及FLD的目标函数........................................108
6.1.5优化.....................................................................108
6.1.6等等,我们有一条捷径.....................................................109
6.1.7二分类问题的FLD.......................................................109
6.1.8陷阱:要是SW不可逆呢?..................................................110
6.2用于多类的FLD..............................................................111
6.2.1稍加修改的符号和SW....................................................111
6.2.2SB的候选................................................................111
6.2.3三个散度矩阵的故事.......................................................112
6.2.4解.......................................................................113
6.2.5找到更多投影方向.........................................................113
6.3阅读材料......................................................................113
习题................................................................................114
第三部分分类器与其他工具.......................................................119
第7章支持向量机...................................................................120
7.1SVM的关键思想..............................................................120
7.1.1简化它!简化它!简化它!..................................................120
7.1.2查找*大（或较大）间隔的分类器...........................................121
7.2可视化并计算间隔.............................................................122
7.2.1几何的可视化.............................................................123
7.2.2将间隔作为优化来计算....................................................124
7.3*大化间隔....................................................................124
7.3.1形式化...................................................................125
7.3.2各种简化.................................................................125
7.4优化与求解....................................................................127
7.4.1拉格朗日函数与KKT条件................................................127
7.4.2SVM的对偶形式..........................................................128
7.4.3*优的b值与支持向量....................................................129
7.4.4同时考虑原始形式与对偶形式..............................................131
7.5向线性不可分问题和多类问题的扩展..........................................131
7.5.1不可分问题的线性分类器..................................................132
7.5.2多类SVM...............................................................134
7.6核SVM.......................................................................134
7.6.1核技巧...................................................................135
7.6.2Mercer条件与特征映射....................................................136
7.6.3流行的核函数与超参数....................................................137
7.6.4SVM的复杂度、权衡及其他...............................................138
7.7阅读材料......................................................................139
习题................................................................................139
第8章概率方法......................................................................144
8.1思考问题的概率路线..........................................................144
8.1.1术语.....................................................................144
8.1.2分布与推断...............................................................145
8.1.3贝叶斯定理...............................................................145
8.2各种选择......................................................................146
8.2.1生成式模型vs.判别式模型................................................146
8.2.2参数化vs.非参数化.......................................................147
8.2.3该如何看待一个参数呢?...................................................148
8.3参数化估计....................................................................148
8.3.1*大似然.................................................................148
8.3.2*大后验.................................................................150
8.3.3贝叶斯...................................................................151
8.4非参数化估计..................................................................153
8.4.1一个一维的例子...........................................................153
8.4.2直方图近似中存在的问题..................................................155
8.4.3让你的样本无远弗届.......................................................156
8.4.4核密度估计...............................................................157
8.4.5带宽选择.................................................................158
8.4.6多变量KDE.............................................................158
8.5做出决策......................................................................159
8.6阅读材料......................................................................159
习题................................................................................160
第9章距离度量与数据变换..........................................................163
9.1距离度量和相似度度量........................................................163
9.1.1距离度量.................................................................164
9.1.2向量范数和度量...........................................................164
9.1.3lp范数和lp度量.........................................................165
9.1.4距离度量学习.............................................................167
9.1.5均值作为一种相似度度量..................................................168
9.1.6幂平均核.................................................................170
9.2数据变换和规范化.............................................................171
9.2.1线性回归.................................................................172
9.2.2特征规范化...............................................................173
9.2.3数据变换.................................................................175
9.3阅读材料......................................................................177
习题................................................................................177
第10章信息论和决策树.............................................................182
10.1前缀码和霍夫曼树............................................................182
10.2信息论基础...................................................................183
10.2.1熵和不确定性...........................................................184
10.2.2联合和条件熵...........................................................184
10.2.3互信息和相对熵.........................................................185
10.2.4一些不等式.............................................................186
10.2.5离散分布的熵...........................................................187
10.3连续分布的信息论............................................................187
10.3.1微分熵.................................................................188
10.3.2多元高斯分布的熵......................................................189
10.3.3高斯分布是*大熵分布..................................................191
10.4机器学习和模式识别中的信息论.............................................192
10.4.1*大熵.................................................................192
10.4.2*小交叉熵.............................................................193
10.4.3特征选择...............................................................194
10.5决策树........................................................................195
10.5.1异或问题及其决策树模型................................................195
10.5.2基于信息增益的结点划分................................................197
10.6阅读材料.....................................................................198
习题................................................................................199
第四部分处理变化多端的数据....................................................203
第11章稀疏数据和未对齐数据......................................................204
11.1稀疏机器学习................................................................204
11.1.1稀疏PCA?............................................................204
11.1.2使用l1范数诱导稀疏性.................................................205
11.1.3使用过完备的字典......................................................208
11.1.4其他一些相关的话题....................................................210
11.2动态时间规整................................................................212
11.2.1未对齐的时序数据......................................................212
11.2.2思路（或准则）.........................................................213
11.2.3可视化和形式化.........................................................214
11.2.4动态规划...............................................................215
11.3阅读材料.....................................................................218
习题................................................................................218
第12章隐马尔可夫模型.............................................................222
12.1时序数据与马尔可夫性质.....................................................222
12.1.1各种各样的时序数据和模型..............................................222
12.1.2马尔可夫性质...........................................................224
12.1.3离散时间马尔可夫链....................................................225
12.1.4隐马尔可夫模型.........................................................227
12.2HMM学习中的三个基本问题................................................228
12.3α、β和评估问题.............................................................229
12.3.1前向变量和算法.........................................................230
12.3.2后向变量和算法.........................................................231
12.4γ、δ、ψ和解码问题..........................................................234
12.4.1γ和独立解码的*优状态................................................234
12.4.2δ、ψ和联合解码的*优状态.............................................235
12.5ξ和HMM参数的学习.......................................................237
12.5.1Baum-Welch:以期望比例来更新?.......................................238
12.5.2如何计算ξ.............................................................238
12.6阅读材料.....................................................................240
习题................................................................................241
第五部分高阶课题.................................................................245
第13章正态分布.....................................................................246
13.1定义..........................................................................246
13.1.1单变量正态分布.........................................................246
13.1.2多元正态分布...........................................................247
13.2符号和参数化形式............................................................248
13.3线性运算与求和..............................................................249
13.3.1单变量的情形...........................................................249
13.3.2多变量的情形...........................................................250
13.4几何和马氏距离..............................................................251
13.5条件作用.....................................................................252
13.6高斯分布的乘积..............................................................253
13.7应用Ⅰ:参数估计............................................................254
13.7.1*大似然估计...........................................................254
13.7.2贝叶斯参数估计.........................................................255
13.8应用Ⅱ:卡尔曼滤波..........................................................256
13.8.1模型...................................................................256
13.8.2估计...................................................................257
13.9在本章中有用的数学.........................................................258
13.9.1高斯积分...............................................................258
13.9.2特征函数...............................................................259
13.9.3舒尔补&矩阵求逆引理.................................................260
13.9.4向量和矩阵导数.........................................................262
习题................................................................................263
第14章EM算法的基本思想........................................................266
14.1GMM:一个工作实例.........................................................266
14.1.1高斯混合模型...........................................................266
14.1.2基于隐变量的诠释......................................................267
14.1.3假若我们能观测到隐变量,那会怎样?......................................268
14.1.4我们可以模仿先知吗?...................................................269
14.2EM算法的非正式描述.......................................................270
14.3期望*大化算法..............................................................270
14.3.1联合非凹的不完整数据对数似然..........................................271
14.3.2(可能是)凹的完整数据对数似然..........................................271
14.3.3通用EM的推导........................................................272
14.3.4E步和M步...........................................................274
14.3.5EM算法...............................................................275
14.3.6EM能收敛吗?..........................................................275
14.4EM用于GMM..............................................................276
14.5阅读材料.....................................................................279
习题................................................................................279
第15章卷积神经网络................................................................281
15.1预备知识.....................................................................281
15.1.1张量和向量化...........................................................282
15.1.2向量微积分和链式法则..................................................283
15.2CNN概览....................................................................283
15.2.1结构...................................................................283
15.2.2前向运行...............................................................285
15.2.3随机梯度下降...........................................................285
15.2.4误差反向传播...........................................................286
15.3层的输入、输出和符号.......................................................287
15.4ReLU层......................................................................288
15.5卷积层........................................................................290
15.5.1什么是卷积?............................................................290
15.5.2为什么要进行卷积?.....................................................291
15.5.3卷积作为矩阵乘法......................................................293
15.5.4克罗内克积.............................................................295
15.5.5反向传播:更新参数.....................................................296
15.5.6更高维的指示矩阵......................................................297
15.5.7反向传播:为前一层准备监督信号.........................................298
15.5.8用卷积层实现全连接层..................................................300
15.6汇合层........................................................................301
15.7案例分析:VGG-16网络......................................................303
15.7.1VGG-Verydeep-16......................................................303
15.7.2感受野.................................................................304
15.8CNN的亲身体验.............................................................305
15.9阅读材料.....................................................................305
习题................................................................................305
参考文献................................................................................309
英文索引................................................................................325
中文索引................................................................................332