人工智能的数学基础(人工智能面向新工科专业建设计算机系列教材)

第1章特征向量与矩阵分析1

1.1标量1

1.2特征向量与特征空间2

1.2.1特征空间的正交性3

1.2.2特征向量的大小与方向3

1.3向量转置4

1.4向量加法4

1.5向量乘法5

1.5.1向量数乘5

1.5.2向量内积6

1.5.3向量外积8

1.5.4分量乘法8

1.6向量的线性相关性9

1.7矩阵分析与人工智能9

1.8矩阵转置11

1.9矩阵加法12

1.10矩阵乘法13

1.10.1矩阵数乘13

1.10.2矩阵内积14

1.10.3矩阵内积的外积展开15

1.10.4元素乘法15

1.11矩阵的特征值与特征向量16

1.12矩阵的秩17

1.12.1初等变换18

1.12.2初等矩阵19

1.13矩阵的逆19

1.14矩阵的分块操作22

1.15矩阵的迹24

1.16矩阵分解26

1.16.1LU分解26

1.16.2特征分解27

1.16.3奇异值分解29

〖3〗人工智能的数学基础目录〖3〗1.17二次型与正定矩阵30

1.18张量32

小结32

习题33

参考文献34

第2章相似性度量35

2.1相似性度量的重要性35

2.2相似性度量的多样性36

2.3闵氏距离37

2.3.1曼哈顿距离38

2.3.2欧氏距离39

2.3.3切比雪夫距离39

2.3.4曼切转换39

2.4马氏距离40

2.4.1维度相关问题41

2.4.2独立化处理41

2.4.3与欧氏距离的关系42

2.5余弦距离43

2.5.1夹角余弦43

2.5.2距离度量44

2.6汉明距离44

2.6.1严格定义44

2.6.2松弛定义45

2.7杰卡德距离45

2.7.1严格定义45

2.7.2松弛定义45

2.8皮尔森距离46

2.8.1相关系数46

2.8.2距离度量47

2.8.3局限性47

2.9斯皮尔曼距离48

2.9.1相关系数48

2.9.2距离度量49

2.10肯德尔距离50

2.10.1相关系数50

2.10.2距离度量51

小结52

习题52

参考文献53

第3章函数与泛函分析55

3.1集合55

3.1.1定义与表示56

3.1.2元素特性56

3.1.3集合运算57

3.1.4凸集分离定理58

3.2区间60

3.2.1定义与表示60

3.2.2元素特性61

3.2.3区间算术61

3.3函数映射62

3.3.1自变量与因变量63

3.3.2多元函数63

3.3.3复合函数64

3.3.4连续性、单调性、奇偶性65

3.3.5函数凸性与极值66

3.3.6激活函数68

3.4导数69

3.4.1函数可导与泰勒展开69

3.4.2求导法则72

3.4.3偏导数与雅可比矩阵73

3.4.4方向导数与梯度76

3.4.5Hessian矩阵与函数凸性77

3.4.6凸函数成立条件78

3.4.7散度79

3.5微积分79

3.5.1微分79

3.5.2密切圆与曲率81

3.5.3不定积分81

3.5.4定积分82

3.6泛函数分析83

3.6.1基函数与函数内积84

3.6.2特征值与特征函数84

3.6.3线性空间与线性映射85

3.6.4对偶空间与对偶基85

3.6.5希尔伯特空间86

小结87

习题88

参考文献89

第4章条件概率与贝叶斯90

4.1事件与概率90

4.1.1随机试验90

4.1.2样本空间90

4.1.3随机事件91

4.1.4概率91

4.1.5条件概率92

4.1.6事件独立性92

4.1.7全概率93

4.2随机变量及其概率分布93

4.2.1随机变量93

4.2.2概率分布94

4.2.3独立同分布94

4.3样本统计量95

4.3.1均值95

4.3.2样本方差96

4.3.3期望96

4.3.4概率方差97

4.3.5协方差97

4.3.6协方差矩阵98

4.4常见的概率分布98

4.4.1二项分布98

4.4.2泊松分布99

4.4.3指数分布与伽马分布99

4.4.4贝塔分布100

4.4.5高斯分布及其变形100

4.4.6其他分布103

4.5贝叶斯决策103

4.5.1离散型贝叶斯公式103

4.5.2连续型贝叶斯公式104

4.5.3*小错误率贝叶斯决策105

4.5.4*小风险贝叶斯决策107

4.5.5朴素贝叶斯分类108

4.6参数估计109

4.6.1估计量与估计值109

4.6.2点估计与区间估计109

4.6.3置信区间与水平110

4.6.4估计量的评价110

4.6.5矩估计111

4.6.6*小二乘估计112

4.6.7*大似然估计112

4.6.8*大后验概率估计114

4.6.9贝叶斯估计与共轭分布114

4.7假设检验116

4.7.1原假设与备择假设116

4.7.2弃真与取伪116

4.7.3显著性水平与pvalue117

4.7.4双侧检验与单侧检验118

4.7.5代表性检验统计量与方法118

小结118

习题119

参考文献120

第5章信息论与熵121

5.1人工智能与信息论121

5.2特征编码122

5.2.1直接编码122

5.2.2Onehot编码123

5.2.3Dummy编码123

5.3压缩编码124

5.3.1聚类124

5.3.2特征降维124

5.3.3特征选择125

5.3.4稀疏编码126

5.3.5压缩感知127

5.4决策编码127

5.4.1假设空间128

5.4.2版本空间128

5.4.3决策平面128

5.4.4纠错输出码128

5.5决策解码129

5.5.1聚类129

5.5.2线性分类130

5.5.3纠错输出码130

5.5.4特征降维130

5.6自编码130

5.6.1恒等变换130

5.6.2欠完备自编码131

5.6.3稀疏自编码131

5.6.4收缩自编码器131

5.7不确定性与熵132

5.7.1定义与性质132

5.7.2联合熵133

5.7.3条件熵134

5.7.4交叉熵与损失函数135

5.7.5相对熵与KL散度136

5.8互信息136

5.8.1定义与性质137

5.8.2点互信息138

5.8.3与熵的关系138

小结139

习题140

参考文献141

第6章线性分析与卷积142

6.1线性分析142

6.1.1线性运算142

6.1.2线性空间142

6.1.3线性空间基143

6.1.4线性映射与变换143

6.1.5线性映射的矩阵表达144

6.1.6坐标变换144

6.2线性判别145

6.2.1判别函数145

6.2.2判别分析146

6.2.3非线性问题147

6.3卷积148

6.3.1定义148

6.3.2两个例子150

6.3.3性质151

6.3.4边界填充152

6.3.5步长153

6.3.6与线性变换的关系154

6.3.7几种特殊应用154

6.4池化154

6.4.1定义155

6.4.2作用与意义155

6.4.3与卷积的关系155

6.5反卷积156

6.5.1作用与意义156

6.5.2与线性变换的关系156

6.5.3卷积表示157

小结158

习题158

参考文献159

第7章正则化与范数160

7.1过拟合问题与正则化160

7.1.1泛化能力161

7.1.2过拟合与欠拟合161

7.1.3假设空间与归纳偏好161

7.1.4无免费午餐定理162

7.2硬正则化164

7.2.1数据归一化、标准化164

7.2.2提前终止训练166

7.2.3权值共享166

7.2.4池化167

7.2.5随机失效167

7.2.6集成学习168

7.2.7支持向量机169

7.3软正则化170

7.3.1损失函数170

7.3.2期望风险171

7.3.3经验风险172

7.3.4置信风险173

7.3.5VC维与置信风险173

7.3.6目标函数与支持向量机174

7.4范数正则化175

7.4.1定义与性质175

7.4.2向量范数175

7.4.3矩阵范数176

7.4.4关联关系178

小结178

习题179

参考文献179

第8章*优化理论与方法180

8.1*优化的意义与重要性180

8.2直接法181

8.2.1极值、*值与驻点181

8.2.2一元函数182

8.2.3二元函数182

8.2.4多元函数183

8.3无约束迭代法183

8.3.1一般迭代法183

8.3.2下降迭代法183

8.4梯度法184

8.4.1一阶泰勒展开184

8.4.2柯西施瓦茨不等式184

8.4.3学习率与梯度降184

8.4.4*速下降法185

8.4.5批量下降法与随机下降法185

8.5牛顿法186

8.5.1二阶泰勒展开与Hessian矩阵186

8.5.2一维线性搜索186

8.6拟牛顿法187

8.6.1Hessian逆的秩1修正188

8.6.2Hessian逆的秩2修正189

8.6.3秩1修正的逆190

8.6.4Hessian矩阵的近似及其变形191

8.7共轭梯度法193

8.7.1共轭向量与共轭方向193

8.7.2共轭方向法194

8.7.3共轭方向与梯度的正交关系196

8.7.4基于梯度的共轭方向生成198

8.8次梯度法201

8.8.1次梯度定义201

8.8.2次梯度取值201

8.8.3次梯度优化条件202

8.9坐标下降法202

8.9.1基本原理202

8.9.2解的可靠性203

8.9.3与共轭方向法的关系204

8.10约束优化205

8.10.1拉格朗日乘数法206

8.10.2KKT条件207

8.10.3拉格朗日对偶207

8.10.4强对偶成立的条件209

8.10.5一个实例212

小结214

习题215

参考文献216

附录216

第9章核函数映射219

9.1线性不可分问题219

9.2Cover定理221

9.2.1普通位置向量集221

9.2.2维度与线性可分的关系221

9.3核函数224

9.3.1Mercer定理225

9.3.2可组合扩展性226

9.3.3有效核的构造228

9.4多项式核228

9.4.1核矩阵的半正定性228

9.4.2齐次有序单项式向量空间229

9.4.3有序单项式向量空间231

9.4.4齐次无序单项式向量空间232

9.4.5无序单项式向量空间233

9.4.6线性核234

9.4.7高阶非线性核234

9.5径向基核235

9.5.1径向基函数235

9.5.2高斯核236

9.5.3幂指数核238

9.5.4拉普拉斯核238

9.5.5核矩阵的半正定性239

9.6Sigmoid核239

9.6.1条件半正定240

9.6.2与径向基核的关系240

9.7艰难的抉择241

9.8一个实例241

小结242

习题243

参考文献243

第10章性能评价与度量244

10.1性能评价的意义与重要性244

10.2模型选择与交叉验证244

10.3错误率与精度246

10.4混淆矩阵247

10.5查准查全问题248

10.5.1查准率与查全率249

10.5.2PR曲线249

10.5.3F分数250

10.6真假阳性问题251

10.6.1真/假阳/阴性率251

10.6.2ROC曲线与AUC252

10.7多混淆矩阵问题256

10.7.1宏平均256

10.7.2微平均257

10.8代价敏感问题258

10.8.1代价敏感矩阵258

10.8.2代价曲线与预测错误总体代价259

10.9假设检验261

10.9.1单一模型261

10.9.2多模型262

小结262

习题263

参考文献264