机器学习数学基础

目录

第1章 向量和向量空间 1
1.1 向量 2
1.1.1 描述向量 3
1.1.2 向量的加法 10
1.1.3 向量的数量乘法 12
1.2 向量空间 14
1.2.1 什么是向量空间 14
1.2.2 线性组合 16
1.2.3 线性无关 17
1.2.4 子空间 23
1.3 基和维数 25
1.3.1 极大线性无关组 25
1.3.2 基 26
1.3.3 维数 32
1.4 内积空间 34
1.4.1 什么是内积空间 34
1.4.2 点积和欧几里得空间 36
1.5 距离和角度 38
1.5.1 距离 38
1.5.2 基于距离的分类 43
1.5.3 范数和正则化 46
1.5.4 角度 49
1.6 非欧几何 51

第2章 矩阵 54
2.1 基础知识 55
2.1.1 什么是矩阵 55
2.1.2 初等变换 59
2.1.3 矩阵加法 62
2.1.4 数量乘法 63
2.1.5 矩阵乘法 65
2.2 线性映射 70
2.2.1 理解什么是线性 70
2.2.2 线性映射 72
2.2.3 矩阵与线性映射 76
2.2.4 齐次坐标系 79
2.3 矩阵的逆和转置 85
2.3.1 逆矩阵 85
2.3.2 转置矩阵 89
2.3.3 矩阵LU分解 91
2.4 行列式 94
2.4.1 计算方法和意义 94
2.4.2 线性方程组 98
2.5 矩阵的秩 102
2.6 稀疏矩阵 107
2.6.1 生成稀疏矩阵 107
2.6.2 稀疏矩阵压缩 108
2.7 图与矩阵 112
2.7.1 图的基本概念 112
2.7.2 邻接矩阵 114
2.7.3 关联矩阵 119
2.7.4 拉普拉斯矩阵 120
第3章 特征值和特征向量 122
3.1 基本概念 123
3.1.1 定义 123
3.1.2 矩阵的迹 127
3.1.3 一般性质 128

3.2 应用示例 129
3.2.1 动力系统微分方程 129
3.2.2 马尔科夫矩阵 131
3.3 相似矩阵 135
3.3.1 相似变换 137
3.3.2 几何理解 141
3.3.3 对角化 144
3.4 正交和投影 150
3.4.1 正交集和标准正交基 150
3.4.2 正交矩阵 154
3.4.3 再探对称矩阵 156
3.4.4 投影 159
3.5 矩阵分解 163
3.5.1 QR分解 163
3.5.2 特征分解 167
3.5.3 奇异值分解 172
3.5.4 数据压缩 178
3.5.5 降噪 182
3.6 *小二乘法（1） 184
3.6.1 正规方程 184
3.6.2 线性回归（1） 186
第4章 向量分析 191
4.1 向量的代数运算 192
4.1.1 叉积 192
4.1.2 张量和外积 196
4.2 向量微分 199
4.2.1 函数及其导数 199
4.2.2 偏导数 201
4.2.3 梯度 206
4.2.4 矩阵导数 211
4.3 *优化方法 215
4.3.1 简单的线性规划 215
4.3.2 *小二乘法（2） 218
4.3.3 梯度下降法 221
4.3.4 线性回归（2） 226
4.3.5 牛顿法 228
4.4 反向传播算法 229
4.4.1 神经网络 230
4.4.2 参数学习 234
4.4.3 损失函数 248
4.4.4 激活函数 253
4.4.5 理论推导 258
第5章 概率 263
5.1 基本概念 264
5.1.1 试验和事件 264
5.1.2 理解概率 266
5.1.3 条件概率 269
5.2 贝叶斯定理 272
5.2.1 事件的独立性 273
5.2.2 全概率公式 274
5.2.3 理解贝叶斯定理 276
5.3 随机变量和概率分布 279
5.3.1 随机变量 279
5.3.2 离散型随机变量的分布 281
5.3.3 连续型随机变量的分布 295
5.3.4 多维随机变量及分布 307
5.3.5 条件概率分布 312
5.4 随机变量的和 317
5.4.1 离散型随机变量的和 317
5.4.2 连续型随机变量的和 318
5.5 随机变量的数字特征 321
5.5.1 数学期望 321
5.5.2 方差和协方差 326
5.5.3 计算相似度 337
5.5.4 协方差矩阵 343
第6章 数理统计 346
6.1 样本和抽样 347
6.1.1 总体和样本 347
6.1.2 统计量 348
6.2 点估计 353
6.2.1 *大似然估计 354
6.2.2 线性回归（3） 358
6.2.3 *大后验估计 362
6.2.4 估计的选择标准 365
6.3 区间估计 368
6.4 参数检验 373
6.4.1 基本概念 374
6.4.2 正态总体均值的假设检验 378
6.4.3 正态总体方差的假设检验 384
6.4.4 p值检验 385
6.4.5 用假设检验比较模型 388
6.5 非参数检验 391
6.5.1 拟合优度检验 391
6.5.2 列联表检验 394
第7章 信息与熵 399
7.1 度量信息 399
7.2 信息熵 402
7.3 联合熵和条件熵 406
7.4 相对熵和交叉熵 409
7.5 互信息 414
7.6 连续分布 416
附录 419
后记 436