机器学习中的基本算法

前言
□□章 机器学习简介 1
1.1 机器学习的基本概念 1
1.1.1 何为机器学习 1
1.1.2 机器学习的发展历程 2
1.1.3 机器学习与人工智能和深度学习之间的关系 3
1.1.4 机器学习的工作流程 4
1.2 两个简单的例子 5
1.3 机器学习的研究内容 6
1.3.1 机器学习算法的种类 6
1.3.2 机器学习算法的评价标准 7
1.3.3 机器学习算法中的过拟合和欠拟合现象 8
1.4 机器学习算法概述 9
第2章 优化的基本理论 14
2.1 优化问题 14
2.2 基本概念与基本结论 18
2.3 优性条件 22
2.4 优化模型的 Wolfe 对偶形式 28
2.5 无约束优化算法 31
2.5.1 速下降法 32
2.5.2 Newton 法 32
2.5.3 阻尼 Newton 法 33
2.5.4 FR 共轭梯度法 33
2.5.5 Newton-Armijo 法 34
2.6 求解二次规划的两种快速算法 35
2.6.1 对偶坐标下降算法 35
2.6.2 逐次超松弛迭代算法 36
2.7 交替方向乘子法简介 38
2.7.1 乘子法 38
2.7.2 交替方向乘子法 39
2.7.3 全局一致性优化 40
2.7.4 基于 1-范数的 ADMM 41
参考文献 44
第3章 支持向量分类机 45
3.1 基本概念 45
3.2 硬间隔 SVM 47
3.3 软间隔 SVM 50
3.4 小二乘 SVM 54
3.5 正则化小二乘 SVM 55
3.5.1 正则化 LSSVM 55
3.5.2 快速学习 RLSSVM 的方法 57
3.6 正定核函数 58
3.7 再生核 Hilbert 空间 63
3.8 非线性 SVM 65
3.9 孪生 SVM 68
3.10 孪生有界 SVM 78
3.10.1 线性 TBSVM 78
3.10.2 非线性 TBSVM 81
习题与思考题 85
参考文献 86
第4章 支持向量回归机 88
4.1 回归问题的提出 88
4.2 线性 SVR 90
4.2.1 线性硬 ε-带 SVR 91
4.2.2 线性 ε-SVR 93
4.3 非线性 SVR 94
4.4 孪生 SVR 96
4.4.1 线性 TSVR 96
4.4.2 非线性 TSVR 97
4.5 "-孪生 SVR 99
4.5.1 线性 ε-TSVR 99
4.5.2 非线性 ε-TSVR 100
4.6 TSVR 的两种小二乘形式 102
4.6.1 小二乘 TSVR 102
4.6.2 孪生小二乘 SVR 104
习题与思考题 107
参考文献 107
第5章 数据的特征组合方法 108
5.1 预备知识 108
5.1.1 矩阵的范数 108
5.1.2 矩阵的分解 110
5.1.3 类内、类间和总体散阵 112
5.2 主成分分析 113
5.2.1 向量内积的几何含义 113
5.2.2 坐标系的变换 113
5.2.3 PCA 算法 115
5.3 线性判别分析 117
5.4 LDA 的推广 122
5.4.1 经典 LDA 123
5.4.2 不相关 LDA 124
5.4.3 正交 LDA 125
5.4.4 正则化 LDA 126
习题与思考题 127
参考文献 128
第6章 数据聚类方法 130
6.1 k-均值聚类与 k-中心聚类 130
6.1.1 k-均值聚类 130
6.1.2 k-中心聚类 133
6.2 凝聚聚类法 133
6.3 密度聚类法 135
6.4 谱聚类 139
6.4.1 基本概念 139
6.4.2 图的分割原则 140
6.4.3 谱聚类流程 140
6.5 极大期望聚类法 141
习题与思考题 143
参考文献 143
第7章 神经网络简介 144
7.1 神经元与激活函数 144
7.2 前馈神经网络 147
7.3 反向传播算法 150
7.3.1 误差的计算 151
7.3.2 梯度的计算 151
7.4 正则化极端学习机 152
7.4.1 线性 RELM 153
7.4.2 非线性 RELM 155
7.4.3 在 RELM 中常用的激活函数和核函数 157
7.5 卷积神经网络 158
7.5.1 卷积核的工作原理 159
7.5.2 如何利用权值和不为 1 的卷积核得到一个灰度图像 162
7.5.3 卷积核权值的确定 162
7.5.4 池化层的作用 164
习题与思考题 166
参考文献 166
第8章 典型相关分析 167
8.1 预备知识 167
8.1.1 随机变量的方差、协方差和相关系数 167
8.1.2 随机向量的方差、协方差和相关系数 168
8.1.3 随机矩阵的方差、协方差和相关系数 169
8.2 经典 CCA 170
8.2.1 经典 CCA 的数学模型 170
8.2.2 经典 CCA 的几何解释 172
8.2.3 经典 CCA 的求解算法 172
8.3 监督 CCA 175
习题与思考题 177
参考文献 177
彩图