机器学习与智能感知

第1章机器学习的发展史1
引言1
1.1机器学习1
1.1.1机器学习的定义和研究意义1
1.1.2机器学习的发展史3
1.1.3机器学习系统的基本结构4
1.1.4机器学习的分类5
1.1.5目前研究领域9
1.2统计模式识别问题9
1.2.1机器学习问题的表示10
1.2.2经验风险*小化11
1.2.3复杂性与推广能力12
1.3统计机器学习理论的核心内容13
1.3.1学习过程一致性的条件13
1.3.2推广性的界13
1.3.3结构风险*小化15
1.4解耦因果学习16
1.4.1因果学习17
1.4.2相关工作18
1.4.3解耦因果学习方法与应用18
1.5总结21
课后习题21 第2章决策树学习22
引言22
2.1决策树学习概述22
2.1.1决策树23
2.1.2性质24
2.1.3应用24
2.1.4学习24
2.2决策树设计25
2.2.1决策树的特点25
2.2.2决策树的生成25
2.3总结30
课后习题30 第3章PAC模型31
引言31
3.1基本的PAC模型31
3.1.1PAC简介31
3.1.2基本概念31
3.1.3问题框架32
3.2PAC模型样本复杂度分析33
3.2.1有限空间样本复杂度33
3.2.2无限空间样本复杂度34
3.3VC维计算35
3.4总结36
课后习题36 第4章贝叶斯学习37
引言37
4.1贝叶斯学习37
4.1.1贝叶斯公式37
4.1.2*小误差决策38
4.1.3正态密度38
4.1.4*大似然估计39
4.2朴素贝叶斯原理及应用40
4.2.1贝叶斯*佳假设原理40
4.2.2基于朴素贝叶斯的文本分类器40
4.3HMM（隐马尔可夫模型）及应用43
4.3.1马尔可夫性43
4.3.2马尔可夫链44
4.3.3转移概率矩阵44
4.3.4HMM（隐马尔可夫模型）及应用44
4.4总结48
课后习题49 第5章支持向量机50
引言50
5.1支持向量机概述50
5.1.1margin*大化50
5.1.2支持向量机优化51
5.2支持向量机的实例55
5.3支持向量机的实现算法55
5.4多类支持向量机57
5.5总结58
课后习题58 第6章AdaBoost59
引言59
6.1AdaBoost与目标检测59
6.1.1AdaBoost算法59
6.1.2AdaBoost训练61
6.1.3AdaBoost实例62
6.2具有强鲁棒性的实时目标检测63
6.2.1Haarlike矩形特征选取63
6.2.2积分图63
6.2.3训练结果64
6.2.4级联64
6.3随机森林65
6.3.1原理阐述66
6.3.2算法详解66
6.3.3算法分析67
6.4总结67
课后习题68 第7章压缩感知69
引言69
7.1压缩感知理论框架69
7.2压缩感知的基本理论及核心问题70
7.2.1压缩感知的数学模型70
7.2.2信号的稀疏表示70
7.2.3信号的观测矩阵71
7.2.4信号的重构算法72
7.3压缩感知的应用72
7.3.1应用72
7.3.2人脸识别73
7.4总结74
课后习题75 第8章子空间76
引言76
8.1基于主成分分析的特征提取76
8.2数学模型78
8.3主成分的数学上的计算78
8.3.1两个线性代数的结论78
8.3.2基于协方差矩阵的特征值分解79
8.3.3主成分分析的步骤80
8.4主成分分析的性质80
8.5基于主成分分析的人脸识别方法81
8.6总结82
课后习题82 第9章神经网络与深度学习83
引言83
9.1神经网络及其主要算法83
9.1.1前馈神经网络83
9.1.2感知器83
9.1.3反向传播算法85
9.2深度学习87
9.2.1深度学习算法基础与网络模型87
9.2.2深度学习算法原理88
9.2.3卷积神经网络算法原理91
9.3深度学习网络模型94
9.3.1深度学习网络架构94
9.3.2网络模型优化95
9.3.3代表性的网络模型97
9.4总结102
课后习题102 第10章调制压缩神经网络103
引言103
10.1神经网络模型压缩概述103
10.1.1量化与二值化104
10.1.2剪枝与共享104
10.2调制压缩神经网络106
10.3损失函数107
10.4前向卷积108
10.4.1重构卷积核108
10.4.2调制网络的前向卷积过程109
10.5调制卷积神经网络模型的梯度反传110
10.6MCN网络的实验验证112
10.6.1模型收敛效率114
10.6.2模型时间分析114
10.6.3实验结果114
课后习题115 第11章批量白化技术116
引言116
11.1批量标准化技术116
11.2批量白化方法117
11.2.1随机坐标交换问题117
11.2.2ZCA白化119
11.3批量白化模块121
11.4分析和讨论123
11.4.1提高模型的条件情况123
11.4.2近似的动态等距性124
11.5总结124
课后习题125 第12章正交权重矩阵126
引言126
12.1多个依赖的Stiefel流优化126
12.2正交权重矩阵的特性127
12.2.1稳定激活值的分布127
12.2.2规整化神经网络127
12.3正交权重标准化技术128
12.3.1设计正交变换128
12.3.2反向传播129
12.3.3正交线性模块130
12.4实验与分析131
12.4.1求解多个依赖的Stiefel流优化问题方法比较131
12.4.2多层感知机实验133
12.4.3ImageNet 2012大规模图像数据分类实验134
12.5总结135
课后习题135 第13章强化学习136
引言136
13.1AlphaGo技术136
13.2强化学习概述139
13.3强化学习过程140
13.3.1马尔可夫性140
13.3.2奖励141
13.3.3估价函数141
13.3.4动态规划141
13.3.5蒙特卡罗方法142
13.3.6时序差分学习143
13.4Q学习算法144
13.4.1Q学习算法介绍144
13.4.2奖励145
13.4.3Q学习算法的改进147
13.5程序实现148
课后习题151 参考文献152