机器学习(PYTHON实现)

第1章绪论/1
1.1什么是机器学习1
1.1.1机器学习的定义1
1.1.2机器学习的三要素3
1.1.3机器学习与数据挖掘3
1.2为什么要进行机器学习5
1.3机器学习的发展历程5
1.4机器学习算法9
1.4.1监督学习9
1.4.2无监督学习10
1.4.3半监督学习11
1.4.4强化学习12
1.5机器学习的应用12
1.6机器学习开发工具与框架13
1.6.1机器学习常用开发工具13
1.6.2机器学习常用框架15
1.7机器学习数据集16
习题17
第1部分监 督 学 习
第2章线性模型/212.1基本形式21
2.2线性回归22
2.3线性分类25
2.4多分类策略28
习题33
本章实验34
第3章决策树分类/35
3.1基本概念35
3.1.1什么是分类35
3.1.2分类过程36
3.1.3分类器常见的构造方法37
3.1.4决策树分类38
3.2CART算法39
3.2.1CART算法介绍39
3.2.2CART算法原理40
3.2.3CART算法实例40
3.2.4CART算法Python实现42
3.2.5CART算法的优缺点43
3.3ID3算法43
3.3.1ID3算法介绍43
3.3.2ID3算法原理44
3.3.3ID3算法实例45
3.3.4ID3算法Python实现48
3.3.5ID3的优缺点51
3.4C4.5算法52
3.4.1C4.5算法介绍52
3.4.2C4.5算法原理52
3.4.3C4.5算法实例53
3.4.4C4.5算法Python实现58
3.4.5C4.5算法的优缺点59
3.53种算法的比较59
3.6分类算法评价60
3.6.1常用术语60
3.6.2评价指标61
3.6.3分类器性能的表示62
3.6.4分类器性能的评估方法65
习题66
本章实验68
〖1〗机器学习（Python实现）目录〖3〗〖3〗第4章贝叶斯分类器/69
4.1贝叶斯理论69
4.1.1条件概率和乘法定理69
4.1.2全概率公式和贝叶斯定理70
4.1.3极大后验假设和极大似然假设70
4.2朴素贝叶斯分类算法72
4.2.1NBC算法原理72
4.2.2朴素贝叶斯分类器的特点75
4.3朴素贝叶斯分类器在破产预测中的应用76
4.3.1实验环境及数据集76
4.3.2数据处理77
4.3.3模型构建77
4.3.4模型评价分析78
4.4极大期望算法79
4.4.1极大似然估计79
4.4.2极大期望算法81
4.4.3EM算法的优缺点86
4.5EM算法求解三硬币模型参数87
4.5.1三硬币模型87
4.5.2三硬币模型Python实现87
习题89
本章实验90
第5章集成学习/91
5.1基本概念91
5.1.1算法起源91
5.1.2基本概念91
5.2Bagging算法与随机森林93
5.2.1Bagging算法93
5.2.2随机森林94
5.3Boosting算法102
5.3.1Boosting算法概述102
5.3.2AdaBoost算法103
5.3.3GBDT和XGBoost118
习题119
本章实验120
第6章支持向量机/121
6.1*大间隔分类121
6.2支持向量机模型求解123
6.3核支持向量机模型130
6.4软件间隔支持向量机135
习题140
本章实验141
第2部分无监督学习
第7章关联规则/1457.1基本概念145
7.2Apriori算法149
7.2.1Apriori算法150
7.2.2Apriori算法实例154
7.2.3Apriori算法实现157
7.2.4Apriori算法总结162
7.3FPGrowth算法163
7.3.1FPGrowth算法简介164
7.3.2FPGrowth算法实例171
7.3.3FPGrowth算法实现173
7.3.4FPGrowth算法总结178
习题178
本章实验180
第8章聚类分析/181
8.1聚类分析优化模型181
8.1.1聚类分析概念181
8.1.2聚类优化模型182
8.2基于划分的聚类算法183
8.2.1Kmeans算法183
8.2.2Kmeans算法应用: 图像减色压缩186
8.2.3Kmeans算法的优缺点188
8.3基于层次的聚类算法189
8.3.1AGNES算法190
8.3.2DIANA算法194
8.4基于密度的聚类算法198
8.4.1DBSCAN198
8.4.2OPTICS204
8.4.3DENCLUE210
8.5聚类效果评估方法211
8.5.1估计聚类趋势212
8.5.2确定簇数213
8.5.3评估聚类质量214
习题220
本章实验221
第9章数据降维/222
9.1主成分分析222
9.2线性判别分析225
9.3核线性降维229
习题234
本章实验234
第3部分深 度 学 习
第10章神经网络/23710.1人工神经网络237
10.1.1人工神经网络介绍237
10.1.2人工神经网络的发展历史237
10.2前馈神经网络239
10.2.1神经元介绍239
10.2.2网络结构243
10.2.3前馈神经网络244
10.3反向传播算法246
10.3.1梯度下降246
10.3.2反向传播250
10.3.3神经网络优化中的挑战254
10.3.4神经网络调参方法256
10.4神经网络案例257
10.4.1前馈计算257
10.4.2反向传播计算258
10.5总结260
习题261
本章实验261
第11章深度学习/262
11.1卷积神经网络262
11.1.1卷积及卷积层262
11.1.2汇聚层266
11.1.3几种典型的卷积神经网络268
11.2循环神经网络281
11.2.1基础的循环神经网络281
11.2.2基于门控的循环神经网络286
11.2.3典型应用与实现289
11.3Transformer和大型语言模型297
11.3.1自注意力和Transformer架构297
11.3.2基于Transformer的预训练模型304
11.3.3ChatGPT308
习题313
本章实验314
第12章生成对抗网络/315
12.1算法原理315
12.2数学模型317
12.2.1GAN优化目标317
12.2.2GAN训练算法318
12.2.3分布距离度量319
12.2.4生成器G的全局*优解320
12.2.5GAN优势和劣势321
12.3变体模型322
12.3.1基于Wasserstein距离的生成对抗网络322
12.3.2深度卷积生成对抗网络325
12.4评价标准329
12.4.1IS系列330
12.4.2弗雷切特初始距离331
12.4.3*大均值差异332
12.4.4标准化相对鉴别分数332
12.5GAN实现手写体数字图片生成334
习题342
本章实验342
第4部分强 化 学 习
第13章强化学习/34513.1强化学习概述345
13.1.1基本原理345
13.1.2强化学习和有监督学习345
13.1.3强化学习方法分类346
13.1.4强化学习的发展与应用347
13.2QLearning算法348
13.2.1QLearning算法介绍348
13.2.2QLearning算法实现350
13.2.3QLearning算法实例350
13.2.4QLearning算法评价353
13.3SARSA算法353
13.3.1SARSA算法介绍353
13.3.2SARSA算法原理354
13.3.3SARSA算法实例354
13.3.4SARSA算法评价357
13.4DQN算法358
13.4.1DQN算法介绍358
13.4.2DQN算法原理359
13.4.3DQN算法实例359
13.4.4DQN算法评价362
习题362
本章实验362