数据科学与大数据技术丛书Python机器学习原理与实践/数据科学与大数据技术丛书

第1章 机器学习与Python 概述

1.1 机器学习与人工智能1.1.1 符号主义人工智能

1.1.2 基于机器学习的人工智能

1.2 机器学习能做什么

1.2.1 机器学习的学习对象: 数据集

1.2.2 机器学习的任务

1.3 Python 实践课: 初识Python

1.3.1 实践一: Python 和Anaconda

1.3.2 实践二: Python 第三方包的引用

1.3.3 实践三: 学习Python 的NumPy 包

1.3.4 实践四: 学习Python 的Pandas 包

1.3.5 实践五: 学习Python 的Matplotlib 包

1.3.6 实践六: 了解Python 的Scikit-learn 包

附录

第2章 数据预测中的相关问题

2.1 数据预测与预测建模

2.1.1 预测模型

2.1.2 预测模型的几何理解

2.1.3 预测模型参数估计的基本策略

2.2 预测模型的评价

2.2.1 模型误差的评价指标

2.2.2 模型的图形化评价工具

2.2.3 泛化误差的估计方法

2.2.4 数据集的划分策略

2.3 预测模型的选择问题

2.3.1 几个重要观点

2.3.2 模型过拟合

2.3.3 预测模型的偏差和方差

2.4 Python 实践课: 加深理论理解，探索应用实践

2.4.1 实践一: 预测模型中的一般线性回归模型和Logistic 回归模型

2.4.2 实践二: 预测模型的评价指标和图形化评价工具

2.4.3 实践三: 不同复杂度模型下的训练误差和测试误差

2.4.4 实践四: 数据集划分以及测试误差估计

2.4.5 实践五: 模型的过拟合以及偏差和方差

附录

第3章 数据预测建模: 贝叶斯分类器

3.1 贝叶斯概率和贝叶斯法则

3.1.1 贝叶斯概率

3.1.2 贝叶斯法则

3.2 贝叶斯和朴素贝叶斯分类器

3.2.1 贝叶斯和朴素贝叶斯分类器的一般内容

3.2.2 贝叶斯分类器的先验分布

3.3 贝叶斯分类器的分类边界

3.4 Python 实践课: 加深理论理解，探索应用实践

3.4.1 实践一: 探索不同参数下的贝塔分布特点

3.4.2 实践二: 绘制贝叶斯分类器的分类边界

3.4.3 实践三: 二分类的空气污染预测

3.4.4 实践四: 多分类的文本分类预测

附录

第4章 数据预测建模: 近邻分析

4.1 近邻分析: K-近邻法

4.1.1 距离: K-近邻法的近邻度量

4.1.2 参数K: 1-近邻法还是K-近邻法

4.2 基于观测相似性的加权K-近邻法

4.2.1 加权K-近邻法的权重

4.2.2 加权K-近邻法的预测

4.2.3 加权K-近邻法的分类边界

4.3 K-近邻法的适用性

4.4 Python 实践课: 加深理论理解，探索应用实践

4.4.1 实践一: K-近邻法不同参数K下的分类边界

4.4.2 实践二: 探讨加权K-近邻法中不同核函数的特点

4.4.3 实践三: 加权K{近邻法不同参数和加权策略下的分类边界

4.4.4 实践三: 空气质量等级预测中的*优参数K

4.4.5 K-近邻法的回归预测问题

附录

第5章 数据预测建模: 决策树

5.1 决策树的核心问题

5.1.1 什么是决策树

5.1.2 分类树的分类边界

5.1.3 回归树的回归平面

5.1.4 决策树的生长和剪枝

5.2 分类回归树的生长

5.2.1 分类树中的异质性度量

5.2.2 回归树中的异质性度量

5.3 分类回归树的剪枝

5.3.1 代价复杂度和*小代价复杂度

5.3.2 分类回归树的剪枝过程

5.4 Python 实践课: 加深理论理解，探索应用实践

5.4.1 实践一: 回归树的回归面

5.4.2 实践二: 不同树深度下分类树的分类边界

5.4.3 实践三: 分类树中的基尼系数和熵

5.4.4 实践四: 空气质量等级的分类预测

5.4.5 实践五: 回归树和过拟合

附录

第6章 数据预测建模: 集成学习

6.1 集成学习的一般问题

6.1.1 集成学习: 解决高方差问题

6.1.2 集成学习: 从弱模型到强模型

6.2 基于重抽样自举法的集成学习

6.2.1 重抽样自举法

6.2.2 袋装策略

6.2.3 随机森林

6.3 集成学习: 从弱模型到强模型

6.3.1 提升策略

6.3.2 AdaBoost.M1 算法

6.3.3 SAMME 算法和SAMME.R算法

6.3.4 回归预测中的提升策略

6.4 梯度提升树

6.4.1 梯度提升算法

6.4.2 梯度提升回归树

6.4.3 梯度提升分类树

6.5 XGBoost 算法精要

6.5.1 XGBoost 算法中的目标函数

6.5.2 目标函数的近似表达

6.5.3 决策树的求解

6.6 Python 实践课: 加深理论理解，探索应用实践

6.6.1 实践一: 探讨袋装策略和随机森林的方差

6.6.2 实践二: 探讨提升策略集成学习的预测效果

6.6.3 实践三: 提升策略集成学习下高权重样本观测的变化

6.6.4 实践四: 不同损失函数下AdaBoost 回归预测

6.6.5 实践五: 梯度提升算法和提升策略集成学习的对比

6.6.6 实践六: 基于空气质量监测数据, 对比集成学习的各种策略

附录

第7章 数据预测建模：人工神经网络

7.1 人工神经网络的基本概念

7.1.1 网络的基本构成

7.1.2 网络节点的功能

7.2 感知机网络

7.2.1 感知机网络中的节点

7.2.2 感知机节点中的加法器

7.2.3 感知机节点中的激活函数

7.2.4 感知机的权重训练

7.3 多层感知机及B-P 反向传播算法

7.3.1 多层网络的结构

7.3.2 多层网络的隐藏节点

7.3.3 B-P 反向传播算法

7.3.4 多层网络的其他问题

7.4 Python 实践课: 加深理论理解，探索应用实践

7.4.1 实践一: 探讨二层感知机输出节点不同激活函数的情况

7.4.2 实践二: 利用模拟数据探讨多层感知机网络中隐藏节点的影响

7.4.3 实践三: 基于手写体邮政编码点阵数据实现数字识别

7.4.4 实践四: 基于空气质量监测数据对PM2.5 的浓度进行预测

附录

第8章 数据预测建模: 支持向量机

8.1 支持向量分类的一般问题

8.1.1 支持向量分类的基本思路

8.1.2 支持向量分类的三种情况

8.2 完全线性可分下的支持向量分类

8.2.1 如何求解超平面

8.2.2 参数求解的拉格朗日乘子法

8.2.3 支持向量分类的预测

8.3 广义线性可分下的支持向量分类

8.3.1 广义线性可分下的超平面

8.3.2 广义线性可分下的错误惩罚和目标函数

8.3.3 广义线性可分下的超平面参数求解

8.4 线性不可分问题下的支持向量分类

8.4.1 线性不可分问题的一般解决方式

8.4.2 支持向量分类克服维灾难的途径

8.5 支持向量回归

8.5.1 支持向量回归的基本思路

8.5.2 支持向量回归的目标函数和约束条件

8.6 Python 实践课: 加深理论理解，探索应用实践

8.6.1 实践一: 探讨支持向量机分类的意义

8.6.2 实践二: 探讨完全线性可分下的支持向量分类

8.6.3 实践三: 探讨广义线性可分下不同惩罚参数C 下的分类边界

8.6.4 实践四: 探讨非线性可分下的空间变化思路

8.6.5 实践五: 探讨非线性可分下不同惩罚参数C 和核函数下的分类曲面

8.6.6 实践六: 探讨支持向量回归中不同惩罚参数C 和??对回归的影响

附录

第9章 特征选择: 过滤、包裹和嵌入策略

9.1 过滤式策略下的特征选择

9.1.1 低方差过滤法

9.1.2 分类预测中的高相关过滤法：F 统计量

9.1.3 分类预测中的高相关过滤法：x2统计量

9.1.4 分类预测中的高相关过滤法：其他统计量

9.2 包裹式策略下的特征选择

9.2.1 包裹式策略的基本思路

9.2.2 递归式特征剔除法

9.2.3 基于交叉验证的递归式特征剔除法

9.3 嵌入式策略下的特征选择

9.3.1 岭回归和Lasso 回归

9.3.2 弹性网回归

9.4 Python 实践课: 加深理论理解，探索应用实践

9.4.1 实践一: 探讨低方差过滤法的应用意义

9.4.2 实践二: 探索高相关过滤法中的F 分布和卡方分布特点及应用

9.4.3 实践三: 探索包裹式策略下的特征选择及应用

9.4.4 实践四: 探索Lasso 回归中收缩参数ɑ变化对特征选择的影响

9.4.5 实践五: 探索弹性网回归中不同L2 范数率变化对模型的影响

附录

第10章 特征提取: 空间变换策略

10.1 主成分分析

10.1.1 主成分分析的基本出发点

10.1.2 主成分分析的基本原理

10.1.3 确定主成分

10.2 矩阵的奇异值分解

10.2.1 奇异值分解的基本思路

10.2.2 基于奇异值分解的特征提取

10.3 核主成分分析

10.3.1 核主成分分析的出发点

10.3.2 核主成分分析的基本原理

10.3.3 核主成分分析中的核函数

10.4 因子分析

10.4.1 因子分析的基本出发点

10.4.2 因子分析的基本原理

10.4.3 因子载荷矩阵的求解

10.4.4 因子得分的计算

10.4.5 因子分析的其他问题

10.5 Python 实践课: 加深理论理解，探索应用实践

10.5.1 实践一: 探索主成分分析的基本原理和实践

10.5.2 实践二: 基于脸部点阵灰度数据，探索奇异值分解的应用

10.5.3 实践三: 探索核主成分分析的意义和应用

10.5.4 实践四: 探索因子分析的基本原理

10.5.5 实践五: 基于空气质量监测数据, 探索因子分析的应用

附录

第11章 揭示数据内在结构：聚类分析

11.1 聚类分析的一般问题

11.1.1 聚类分析的目的

11.1.2 聚类算法概述

11.1.3 聚类解的评价

11.1.4 聚类解的可视化

11.2 基于质心的聚类模型: K-均值聚类

11.2.1 K-均值聚类基本过程

11.2.2 K-均值聚类中的聚类数目

11.2.3 基于K-均值聚类的预测

11.3 基于联通性的聚类模型: 系统聚类

11.3.1 系统聚类的基本过程

11.3.2 系统聚类中距离的联通性测度

11.3.3 系统聚类中的聚类数目

11.3.4 系统聚类中的其他问题

11.4 基于高斯分布的聚类模型：EM聚类

11.4.1 基于高斯分布聚类的出发点：有限混合分布

11.4.2 EM 聚类算法

11.5 Python 实践课: 加深理论理解，探索实践应用

11.5.1 实践一: 探讨K-值聚类特点和确定聚类数目K 的方法

11.5.2 实践二: 探讨系统聚类过程和可视化工具

11.5.3 实践三: 探讨聚类分析的实际应用

11.5.4 实践四: 探讨EM 聚类的适用场景和聚类实现

附录

第12章 揭示数据内在结构: 特色聚类

12.1 基于密度的聚类: DBSCAN聚类

12.1.1 DBSCAN 聚类中的相关概念

12.1.2 DBSCAN 聚类过程

12.1.3 DBSCAN 聚类的参数敏感性

12.2 Mean-Shift 聚类

12.2.1 什么是核密度估计

12.2.2 核密度估计在Mean-Shift聚类中的意义

12.2.3 Mean-Shift 聚类过程

12.3 BIRCH 聚类

12.3.1 BIRCH 聚类的特点

12.3.2 BIRCH 算法中的聚类特征树

12.3.3 BIRCH 聚类的核心步骤

12.3.4 BIRCH 聚类的在线动态聚类

12.3.5 BIRCH 聚类解的优化

12.4 Python 实践课: 加深理论理解，探索应用实践

12.4.1 探索DBSCAN 聚类算法的异形聚类特点以及参数敏感性

12.4.2 实现单变量的核密度估计，理解Mean-Shift 聚类算法

12.4.3 探讨BIRCH 聚类的动态性特点

附录