Python机器学习技术:模型关系管理

第 1 部分 机器学习概念与特征工程
第 1 章 机器学习的基础概念 / 002
1．1 数据源 / 002
1．1．1 数值：单元格 / 002
1．1．2 图像：像素点 / 003
1．1．3 文本：词向量 / 004
1．2 模型的基本形式：回归 / 006
1．2．1 文氏图：方差分解 / 006
1．2．2 分布图：分布与随机 / 007
1．2．3 角色：监督与非监督 / 008
1．2．4 模型应用：归因与预测 / 008
1．3 模型与算法 / 013
1．3．1 模型进化：从 1．0 到 4．0 / 013
1．3．2 算法驱动：参数与超参数 / 014
1．4 SMD 学习技术 / 014
1．4．1 统计学习：线性回归 / 014
1．4．2 机器学习：支持向量机 / 015
1．4．3 深度学习：神经网络 / 016
1．5 机器学习误差源 / 018
1．5．1 误差源 / 018
1．5．2 偏差与方差窘境 / 019
1．6 模型拟合诊断 / 020
1．6．1 模型拟合 / 020
1．6．2 模型的评估指标 / 021
1．7 数据分区技术 / 024
1．7．1 数据分区：训练与评估 / 025
1．7．2 交叉验证：分区的升级 / 026
1．8 集成学习方法 / 028
1．8．1 强分类器：特征工程+模型 / 029
1．8．2 弱分类器：模型+模型 / 029
1．8．3 混合专家：神经网络 / 029
1．9 运算加速度 / 029
1．9．1 大数据挑战 / 030
1．9．2 数据的高效运算 / 030

第 2 章 特征工程技术 / 032
2．1 数据变换 / 032
2．1．1 特征规范化：对中处理 / 033
2．1．2 样本规范化：距离相似度 / 035
2．2 数据编码 / 036
2．2．1 独热编码：无序性 / 037
2．2．2 数据分箱：业务标签 / 038
2．3 缺失值填补 / 039
2．3．1 中位数填补：稳健 / 039
2．3．2 *近邻填补：高维 / 039
2．3．3 随机森林填补：“贤内助” / 041
2．4 异常值诊断 / 045
2．4．1 单变量异常值：描述 / 045
2．4．2 多变量异常值：监督 / 046
2．4．3 多变量异常值：非监督 / 046
2．4．4 非结构式异常值：自编码器 / 047
2．5 共线性的危害 / 053
2．5．1 双变量共线：新特征 / 053
2．5．2 多变量共线：特征分解 / 055
2．5．3 特征组合技术 / 058
2．6 特征筛选技术 / 059
2．6．1 经验：“站在谁的肩膀上” / 061
2．6．2 相关：相关系数 / 061
2．6．3 回归：特征筛选 / 061
2．6．4 降维：线性与非线性 / 062
2．6．5 工具：“指南针” / 065
2．7 聚类技术：市场细分 / 066

第 2 部分 机器学习技术
第 3 章 机器学习准备 / 069
3．1 机器学习的数学基础 / 069
3．1．1 微积分基础 / 069
3．1．2 向量运算：相关分析 / 072
3．1．3 矩阵运算：回归模型 / 074
3．1．4 张量运算：神经网络 / 076
3．2 机器学习理解 / 077
3．2．1 连续型因变量：线性回归 / 077
3．2．2 分类型因变量：逻辑回归 / 081
3．3 机器学习算法 / 083
3．3．1 *小二乘法：准确度 / 083
3．3．2 *大似然估计法：测量 / 083
3．3．3 随机梯度下降法：大数据 / 085

第 4 章 统计学：回归“进化” / 087
4．1 大数据与回归模型 / 087
4．1．1 统计学的烦恼 / 087
4．1．2 线性回归的进化 / 088
4．2 正则化约束 / 089
4．2．1 正则化技术的原理 / 089
4．2．2 LASSO 回归与岭回归 / 090
4．2．3 弹性网的特征 / 091
4．3 案例：随机梯度下降回归与归因解释 / 092

第 5 章 神经网络模型：预测 / 096
5．1 感知器模型 / 096
5．1．1 与或四门通往何方 / 096
5．1．2 感知器=线性回归 / 099
5．1．3 激活函数为何是非线性的 / 100
5．1．4 感知器=CPU / 102
5．2 神经网络模型 / 102
5．2．1 感知器集成：网络结构 / 102
5．2．2 前向传播技术：联立方程 / 105
5．2．3 反向传播技术：自动微分 / 107
5．2．4 网络结构设计：隐含层 / 110
5．2．5 神经网络专题 1：特征工程 / 111
5．2．6 神经网络专题 2：维度灾难 / 112
5．3 案例：数据分析流与神经网络 / 112


第 6 章 决策树：归因与可视化 / 122
6．1 决策树模型原理 / 122
6．1．1 熵与相关性 / 122
6．1．2 决策树概览 / 123
6．1．3 特征分叉运算 / 124
6．1．4 特征选择运算 / 125
6．1．5 决策树与剪枝 / 128
6．2 树模型的特征 / 128
6．3 两类归因：决策树与逻辑回归 / 130
6．3．1 树形图解释 / 130
6．3．2 S 形图解释 / 131

第 7 章 支持向量机：高维数据 / 135
7．1 支持向量机简介 / 135
7．1．1 超平面 / 135
7．1．2 点距超平面 / 137
7．2 线性支持向量机 / 138
7．2．1 硬间隔：严格边界 / 138
7．2．2 软间隔：松弛边界 / 138
7．3 非线性与核技巧 / 139
7．3．1 理解核技巧 / 139
7．3．2 核函数及其应用 / 140
7．3．3 支持向量机：经验汇总 / 141
7．4 支持向量机模型运算 / 142
7．5 案例：图像识别与预测分类 / 144
第 8 章 关联分析 / 148
8．1 数据源格式 / 148
8．1．1 标准数据格式 / 148
8．1．2 概念的层级性 / 149
8．2 关联规则与度量指标 / 150
8．2．1 关联规则度量 / 150
8．2．2 频繁项集 / 151
8．2．3 Apriori 算法 / 151
8．2．4 强关联规则 / 153
8．3 案例：商品关联过滤与营销推荐 / 154

第 3 部分 模型关系管理
第 9 章 集成学习方法：弱集成 / 160
9．1 集成学习：弱分类器 / 160
9．1．1 自抽样法 / 161
9．1．2 套袋法与随机森林 / 162
9．1．3 套袋法的运算 / 163
9．1．4 随机森林与特征工程 / 165
9．1．5 提升法与提升树 / 165
9．1．6 提升法的运算 / 167
9．1．7 XGBoost 的原理与应用 / 170
9．2 集成学习：聚合策略 / 173
9．2．1 简单投票法 / 174
9．2．2 堆叠法 / 175
9．2．3 理论判断法 / 176
9．2．4 元分析法 / 177
9．2．5 结构方程模型 / 178

第 10 章 多阶段模型管理：强集成 / 181
10．1 特征工程与模型集成 / 181
10．1．1 机器学习与模型关系管理 / 181
10．1．2 “主成分+”与“聚类+”模式 / 182
10．2 多阶段模型管理与案例解析 / 183
10．2．1 线性与非线性：决策树+回归 / 184
10．2．2 异常诊断一：异常评分+主次归因+规则归因 / 190
10．2．3 异常诊断二：异常规则+复杂归因 / 195
10．2．4 经验法：贝叶斯规则+回归 / 199
10．2．5 不平衡修正：平衡性抽样+模型集成 / 208
10．2．6 数据源：问卷+数据库 / 212

第 11 章 深度学习模型：混合专家 / 219
11．1 全连接神经网络：数值分析 / 220
11．1．1 全连接神经网络规则 / 220
11．1．2 梯度爆炸与梯度消失 / 221
11．1．3 全连接层：正则化 / 224
11．1．4 构建全连接神经网络 / 224
11．2 卷积神经网络：图像识别 / 225
11．2．1 卷积层：核运算 / 226
11．2．2 池化层：标准化 / 232
11．2．3 全连接层：信息传递 / 233
11．2．4 构建卷积神经网络 / 234
11．3 循环神经网络：自然语言处理 / 237
11．3．1 概率语言模型 / 237
11．3．2 循环神经网络 / 239
11．3．3 长短期记忆网络 / 241
11．3．4 构建循环神经网络 / 244

第 12 章 自动化机器学习 / 246
12．1 自动化与集成学习 / 246
12．1．1 自动化集成 / 246
12．1．2 TPOT 配置 / 247
12．1．3 案例：模型复杂度评估 / 248
12．2 数据分析流水线 / 251
12．2．1 数据分析流 / 252
12．2．2 模型失效周期 / 255
12．2．3 知识发现与模型 / 258
12．2．4 流水线技术准备 / 259
12．2．5 创建复杂流水线 / 261
12．3 超参数与高效运行 / 265
12．3．1 热启动 / 266
12．3．2 随机搜索 / 266
12．3．3 贝叶斯搜索 / 268
12．3．4 增量学习 / 269
总结与展望 / 272