PYTHON机器学习算法及应用

第1章 在数据上的计算机学习能力…………………………………………………………… 1 1.1 转换机器学习 ………………………………………………………………………… 1 1.1.1 转换机器学习简介…………………………………………………………… 1 查看源码 1.1.2 转换机器学习对比其他方法………………………………………………… 2 1.1.3 转换机器学习的改进………………………………………………………… 2 1.1.4 转换机器学习的可解释性…………………………………………………… 3 1.1.5 转换机器学习对比深度神经网络…………………………………………… 3 1.1.6 构建机器学习的生态系统…………………………………………………… 3 1.2 三种不同类型的机器学习 …………………………………………………………… 4 1.2.1 用监督学习预测未来………………………………………………………… 4 1.2.2 用强化学习解决交互问题…………………………………………………… 5 1.2.3 用无监督学习发现隐藏的结构……………………………………………… 6 1.2.4 分类和回归术语……………………………………………………………… 6 1.3 评估机器学习模型 …………………………………………………………………… 7 1.3.1 简单的留出验证……………………………………………………………… 8 1.3.2 K 折验证 …………………………………………………………………… 9 1.3.3 带有打乱数据的重复 K 折验证 …………………………………………… 11 1.4 数据预处理、特征工程和特征学习 ………………………………………………… 12 1.4.1 神经网络的数据预处理 …………………………………………………… 12 1.4.2 特征工程 …………………………………………………………………… 14 1.5 过拟合和欠拟合……………………………………………………………………… 14 1.5.1 减小网络大小 ……………………………………………………………… 14 1.5.2 添加权重正则化 …………………………………………………………… 16 1.5.3 添加dropout正则化 ……………………………………………………… 17 1.6 机器学习工作流程…………………………………………………………………… 18 1.6.1 收集数据集 ………………………………………………………………… 19 1.6.2 选择衡量成功的指标 ……………………………………………………… 19 1.6.3 确定评估法 ………………………………………………………………… 19 1.6.4 开发更好的模型 …………………………………………………………… 20 1.6.5 扩大模型规模 ……………………………………………………………… 20 1.6.6 正则化与调节超参数 ……………………………………………………… 20 1.7 应用 Python解决机器学习问题 …………………………………………………… 21 1.7.1 使用 Python的原因 ……………………………………………………… 21 1.7.2 Python的安装 ……………………………………………………………… 21 1.7.3 JupyterNotebook的安装与使用 ………………………………………… 22 Ⅳ 1.7.4 使用pip安装第三方库 …………………………………………………… 24 1.8 用于机器学习的软件包……………………………………………………………… 26 1.8.1 NumPy软件包 …………………………………………………………… 26 1.8.2 SciPy软件包 ……………………………………………………………… 34 1.8.3 Pandas软件包 ……………………………………………………………… 40 第2章 简单的机器学习分类算法 …………………………………………………………… 46 2.1 机器学习的早期历史———人工神经网络…………………………………………… 46 2.1.1 人工神经网络的定义 ……………………………………………………… 46 2.1.2 感知机学习规则 …………………………………………………………… 47 2.2 感知机分类鸢尾……………………………………………………………………… 50 2.3 自适应神经学习……………………………………………………………………… 54 2.4 大规模机器学习与随机梯度下降…………………………………………………… 57 2.4.1 梯度下降算法概述 ………………………………………………………… 57 2.4.2 批量梯度下降算法 ………………………………………………………… 58 2.4.3 随机梯度下降算法 ………………………………………………………… 59 2.4.4 小批量梯度下降算法 ……………………………………………………… 60 2.4.5 梯度下降算法的调优 ……………………………………………………… 62 第3章 sklearn机器学习分类器 ……………………………………………………………… 63 3.1 分类器的选择………………………………………………………………………… 63 3.2 训练感知器…………………………………………………………………………… 64 3.3 基于逻辑回归的分类概率建模……………………………………………………… 66 3.3.1 几个相关定义 ……………………………………………………………… 67 3.3.2 逻辑代价函数的权重 ……………………………………………………… 67 3.3.3 正则化解决过拟合问题 …………………………………………………… 69 3.4 支持向量机*大化分类间隔………………………………………………………… 70 3.4.1 超平面 ……………………………………………………………………… 70 3.4.2 函数间隔和几何间隔 ……………………………………………………… 71 3.4.3 间隔*大化 ………………………………………………………………… 71 3.5 核 SVM 解决非线性分类问题 ……………………………………………………… 72 3.5.1 处理非线性不可分数据的核方法 ………………………………………… 73 3.5.2 核函数实现高维空间的分离超平面 ……………………………………… 73 3.6 决策树………………………………………………………………………………… 75 3.6.1 何为决策树 ………………………………………………………………… 75 3.6.2 决策树生成 ………………………………………………………………… 76 3.6.3 决策树的剪枝 ……………………………………………………………… 77 3.6.4 使用sklearn预测个人情况 ……………………………………………… 78 3.7 K 近邻算法 ………………………………………………………………………… 86 3.7.1 K 近邻算法的原理 ………………………………………………………… 86 3.7.2 K 近邻算法的实现 ………………………………………………………… 87 3.8 贝叶斯算法…………………………………………………………………………… 92 3.8.1 贝叶斯算法的基本思想 …………………………………………………… 92 Ⅴ 3.8.2 贝叶斯算法的模型 ………………………………………………………… 92 3.8.3 用sklearn实现贝叶斯分类 ……………………………………………… 93 _x00B_第4章 数据预处理 …………………………………………………………………………… 96 4.1 数据清洗……………………………………………………………………………… 96 4.1.1 缺失值处理 ………………………………………………………………… 97 4.1.2 异常值分析 ………………………………………………………………… 99 4.2 对某一列编码 ……………………………………………………………………… 109 4.3 划分训练集与测试集 ……………………………………………………………… 111 4.3.1 伪随机数划分……………………………………………………………… 111 4.3.2 交叉验证…………………………………………………………………… 112 4.4 数据特征缩放 ……………………………………………………………………… 115 4.4.1 特征标准化/方差缩放 …………………………………………………… 115 4.4.2 特征归一化………………………………………………………………… 116 4.5 特征选择 …………………………………………………………………………… 118 4.5.1 Filter ……………………………………………………………………… 119 4.5.2 Wrapper…………………………………………………………………… 125 4.5.3 基于 L1的正则化 ………………………………………………………… 125 _x00B_第5章 降维实现数据压缩…………………………………………………………………… 128 5.1 数据降维 …………………………………………………………………………… 128 5.2 主成分降维 ………………………………………………………………………… 128 5.2.1 主成分分析步骤…………………………………………………………… 129 5.2.2 PCA 算法实现 …………………………………………………………… 130 5.2.3 降维映射 PCA 的实现与应用 …………………………………………… 131 5.3 线性判别分析监督数据压缩 ……………………………………………………… 135 5.3.1 线性判别分析基本思想…………………………………………………… 136 5.3.2 LDA 公式推导 …………………………………………………………… 136 5.3.3 拉格朗日函数问题………………………………………………………… 137 5.3.4 LDA 实现数据降维 ……………………………………………………… 138 5.3.5 基于sklearn的线性判别分析 …………………………………………… 140 5.4 非线性映射核主成分降维 ………………………………………………………… 141 5.4.1 核函数与核技巧…………………………………………………………… 142 5.4.2 KPCA 与 PCA 降维实现 ………………………………………………… 144 _x00B_第6章 不同模型的集成学习………………………………………………………………… 149 6.1 集成学习 …………………………………………………………………………… 149 6.2 多投票机制组合分类器 …………………………………………………………… 151 6.3 Bagging算法 ……………………………………………………………………… 155 6.4 Boosting模型 ……………………………………………………………………… 158 6.4.1 Boosting的基本思路……………………………………………………… 159 6.4.2 AdaBoost算法 …………………………………………………………… 159 6.4.3 GradientBoosting算法 ………………………………………………… 161 6.5 Stacking模型 ……………………………………………………………………… 166 Ⅵ 6.5.1 Stacking原理……………………………………………………………… 166 6.5.2 Stacking模型实现………………………………………………………… 167 _x00B_第7章 连续变量的回归分析………………………………………………………………… 171 7.1 线性回归 …………………………………………………………………………… 171 7.1.1 简单线性回归……………………………………………………………… 171 7.1.2 多元线性回归……………………………………………………………… 172 7.1.3 相关矩阵查看关系………………………………………………………… 177 7.1.4 协方差与相关性…………………………………………………………… 177 7.2 *小二乘线性回归 ………………………………………………………………… 178 7.2.1 梯度下降法………………………………………………………………… 179 7.2.2 通过sklearn估计回归模型的系数 ……………………………………… 181 7.3 使用 RANSAC 算法拟合健壮回归模型 ………………………………………… 182 7.4 线性回归模型性能的评估 ………………………………………………………… 184 7.4.1 线性回归算法的衡量标准………………………………………………… 184 7.4.2 线性回归算法应用实例…………………………………………………… 186 7.5 利用正则化方法进行回归 ………………………………………………………… 188 7.5.1 岭回归……………………………………………………………………… 188 7.5.2 Lasso回归 ………………………………………………………………… 191 7.5.3 弹性网络…………………………………………………………………… 193 7.6 将线性回归模型转换为多项式回归 ……………………………………………… 194 7.7 用随机森林处理非线性关系 ……………………………………………………… 195 7.7.1 决策树……………………………………………………………………… 195 7.7.2 随机森林回归……………………………………………………………… 198 _x00B_第8章 数据的聚类分析……………………………………………………………………… 201 8.1 K-Means算法 ……………………………………………………………………… 201 8.1.1 K-Means算法原理 ……………………………………………………… 201 8.1.2 K-Means算法步骤 ……………………………………………………… 202 8.1.3 K-Means算法的缺陷 …………………………………………………… 202 8.1.4 使用sklearn进行 K-Means聚类………………………………………… 202 8.1.5 肘法与轮廓法……………………………………………………………… 204 8.1.6 K-Means++ 算法…………………………………………………………… 208 8.2 层次聚类 …………………………………………………………………………… 212 8.3 DBSCAN 算法 ……………………………………………………………………… 216 8.3.1 DBSCAN 算法相关概念 ………………………………………………… 216 8.3.2 DBSCAN 算法的优缺点 ………………………………………………… 217 8.3.3 DBSCAN 算法实现 ……………………………………………………… 217 第9章 从单层到多层的人工神经网络……………………………………………………… 220 9.1 人工神经网络建模复杂函数 ……………………………………………………… 220 9.1.1 单隐层神经网络概述……………………………………………………… 220 9.1.2 多层神经网络结构………………………………………………………… 221 9.1.3 前向传播激活神经网络…………………………………………………… 222 Ⅶ 9.1.4 反向传播…………………………………………………………………… 225 9.2 识别手写数字 ……………………………………………………………………… 228 9.2.1 神经网络算法实现数字的识别…………………………………………… 228 9.2.2 实现多层感知器…………………………………………………………… 231 _x00B_第10章 使用深度卷积神经网络实现图像分类 …………………………………………… 237 10.1 构建卷积神经网络 ……………………………………………………………… 237 10.1.1 深度学习 ……………………………………………………………… 237 10.1.2 CNN 的原理…………………………………………………………… 237 10.1.3 使用 CNN 实现手写体识别 ………………………………………… 240 10.2 使用 LeNet-5实现图像分类 …………………………………………………… 242 10.3 使用 AlexNet实现图片分类 …………………………………………………… 246 10.3.1 AlexNet结构分析 …………………………………………………… 246 10.3.2 AlexNet的分类实现 ………………………………………………… 250 10.4 VGG16的迁移学习实现………………………………………………………… 254 10.5 使用 OpenCV 实现人脸识别 …………………………………………………… 258 10.5.1 人脸检测 ……………………………………………………………… 258 10.5.2 车牌检测 ……………………………………………………………… 259 10.5.3 目标检测 ……………………………………………………………… 259 10.6 使用 OpenCV 实现网络迁移 …………………………………………………… 261 _x00B_第11章 使用循环神经网络实现序列建模 ………………………………………………… 263 11.1 RNN ……………………………………………………………………………… 263 11.1.1 RNN 的发展历史……………………………………………………… 263 11.1.2 什么是 RNN ………………………………………………………… 264 11.1.3 LSTM 结构和 GRU 结构 …………………………………………… 265 11.1.4 序列模型实现 ………………………………………………………… 268 11.2 双向循环神经网络 ……………………………………………………………… 272 11.3 Seq2Seq模型序列分析 ………………………………………………………… 274 11.3.1 Seq2Seq模型 ………………………………………………………… 274 11.3.2 如何训练 Seq2Seq模型 ……………………………………………… 275 11.3.3 利用 Seq2Seq进行时间序列预测 …………………………………… 277 第12章 使用生成对抗网络合成新数据 …………………………………………………… 284 12.1 GAN 原理 ……………………………………………………………………… 284 12.2 GAN 应用 ……………………………………………………………………… 284 12.3 强化学习 ………………………………………………………………………… 290 12.3.1 强化学习的方式 ……………………………………………………… 290 12.3.2 强化学习系统与特点 ………………………………………………… 290 12.3.3 GAN 损失函数 ……………………………………………………… 291 12.3.4 马尔可夫决策 ………………………………………………………… 293 12.3.5 Q-learning算法 ……………………………………………………… 294 12.3.6 策略梯度 ……………………………………………………………… 296 12.3.7 强化学习的经典应用 ………………………………………………… 297