机器学习——Python实战(微课版)

模块1 机器学习入门基础 1 1.1 机器学习的概念 2 1.2 机器学习的原理 3 1.3 机器学习的分类 5 1.4 机器学习的实施流程 6 1.4.1 数据收集 6 1.4.2 数据清洗 6 1.4.3 特征提取与选择 7 1.4.4 模型训练 8 1.4.5 模型评估测试 8 1.4.6 模型部署应用 8 1.5 机器学习的应用领域 9 1.6 机器学习的开发工具 10 1.6.1 一站式开发环境Anaconda 10 1.6.2 集成开发环境PyCharm 11 实训一 安装一站式开发环境Anaconda 12 实训二 安装集成开发环境PyCharm 22 模块2 机器学习数学基础 33 2.1 线性代数 34 2.1.1 向量空间 34 2.1.2 矩阵分析 40 2.2 概率与统计 43 2.2.1 概率与条件概率 43 2.2.2 贝叶斯理论 44 2.2.3 信息论基础 45 2.3* 多元微积分 47 2.3.1 导数与偏导数 47 2.3.2 梯度和海森矩阵 48 2.3.3 *速下降法 50 2.3.4 随机梯度下降法 51 实训一 利用Python实现线性代数相关方法 52 实训二 利用Python实现概率论相关方法 55 模块3 回归算法 58 3.1 线性回归 59 3.1.1 一元线性回归 60 3.1.2 多元线性回归 61 3.2 代价(损失)函数 61 3.3 梯度下降法 62 3.3.1 梯度下降法的数学描述 63 3.3.2 梯度下降法的调优 64 3.4 标准方程法 65 3.5 非线性回归 66 实训一 利用scikit-learn基于波士顿房价数据集实现线性回归算法 67 实训二 利用scikit-learn多元线性回归建立美国加利福尼亚地区的房价预测模型 68 实训三 通过广告花费预测产品销售额 71 模块4 朴素贝叶斯分类算法 78 4.1 贝叶斯分类算法 79 4.1.1 贝叶斯定理 79 4.1.2 贝叶斯定理的一个简单例子 80 4.1.3 贝叶斯分类算法的原理 80 4.2 朴素贝叶斯分类算法简述 81 4.2.1 朴素贝叶斯分类算法的原理 81 4.2.2 朴素贝叶斯分类算法的参数估计 82 4.2.3 朴素贝叶斯分类算法的优缺点 83 4.3 高斯朴素贝叶斯分类算法 83 4.4 多项式朴素贝叶斯分类算法 84 实训一 高斯朴素贝叶斯分类算法的Python实现——鸢尾花分类 85 实训二 多项式朴素贝叶斯分类算法的Python实现——新闻分类 88 模块5 决策树分类算法 93 5.1 决策树分类算法的基本概念 95 5.1.1 以信息论为基础的分类原理 95 5.1.2 决策树度量标准 96 5.1.3 决策树的具体用法 96 5.1.4 决策树分类算法的优缺点 97 5.2 常用的决策树分类算法 98 5.2.1 ID3决策树分类算法 98 5.2.2 C4.5决策树分类算法 102 5.2.3 CART分类算法 103 5.3 决策树剪枝 104 实训一 利用scikit-learn的决策树编写一个广告屏蔽程序 105 实训二 利用CART分类算法创建分类树 108 实训三 实现CART回归树 109 模块6 逻辑回归 113 6.1 逻辑回归概述 114 6.2 逻辑回归原理 116 6.2.1 逻辑回归模型 116 6.2.2 逻辑回归学习策略 117 6.2.3 逻辑回归优化算法 118 6.3 多项逻辑回归 119 实训 对鸢尾花数据进行逻辑回归 121 模块7 支持向量机 126 7.1 支持向量机的基础知识 128 7.2 不同情形下的支持向量机 130 7.2.1 线性可分下的支持向量机 130 7.2.2 线性不可分下的支持向量机 131 7.2.3 非线性支持向量机 131 7.2.4 多分类支持向量机 132 7.2.5 支持向量回归机 132 实训一 线性SVM 133 实训二 非线性SVM 137 模块8 聚类 141 8.1 聚类概述 142 8.1.1 聚类算法简介 142 8.1.2 性能度量和距离计算 143 8.1.3 聚类算法的分类 143 8.2 K-means聚类 144 8.2.1 K-means聚类过程和原理 144 8.2.2 K-means算法优化 145 8.2.3 K-means应用实例 146 8.3 层次聚类 149 8.3.1 层次聚类的过程和原理 150 8.3.2 凝聚层次聚类 151 8.3.3 Hierarchical Clustering算法简介 152 8.3.4 BIRCH算法简介 153 8.3.5 层次聚类应用实例 154 8.4 密度聚类 155 8.4.1 密度聚类的过程和原理 155 8.4.2 密度聚类应用实例 158 实训 K-means的电信客户流失群体分析 160 模块9* 集成学习之随机森林算法 171 9.1 集成学习算法思想 172 9.2 随机森林 175 9.2.1 随机森林的基本概念及原理 175 9.2.2 样例分析 176 9.2.3 随机森林的特点 178 9.2.4 与其他有监督学习算法的对比 179 9.3 随机森林的推广——极端随机树 179 9.4 随机森林算法的scikit-learn实现 180 9.4.1 scikit-learn随机森林类库概述 180 9.4.2 随机森林算法的框架参数 180 9.4.3 随机森林算法的输出参数 182 实训 利用随机森林算法对鸢尾花进行数据分析 182 模块10* 集成学习之AdaBoost算法 195 10.1 AdaBoost算法 196 10.1.1 AdaBoost算法概述 196 10.1.2 AdaBoost算法的分类 197 10.2 AdaBoost算法的scikit-learn实现 201 10.2.1 AdaBoost算法的框架 201 10.2.2 AdaBoost算法的超参数 201 10.2.3 AdaBoost算法的模型参数 202 实训一 AdaBoost算法的scikit-learn实现 203 实训二 AdaBoost算法的波士顿房价预测 205 附录 scikit-learn简单动手实践 210 参考文献 216