数据挖掘与机器学习基础及应用

第 1 章 13 数据挖掘与机器学习概述 13 1.1 数据挖掘与机器学习的发展史 13 1.1.1 数据时代 13 1.1.2 数据挖掘的技术发展 14 1.1.3 机器学习的技术发展 17 1.1.4 人工智能、数据挖掘与机器学习的关系 20 1.2 数据挖掘与机器学习的相关概念 21 1.2.1 数据挖掘的定义 21 1.2.2 机器学习的定义 21 1.2.3 数据库与数据仓库 22 1.3 数据挖掘与机器学习的算法分类 24 1.3.1 类/概念描述：特征和区分 25 1.3.2 回归(regression) 26 1.3.3 分类(classification) 27 1.3.4 预测(forecasting) 28 1.3.5 关联分析(association) 28 1.3.6 聚类分析(cluster) 29 1.3.7 异常检测(anomalydetection) 30 1.3.8 迁移学习 31 1.3.9 强化学习 31 1.3.10 小结 32 1.4 数据挖掘与机器学习的一般流程 33 1.4.1 确定分析目标 33 1.4.2 收集数据 33 1.4.3 整理预处理 33 1.4.4 数据建模 34 1.4.5 模型训练 35 1.4.6 模型评估 35 1.4.7 模型应用 35 1.5 数据挖掘与机器学习的应用领域 35 1.5.1 电子商务 36 1.5.2 金融领域 36 1.5.3 医疗领域 37 1.5.2 通信领域 37 1.5.3 自然语言处理 37 1.5.4 工业领域 40 1.5.5 艺术创作 41 1.5.6 数据挖掘与机器学习应用的问题 41 第 2章 43 数据科学分析入门 43 2.1 数据科学分析库 43 2.2 数据科学分析库的基本使用 59 2.2.1 numpy基本使用 59 2.2.2 pandas基本使用 63 2.2.3 matplotlib基本使用 70 2.2.4 Scikit-Learn基本使用 80 2.2.5综合案例 84 第3章 100 回归算法与应用 100 3.1 回归预测问题 100 3.1.1 介绍 100 3.1.2 常见回归数据集 101 3.2 线性回归 104 3.2.1 原理与应用场景 104 3.2.2 一元线性回归的python实现 105 3.2.3 Python实现多元线性回归算法 107 3.2.4 多元线性回归算法优缺点 108 3.3 Logistic回归 108 3.3.1 原理与应用场景 109 3.3.2 Logistic回归的python实现 109 第4章 112 4.1 数据挖掘分类 112 4.1.1 数据挖掘分类 112 4.1.2 常见的分类数据集 113 4.2 KNN算法 118 4.2.1 K*近邻算法概述 118 4.2.2 K*近邻算法实现电影分类 120 4.2.3 使用Python实现KNN算法 128 4.3 向量空间模型 129 4.3.1 原理与应用场景 129 4.3.2 空间向量模型应用 130 4.4 支持向量机 133 4.4.1 支持向量机 133 4.4.2 支持向量机实现分类 135 4.4.3 支持向量机实现回归 136 4.4.4 支持向量机异常检测 136 4.4.5 线性可分与线性不可分 139 4.4.6 SVM鸢尾花分类 143 4.4.7 软间隔 145 4.4.8 GridSearchCV确定超参数 148 4.4.9 过拟合问题 150 4.5 决策树 154 4.5.1 决策树 154 4.5.2 ID3算法 156 4.5.3 决策树实现分类 159 4.5.4 决策树实现回归 166 4.6 集成学习 170 4.6.1 集成学习 170 4.6.2 随机森林 177 4.7 模型的评判和保存 181 第5章 186 聚类算法与应用 186 5.1 无监督学习问题 186 5.1.1 无监督学习 186 5.1.2 聚类分析的基本概念与原理 187 5.1.3 常见聚类数据集 187 5.2 划分聚类 189 5.2.1 划分聚类 189 5.2.2 K-Means算法 190 5.2.4 K-Means算法在鸢尾花应用 195 5.2.4 使用聚类进行图像压缩 197 5.2.5 Numpy实现K_Means聚类 199 5.3 层次聚类 200 5.3.1 层次聚类算法 200 5.3.2 使用层次聚类算法聚类 202 5.3.3 基于运营商基站信息挖掘商圈 204 5.4 聚类效果评测 207 第6章 209 关联规则与协同过滤 209 6.1 推荐算法简介 209 6.1.1 推荐算法的概念 209 6.2 关联规则 210 6.2.1 什么是关联规则？ 210 6.2.2 关联规则的挖掘过程 211 6.2.3 Apriori算法 212 6.3 协同过滤 224 6.3.1 协同过滤算法的概念 224 6.3.2 基于用户的协同过滤 224 6.3.3 基于物品协同过滤 227 6.3.4 实验实现协同过滤算法 229 6.3.5 推荐算法库Surprise介绍与案例 234 第7章 239 特征工程、降维与超参数调优 239 7.1 特征工程 239 7.1.1 数据总体分析 240 7.1.2 数据预处理 241 7.1.3 数据预处理案例分析—美国高中生的社交数据案例分析 253 7.2 降维与超参数调优 257 7.2.1 降维方法 257 7.2.2 实验实现降维 257 7.2.3 超参数调优 259 7.2.4 交叉验证案例分析 261 第8章 263 图像数据处理分析 263 8.1 图像数据结构介绍 264 8.1.1图像数据 264 8.1.2 图像结构介绍 265 8.2 图像数据分析方法 266 8.3 图像数据分析案例 271 8.3.1 PIL：Python图像处理类库应用示例 271 8.3.2 Numpy图像数据分析示例 277 8.3.3 Scipy图像数据分析示例 279 8.3.4 scikit-image 283 8.3.5 OpenCV 288 8.3.6 综合练习——猫狗图片识别案例 300 8.4 计算机视觉的应用 302 8.4.1 图像分类(Image Classification) 302 8.4.2 目标检测(Object Detection) 303 8.4.3 图像分割(Object Segmentation) 305 8.4.4 风格迁移(Style Transfer) 307 8.4.5 图像重构(Image Reconstruction) 308 8.4.6 超分辨率(Super-Resolution) 309 8.4.7 图像生成(Image Synthesis) 309 8.4.8 人脸图像的应用 310 8.4.9 其他 310 第 9 章 321 文本数据处理分析 321 9.1 文本数据处理的相关概念 321 9.1.1 常用的文本数据处理技术 321 9.1.2 中英文的文本数据处理方法对比 322 9.2 文本数据处理关键技术应用 325 9.2.1 文本分词技术 325 9.2.2 文本向量化技术 328 9.2.3 关键词提取 331 9.3 文本数据处理分析案例 332 9.3.1 Python的第三方模块NLTK 332 9.3.2 Python的第三方模块jieba 346 9.4 自然语言处理的应用 353 9.4.1 NLP的应用场景及数据集 353 9.4.2 LLM的发展与研究方向 356 第 10章 358 深度学习入门 358 10.1 深度学习概述 358 10.2 神经网络介绍 359 10.2.1 单个神经元 & 逻辑回归(LR) 359 10.2.2 人工神经网络概念 360 10.2.3 多层神经网络简介 360 10.2.4 BP神经网络简介 361 10.3 卷积神经网络 361 10.3.1 卷积神经网络简介 361 10.3.2 卷积神经网络的整体结构 362 10.3.3 常见卷积神经网络 365 10.4 循环神经网络 376 10.4.1 RNN基本原理 376 10.4.2 长短期记忆网络 379 10.4.3 门限循环单元 385 10.5 深度学习流行框架 386 10.6 建立一个卷积神经网络对图片分类 388