大数据挖掘与应用(第二版)

篇基础篇 第1章大数据简介 1.1大数据 1.1.1大数据的定义 1.1.2大数据的特点 1.1.3大数据处理的挑战 1.2大数据挖掘 1.2.1大数据挖掘的定义 1.2.2大数据挖掘的特点 1.3大数据挖掘的相关方法 1.3.1数据预处理技术 1.3.2关联规则挖掘 1.3.3分类 1.3.4聚类 1.3.5孤立点挖掘 1.3.6演变分析 1.3.7特异群组分析 1.4大数据挖掘类型 1.4.1Web数据挖掘 1.4.2空间数据挖掘 1.4.3流数据挖掘 1.5大数据挖掘的常见应用 1.5.1社交网络分析 1.5.2文本分析 1.5.3推荐系统 1.6常用的大数据统计分析方法 1.6.1百分位 1.6.2皮尔森相关系数 1.6.3直方图 1.6.4T检验 1.6.5卡方检验 1.7常用的大数据挖掘评估方法 1.8大数据平台相关技术 1.8.1分布式存储技术 1.8.2分布式任务调度技术 1.8.3并行计算技术 1.8.4其他技术 1.9大数据平台实例——阿里云数加平台 1.9.1数加平台简介 1.9.2数加平台产品简介 1.9.3数加平台优势特色 1.9.4机器学习平台简介 1.9.5机器学习平台功能 1.9.6机器学习平台操作流程 1.10小结 思考题 第二篇技术篇 第2章数据预处理技术 2.1数据预处理的目的 2.2数据采样 2.2.1加权采样 2.2.2随机采样 2.2.3分层采样 2.3数据清理 2.3.1填充缺失值 2.3.2光滑噪声数据 2.3.3数据清理过程 2.4数据集成 2.4.1数据集成简介 2.4.2常用数据集成方法 2.5数据变换 2.5.1数据变换简介 2.5.2数据规范化 2.6数据归约 2.6.1数据立方体聚集 2.6.2维归约 2.6.3数据压缩 2.6.4数值归约 2.6.5数据离散化与概念分层 2.7特征选择 2.7.1特征选择简介 2.7.2Relief算法 2.7.3Fisher判别法 2.7.4基于GBDT的过滤式特征选择 2.8特征提取 2.8.1特征提取简介 2.8.2DKLT特征提取方法 2.8.3主成分分析法 2.9基于阿里云数加平台的数据采样与特征选择实例 2.10小结 思考题 第3章逻辑回归方法 3.1基本概念 3.1.1回归概述 3.1.2线性回归简介 3.2逻辑回归 3.2.1二分类逻辑回归 3.2.2多分类逻辑回归 3.2.3逻辑回归应用举例 3.2.4逻辑回归方法的特点 3.2.5逻辑回归方法的应用 3.3逻辑回归源代码结果分析 3.3.1线性回归 3.3.2多分类逻辑回归 3.4基于阿里云数加平台的逻辑回归实例 3.4.1二分类逻辑回归应用实例 3.4.2多分类逻辑回归应用实例 3.5小结 思考题 第4章KNN算法 4.1KNN算法简介 4.1.1KNN算法原理 4.1.2KNN算法应用举例 4.2KNN算法的特点及改进 4.2.1KNN算法的特点 4.2.2KNN算法的改进策略 4.3KNN源代码结果分析 4.4基于阿里云数加平台的KNN算法应用实例 4.5小结 思考题 第5章朴素贝叶斯分类算法 5.1基本概念 5.1.1主观概率 5.1.2贝叶斯定理 5.1.3朴素贝叶斯分类模型 5.1.4朴素贝叶斯分类器实例分析 5.2朴素贝叶斯算法的特点及应用 5.2.1朴素贝叶斯算法的特点 5.2.2朴素贝叶斯算法的应用场景 5.3朴素贝叶斯源代码结果分析 5.4基于阿里云数加平台的朴素贝叶斯实例 5.5小结 思考题 第6章随机森林分类算法 6.1随机森林算法简介 6.1.1随机森林算法原理 6.1.2随机森林算法应用举例 6.2随机森林算法的特点及应用 6.2.1随机森林算法的特点 6.2.2随机森林算法的应用 6.3随机森林算法源程序结果分析 6.4基于阿里云数加平台的随机森林分类实例 6.5小结 思考题 第7章支持向量机 7.1基本概念 7.1.1支持向量机理论基础 7.1.2统计学习核心理论 7.1.3学习过程的一致性条件 7.1.4函数集的VC维 7.1.5泛化误差界 7.1.6结构风险小化归纳原理 7.2支持向量机原理 7.2.1支持向量机核心理论 7.2.2间隔分类超平面 7.2.3支持向量机 7.2.4核函数分类 7.3支持向量机的特点及应用 7.3.1支持向量机的特点 7.3.2支持向量机的应用 7.4支持向量机分类实例分析 7.5基于阿里云数加平台的支持向量机分类实例 7.6小结 思考题 第8章Kmeans聚类算法 8.1Kmeans聚类算法原理 8.1.1Kmeans聚类算法原理解析 8.1.2Kmeans聚类算法应用举例 8.2Kmeans聚类算法的特点及应用 8.2.1Kmeans聚类算法的特点 8.2.2Kmeans聚类算法的应用 8.3K均值聚类算法源程序结果分析 8.4基于阿里云数加平台的K均值聚类算法实例 8.5基于MaxCompute Graph模型的Kmeans算法源程序分析 8.6小结 思考题 第三篇综合应用篇 第9章社交网络分析方法及应用 9.1社交网络简介 9.2K核方法 9.2.1K核方法原理 9.2.2基于阿里云数加平台的K核方法实例 9.3单源短路径方法 9.3.1单源短路径方法原理 9.3.2基于阿里云数加平台的单源短路径方法实例 9.4PageRank算法 9.4.1PageRank算法原理 9.4.2PageRank算法的特点及应用 9.4.3基于阿里云数加平台的PageRank算法实例 9.5标签传播算法 9.5.1标签传播算法原理 9.5.2基于阿里云数加平台的标签传播聚类应用实例 9.6联通子图算法 9.7聚类系数算法 9.7.1聚类系数算法原理 9.7.2基于阿里云数加平台的聚类系数算法应用实例 9.8基于阿里云数加平台的社交网络分析实例 9.9小结 思考题 第10章文本分析方法及应用 10.1文本分析简介 10.2TFIDF方法 10.3中文分词方法 10.3.1基于字典或词库匹配的分词方法 10.3.2基于词的频度统计的分词方法 10.3.3其他中文分词方法 10.4PLDA方法 10.4.1主题模型 10.4.2PLDA方法原理 10.5Word2Vec基本原理 10.5.1词向量的表示方式 10.5.2统计语言模型 10.5.3霍夫曼编码 10.5.4Word2Vec原理简介 10.6基于阿里云数加平台的文本分析实例 10.7小结 思考题 第11章推荐系统方法及应用 11.1推荐系统简介 11.2基于内容的推荐算法 11.2.1基于内容的推荐算法原理 11.2.2基于内容的推荐算法的特点 11.3协同过滤推荐算法 11.3.1协同过滤推荐算法简介 11.3.2协同过滤推荐算法的特点 11.4混合推荐算法 11.5基于阿里云数加平台的推荐算法实例 11.6小结 思考题 参考文献