数据分析与大数据应用

第1章 大数据分析技术概述 1 1.1 大数据的内涵 1 1.1.1 数据的概念 1 1.1.2 大数据的概念 2 1.1.3 大数据的分类 3 1.1.4 大数据的特征 4 1.1.5 常见的大数据应用场景 5 1.2 大数据时代企业管理决策面临的挑战 7 1.2.1 数据分析人才不足 8 1.2.2 数据分析的局限性 8 1.2.3 传统观念根深蒂固 8 1.2.4 数据安全存在隐患 9 1.2.5 未形成有效的大数据思维 9 1.3 大数据对企业管理决策的影响 9 1.3.1 优化决策环境 9 1.3.2 提高决策能力 9 1.3.3 改变决策模式 10 1.3.4 提升决策技术 10 1.3.5 完善知识管理 10 1.3.6 改变决策文化 11 1.4 常见的大数据分析技术 11 1.4.1 数据采集 12 1.4.2 数据存储与管理 14 1.4.3 数据预处理 14 1.4.4 数据分析与挖掘 15 1.4.5 数据可视化 19 1.5 大数据分析工具介绍 20 1.5.1 Hadoop简介 20 1.5.2 Stata简介 21 1.5.3 R简介 21 1.5.4 Python简介 22 本章小结 25 第2章 大数据的采集 26 2.1 网络爬虫介绍 26 2.2 网络爬虫应用 27 2.2.1 网络爬虫的基本结构及工作流程 28 2.2.2 抓取策略 29 2.3 网络爬虫程序Web Scraper 30 2.3.1 Web Scraper的下载与安装 30 2.3.2 Web Scraper的菜单介绍 31 2.4 案例分析 32 2.4.1 案例分析一：爬取同花顺股票交易信息 32 2.4.2 案例分析二：爬取豆瓣电影Top250的数据 35 2.4.3 案例分析三：爬取百度学术的文献信息 37 2.5 网络爬虫的边界 40 2.5.1 数据的采集途径 40 2.5.2 数据的采集行为 41 2.5.3 数据的使用目的 41 本章小结 43 第3章 文献检索与可视化分析 44 3.1 文献检索 44 3.1.1 文献计量学的建立 44 3.1.2 文献检索方法 45 3.1.3 常用的文献检索工具 45 3.1.4 常用的文献检索技巧 47 3.1.5 检索文献导出操作 49 3.2 文献计量学的分析原理 51 3.3 文献可视化分析 52 3.3.1 VOSviewer的下载与使用 52 3.3.2 VOSviewer的文献可视化分析方法 53 3.4 案例分析 55 3.4.1 数据库文献的导出 55 3.4.2 VOSviewer的数据导入 56 3.4.3 VOSviewer中的作者合作分析 58 3.4.4 VOSviewer中的文献耦合分析 64 3.4.5 VOSviewer中的共被引分析 67 本章小结 72 第4章 线性回归分析 74 4.1 回归分析概述 74 4.1.1 回归分析的基本概念 74 4.1.2 总体回归函数 75 4.1.3 随机干扰项 77 4.1.4 样本回归函数 78 4.1.5 大数据时代对传统回归分析的冲击 80 4.2 线性回归模型 80 4.2.1 线性回归模型的概述 80 4.2.2 线性回归模型的基本假设 81 4.2.3 线性回归模型的参数估计 84 4.2.4 参数估计量的统计性质 87 4.2.5 线性回归模型的统计检验 89 4.2.6 线性回归模型的预测 94 4.3 非线性模型的线性化 96 4.3.1 模型的类型与变换 96 4.3.2 非线性模型的线性化实例 97 4.4 含有虚拟变量的线性模型 101 4.4.1 含有虚拟变量的模型 101 4.4.2 虚拟变量的引入 101 4.5 案例分析 107 本章小结 111 第5章 Logit回归 112 5.1 Logit回归概述 112 5.1.1 线性概率模型 112 5.1.2 Logit模型的构建 112 5.2 Logit回归的估计方法 114 5.2.1 *大似然估计法的原理 114 5.2.2 Logit模型的*大似然估计 116 5.3 Logit回归的解释 116 5.3.1 边际效应 116 5.3.2 回归系数的经济意义 117 5.4 Logit回归的评价 118 5.4.1 拟合优度 118 5.4.2 似然比检验 118 5.4.3 预测概率 119 5.5 案例分析 120 本章小结 127 第6章 主成分分析 129 6.1 主成分分析的基本原理 129 6.1.1 主成分分析的基本思想 129 6.1.2 主成分分析的基本理论 130 6.1.3 主成分分析的几何意义 130 6.2 总体主成分分析 132 6.2.1 从协方差矩阵求解主成分 132 6.2.2 总体主成分分析的主要性质 133 6.2.3 主成分的个数 136 6.2.4 从相关系数矩阵出发求解主成分 138 6.3 样本主成分分析 139 6.3.1 样本主成分的定义与性质 139 6.3.2 主成分的计算步骤 141 6.4 有关问题的讨论 142 6.4.1 关于由协方差矩阵或相关系数矩阵出发求解主成分 142 6.4.2 主成分分析不要求数据来自正态总体 142 6.4.3 主成分分析与重叠信息 143 6.5 案例分析 144 本章小结 153 第7章 聚类分析 154 7.1 聚类分析概述 154 7.1.1 数值变量的相似性测度 154 7.1.2 名义变量的相似性测度 155 7.2 基于层次的聚类方法 156 7.2.1 层次聚类法概述 156 7.2.2 *短距离法 156 7.2.3 *长距离法 158 7.2.4 类间平均法 159 7.2.5 类间重心法 159 7.2.6 离差平方和法 159 7.3 基于划分的聚类方法 159 7.3.1 均值聚类法概述 160 7.3.2 均值聚类法实例 160 7.4 案例分析 163 本章小结 171 第8章 神经网络 172 8.1 神经元网络 172 8.1.1 神经元模型概述 172 8.1.2 激活函数 173 8.2 感知机与多层网络 174 8.2.1 感知机 174 8.2.2 多层网络 175 8.3 误差逆传播算法 176 8.3.1 误差逆传播算法概述 176 8.3.2 误差逆传播算法公式推导 176 8.3.3 误差逆传播算法工作流程 178 8.3.4 过拟合问题 179 8.4 全局*小与局部*小 179 8.5 深度学习 181 8.6 案例分析 182 本章小结 191 第9章 决策树 193 9.1 决策树模型与学习 193 9.1.1 决策树模型 193 9.1.2 决策树与if-then规则 194 9.1.3 决策树与条件概率分布 194 9.1.4 决策树学习 195 9.2 决策树的特征选择 196 9.2.1 特征选择问题 196 9.2.2 信息增益 198 9.2.3 信息增益比 200 9.2.4 基尼指数 201 9.3 决策树的剪枝 201 9.3.1 预剪枝 202 9.3.2 后剪枝 202 9.4 决策树的生成 204 9.4.1 ID3算法 204 9.4.2 C4.5算法 205 9.4.3 CART算法 205 9.4.4 CART生成 206 9.5 案例分析 210 9.5.1 数据处理 210 9.5.2 决策树模型建立 212 9.5.3 决策树剪枝 214 本章小结 217 第10章 随机森林 218 10.1 集成学习 218 10.1.1 集成学习概述 218 10.1.2 集成学习分类 219 10.2 Bagging算法 219 10.2.1 自助法 219 10.2.2 Bagging算法的具体流程 220 10.3 随机森林算法介绍 221 10.3.1 随机森林概述 221 10.3.2 随机森林的优缺点 221 10.4 模型评估 221 10.4.1 查准率、查全率与 221 10.4.2 ROC与AUC 223 10.5 案例分析 225 10.5.1 iris数据集简介 225 10.5.2 R语言操作 225 本章小结 228 参考文献 230