大数据导论

第1章 大数据与数据科学 / 1 1.1 大数据概述 / 1 1.1.1 大数据的概念 / 2 1.1.2 大数据的特征 / 2 1.1.3 大数据的结构类型 / 3 1.2 大数据的发展 / 4 1.3 大数据处理的挑战 / 5 1.4 数据科学的概念 / 6 1.5 数据科学的由来 / 7 1.6 数据科学的应用场景 / 9 1.6.1 行业数据 / 9 1.6.2 数据服务 / 10 小结 / 11 习题 / 11 第2章 数据采集与数据预处理 / 12 2.1 数据采集和数据预处理概述 / 12 2.1.1 数据采集概述 / 12 2.1.2 数据预处理概述 / 13 2.2 数据采集技术 / 15 2.2.1 网络数据采集技术 / 15 2.2.2 日志数据采集技术 / 23 2.3 数据预处理技术 / 28 2.3.1 数据清洗 / 28 2.3.2 数据集成 / 30 2.3.3 数据变换 / 30 2.3.4 数据规约 / 32 小结 / 33 习题 / 33 第3章 数据存储 / 34 3.1 数据存储概述 34 3.1.1 数据存储的发展历程 / 34 3.1.2 数据存储模型 / 36 3.2 大数据存储 / 36 3.2.1 海量数据存储关键技术 / 37 3.2.2 分布式文件系统 / 37 3.3 分布式数据库 / 41 3.3.1 HBase 分布式数据库 / 42 3.3.2 MongoDB 分布式 数据库 / 45 3.3.3 Hive 分布式数据 仓库 / 47 小结 / 49 习题 / 49 第4章 大数据处理平台 / 50 4.1 概述 / 50 4.2 大数据的处理平台架构 / 51 4.2.1 技术架构 / 51 4.2.2 开源平台 / 52 4.3 大数据的批量处理 / 54 4.3.1 批量计算的概念 / 54 4.3.2 批量计算的软件系统 / 55 4.4 大数据的流式计算 / 63 4.4.1 流式计算的概念 / 63 4.4.2 流式计算的软件系统 / 64 4.5 大数据的混合处理计算 / 68 4.5.1 混合处理计算的概念 / 68 4.5.2 混合处理计算的软件系统 / 69 小结 / 78 习题 / 79 第5章 数据分析 / 80 5.1 数据分析概述 / 80 5.1.1 数据分析的概念和作用 / 80 5.1.2 数据分析的类型 / 81 5.1.3 数据分析的流程 / 81 5.2 统计数据分析方法 / 83 5.2.1 描述统计 / 83 5.2.2 相关分析 / 84 5.2.3 回归分析 / 88 5.2.4 主成分分析 / 92 5.3 数据挖掘算法 / 96 5.3.1 决策树 / 96 5.3.2 K-Means 算法 / 101 5.3.3 Apriori 算法 / 106 5.3.4 神经网络 / 111 5.4 数据分析工具 / 113 小结 / 114 习题 / 114 第6章 数据可视化 / 117 6.1 数据可视化概述 / 117 6.1.1 数据可视化的基本特征 / 119 6.1.2 数据可视化的作用 / 120 6.1.3 数据可视化的流程 / 123 6.2 数据可视化方法 / 126 6.2.1 文本可视化 / 126 6.2.2 网络可视化 / 129 6.2.3 时空数据可视化 / 131 6.2.4 多维数据可视化 / 134 6.3 数据可视化软件与工具 / 136 6.3.1 Excel / 137 6.3.2 NodeXL / 137 6.3.3 Processing / 138 6.3.4 R / 139 6.3.5 ECharts / 139 6.3.6 Wolfram Mathematica / 141 小结 / 141 习题 / 142 第7章 数据安全与隐私 / 143 7.1 大数据安全概述 / 143 7.1.1 大数据安全体系结构 / 148 7.1.2 大数据安全 / 150 7.2 数据安全协议 / 157 7.3 数据隐私 / 159 7.4 数据信息共享与隐私信息融合 / 160 7.5 云环境下的大数据安全与隐私保护 / 163 小结 / 165 习题 / 165 第8章 大数据应用 / 166 8.1 互联网商业应用 / 166 8.1.1 用户画像 / 166 8.1.2 大数据精准营销 / 169 8.1.3 互联网金融 / 171 8.2 行业大数据 / 173 8.2.1 教育大数据 / 173 8.2.2 电力大数据 / 174 8.2.3 医疗大数据 / 177 8.3 人工智能应用 / 179 8.3.1 语音识别和机器翻译 / 179 8.3.2 共享经济 / 180 8.3.3 智慧城市 / 183 小结 / 187 习题 / 188 第9章 数据思维 / 189 9.1 大数据时代的挑战 / 189 9.2 大数据时代的思维变革 / 194 9.2.1 第四范式 / 194 9.2.2 数据的混杂性 / 195 9.2.3 样本与总体 / 196 9.2.4 数据的相关关系与因果关系 / 197 9.2.5 大数据与幸存者偏差 / 198 9.3 大数据激发创造力 / 199 9.3.1 大数据预测电影票房 / 199 9.3.2 利用大数据治理纽约 / 200 9.3.3 大数据助力总统竞选 / 202 9.4 数据科学展望 / 204 9.4.1 开放数据运动 / 204 9.4.2 数据科学家所需的专业技能 / 206 9.4.3 数据科学的发展前景 / 208 小结 210 习题 210 参考文献 / 211