大数据通识读本

目录 第1章 引言 1 1.1 大数据时代 1 1.2 大数据与思维变革 2 1.3 大数据与商业变革 5 1.4 大数据与管理变革 10 第2章 大数据概述 13 2.1 大数据基础 13 2.1.1 大数据概念 13 2.1.2 大数据来源 15 2.1.3 大数据特征及度量单位 17 2.1.4 大数据分类 19 2.1.5 大数据获取方式 21 2.1.6 大数据应用场景 21 2.2 大数据与云计算、物联网、人工智能 23 2.2.1 云计算 23 2.2.2 物联网 26 2.2.3 大数据与云计算、物联网的关系 27 2.2.4 人工智能 28 2.2.5 大数据与人工智能的关系 30 2.2.6 物联网与人工智能的应用 30 2.3 大数据处理流程 34 2.3.1 大数据采集及预处理 35 2.3.2 大数据存储 37 2.3.3 大数据分析 39 2.3.4 大数据可视化 40 2.4 大数据产业链 41 2.4.1 对大数据产业的理解 41 2.4.2 大数据产业现状 42 2.5 大数据应用案例 44 第3章 大数据采集及预处理 48 3.1 大数据采集概述 48 3.1.1 大数据采集概念 48 3.1.2 采集数据来源及分类 49 3.1.3 大数据采集的应用 51 3.1.4 大数据采集的挑战 52 3.2 大数据的采集方法 54 3.2.1 人工采集 54 3.2.2 系统日志采集 54 3.2.3 ETL工具采集 55 3.2.4 网络爬虫采集 56 3.2.5 传感器采集 58 3.3 大数据预处理技术 59 3.3.1 数据预处理概念 59 3.3.2 数据清洗 59 3.3.3 数据集成 63 3.3.4 数据变换 63 3.3.5 数据归约 64 3.4 大数据采集及预处理工具 65 3.5 大数据采集及预处理案例 68 3.5.1 城市群时空大数据采集 68 3.5.2 智能交通大数据预处理 71 第4章 大数据存储 73 4.1 存储介质及存储架构 73 4.2 传统数据存储和管理 77 4.2.1 文件系统 77 4.2.2 关系数据库 78 4.2.3 数据仓库 80 4.3 大数据时代的数据存储和管理 82 4.3.1 大数据时代数据存储的新挑战 82 4.3.2 分布式文件系统 84 4.3.3 HDFS系统 85 4.3.4 NoSQL数据库 87 4.3.5 HBase数据库 89 4.3.6 NewSQL数据库 91 4.3.7 Hive数据仓库 92 4.3.8 云数据库 94 4.4 大数据存储案例 95 第5章 大数据分析 98 5.1 统计数据分析 98 5.1.1 数据的频数分析 98 5.1.2 数据的集中趋势分析 100 5.1.3 数据的离散趋势分析 101 5.1.4 相关性分析 101 5.2 基于机器学习的数据分析 107 5.2.1 回归 107 5.2.2 分类 109 5.3 数据分析工具 115 5.3.1 Excel 115 5.3.2 SPSS 115 5.3.3 MATLAB 115 5.3.4 Python 116 5.3.5 R 116 5.4 大数据分析案例 116 第6章 大数据可视化 124 6.1 可视化基础 124 6.1.1 可视化概念 124 6.1.2 视觉感知 125 6.1.3 视觉编码 127 6.1.4 可视化的功能 128 6.1.5 可视化发展历程 130 6.1.6 数据可视化分类 131 6.2 可视化图表 133 6.2.1 散点图 133 6.2.2 气泡图 134 6.2.3 折线图 135 6.2.4 柱(条)形图 136 6.2.5 直方图 137 6.2.6 饼图 138 6.2.7 雷达图 138 6.2.8 等值线图 139 6.2.9 热力图 141 6.2.10 维恩图 142 6.2.11 盒须图 142 6.2.12 多图协调 143 6.2.13 标签云图 144 6.2.14 力引导图 144 6.3 科学计算可视化 145 6.3.1 可视化流程 145 6.3.2 一维可视化 147 6.3.3 二维可视化 147 6.3.4 三维可视化 148 6.3.5 流场可视化 152 6.3.6 大规模数据可视化 152 6.3.7 真实感渲染技术 154 6.3.8 体感互动技术 158 6.3.9 增强现实技术 159 6.3.10 可视化设备 160 6.4 大数据可视化工具 162 6.4.1 入门级可视化工具 162 6.4.2 信息图表工具 163 6.4.3 地图工具 165 6.4.4 时间线工具 165 6.5 大数据可视化案例 166 6.5.1 永恒洋流 166 6.5.2 宋词缱绻，何处画人间 166 第7章 大数据安全与隐私保护 169 7.1 大数据安全挑战与需求 169 7.1.1 大数据泄露事件 169 7.1.2 大数据时代的安全挑战 171 7.1.3 各行业的大数据安全需求 173 7.2 大数据隐私保护 175 7.2.1 大数据生命周期的隐私保护模型 175 7.2.2 大数据隐私保护技术 177 7.3 基于大数据的安全技术 183 7.3.1 基于大数据的认证技术 184 7.3.2 基于大数据的威胁发现技术 185 7.3.3 基于大数据的数据真实性分析 187 7.4 大数据安全与隐私保护案例 187 第8章 大数据伦理与法律法规 190 8.1 个人隐私引发的伦理问题 190 8.1.1 个性化定制与推荐 191 8.1.2 基于大数据的人的心理和性格分析 193 8.1.3 优步的“荣耀之旅” 194 8.1.4 个人的生物特征隐私问题 195 8.2 数字鸿沟问题 197 8.3 数据时效性问题 199 8.4 数据权归属问题 201 8.5 大数据与数据分析的真实可靠性问题 203 8.5.1 大数据不等于全数据 203 8.5.2 防范数据失信和数据失真的措施 204 8.5.3 项目设计中的算法歧视问题 205 8.5.4 项目设计中使用方法的偏差 206 8.6 大数据相关法律法规 208 8.6.1 美国信息安全战略布局 208 8.6.2 欧洲联盟 209 8.6.3 国际合作 209 8.6.4 国内的相关法规 210 8.7 大数据伦理与法律法规案例 212 第9章 大数据应用 215 9.1 电信大数据 216 9.1.1 电信大数据的特点 216 9.1.2 经典创新应用实例——电信大数据优化现代城市功能与服务 217 9.1.3 电信大数据的未来 221 9.2 金融大数据 221 9.2.1 金融大数据的特点 221 9.2.2 经典创新应用案例——个性化营销策略 222 9.2.3 金融大数据应用的未来 223 9.3 政务大数据 224 9.3.1 政务大数据的特点 224 9.3.2 经典创新应用实例——政务大数据助力健全监管体系 225 9.3.3 政务大数据的未来 226 9.4 旅游大数据 226 9.4.1 旅游大数据的特点 226 9.4.2 经典创新应用实例——酒店投资决策 227 9.4.3 旅游大数据的未来 227 9.5 大数据的其他应用 228 9.5.1 大数据在制造业的应用 228 9.5.2 大数据在能源领域的应用 229 9.5.3 大数据在交通领域的应用 229 9.5.4 大数据在零售行业的应用 230 9.5.5 大数据技术的应用拓展 231 参考文献 234