大数据及其可视化

第1 章 大数据与大数据时代............1 1.1 大数据概述............................. 3 1.1.1 数据与信息.................. 3 1.1.2 天文学——信息爆炸 的起源.......................... 3 1.1.3 大数据的定义............... 4 1.1.4 用3V 描述大数据 特征............................. 5 1.1.5 大数据的结构类型....... 7 1.2 思维变革之一：样本=总体..... 8 1.2.1 小数据时代的随机 采样............................. 8 1.2.2 大数据与乔布斯的 癌症治疗.................... 11 1.2.3 全数据模式：样本= 总体........................... 12 1.3 思维变革之二：接受数据 的混杂性.............................. 12 1.3.1 允许不精确................ 12 1.3.2 大数据的简单算法与 小数据的复杂算法..... 13 1.3.3 纷繁的数据越多 越好........................... 14 1.3.4 5%的数字数据与95% 的非结构化数据......... 15 1.4 思维变革之三：数据的 相关关系.............................. 16 1.4.1 关联物，预测的 关键........................... 16 1.4.2 “是什么”，而不是 “为什么”.................. 17 1.4.3 通过相关关系了解 世界........................... 18 【实验与思考】深入理解大数据 时代...................................... 19 第2 章 数据可视化之美.................21 2.1 数据与可视化....................... 22 2.1.1 数据的可变性............. 23 2.1.2 数据的不确定性......... 24 2.1.3 数据的背景信息......... 25 2.1.4 打造*好的可视化 效果........................... 26 2.2 数据与图形........................... 26 2.2.1 地图传递信息............. 26 2.2.2 数据与走势................. 27 2.2.3 视觉信息的科学 解释........................... 28 2.2.4 图片和分享的力量...... 29 2.2.5 公共数据集................. 29 2.3 实时可视化........................... 31 2.4 可视化分析工具.................... 31 2.4.1 Microsoft Excel ........... 32 2.4.2 Google Spreadsheets...... 32 2.4.3 Tableau ....................... 33 2.4.4 可视化编程工具......... 33 【实验与思考】熟悉大数据 可视化.................................. 35 第3 章 Excel 数据可视化方法........37 3.1 Excel 的函数与图表.............. 39 3.1.1 Excel 函数.................. 40 3.1.2 Excel 图表.................. 41 大数据及其可视化 2 3.1.3 选择图表类型............. 43 3.2 整理数据源........................... 44 3.2.1 数据提炼.................... 44 3.2.2 抽样产生随机数据..... 47 3.3 数理统计中的常见统计量..... 49 3.3.1 比平均值更稳定的 中位数和众数............. 49 3.3.2 正态分布和偏态 分布........................... 50 3.3.3 财务预算中的分析 工具........................... 52 3.4 改变数据形式引起的 图表变化.............................. 53 3.4.1 用负数突出数据的 增长情况.................... 53 3.4.2 重排关键字顺序 使图表更合适............. 54 【实验与思考】体验Excel 数据 可视化方法........................... 55 第4 章 Excel 数据可视化应用........57 4.1 直方图：对比关系................ 60 4.1.1 以零基线为起点......... 60 4.1.2 垂直直条的宽度要 大于条间距................ 62 4.1.3 慎用三维效果的 柱形图........................ 63 4.1.4 用堆积图表示 百分数........................ 64 4.2 折线图：按时间或类别 显示趋势.............................. 65 4.2.1 减小Y 轴刻度单位 增强数据波动情况..... 65 4.2.2 突出显示折线图中 的数据点.................... 66 4.2.3 通过面积图显示 数据总额.................... 67 4.3 圆饼图：部分占总体的比例.... 68 4.3.1 重视圆饼图扇区的 位置排序.................... 68 4.3.2 分离圆饼图扇区 强调特殊数据............. 69 4.3.3 用半个圆饼图刻画 半期内的数据............. 70 4.3.4 让多个圆饼图对象 重叠展示对比关系..... 71 4.4 散点图：表示分布状态......... 72 4.4.1 用平滑线联系散点图 增强图形效果............. 72 4.4.2 将直角坐标改为象限 坐标凸显分布效果..... 73 4.5 侧重点不同的特殊图表......... 74 4.5.1 用子弹图显示数据 的优劣........................ 74 4.5.2 用温度计展示工作 进度........................... 75 4.5.3 用漏斗图进行业务 流程的差异分析......... 76 【实验与思考】大数据如何激发 创造力.................................. 78 第5 章 大数据的商业规则..............79 5.1 大数据的跨界年度................ 80 5.2 谷歌的大数据行动................ 81 5.3 亚马逊的大数据行动............ 83 5.4 将信息变成一种竞争优势..... 84 5.4.1 数据价格下降， 数据需求上升............. 85 5.4.2 大数据应用程序的 兴起........................... 86 5.4.3 实时响应，大数据 用户的新要求............. 87 5.4.4 企业构建大数据 战略........................... 87 目 录 3 5.5 大数据营销........................... 88 5.5.1 像媒体公司一样 思考........................... 88 5.5.2 营销面对新的机遇 与挑战........................ 89 5.5.3 自动化营销................ 90 5.5.4 为营销创建高容量 和高价值的内容......... 91 5.5.5 内容营销.................... 91 5.5.6 内容创作与众包......... 92 5.5.7 用投资回报率评价 营销效果.................... 93 【实验与思考】大数据营销的 优势与核心内涵................... 93 第6 章 大数据激发创造力..............95 6.1 大数据与循证医学................ 97 6.2 大数据带来的医疗新突破..... 98 6.2.1 量化自我，关注个人 健康........................... 99 6.2.2 可穿戴的个人健康 设备......................... 100 6.2.3 大数据时代的医疗 信息......................... 101 6.3 医疗信息数字化................. 103 6.4 搜索：超级大数据的 *佳伙伴............................ 105 6.5 数据决策的成功崛起.......... 106 6.5.1 数据辅助诊断........... 107 6.5.2 你考虑过……了吗...... 107 6.5.3 大数据分析使数据 决策崛起.................. 108 6.6 大数据帮助改善设计.......... 109 6.6.1 少而精是设计的 核心..........................110 6.6.2 与玩家共同设计 游戏..........................111 6.6.3 以人为本的汽车 设计理念...................111 6.6.4 寻找*佳音响效果...... 112 6.6.5 建筑数据取代直觉...... 113 【实验与思考】大数据如何激发 创造力................................ 114 第7 章 大数据预测分析...............116 7.1 预测分析............................ 119 7.2 数据情感和情感数据.......... 122 7.2.1 从博客观察集体 情感......................... 122 7.2.2 预测分析博客中的 情绪......................... 122 7.2.3 影响情绪的重要 因素——金钱........... 124 7.3 数据具有内在预测性.......... 125 7.4 情感的因果关系.................. 126 7.4.1 焦虑指数与标普 500 指数................... 126 7.4.2 验证情感和被验证 的情感...................... 128 7.4.3 情绪指标影响 金融市场.................. 129 【实验与思考】大数据准备度 自我评分表......................... 130 第8 章 支撑大数据的技术............134 8.1 大数据在云端..................... 135 8.1.1 云计算概述............... 136 8.1.2 云计算的服务形式...... 137 8.1.3 云计算与大数据....... 137 8.1.4 云基础设施............... 139 8.2 计算虚拟化......................... 140 8.3 网络虚拟化......................... 140 8.4 大数据存储......................... 141 大数据及其可视化 4 8.4.1 传统存储系统........... 141 8.4.2 大数据时代的 新挑战...................... 142 8.4.3 分布式存储.............. 143 8.4.4 云存储...................... 144 8.5 开源技术的商业支援.......... 145 8.6 大数据的技术架构.............. 146 8.7 Hadoop 基础....................... 147 8.7.1 分布式系统概述....... 147 8.7.2 Hadoop 的由来......... 148 8.7.3 Hadoop 的优势......... 149 8.7.4 Hadoop 的发行 版本......................... 150 8.8 大数据数据处理基础.......... 150 8.8.1 Hadoop 与NoSQL...... 151 8.8.2 NoSQL 与RDBMS 的主要区别.............. 151 8.8.3 NewSQL ................... 153 【实验与思考】了解大数据的 基础设施............................ 154 第9 章 数据引导可视化...............156 9.1 可视化对认知的帮助.......... 157 9.1.1 七个基本任务........... 157 9.1.2 新的数据研究方法...... 158 9.1.3 信息图形和展示....... 159 9.1.4 走进数据艺术的 世界......................... 160 9.2 可视化设计组件................. 161 9.2.1 视觉隐喻.................. 162 9.2.2 坐标系...................... 165 9.2.3 标尺.......................... 167 9.2.4 背景信息.................. 168 9.2.5 整合可视化组件....... 168 9.3 分类数据的可视化.............. 169 9.3.1 整体中的部分........... 170 9.3.2 子分类...................... 170 9.3.3 数据的结构和模式....... 171 9.4 时序数据的可视化.............. 171 9.4.1 周期.......................... 172 9.4.2 循环.......................... 173 9.5 空间数据的可视化.............. 174 9.6 让可视化设计更清晰.......... 175 9.6.1 建立视觉层次........... 175 9.6.2 增强图表的可读性....... 176 9.6.3 允许数据点之间 进