大数据导论(第2版)(微课版)

第1章大数据与大数据时代1

1.1什么是大数据2

1.1.1天文学——信息爆炸的起源3

1.1.2大数据的定义6

1.1.3用3V描述大数据特征7

1.1.4广义的大数据9

1.2大数据思维10

1.3大数据的结构类型10

1.4大数据的发展11

1.4.1硬件性价比提高与软件技术进步11

1.4.2云计算的普及12

1.4.3大数据作为BI的进化形式13

1.4.4从交易数据分析到交互数据分析13

【作业】14

【实验与思考】了解大数据及其在线支持17第2章大数据思维变革20

2.1转变之一： 样本=总体22

2.1.1小数据时代的随机采样22

2.1.2大数据与乔布斯的癌症治疗25

2.1.3全数据模式： 样本=总体26

2.2转变之二： 接受数据的混杂性27

2.2.1允许不精确27

2.2.2大数据简单算法与小数据复杂算法29

2.2.3纷繁的数据越多越好30

2.2.4混杂性是标准途径31

2.2.55%的数字数据与95%的非结构化数据32

2.3转变之三： 数据的相关关系33

2.3.1关联物，预测的关键33

2.3.2“是什么”，而不是“为什么”35

2.3.3通过因果关系了解世界36

2.3.4通过相关关系了解世界38

【作业】39

【实验与思考】深入理解大数据的三个思维变革41第3章大数据可视化44

3.1数据与可视化46

3.1.1数据的可变性47

3.1.2数据的不确定性48

3.1.3数据所依存的背景信息49

3.1.4打造*好的可视化效果50

3.2数据与图形50

3.2.1数据与走势52

3.2.2视觉信息的科学解释53

3.2.3图片和分享的力量54

3.3实时可视化54

3.4数据可视化的运用56

【作业】57

【实验与思考】绘制南丁格尔极区图59第4章大数据的商业规则62

4.1大数据的跨界年度63

4.2谷歌的大数据行动65

4.3亚马逊的大数据行动66

4.4将信息变成竞争优势68

4.4.1数据价格下降而需求上升69

4.4.2大数据应用程序兴起69

4.4.3实时响应大数据用户的要求70

4.4.4企业构建大数据战略71

4.5大数据营销71

4.5.1像媒体公司一样思考72

4.5.2面对新的机遇与挑战72

4.5.3自动化营销73

4.5.4创建高容量和高价值内容74

4.5.5内容营销75

4.5.6内容创作与众包75

4.5.7用投资回报率评价营销效果76

【作业】77

【实验与思考】大数据营销的优势与核心内涵79第5章大数据促进医疗与健康81

5.1大数据与循证医学83

5.2大数据带来的医疗新突破85

5.2.1量化自我，关注个人健康85

5.2.2可穿戴的个人健康设备86

5.2.3大数据时代的医疗信息88

5.2.4CellMiner，对抗癌症的新工具89

5.3医疗信息数字化90

5.4搜索： 超级大数据的*佳伙伴92

5.5数据决策的崛起94

5.5.1数据辅助诊断94

5.5.2你考虑过……了吗94

5.5.3大数据分析使数据决策崛起96

【作业】96

【实验与思考】熟悉大数据在医疗健康领域的应用98第6章大数据激发创造力100

6.1大数据帮助改善设计102

6.1.1少而精是设计的核心102

6.1.2与玩家共同设计游戏103

6.1.3以人为本的汽车设计理念104

6.1.4寻找*佳音响效果106

6.1.5建筑，数据取代直觉107

6.2大数据操作回路107

6.2.1信号与噪声108

6.2.2大数据反馈回路108

6.2.3*小数据规模109

6.2.4大数据应用程序优势与作用109

6.3情感分析110

6.3.1数据情感和情感数据110

6.3.2焦虑指数与标普500指数114

6.3.3验证情感和被验证的情感115

6.3.4情绪指标影响金融市场116

【作业】118

【实验与思考】大数据如何激发创造力120第7章大数据预测分析122

7.1什么是预测分析126

7.1.1预测分析的作用126

7.1.2数据具有内在预测性128

7.1.3定量分析与定性分析129

7.2统计分析129

7.2.1A/B测试129

7.2.2相关性分析131

7.2.3回归性分析132

7.3数据挖掘132

7.4大数据分析生命周期133

7.4.1商业案例评估134

7.4.2数据标识135

7.4.3数据获取与过滤135

7.4.4数据提取135

7.4.5数据验证与清理137

7.4.6数据聚合与表示137

7.4.7数据分析138

7.4.8数据可视化139

7.4.9分析结果的使用139

【作业】140

【实验与思考】大数据准备度自我评分表142第8章大数据与人工智能146

8.1人工智能概述148

8.2机器学习基础150

8.2.1什么是机器学习150

8.2.2基本结构152

8.2.3研究领域153

8.3机器学习分类153

8.3.1基于学习策略分类154

8.3.2基于知识表示形式分类155

8.3.3按应用领域分类155

8.3.4按学习形式分类156

8.4神经网络158

8.5语义分析160

8.5.1自然语言处理160

8.5.2文本分析161

8.5.3语义检索162

8.6视觉分析163

8.6.1热点图163

8.6.2时间序列图164

8.6.3网络图164

8.6.4空间数据制图166

【作业】166

【实验与思考】了解大数据与人工智能分析168第9章大数据存储技术172

9.1分布式处理173

9.1.1分布式系统174

9.1.2分布式文件系统175

9.1.3并行与分布式数据处理175

9.1.4分布式存储176

9.2大数据存储的概念177

9.2.1存储虚拟化177

9.2.2集群177

9.2.3分片与复制178

9.2.4CAP定理181

9.2.5BASE设计原理183

9.3NoSQL数据库185

9.3.1主要特征186

9.3.2键值存储188

9.3.3文档存储189

9.3.4列簇存储190

9.3.5图存储191

9.3.6NoSQL与RDBMS的主要区别192

9.4NewSQL数据库194

9.5内存存储技术195

【作业】196

【实验与思考】熟悉大数据存储技术200第10章大数据处理技术203

10.1开源技术商业支援205

10.2大数据技术架构206

10.3Hadoop数据处理基础207

10.3.1Hadoop的由来208

10.3.2Hadoop的优势209

10.3.3Hadoop的发行版本209

10.3.4Hadoop与NoSQL211

10.4大数据处理模式213

10.4.1处理的特点与工作量213

10.4.2SCV原则214

10.4.3批处理模式215

10.4.4实时处理模式221

【作业】224

【实验与思考】熟悉大数据技术架构与处理226第11章大数据与云计算229

11.1什么是云计算230

11.1.1云计算定义230

11.1.2云基础设施231

11.2计算虚拟化232

11.3网络虚拟化233

11.3.1网卡虚拟化233

11.3.2虚拟交换机234

11.3.3接入层虚拟化235

11.3.4覆盖网络虚拟化235

11.3.5软件定义网络（Software Defined Network,SDN）235

11.4云计算服务形式236

11.5大数据与云计算237

11.5.1云计算与大数据相辅相成237

11.5.2对大数据处理的意义238

11.5.3数据即服务238

11.6云的挑战239

【作业】240

【实验与思考】深入理解云计算与大数据的相辅相成242第12章大数据安全与法律245

12.1消费者的隐私权249

12.2大数据的安全问题251

12.2.1采集汇聚安全252

12.2.2存储处理安全252

12.2.3共享使用安全253

12.3大数据的管理维度254

12.4大数据的安全体系255

12.4.1大数据安全技术体系255

12.4.2大数据安全治理256

12.4.3大数据安全测评256

12.4.4大数据安全运维257

12.4.5以数据为中心的安全要素257

12.4.6主动防御协同体系258

12.4.7协同安全防护流程259

12.5大数据伦理与法规259

12.5.1大数据的伦理问题259

12.5.2大数据的伦理规则261

12.5.3大数据安全法规进展262

【作业】264

【实验与思考】熟悉大数据安全定义与法规266第13章数据科学与数据科学家268

13.1计算思维270

13.1.1计算思维的概念270

13.1.2计算思维的作用271

13.1.3计算思维的特点272

13.2数据工程师的社会责任274

13.2.1职业化和道德责任274

13.2.2ACM职业道德责任275

13.2.3软件工程师道德基础276

13.3IEEE/ACM《计算学科教学计划》的相关要求276

13.4数据科学与职业技能277

13.4.1数据科学的重要技能278

13.4.2重要的数据科学技能279

13.4.3技能因职业角色而异279

13.5数据科学家281

13.5.1大数据生态系统关键角色282

13.5.2数据科学家所需的技能283

13.5.3数据科学家所需的素质285

13.5.4数据科学家的学习内容287

【作业】289

【实验与思考】了解数据科学，熟悉数据科学家291第14章大数据的未来294

14.1连接开放数据296

14.1.1LOD运动296

14.1.2对政府公开的影响297

14.1.3利用开放数据的创业型公司299

14.2大数据资产的崛起299

14.2.1数据市场的兴起299

14.2.2不同的商业模式300

14.2.3将原创数据变为增值数据300

14.2.4大数据催生新的应用程序301

14.2.5在大数据“空白”中提取*大价值302

14.3大数据的发展趋势302

14.4大数据技术展望304

14.4.1数据管理仍然很难304

14.4.2数据孤岛继续激增305

14.4.3媒体分析的突破305

14.4.4技术发展带来技能转变305

14.4.5“快速数据”和“可操作数据”306

14.4.6预测分析将数据转化为预测306

【作业】307

【课程学习与实验总结】309附录作业参考答案314

参考文献317

第1章大数据与大数据时代1

1.1什么是大数据2

1.1.1天文学——信息爆炸的起源3

1.1.2大数据的定义6

1.1.3用3V描述大数据特征7

1.1.4广义的大数据9

1.2大数据变革思维9

1.3大数据的结构类型10

1.4大数据的发展11

1.4.1硬件性价比提高与软件技术进步11

1.4.2云计算的普及12

1.4.3大数据作为BI的进化形式12

1.4.4从交易数据分析到交互数据分析13第2章大数据的可视化19

2.1数据与可视化21

2.1.1数据的可变性22

2.1.2数据的不确定性23

2.1.3数据所依存的背景信息24

2.1.4打造*好的可视化效果25

2.2数据与图形25

2.2.1数据与走势26

2.2.2视觉信息的科学解释28

2.2.3图片和分享的力量29

2.3公共数据集30

2.4实时可视化31

2.5挑战图像的多变性32

2.6数据可视化的运用332.6.1可视化对认知的帮助34

2.6.27个数据类型35

2.6.37个基本任务36

2.6.4数据可视化的挑战38第3章大数据的商业规则45

3.1大数据的跨界年度46

3.2谷歌的大数据行动47

3.3亚马逊的大数据行动49

3.4将信息变成一种竞争优势50

3.4.1数据价格下降，数据需求上升51

3.4.2大数据应用程序的兴起52

3.4.3实时响应，大数据用户的新要求53

3.4.4企业构建大数据战略53

3.5大数据营销54

3.5.1像媒体公司一样思考54

3.5.2营销面对新的机遇与挑战55

3.5.3自动化营销56

3.5.4为营销创建高容量和高价值的内容57

3.5.5内容营销57

3.5.6内容创作与众包58

3.5.7用投资回报率评价营销效果59第4章大数据时代的思维变革65

4.1大数据时代的大挑战67

4.2转变之一: 样本=总体68

4.2.1小数据时代的随机采样68

4.2.2大数据与乔布斯的癌症治疗71

4.2.3全数据模式: 样本=总体72

4.3转变之二: 接受数据的混杂性74

4.3.1允许不精确74

4.3.2大数据的简单算法与小数据的复杂算法76

4.3.3纷繁的数据越多越好77

4.3.4混杂性是标准途径78

4.3.5新的数据库设计79

4.3.65%的数字数据与95%的非结构化数据81

4.4转变之三: 数据的相关关系81

4.4.1关联物，预测的关键81

4.4.2“是什么”，而不是“为什么”84

4.4.3通过因果关系了解世界84

4.4.4通过相关关系了解世界86第5章大数据促进医疗与健康93

5.1大数据与循证医学95

5.2大数据带来的医疗新突破96

5.2.1量化自我，关注个人健康97

5.2.2可穿戴的个人健康设备98

5.2.3大数据时代的医疗信息99

5.2.4CellMiner——对抗癌症的新工具100

5.3医疗信息数字化102

5.4搜索: 超级大数据的*佳伙伴104

5.5数据决策的成功崛起105

5.5.1数据辅助诊断106

5.5.2你考虑过……了吗106

5.5.3大数据分析使数据决策崛起107第6章大数据激发创造力112

6.1大数据帮助改善设计114

6.1.1少而精是设计的核心115

6.1.2与玩家共同设计游戏116

6.1.3以人为本的汽车设计理念116

6.1.4寻找*佳音响效果118

6.1.5建筑，数据取代直觉119

6.2大数据操作回路119

6.2.1信号与噪声120

6.2.2大数据反馈回路120

6.2.3*小数据规模121

6.2.4大数据应用程序的优势与作用121

6.3大数据资产的崛起122

6.3.1大数据催生崭新的应用程序122

6.3.2寻找大数据“空白”，提取*大价值122第7章大数据预测分析126

7.1什么是预测分析130

7.1.1预测分析的作用130

7.1.2行业应用举例131

7.2数据情感和情感数据132

7.2.1从博客观察集体情感132

7.2.2预测分析博客中的情绪133

7.2.3影响情绪的重要因素——金钱135

7.3数据具有内在预测性136

7.4情感的因果关系137

7.4.1焦虑指数与标普500指数137

7.4.2验证情感和被验证的情感138

7.4.3情绪指标影响金融市场139第8章大数据促进学习149

8.1打造网络教育体系152

8.1.1典型的网络教育形式152

8.1.2未来的教育: 线上线下结合153

8.1.3跟踪教学效果154

8.1.4形成学习能力155

8.2机器学习及其研究155

8.2.1什么是人工智能156

8.2.2什么是机器学习157

8.2.3基本结构159

8.2.4研究领域160

8.3机器学习的分类160

8.3.1基于学习策略的分类160

8.3.2基于所获取知识的表示形式分类161

8.3.3按应用领域分类162

8.3.4按学习形式分类162第9章大数据在云端171

9.1云端大数据173

9.1.1什么是云计算173

9.1.2云计算的服务形式174

9.1.3云计算与大数据175

9.1.4云基础设施176

9.2计算虚拟化176

9.3大数据存储177

9.3.1传统存储系统时代178

9.3.2大数据时代的新挑战178

9.3.3分布式存储180

9.3.4云存储180

9.3.5大数据存储的其他需求181

9.4网络虚拟化182

9.4.1网卡虚拟化182

9.4.2虚拟交换机183

9.4.3接入层的虚拟化184

9.4.4覆盖网络虚拟化184

9.4.5软件定义的网络184

9.4.6对大数据处理的意义185

9.5数据即服务185

9.5.1数据应用185

9.5.2数据清理185

9.5.3数据保密186

9.6云的挑战186第10章支撑大数据的技术193