大数据导论 第2版

第1章 大数据概述　1

1.1　数据　1

1.1.1　数据的概念　1

1.1.2　数据的类型　2

1.1.3　数据的组织形式　3

1.1.4　数据的生命周期　3

1.1.5　数据的使用　3

1.1.6　数据的价值　4

1.1.7　数据爆炸　5

1.1.8　数商　5

1.2　大数据时代　6

1.2.1　第三次信息化浪潮　7

1.2.2　信息科技为大数据时代提供技术支撑　7

1.2.3　数据产生方式的变革促成大数据时代的来临　8

1.3　大数据的发展历程　9

1.4　世界各国的大数据发展战略　11

1.4.1　美国　12

1.4.2　英国　13

1.4.3　欧盟　13

1.4.4　韩国　14

1.4.5　日本　14

1.4.6　中国　14

1.5　大数据的概念　17

1.5.1　数据量大　17

1.5.2　数据类型繁多　18

1.5.3　处理速度快　19

1.5.4　价值密度低　20

1.6　大数据的影响　20

1.6.1　大数据对科学研究的影响　20

1.6.2　大数据对社会发展的影响　22

1.6.3　大数据对就业市场的影响　23

1.6.4　大数据对人才培养的影响　23

1.7　大数据的应用　25

1.7.1　大数据在各个领域的应用　25

1.7.2　大数据应用的3个层次　26

1.8　大数据产业　27

1.9　大数据与数字经济　29

1.9.1　数字经济　29

1.9.2　大数据与数字经济的紧密关系　32

1.10　高校的大数据专业　33

1.10.1　大数据专业概述　34

1.10.2　大数据专业体系　35

1.10.3　大数据专业的编程语言　36

1.11　本章小结　38

1.12　习题　39

第2章　大数据与其他新兴技术的关系　40

2.1　云计算　40

2.1.1　云计算的概念　40

2.1.2　云计算的服务模式和类型　43

2.1.3　云计算数据中心　43

2.1.4　云计算的应用和产业　45

2.2　物联网　46

2.2.1　物联网的概念　46

2.2.2　物联网的关键技术　47

2.2.3　物联网的应用　49

2.2.4　物联网产业链　50

2.3　大数据与云计算、物联网的关系　50

2.4　人工智能　51

2.4.1　人工智能的概念　52

2.4.2　人工智能的关键技术　52

2.4.3　人工智能的应用　56

2.4.4　人工智能产业　60

2.4.5　大数据与人工智能的关系　63

2.5　区块链　63

2.5.1　比特币概述　64

2.5.2　区块链的原理　64

2.5.3　区块链的定义和应用　70

2.5.4　大数据与区块链的关系　71

2.6　元宇宙　73

2.6.1　元宇宙的概念　73

2.6.2　元宇宙的基本特征　74

2.6.3　元宇宙的核心技术　75

2.6.4　大数据与元宇宙的关系　77

2.7　本章小结　77

2.8　习题　77

第3章　大数据基础知识　79

3.1　大数据安全　79

3.1.1　传统数据安全　80

3.1.2　大数据安全与传统数据安全的不同　80

3.1.3　大数据时代数据安全面临的挑战　81

3.1.4　大数据安全问题分类　82

3.1.5　大数据面临的具体安全威胁　84

3.1.6　典型案例　86

3.2　大数据思维　89

3.2.1　传统的思维方式　89

3.2.2　大数据时代需要新的思维方式　89

3.2.3　大数据思维方式　91

3.2.4　运用大数据思维方式的具体实例　94

3.3　大数据伦理　101

3.3.1　大数据伦理的概念　101

3.3.2　大数据伦理的典型案例　102

3.3.3　大数据的伦理问题　105

3.4　数据共享　110

3.4.1　数据孤岛问题　110

3.4.2　数据孤岛问题产生的原因　111

3.4.3　消除数据孤岛的重要意义　112

3.4.4　实现数据共享所面临的挑战　112

3.4.5　推进数据共享开放的举措　114

3.4.6　数据共享案例　115

3.5　数据开放　119

3.5.1　政府开放数据的理论基础　119

3.5.2　政府信息公开与政府数据开放的联系与区别　122

3.5.3　政府数据开放的重要意义　123

3.6　大数据交易　125

3.6.1　大数据交易概述　125

3.6.2　大数据交易的发展现状　126

3.6.3　大数据交易平台　128

3.7　大数据治理　132

3.7.1　概述　132

3.7.2　大数据治理要素和治理原则　138

3.7.3　大数据治理的范围　140

3.8　本章小结　143

3.9　习题　143

第4章　大数据的应用　145

4.1　大数据在互联网领域的应用　145

4.2　大数据在生物医学领域的应用　146

4.2.1　流行病预测　146

4.2.2　智慧医疗　148

4.2.3　生物信息学　148

4.3　大数据在物流领域的应用　149

4.3.1　智能物流的概念　149

4.3.2　大数据是智能物流的关键　149

4.3.3　中国智能物流骨干网—菜鸟　150

4.4　大数据在城市管理领域的应用　151

4.4.1　智能交通　151

4.4.2　环保监测　151

4.4.3　城市规划　152

4.4.4　安防　153

4.5　大数据在金融领域的应用　153

4.5.1　高频交易　153

4.5.2　市场情绪分析　154

4.5.3　信贷风险分析　154

4.5.4　大数据征信　155

4.6　大数据在汽车领域的应用　156

4.7　大数据在零售领域的应用　156

4.7.1　发现关联购买行为　157

4.7.2　客户群体细分　157

4.7.3　供应链管理　158

4.8　大数据在餐饮领域的应用　158

4.8.1　餐饮领域拥抱大数据　159

4.8.2　餐饮O2O　159

4.9　大数据在电信和能源领域的应用　160

4.10　大数据在体育和娱乐领域的应用　161

4.10.1　训练球队　162

4.10.2　投拍影视作品　162

4.10.3　预测比赛结果　163

4.11　大数据在安全领域的应用　163

4.11.1　大数据与国家安全　163

4.11.2　应用大数据技术防御网络攻击　164

4.11.3　警察应用大数据工具预防犯罪　164

4.12　大数据在日常生活中的应用　165

4.13　本章小结　167

4.14　习题　167

第5章　大数据的硬件环境　168

5.1　服务器的性能指标　168

5.2　服务器的分类及选购　170

5.3　系统的性能评估　171

5.3.1　CPU　172

5.3.2　内存　173

5.3.3　存储　174

5.3.4　网卡　177

5.4　硬件系统分析　178

5.5　网络设备　179

5.6　系统组网方案设计　181

5.6.1　网络需求分析　181

5.6.2　网络结构设计　182

5.7　数据中心　183

5.7.1　数据中心的分类　184

5.7.2　数据中心的组成　184

5.7.3　数据中心的上线　185

5.8　本章小结　185

5.9　习题　186

第6章　数据采集与预处理　187

6.1　数据采集　187

6.1.1　数据采集的概念　187

6.1.2　数据采集的三大要点　188

6.1.3　数据采集的数据源　188

6.1.4　数据采集方法　189

6.1.5　网络爬虫　191

6.2　数据清洗　196

6.2.1　数据清洗的应用领域　196

6.2.2　数据清洗的实现方式　196

6.2.3　数据清洗的内容　197

6.2.4　数据清洗的注意事项　198

6.2.5　数据清洗的基本流程　198

6.2.6　数据清洗的评价标准　199

6.2.7　数据清洗的行业发展　199

6.3　数据集成和数据转换　200

6.3.1　数据集成　200

6.3.2　数据转换　201

6.4　数据归约　204

6.5　数据脱敏　205

6.6　本章小结　207

6.7　习题　207

第7章　数据存储与管理　208

7.1　传统的数据存储与管理技术　208

7.1.1　文件系统　208

7.1.2　关系数据库　209

7.1.3　数据仓库　210

7.1.4　并行数据库　212

7.2　大数据时代的数据存储与管理技术　213

7.2.1　分布式文件系统　213

7.2.2　NewSQL和NoSQL数据库　213

7.2.3　云数据库　215

7.2.4　数据湖　216

7.3　大数据处理架构Hadoop　220

7.3.1　Hadoop的特性　220

7.3.2　Hadoop生态系统　221

7.4　分布式文件系统HDFS　223

7.4.1　HDFS的设计目标　223

7.4.2　HDFS的体系结构　224

7.5　NoSQL数据库　225

7.5.1　键值数据库　226

7.5.2　列族数据库　227

7.5.3　文档数据库　227

7.5.4　图数据库　228

7.6　云数据库　229

7.6.1　云数据库的概念　229

7.6.2　云数据库的特性　230

7.6.3　云数据库与其他数据库的关系　231

7.6.4　代表性的云数据库产品　232

7.7　分布式数据库HBase　232

7.7.1　Bigtable概述　232

7.7.2　HBase简介　233

7.7.3　HBase的数据模型　233

7.7.4　HBase的系统架构　235

7.8　Spanner　236

7.9　OceanBase　237

7.10　本章小结　238

7.11　习题　239

第8章　数据处理与分析　240

8.1　数据处理与分析的概念　240

8.2　基于统计学方法的数据分析　242

8.2.1　常见的数据分析方法　242

8.2.2　数据分析的主流工具　244

8.3　机器学习和数据挖掘算法　246

8.3.1　概述　246

8.3.2　分类　247

8.3.3　聚类　248

8.3.4　回归分析　249

8.3.5　关联规则　249

8.3.6　协同过滤　250

8.4　数据挖掘的方法体系　251

8.4.1　可挖掘的知识　251

8.4.2　数据挖掘系统的体系结构　252

8.4.3　数据挖掘流程　253

8.5　大数据处理与分析技术　254

8.5.1　技术分类　255

8.5.2　流计算　256

8.5.3　图计算　258

8.6　大数据处理与分析的代表性产品　260

8.6.1　分布式计算框架MapReduce　260

8.6.2　数据仓库Hive　261

8.6.3　数据仓库Impala　263

8.6.4　基于内存的分布式计算框架Spark　264

8.6.5　机器学习框架

TensorFlowOnSpark　278

8.6.6　流计算框架Flink　280

8.6.7　大数据编程框架Beam　283

8.6.8　查询分析系统Dremel　284

8.7　本章小结　285

8.8　习题　286

第9章　数据可视化　287

9.1　可视化概述　287

9.1.1　数据可视化简介　287

9.1.2　可视化的发展历程　288

9.1.3　可视化的重要作用　288

9.2　可视化图表　290

9.3　可视化工具　291

9.3.1　入门级工具　291

9.3.2　信息图表工具　291

9.3.3　地图工具　293

9.3.4　时间线工具　293

9.3.5　高级分析工具　294

9.4　本章小结　294

9.5　习题　295

第10章　大数据分析综合案例　296

10.1　案例任务　296

10.2　系统设计　297

10.2.1　系统总体设计　297

10.2.2　数据库设计　297

10.2.3　系统网站设计　298

10.2.4　算法设计　299

10.3　技术选择　301

10.4　系统实现　303

10.5　本章小结　304

10.6　习题　304

参考文献　305