大数据概论(Introduction to big data)(大数据技术与应用丛书)

目录

第1章大数据概述1

1.1大数据定义和特征1

1.1.1大数据定义1

1.1.2大数据的特征1

1.1.3大数据发展历程2

1.2大数据的影响4

1.3大数据发展趋势4

1.4大数据的关键技术8

1.5大数据的计算模式10

1.6大数据的应用领域11

1.7数据资源化和交易13

1.7.1数据资源化13

1.7.2大数据交易14

1.8大数据安全与隐私15

1.9本章小结16

习题17

第2章大数据、云计算与物联网18

2.1云计算18

2.1.1云计算概述18

2.1.2云计算的分类19

2.1.3云计算的基本特点20

2.1.4云计算的关键技术21

2.1.5云计算的应用24

2.2物联网26

2.2.1物联网概述27

2.2.2物联网的发展过程27

2.2.3物联网的特征28

2.2.4物联网的关键技术30

2.2.5物联网系统结构31

2.2.6物联网的应用33

2.3大数据、云计算与物联网三者之间的关系36

2.4本章小结39

目录大数据概论习题39

第3章大数据架构与Hadoop40

3.1大数据架构40

3.1.1大数据架构概述40

3.1.2数据类型41

3.1.3大数据架构及数据解决方案42

3.2Hadoop概述46

3.2.1Hadoop简介46

3.2.2Hadoop的发展历程46

3.2.3Hadoop的特点47

3.2.4Hadoop应用现状47

3.2.5Hadoop的版本49

3.3Hadoop的生态系统概述50

3.3.1Hadoop的生态系统50

3.3.2Hadoop的组成介绍51

3.4Hadoop的安装55

3.4.1安装前的准备55

3.4.2安装VirtualBox56

3.4.3安装Linux发行版Ubuntu57

3.4.4创建Hadoop用户61

3.4.5设置SSH无密码登录61

3.4.6安装Java环境62

3.4.7安装单机Hadoop62

3.4.8安装伪分布式Hadoop63

3.5本章小结66

习题66

第4章数据采集与预处理67

4.1大数据采集67

4.1.1大数据采集概述67

4.1.2大数据采集方法70

4.2大数据采集工具72

4.2.1Flume73

4.2.2Kafka75

4.2.3Sqoop77

4.2.4Scribe80

4.3大数据预处理技术81

4.3.1预处理意义81

4.3.2预处理方法82

4.4本章小结91

习题92

第5章大数据分析与大数据挖掘93

5.1大数据分析的基本概念93

5.1.1数据分析概论93

5.1.2数据分析的类型94

5.2大数据分析方法95

5.2.1数据分析方法概述95

5.2.2数据分析过程97

5.2.3数据处理结果分析98

5.3数据挖掘概述105

5.3.1数据和知识105

5.3.2数据挖掘的概念106

5.3.3数据挖掘过程106

5.3.4数据挖掘技术107

5.4分类算法108

5.4.1朴素贝叶斯分类109

5.4.2SVM算法114

5.5聚类算法117

5.5.1kmeans算法118

5.5.2DBSCAN算法121

5.6Apriori频繁项集挖掘算法125

5.6.1Apriori算法原理126

5.6.2Apriori算法的基本思想127

5.6.3Apriori算法流程128

5.6.4Apriori算法的优缺点128

5.6.5Apriori算法实例129

5.7常用挖掘工具130

5.7.1Mahout130

5.7.2Spark MLlib132

5.8本章小结135

习题135

第6章数据存储与HDFS136

6.1大数据存储136

6.1.1大数据存储概述136

6.1.2分布式存储系统137

6.1.3云存储140

6.2数据仓库141

6.2.1数据仓库概述141

6.2.2数据仓库架构及构建143

6.2.3数据集市147

6.3HDFS简介148

6.3.1HDFS概述148

6.3.2HDFS的优点和缺点149

6.4HDFS基本技术150

6.4.1数据块150

6.4.2名称节点、数据节点和第二名称节点151

6.5HDFS体系结构154

6.5.1HDFS体系结构概述154

6.5.2HDFS命名空间155

6.5.3通信协议和客户端155

6.5.4HDFS 1.0体系结构的局限性155

6.5.5HDFS 2.0设计156

6.6HDFS存储原理156

6.6.1数据的冗余存储156

6.6.2如何存取数据157

6.6.3如何恢复数据158

6.7HDFS的文件读写操作过程159

6.7.1HDFS读取数据的过程159

6.7.2HDFS写入数据的过程161

6.8HDFS编程实例163

6.8.1使用Shell命令与HDFS进行交互163

6.8.2在Web上显示HDFS165

6.8.3使用Java API与HDFS进行交互166

6.9本章小结170

习题170

第7章MapReduce171

7.1MapReduce概述171

7.1.1MapReduce的基本概念171

7.1.2MapReduce的思想172

7.1.3MapReduce的抽象方法173

7.2Map和Reduce任务173

7.2.1函数式编程173

7.2.2mapper和reducer174

7.3MapReduce执行框架和工作流程176

7.3.1执行框架176

7.3.2MapReduce工作流程概述178

7.3.3Shuffle执行过程179

7.3.4分割器和组合器182

7.4MapReduce算法及应用183

7.4.1概述183

7.4.2本地聚合183

7.4.3对和条纹188

7.4.4相对频率191

7.5MapReduce编程实例193

7.6本章小结197

习题197

第8章数据可视化199

8.1大数据可视化概述199

8.1.1何为数据可视化199

8.1.2大数据可视化方法203

8.2大数据可视化软件工具213

8.2.1Excel213

8.2.2Tableau214

8.2.3魔镜214

8.2.4ECharts215

8.2.5D3215

8.3数据可视化实例216

8.3.1用Tableau制作一个图表实例216

8.3.2用魔镜制作一个图表实例222

8.3.3用ECharts制作一个图表实例225

8.4本章小结226

习题227

第9章大数据安全228

9.1大数据安全概述228

9.1.1大数据安全的基本概念228

9.1.2云安全与大数据安全231

9.1.3大数据安全技术分类231

9.1.4大数据安全管理体系架构232

9.2大数据隐私保护233

9.2.1大数据隐私保护的意义和重要作用233

9.2.2大数据隐私保护面临的问题与挑战234

9.2.3大数据隐私保护技术236

9.3大数据在安全管理中的应用239

9.3.1大数据在公共安全管理中的应用239

9.3.2大数据在煤矿安全管理中的应用241

9.3.3大数据在安全管理应急方面的应用242

9.4数据脱敏技术247

9.4.1数据交互安全与脱敏技术247

9.4.2静态数据脱敏技术247

9.4.3动态数据脱敏技术248

9.4.4数据脱敏实例248

9.5本章小结249

习题249

第10章大数据应用案例250

10.1大数据在智慧医疗中的应用250

10.1.1大数据在医疗信息化行业的应用250

10.1.2大数据在临床决策支持系统的功能应用252

10.1.3大数据在远程医疗方面的应用253

10.2大数据在金融行业中的应用256

10.2.1民生银行在大数据上的应用256

10.2.2大数据在阿里巴巴上的应用258

10.2.3大数据时代信用卡的使用259

10.2.4Kabbage 用大数据开辟新路径260

10.3大数据在智慧校园中的应用261

10.3.1大数据在微课方面的应用261

10.3.2大数据在慕课方面的应用262

10.3.3大数据在智慧教育云下的应用264

10.3.4大数据在学习分析及干预中的应用266

10.4大数据在智慧城市中的应用267

10.4.1大数据在智慧城市中应用与管理方面的应用267

10.4.2大数据在智慧城市中环境方面的应用268

10.4.3大数据挖掘技术在智能交通中的应用269

10.5本章小结271

习题272

参考文献273