大数据导论

第 1章　大数据概述　1
1.1　实例引入：三次信息化浪潮迎来大数据时代　1
1.1.1　信息时代数据爆炸　2
1.1.2　三次信息化浪潮　2
1.1.3　大数据的发展　3
1.1.4　大数据带来思维模式的改变　4
1.1.5　大数据的特点　5
1.2　大数据产业发展概况　6
1.2.1　大数据产业发展现状与市场规模　7
1.2.2　大数据产业应用领域及其应用价值　8
1.2.3　大数据市场产业链　9
1.3　大数据技术体系　9
1.3.1　数据接入　10
1.3.2　数据预处理　10
1.3.3　数据存储　10
1.3.4　数据处理　10
1.3.5　数据可视化　11
1.3.6　数据治理　11
1.3.7　安全与隐私保护　11
1.4　大数据相关岗位需求　11
小结　12
课后习题　12
第　2章 大数据采集　15
2.1　实例引入：在线旅行社的用户访问行为数据采集　15
2.1.1　用户访问行为数据分析的价值　16
2.1.2　用户访问行为数据采集方案的设计　17
2.2　大数据采集技术　20
2.2.1　了解大数据采集　20
2.2.2　大数据采集的数据来源　22
2.2.3　基于数据仓库的数据批量采集　23
2.2.4　系统日志数据采集　25
2.2.5　网络数据实时采集　28
2.3　主流的大数据采集框架　32
2.3.1　Flume　32
2.3.2　Sqoop　34
小结　37
实训　37
实训1　Flume的安装和配置　37
实训2　Sqoop的安装和配置　38
课后习题　39
第3章　大数据存储与管理　41
3.1　实例引入：从平安城市建设看海量数据存储　41
3.1.1　平安城市建设中的视频监控系统　42
3.1.2　平安城市视频监控数据的存储技术方案　42
3.2　传统的数据存储技术　44
3.2.1　了解数据存储　45
3.2.2　数据存储的数据类型　46
3.2.3　文件系统　47
3.2.4　关系数据库　48
3.2.5　数据仓库　48
3.2.6　并行数据库　48
3.3　大数据时代下的数据存储技术　49
3.3.1　分布式存储系统　49
3.3.2　云存储　52
3.4　主流的分布式存储框架　56
3.4.1　MySQL　56
3.4.2　Hive　59
3.4.3　HBase　61
3.4.4　MongoDB　64
3.4.5　Redis　67
小结　70
实训　70
实训1　MySQL的安装配置　70
实训2　Hive的安装配置　71
实训3　HBase的安装配置　72
课后习题　73
第4章　大数据分析　75
4.1　实例引入：个性化用户画像实现精准营销　75
4.1.1　大数据实现精准营销　76
4.1.2　用户画像是什么　76
4.1.3　构建个性化用户画像　77
4.2　大数据分析技术　79
4.2.1　了解数据分析与数据挖掘　79
4.2.2　数据认知　80
4.2.3　数据处理　83
4.2.4　分析建模　85
4.2.5　模型评估　88
4.3　主流的大数据分析处理框架　89
4.3.1　数据分析处理框架介绍　89
4.3.2　Hadoop　91
4.3.3　Spark　93
4.3.4　Flink　94
4.3.5　Storm　96
4.3.6　Graph　97
小结　98
实训　99
实训1　Hadoop伪分布式安装　99
实训2　Spark伪分布式安装　99
实训3　Flink的安装配置　100
课后习题　100
第5章　数据可视化　103
5.1　实例引入：某机场数据可视化大屏　103
5.1.1　大屏显示的应用领域和行业　104
5.1.2　机场数据可视化大屏设计　104
5.2　数据可视化图形设计指南　105
5.2.1　了解数据可视化　105
5.2.2　数据可视化的发展方向　106
5.2.3　基础图表　110
5.2.4　一般的数据可视化图形设计流程　111
5.3　数据可视化主要技术　112
5.3.1　根据可视化目标分类　113
5.3.2　根据大数据特点分类　115
5.4　主流的数据可视化工具　117
5.4.1　数据可视化类库　118
5.4.2　BI类　120
小结　123
实训　123
实训1　ECharts的安装配置　123
实训2　FineBI的安装配置　124
课后习题　125
第6章　数据安全、隐私保护与开放共享　128
6.1　实例引入：菜鸟平台共享物流信息　128
6.2　数据安全与隐私　130
6.2.1　大数据安全概述　130
6.2.2　大数据安全与隐私保护技术体系架构　130
6.3　大数据安全及隐私保护关键技术　132
6.3.1　数据安全技术　132
6.3.2　个人隐私保护技术　135
6.4　数据开放与共享　136
6.4.1　数据开放与共享的概念　136
6.4.2　数据开放与共享的意义　137
6.4.3　数据开放与共享实施指南　137
小结　138
课后习题　138
第7章　大数据技术应用实例　141
7.1　大数据技术在城市管理中的应用　141
7.1.1　城市公交用户出行分析　142
7.1.2　环保监测　148
7.2　大数据技术在金融领域的应用　150
7.2.1　股票价格涨跌趋势预测　150
7.2.2　上市公司综合能力聚类分析　153
7.3　大数据技术在互联网领域的应用　156
7.3.1　电子商务营销　156
7.3.2　音乐推荐系统　157
7.4　大数据技术在零售行业的应用　160
7.4.1　购物篮分析　160
7.4.2　客户价值分析　164
7.4.3　供应链管理　167
小结　170
课后习题　171
参考文献　174