大数据技术及应用教程(第2版)

**部分大数据基础知识
第1章大数据时代3
1.1数据时代3
1.1.1大数据时代的到来3
1.1.2数据、信息与知识的演进3
1.1.3数据6
1.2大数据8
1.2.1什么是大数据8
1.2.2大数据发展历史与现状9
1.2.3大数据产业10
1.3大数据技术基础10
1.3.1传统的大数据处理流程10
1.3.2大数据核心技术11
1.3.3大数据技术分类12
1.3.4大数据分析的方法理论14
1.4大数据的社会价值15
1.5大数据的商业应用16
1.5.1商业大数据的类型和价值挖掘方法16
1.5.2大数据的十大商业应用场景17
1.5.3成为“大数据企业”19
1.6大数据应用案例: 《非诚勿扰》男女嘉宾牵手数据分析19
习题与思考题23
第2章大数据系统的基本架构24
2.1大数据系统总体架构24
2.2大数据技术框架25
2.3大数据技术进展27
2.3.1典型的大数据技术栈28
2.3.2大数据技术生态28
2.4大数据应用案例: 在“北上广”打拼是怎样一种体验30
习题与思考题34
〖3〗大数据技术及应用教程(第2版)目录〖3〗第二部分大数据理论与技术
第3章大数据系统输入39
3.1大数据采集过程及数据来源39
3.1.1大数据采集来源39
3.1.2大数据采集过程40
3.2大数据采集方法40
3.3大数据导入/预处理42
3.3.1大数据导入/预处理的过程42
3.3.2数据清洗的过程44
3.3.3数据清洗与数据采集技术46
3.3.4基于大数据的数据预处理47
3.4数据集成49
3.4.1数据集成的概念49
3.4.2数据集成面临的问题49
3.5数据变换49
3.5.1异构数据分析50
3.5.2异构数据交换策略51
3.5.3异构数据交换技术52
3.6大数据应用案例: 电影《爸爸去哪儿》大卖有前兆吗54
习题与思考题61
第4章大数据系统处理63
4.1云计算63
4.1.1云计算系统的体系结构63
4.1.2云计算的核心技术64
4.1.3云计算的主要服务形式68
4.1.4大数据平台的作用69
4.2大数据存储70
4.2.1海量数据的存储需求71
4.2.2海量数据存储技术71
4.2.3云存储72
4.2.4NoSQL非结构化数据库73
4.2.5数据仓库74
4.3大数据计算模式与处理系统75
4.3.1数据计算75
4.3.2聚类算法77
4.3.3数据集成77
4.3.4数据处理语言81
4.4大数据应用案例: 北京人在哪儿上班和睡觉82
习题与思考题85
第5章大数据系统输出87
5.1数据的查询87
5.1.1在常规数据库查询结构化数据87
5.1.2大数据时代的数据搜索87
5.1.3数据库与信息检索技术的比较89
5.2网络数据索引与查询技术90
5.2.1搜索引擎技术概述90
5.2.2Web搜索引擎的工作原理91
5.3大数据索引和查询技术94
5.3.1大数据索引和查询94
5.3.2大数据处理索引工具MapReduce94
5.3.3相似性搜索工具96
5.4数据展现与交互98
5.4.1数据可视化98
5.4.2知识图谱103
5.5大数据应用案例: 上海的房子都被谁买走了105
习题与思考题109
第6章大数据分析与数据挖掘111
6.1大数据分析及其应用111
6.1.1数据处理和分析的发展111
6.1.2大数据分析面对的数据类型113
6.1.3大数据分析与处理方法114
6.1.4数据分析的步骤114
6.1.5大数据分析的应用116
6.2数据挖掘技术119
6.2.1数据挖掘的定义119
6.2.2利用数据挖掘进行数据分析的常用方法120
6.2.3数据挖掘的功能121
6.2.4数据挖掘的流程122
6.2.5数据挖掘的应用124
6.3商业智能与数据分析125
6.3.1商业智能技术辅助决策的发展125
6.3.2商业智能系统架构125
6.3.3商业智能的技术体系125
6.3.4商务智能=数据 分析 决策 利益127
6.4大数据营销业务模型128
6.4.1大数据对业务模式的影响128
6.4.2大数据营销的定义与特点129
6.4.3网络营销大数据实际操作132
6.4.4大数据营销方法135
6.5基于社会媒体的分析预测技术139
6.5.1基于空间大数据的社会感知139
6.5.2基于社会媒体的预测技术142
6.5.3基于消费意图挖掘的预测144
6.5.4基于事件抽取的预测146
6.5.5基于因果分析的预测147
6.6大数据应用案例: 用大数据看风水——以星巴克和海底捞的选址为例150
习题与思考题153
第7章大数据隐私与安全155
7.1大数据面临的安全问题155
7.2大数据安全与隐私保护的关键技术159
7.2.1基于大数据的威胁发现技术159
7.2.2基于大数据的认证技术160
7.2.3基于大数据的数据真实性分析161
7.2.4大数据与“安全即服务”162
7.3大数据安全的防护策略162
7.4大数据应用案例: 数据解读城市——北京本地人VS外地人163
习题与思考题172
第三部分大数据前沿技术及应用
第8章大数据前沿技术及应用概述175
8.1大数据技术发展趋势175
8.2机器学习177
8.2.1机器学习的定义和例子177
8.2.2机器学习的范围179
8.2.3机器学习的算法181
8.2.4机器学习的应用——大数据186
8.3深度学习188
8.3.1深度学习的概念188
8.3.2深度学习的应用190
8.4人工智能191
8.4.1大数据时代的人工智能192
8.4.2人工智能的应用范例192
8.4.3人工智能概念与分类195
8.5大数据应用案例： 神经网络——阿尔法围棋（AlphaGo）196
第四部分行 业 案 例
第9章行业案例研究203
9.1银行业应用203
9.1.1大数据时代: 银行如何玩转数据挖掘203
9.1.2中国工商银行客户关系管理案例205
9.1.3银行风险管理208
9.2保险业应用212
9.2.1保险业拥抱大数据时代或带来颠覆性变革212
9.2.2保险欺诈识别214
9.3证券期货应用215
9.3.1安徽省使用大数据监管证券期货215
9.3.2大数据分析挖出基金“老鼠仓”的启示216
9.4金融行业应用217
9.4.1大数据决定互联网金融未来217
9.4.2移动大数据在互联网金融反欺诈领域的应用220
9.5大数据应用案例: 网民睡眠面面观222
参考文献224