面向新工科专业建设计算机系列教材大数据/李联宁

**部分大数据基础知识

第1章大数据时代3

1.1数据时代3

1.1.1大数据时代的到来3

1.1.2数据、信息与知识的演进3

1.1.3数据6

1.2大数据8

1.2.1什么是大数据8

1.2.2大数据发展历史与现状10

1.2.3大数据能做和不能做的事11

1.2.4大数据产业12

1.3大数据技术基础12

1.3.1传统的大数据处理流程12

1.3.2大数据核心技术13

1.3.3大数据技术分类14

1.3.4大数据分析的方法理论16

1.4大数据的社会价值17

1.5大数据的商业应用18

1.5.1商业大数据的类型和价值挖掘方法18

1.5.2大数据的十大商业应用场景19

1.5.3成为“大数据企业”21

1.6大数据应用案例: 《非诚勿扰》男女嘉宾牵手数据分析21

习题与思考题25

第2章大数据系统的基本架构27

2.1大数据系统总体架构27

2.2大数据技术框架282.3大数据应用案例: 在“北上广”打拼是怎样一种体验30

习题与思考题35

大数据目录第二部分大数据理论与技术

第3章大数据系统输入39

3.1大数据采集过程及数据来源39

3.1.1大数据采集来源39

3.1.2大数据采集过程40

3.2大数据采集方法40

3.3大数据导入/预处理42

3.3.1大数据导入/预处理的过程42

3.3.2数据清洗的过程44

3.3.3数据清洗与数据采集技术46

3.3.4基于大数据的数据预处理47

3.4数据集成49

3.4.1数据集成的概念49

3.4.2数据集成面临的问题49

3.5数据变换49

3.5.1异构数据分析50

3.5.2异构数据交换策略51

3.5.3异构数据交换技术52

3.6大数据应用案例: 电影《爸爸去哪儿》大卖有前兆吗54

习题与思考题61

第4章大数据系统处理63

4.1大数据处理基础架构——云计算63

4.1.1云计算系统的体系结构63

4.1.2云计算的核心技术64

4.1.3云计算的主要服务形式68

4.1.4大数据平台的作用69

4.2大数据存储70

4.2.1海量数据存储的需求71

4.2.2海量数据存储技术71

4.2.3云存储72

4.2.4NoSQL非结构化数据库73

4.2.5数据仓库74

4.3大数据计算模式与处理系统75

4.3.1数据计算75

4.3.2聚类算法77

4.3.3数据集成77

4.3.4机器学习81

4.3.5人工智能87

4.3.6数据处理语言89

4.4大数据应用案例: 北京人在哪儿上班和睡觉91

习题与思考题93

第5章大数据系统输出96

5.1数据的查询96

5.1.1常规数据库查询结构化数据96

5.1.2大数据时代的数据搜索96

5.1.3数据库与信息检索技术的比较98

5.2网络数据索引与查询技术99

5.2.1搜索引擎技术概述99

5.2.2Web搜索引擎的工作原理100

5.3大数据索引和查询技术103

5.3.1大数据索引和查询103

5.3.2大数据处理索引工具MapReduce103

5.3.3相似性搜索工具105

5.4数据展现与交互107

5.4.1数据可视化108

5.4.2知识图谱113

5.5大数据应用案例: 上海的房子都被谁买走了114

习题与思考题119

第6章大数据分析与数据挖掘121

6.1大数据分析及其应用121

6.1.1数据处理和分析的发展121

6.1.2大数据分析面对的数据类型123

6.1.3大数据分析与处理方法124

6.1.4数据分析的步骤124

6.1.5大数据分析的应用127

6.2数据挖掘技术129

6.2.1数据挖掘的定义129

6.2.2利用数据挖掘进行数据分析的常用方法131

6.2.3数据挖掘的功能132

6.2.4数据挖掘的流程133

6.2.5数据挖掘的应用134

6.3商业智能与数据分析135

6.3.1商业智能技术辅助决策的发展135

6.3.2商业智能系统架构136

6.3.3商业智能的技术体系136

6.3.4商务智能=数据+分析+决策+利益138

6.4大数据营销业务模型138

6.4.1大数据对业务模式的影响138

6.4.2大数据营销的定义与特点140

6.4.3网络营销大数据实际操作142

6.4.4大数据营销方法145

6.5基于社会媒体的分析预测技术150

6.5.1基于空间大数据的社会感知150

6.5.2基于社会媒体的预测技术153

6.5.3基于消费意图挖掘的预测154

6.5.4基于事件抽取的预测157

6.5.5基于因果分析的预测157

6.6大数据应用案例: 用大数据看风水——以星巴克和海底捞的选址为例160

习题与思考题164

第7章大数据隐私与安全166

7.1大数据面临的安全问题166

7.2大数据安全与隐私保护关键技术170

7.2.1基于大数据的威胁发现技术170

7.2.2基于大数据的认证技术172

7.2.3基于大数据的数据真实性分析173

7.2.4大数据与“安全即服务”173

7.3大数据安全的防护策略173

7.4大数据应用案例: 数据解读城市——北京本地人VS外地人175

习题与思考题183

第三部分行 业 案 例

第8章行业案例研究187

8.1银行业应用187

8.1.1大数据时代: 银行如何玩转数据挖掘187

8.1.2中国工商银行客户关系管理案例189

8.1.3银行风险管理192

8.2保险业应用196

8.2.1保险业拥抱大数据时代或带来颠覆性变革196

8.2.2保险欺诈识别198

8.3证券期货应用199

8.3.1安徽省使用大数据监管证券期货199

8.3.2大数据分析挖出基金“老鼠仓”的启示200

8.4金融行业应用201

8.4.1大数据决定互联网金融未来201

8.4.2移动大数据在互联网金融反欺诈领域的应用204

8.5大数据应用案例: 网民睡眠面面观206

参考文献208