大数据导论 第2版

前言


基础篇


第1章绪论

1.1概述

1.1.1数据

1.1.2数据中蕴含的价值

1.1.3获取数据中蕴含的价值

1.2大数据的内涵和外延

1.2.1大数据时代的驱动力

1.2.2大数据的概念和特征

1.2.3大数据带来的思维模式改变

1.2.4大数据的作用和意义

1.3大数据的技术挑战和科学意义

1.3.1数据处理的一般过程

1.3.2大数据计算面临的挑战

1.3.3大数据计算的特点

1.3.4大数据计算平台

1.3.5大数据与云计算、人工智能的关系

1.4数据科学

1.4.1数据科学的提出

1.4.2数据科学的范畴

1.4.3数据科学对学科发展的影响

习题

参考文献及扩展阅读资料




技术篇


第2章数据采集与治理

2.1概述

2.2大数据的来源与多源数据的采集方式

2.2.1大数据的来源

2.2.2多源数据的采集

2.2.3数据离散化

2.3大数据治理

2.3.1大数据治理的框架

2.3.2数据集成和跨界应用的数据集成方法

2.3.3数据变换

2.3.4数据质量的检验与提升

习题

参考文献及扩展阅读资料


第3章数据管理

3.1概述

3.2分布式文件系统

3.2.1Hadoop

3.2.2Ceph

3.2.3GlusterFS

3.2.4分布式文件系统对比

3.3关系数据库

3.3.1关系数据模型

3.3.2结构化查询语言

3.3.3数据库事务

3.3.4关系数据库管理系统

3.3.5SQL on Hadoop系统

3.4NoSQL数据库

3.4.1键值对数据库

3.4.2文档数据库

3.4.3列族数据库

3.4.4图数据库

3.4.5时序数据库

3.5多模态数据管理

习题

参考文献及扩展阅读资料

第4章数据分析

4.1概述

4.2统计数据分析

4.2.1数据描述性分析

4.2.2回归分析

4.3基于机器学习的数据分析

4.3.1非监督学习方法

4.3.2监督学习方法

4.4图的数据分析

4.4.1图的基本概念

4.4.2中心性和相似性分析

4.4.3社交网络上的算法

4.5自然语言中的数据分析

4.5.1词表示分析

4.5.2语言模型

4.5.3话题模型

习题

参考文献及扩展阅读资料

第5章数据可视化

5.1概述

5.2数据可视化主要技术

5.2.1高维数据可视化

5.2.2网络数据可视化

5.2.3层次结构数据可视化

5.2.4时空数据可视化

5.2.5文本数据可视化

5.3高可扩展可视化技术

5.3.1科学可视化中的高可扩展性

5.3.2支持数据高效的存储和检索的可视化

5.3.3支持可扩展可视化的交互手段

5.4大数据可视化与可视分析案例

5.4.1VAST Challenge 2017的可视分析案例

5.4.2车辆轨迹数据的可视分析案例

5.5可视化工具和软件

5.5.1高维数据可视化工具

5.5.2文本可视化工具

5.5.3网络可视化工具

5.5.4可视化编程工具

习题

参考文献及扩展阅读资料

第6章数据安全与隐私保护

6.1概述

6.1.1数据安全与传统信息安全的共异点

6.1.2数据采集及传输中的安全与隐私

6.1.3数据存储的安全与隐私


6.1.4数据分析挖掘及处理的安全与隐私

6.1.5数据交互、共享与服务的安全与隐私


6.2数据安全及隐私保护支撑技术

6.2.1密码学基础及关键技术

6.2.2公钥基础设施

6.2.3授权管理基础设施

6.2.4PKI与PMI协同工作原理

6.2.5秘密分割与共享管理技术

6.3数据脱敏技术与实践

6.3.1数据交互安全与脱敏技术

6.3.2静态数据脱敏技术

6.3.3动态数据脱敏技术

6.3.4数据脱敏实例

6.4数据生命周期安全的防护及管理体系

6.4.1数据安全防护体系

6.4.2数据安全标准

6.4.3数据生命周期安全实施方案与数据安全管理

习题

参考文献及扩展阅读资料

第7章大数据处理平台

7.1概述

7.2大数据处理平台架构

7.2.1技术架构

7.2.2开源平台

7.3批量大数据计算

7.3.1基本概念

7.3.2典型批量计算系统

7.3.3实例：微博用户群体年度热词统计

7.4流式大数据计算

7.4.1基本概念

7.4.2典型流式计算系统

7.4.3实例：微博用户群体实时热门话题分析

7.5大规模图数据计算

7.5.1基本概念

7.5.2典型图计算系统

7.5.3实例：微博用户影响力排名

7.6内存大数据计算

7.6.1基本概念

7.6.2典型内存计算系统

7.6.3Spark Streaming和GraphX

习题

参考文献及扩展阅读资料


应用篇


第8章社会网络大数据

8.1概述

8.2社会网络大数据面临的挑战

8.3社会网络中的用户影响力

8.3.1影响力检测实验

8.3.2影响力传播模型

8.3.3影响力度量算法

8.3.4社会影响力应用

8.4在线社会媒体中信息传播的建模与预测

8.4.1网络信息传播模型

8.4.2传播网络推断

8.4.3影响力*大化

8.4.4信息传播预测

习题

参考文献及扩展阅读资料

第9章城市大数据

9.1概述

9.1.1城市数据的分类

9.1.2城市数据的特点

9.2智慧城市

9.2.1智慧城市的概念

9.2.2智慧城市的发展现状

9.2.3智慧城市的未来趋势

9.3智慧城市的技术体系框架

9.3.1智慧城市的技术框架

9.3.2以数据为中心的智慧城市特点

9.3.3智慧城市中的典型应用与服务

9.4城市大数据应用案例

9.4.1交通大数据的来源与种类

9.4.2交通大数据的分析与处理

9.4.3交通大数据的应用成果

9.5城市大数据未来展望

习题

参考文献及扩展阅读资料

第10章工业大数据

10.1概述

10.1.1工业大数据的内涵

10.1.2工业大数据的特点

10.2工业大数据典型应用场景

10.2.1现有业务优化

10.2.2促进企业升级转型

10.3工业大数据关键技术

10.4工业大数据分析技术

10.4.1工业大数据分析工作准备

10.4.2工业大数据分析工作实施

10.5工业大数据分析案例

10.5.1大唐集团工业大数据应用实践

10.5.2中联重科工业大数据应用实践

习题

参考文献及扩展阅读资料

第11章教育大数据

11.1概述

11.2教育大数据的采集与应用场景

11.2.1信息化校园

11.2.2智能辅导系统和在线题库

11.2.3大规模开放式网络课程

11.3认知诊断分析

11.3.1认知诊断任务描述

11.3.2经典认知诊断方法

11.3.3基于大数据的深度认知诊断

11.4知识跟踪分析

11.4.1知识跟踪任务描述

11.4.2经典知识跟踪方法

11.4.3联合知识跟踪

11.5习题资源分析与挖掘

11.5.1相似习题判定任务描述

11.5.2相似习题判定技术

11.5.3其他习题分析与挖掘应用

11.6MOOC平台活跃度预测

11.6.1活跃度预测任务描述

11.6.2活跃度预测分析方法

11.7教育大数据应用案例

11.7.1基于大数据分析的学生“隐形补助”体系

11.7.2基于大数据技术的个性化学习

习题

参考文献及扩展阅读资料


第12章农业大数据

12.1概述

12.1.1智慧农业

12.1.2农业大数据分类

12.1.3农业大数据的特点与技术挑战

12.2农业大数据应用

12.2.1农业大数据应用价值

12.2.2农业大数据典型应用场景

12.3农业大数据关键技术

12.3.1农业大数据平台架构

12.3.2农业大数据标准化与共享技术

12.3.3农业大数据分析技术

12.4农业大数据应用案例

12.4.1农保姆全产业链智能服务大数据应用案例

12.4.2农技推广大数据应用案例

习题

参考文献及扩展阅读资料


数据管理篇


第13章数据开放与共享

13.1概述

13.1.1数据开放与共享的概念

13.1.2数据开放与共享的发展历程

13.2数据开放与共享的原则与政策

13.2.1数据开放与共享原则

13.2.2国外数据开放与共享政策

13.2.3中国数据开放与共享政策

13.2.4数据开放与共享实施指南

13.3数据开放与共享分类

13.3.1政府数据开放与共享

13.3.2公共财政资助产生的科学数据开放与共享

13.3.3企业数据开放与共享

13.3.4个人数据开放与共享

13.4数据开放与共享平台

13.4.1数据开放与共享综合平台

13.4.2数据开放与共享领域平台

13.4.3数据开放与共享平台的基本功能

13.4.4数据开放与共享平台的产权保护

习题

参考文献及扩展阅读资料

第14章大数据的法律政策规范

14.1中国大数据政策法规指引

14.1.1中国大数据政策法规发展过程

14.1.2中国的数据保护监管机构

14.2数据主权与数据权利

14.2.1数据主权

14.2.2数据权利

14.2.3数据权利主体和其他利益相关主体

14.3个人数据立法保护

14.3.1国外个人数据保护制度

14.3.2中国个人数据保护制度

14.4数据跨境流动监管法律机制

14.4.1国外数据跨境及数据本地化立法

14.4.2中国数据跨境流动法律制度

14.4.3数据跨境流动法律制度设计

14.5科技伦理

14.5.1科技伦理问题的影响和特征

14.5.2科技伦理研究

习题

参考文献及扩展阅读资料