大数据技术

第1章 绪论 1

1.1 大数据的技术挑战 1

1.1.1 大数据的"大"1

1.1.2 数据"大"的技术挑战 3

1.1.3 大数据决策的技术挑战 5

1.1.4 数据安全的技术问题 7

1.2 大数据计算 8

1.2.1 大数据文件 9

1.2.2 大数据计算框架 10

1.2.3 大数据管理 11

1.3 数据开发 12

1.3.1 数据获取 12

1.3.2 数据分析 13

1.3.3 数据可视化 14

1.4 数据产业支持 15

1.4.1 数据产业需要的技术支持 15

1.4.2 数据资产化 16

1.4.3 数据产品及其质量 17

1.4.4 数据流通与安全 18

1.5 小结 19

参考文献 19

第 2章 大数据计算 21

2.1 数据访问21

2.1.1 安全模型 21

2.1.2 访问控制策略 23

2.1.3 访问控制与授权 24

2.1.4 访问控制与审计 24

2.2 分布式文件系统 24

2.2.1 GoogleFS 25

2.2.2 HDFS 27

2.2.3 GlusterFS 28

2.2.4 CephFS 29

2.3 大数据计算框架 30

2.3.1 批处理 30

2.3.2 流数据计算 38

2.3.3 增量计算模型 41

2.3.4 新兴计算框架 44

2.3.5 大数据计算框架的发展 46

2.4 多地计算异地计算模式 48

2.4.1 概念48

2.4.2 计算模型 49

2.4.3 特点 49 2.5 小结 49

参考文献 49

第 3章 大数据管理 51

3.1 概述 51

3.2 分布式文件系统 HDFS 52

3.2.1 前提和设计目标 53

3.2.2 数据块 53

3.2.3 HDFS架构 54

3.2.4 HDFS容错机制 54

3.3 列式存储格式 Parquet 55

3.3.1 行存储与列存储文件格式 55

3.3.2 Parquet 概述 56

3.3.3 数据模型 56

3.3.4 Parquet 文件的存储格式 57

3.4 NOSOL 58

3.4.1 键值对数据库 58

3.4.2 基于列族的数据库 59

3.4.3 基于文档的数据库 59

3.4.4 基于图的数据库 60

3.5 键值数据库 Redis 60

3.5.1 Redis简介 60

3.5.2 Redis数据类型 61 3.5.3 Redis事务 63

3.5.4 Redis 持久化机制 63

3.6 HBase 63

3.6.1 HBase简介 63

3.6.2 HBase访问接口 64

3.6.3 HBase数据模型 64

3.6.4 HBase系统架构 65

3.6.5 HBase存储格式 66

3.7 Dynamo67

3.7.1 Dynamo系统设计假设和前提 67

3.7.2 Dynamo数据分布策略 68

3.7.3 CAP原理 68

3.7.4 Dynamo 的一致性实现技术 69

3.7.5 Dynamo系统访问接口 69

3.8 Cassandra 69

3.9 MongoDB 70

3.9.1 MongoDB简介 70

3.9.2 MongoDB数据模型70

3.9.3 MongoDB基础操作71

3.9.4 MongoDB聚集操作 73

3.9.5 MongoDB复制机制75

3.9.6 MongoDB分片机制 76

3.10 Neo4j 76

3.10.1 Neo4j简介 76

3.10.2 Neo4j基础概念 77

3.10.3 NeO4j的Cypher查询语言和模式 78

......