数据湖架构

第1章　数据的湖泊　1

1.1　大数据来了　1

1.2　数据湖来了　2

1.3　“单向”的数据湖　3

1.4　小结　6

第2章　改造数据湖　7

2.1　元数据　7

2.2　整合图谱　8

2.3　数据科学家　11

2.4　通用性　12

2.5　小结　13

第3章　数据湖内部　14

3.1　模拟信号数据　15

3.2　应用程序数据　17

3.3　文本数据　18

3.4　另一个视角　20

3.5　小结　21

第4章　数据池　22

4.1　数据修整　23

4.2　初始数据池　23

4.3　模拟信号数据池　24

4.4　应用程序数据池　25

4.5　文本数据池　25

4.6　将数据直接传入数据池　26

4.7　归档数据池　26

4.8　小结　27

第5章　数据池的通用结构　28

5.1　数据池描述　29

5.2　数据池目标　30

5.3　数据池数据　30

5.4　数据池元数据　31

5.5　数据池元过程　32

5.6　数据转换标准　33

5.7　小结　34

第6章　模拟信号数据池　35

6.1　模拟信号数据问题　35

6.2　数据描述　36

6.3　捕获初始数据、转换初始数据　37

6.4　转换/调整 初始模拟信号数据　38

6.5　数据切除　40

6.6　聚类数据　41

6.7　数据关系　42

6.8　未来使用的可能性　44

6.9　异常值　45

6.10　临时性的特定分析　47

6.11　小结　47

第7章　应用程序数据池　49

7.1　数据的基因　49

7.2　数据描述　50

7.3　标准数据库格式　51

7.4　数据的基本组织　52

7.5　数据的整合　52

7.6　数据模型　53

7.6　整合的必要性　54

7.7　从一个应用指向到下一个应用　56

7.8　交并应用　57

7.9　应用程序数据池内的数据子集　58

7.10　小结　58

第8章　文本数据池　60

8.1　文本消歧　62

8.2　传入数据池的文本　62

8.3　文本消歧的输出　63

8.4　固有的复杂性　64

8.5　文本消歧的功能　66

8.6　分类与本体　66

8.7　文本与语境的价值　68

8.8　对文本追根溯源　69

8.9　消歧的机制　69

8.10　分析数据库　70

8.11　将结果可视化　71

8.12　小结　73

第9章　数据池间的对比　74

9.1　数据池的相似性　74

9.2　数据池间的差异性　75

9.3　数据*终状态的关系型格式　75

9.4　技术间差异　76

9.5　数据池中数据的总预期容量　76

9.6　数据池间的数据移动　77

9.7　在多个数据池进行分析　78

9.8　使用元数据来关联不同数据池内的数据　78

9.9　假如……？　79

9.10　小结　80

第10章　利用基础架构　82

10.1　“单向”数据湖　83

10.2　改造数据湖　83

10.3　转换技术　84

10.4　一些分析问题　84

10.5　查询文本数据　87

10.6　真实的分析　88

10.7　小结　89

第11章　搜索与分析　90

11.1　供应商所散布的困惑　95

11.2　小结　96

第12章　数据池中的业务价值　97

12.1　模拟信号数据池中的业务价值　97

12.2　应用程序数据池中的业务价值　99

12.3　文本数据池中的业务价值　100

12.4　记录中的业务价值比例　101

12.5　小结　102

第13章　一些额外话题　104

13.1　高层系统级别文档　104

13.2　详细的数据池级别文档　105

13.3　什么样的数据会流入数据湖/数据池　105

13.4　分析在何处发生　107

13.5　数据的年龄　110

13.6　数据的安全　110

13.7　小结　111

第14章　分析与整合工具　112

14.1　可视化　112

14.2　搜索与修正　113

14.3　文本消歧　114

14.4　统计分析　114

14.5　经典的ETL处理　115

14.6　小结　116

第15章　归档数据池　117

15.1　数据的移除标准　118

15.2　结构性改动　118

15.3　小结　119

术语表　120

参考资料　124