企业级数据架构:核心要素、架构模型、数据管理与平台搭建

序
自序
前言
**部分　架构基础
第1章　企业架构概述 3
1.1　企业架构 4
1.2　Zachman框架 4
1.2.1　Zachman框架的维度 4
1.2.2　Zachman框架的特点 5
1.2.3　Zachman框架的使用 6
1.3　TOGAF 6
1.3.1　TOGAF完善架构过程 7
1.3.2　框架核心：ADM 8
1.4　业务架构 9
1.4.1　业务架构的价值 9
1.4.2　业务架构的关键点 10
1.5　数据架构 11
1.5.1　数据架构设计 12
1.5.2　数据架构核心组成 12
1.6　总结 13
第二部分 数据架构基础
第2章　数据架构构成 18
2.1　数据模型 18
2.2　元数据 19
2.3　数据质量 20
2.4　数据标准 21
2.5　数据治理 21
2.6　数据资产 22
2.6.1　数据管理 22
2.6.2　数据仓库 22
2.6.3　数据湖 23
2.6.4　数据资产内涵 23
2.7　数据生命周期 24
2.7.1　数据创建 25
2.7.2　数据使用 25
2.7.3　数据归档 26
2.7.4　数据销毁 26
2.8　数据分布 27
2.8.1　数据存储 27
2.8.2　数据访问 27
2.9　常见数据架构技术选型 28
2.9.1　Lambda 28
2.9.2　Kappa 29
2.10　数据调度 30
2.11　总结 30
第3章　数据存储 31
3.1　数据存储基础 32
3.1.1　计算机组成基础结构 32
3.1.2　数据存储核心概念 35
3.1.3　OLTP与OLAP场景 37
3.2　集中式数据库 38
3.2.1　常见关系型数据库 38
3.2.2　分库分表 39
3.3　分布式数据库 40
3.3.1　大规模并行处理技术 40
3.3.2　分布式事务 41
3.4　大数据存储 43
3.4.1　HDFS 43
3.4.2　Yarn 44
3.4.3　Hive 44
3.4.4　HBase 45
3.4.5　Spark及Spark Streaming 46
3.5　特定领域存储 46
3.5.1　ClickHouse 46
3.5.2　Elasticsearch 48
3.6　实时计算阶段 49
3.7　总结 49
第4章　数据调度与消息传输 50
4.1　通用技术选型 50
4.2　Airflow调度平台 52
4.2.1　Airflow基础概念 52
4.2.2　Airflow架构 54
4.2.3　Airflow与其他调度平台对比 55
4.3　DataX数据同步工具 56
4.3.1　DataX基础概念 56
4.3.2　DataX数据同步 57
4.3.3　DataX优化 59
4.3.4　DataX与其他数据同步工具对比 60
4.4　Kafka消息中间件 62
4.4.1　Kafka基础概念 62
4.4.2　Kafka架构概述 63
4.4.3　Kafka高性能原理 63
4.4.4　Kafka与其他中间件对比 67
4.5　总结 68
第5章　Lambda架构与Kappa架构 69
5.1　架构演进 69
5.1.1　传统数据仓库架构 70
5.1.2　传统大数据架构 71
5.1.3　流式计算架构 72
5.1.4　Lambda架构 73
5.1.5　Kappa架构 74
5.2　Lambda架构详解 75
5.2.1　架构解析 76
5.2.2　核心组件 78
5.2.3　数据流向 81
5.3　Kappa架构详解 82
5.3.1　架构解析 82
5.3.2　核心组件 85
5.3.3　数据流向 87
5.4　Lambda与Kappa对比 87
5.5　流批一体化 89
5.6　总结 90
第6章　辅助类应用体系介绍 91
6.1　资源管理 91
6.1.1　开源堡垒机JumpServer 92
6.1.2　部署与负载均衡 92
6.1.3　核心概念 94
6.1.4　*佳实践 95
6.2　资源及组件监控 95
6.2.1　开源监控系统Prometheus 96
6.2.2　可视化系统Grafana 98
6.2.3　告警模块AlertManager 100
6.2.4　小结 101
6.3　应用监控 102
6.3.1　应用链路监控Pinpoint 102
6.3.2　原理与组件介绍 103
6.3.3　*佳实践 104
6.3.4　小结 106
6.4　日志监控 107
6.4.1　ELK 107
6.4.2　直连式日志收集架构 107
6.4.3　高并发日志收集架构 108
6.5　总结 109
第三部分 数据架构模型实践
第7章　企业数据区与数据流向 113
7.1　数据区概述 113
7.2　数据区详解 115
7.2.1　操作型数据区 115
7.2.2　集成型数据区 116
7.2.3　分析型数据区 117
7.2.4　历史数据区 118
7.3　企业数据流向 119
7.3.1　操作型数据区数据流向 119
7.3.2　集成型数据区数据流向 120
7.3.3　分析型数据区数据流向 121
7.3.4　历史数据区数据流向 122
7.4　企业数据分层 123
7.5　企业集成型数据区层级 124
7.5.1　数据缓冲层 125
7.5.2　数据贴源层 126
7.5.3　标准模型层 127
7.5.4　整合模型层 127
7.5.5　数据集市层 128
7.6　互联网公司的集成型数据区分层特点 129
7.7　总结 130
第8章　数据模型架构详解 131
8.1　为什么要建模 132
8.2　建模策略 134
8.2.1　数据缓冲层建模策略 135
8.2.2　数据贴源层建模策略 135
8.2.3　标准模型层建模策略 136