《高效使用Greenplum:入门、进阶与数据中台》资深数据架构师和数仓专家10余年经验总结

序一

序二

序三

前言

**部分　大数据平台概述

第1章　大数据平台技术的演进2

1.1　关系型数据库2

1.1.1　数据库发展历程2

1.1.2　关系型数据库独霸天下4

1.1.3　结构化查询语言SQL4

1.1.4　列存储的兴起5

1.2　Hadoop生态系统7

1.2.1　Hadoop概述7

1.2.2　Hadoop生态圈7

1.2.3　Hadoop的优缺点9

1.3　NoSQL的瓶颈和SQL数据库的回归10

1.3.1　NoSQL产品的发展10

1.3.2　NoSQL的共性11

1.3.3　SQL数据库的回归12

1.4　MPP架构的兴起14

1.4.1　什么是MPP架构14

1.4.2　MPP架构的蓬勃发展15

1.4.3　MPP数据库代表—TBase17

1.4.4　浅谈HTAP19

第二部分　Greenplum入门

第2章　Greenplum概述24

2.1　Greenplum的前世今生24

2.2　Greenplum数据库架构27

2.3　Greenplum数据库的特点28

2.4　Greenplum新特性及展望30

2.5　Greenplum的优势32

第3章　Greenplum的安装与部署35

3.1　Greenplum数据库安装过程35

3.1.1　准备工作35

3.1.2　安装Master节点39

3.1.3　复制安装包到其他节点41

3.1.4　初始化Greenplum数据库42

3.2　安装GPCC43

3.3　Greenplum访问接口46

3.3.1　CLI46

3.3.2　JDBC47

3.3.3　ODBC48

3.4　Greenplum数据库常用命令48

3.4.1　启动和停止48

3.4.2　修改参数49

3.4.3　其他常用命令51

3.5　Greenplum性能测试52

第4章　Greenplum使用入门54

4.1　数据类型详解54

4.1.1　基本数据类型54

4.1.2　特殊数据类型56

4.1.3　组合数据类型60

4.2　数据表的基本使用62

4.2.1　表对象定义62

4.2.2　表的基本操作63

4.2.3　数据的基本操作64

4.3　数据表的高级应用65

4.3.1　数据表的存储特性69

4.3.2　分区表详解72

4.3.3　外部表76

4.4　数据库函数79

4.4.1　数学函数79

4.4.2　三角函数列表80

4.4.3　字符串函数和操作符80

4.4.4　类型转换相关函数82

4.4.5　自定义函数83

4.5　数据库的其他对象85

4.5.1　视图85

4.5.2　索引85

4.5.3　序列87

第三部分　Greenplum应用

第5章　Greenplum查询详解90

5.1　SQL语法92

5.1.1　简单SQL语法92

5.1.2　WITH子句特性95

5.1.3　IN语句和EXISTS语句98

5.1.4　MERGE子句的实现100

5.2　JOIN操作101

5.3　分析函数的妙用106

5.4　高级函数精选110

第6章　ETL工具箱114

6.1　数据加载王者GPLoad114

6.1.1　GPLoad简介114

6.1.2　GPLoad配置详解116

6.1.3　GPLoad实战118

6.2　自定义存储过程120

6.2.1　存储过程介绍 120

6.2.2　存储过程应用模板121

6.2.3　存储过程精选案例122

6.3　PXF插件131

6.3.1　PXF简介131

6.3.2　安装PXF132

6.3.3　PXF实战135

6.4　DBLink136

6.4.1　DBLink简介136

6.4.2　安装DBLink137

6.4.3　DBlink实战139

6.5　拉链表142

第7章　Greenplum高级应用147

7.1　开放的编程接口147

7.1.1　PL/Python148

7.1.2　PL/R150

7.2　MADlib机器学习库153

7.2.1　安装MADlib154

7.2.2　线性回归案例157

7.2.3　关联规则案例158

7.2.4　朴素贝叶斯分类案例159

7.3　半结构化数据分析164

7.4　地理空间数据分析166

7.5　图计算应用168

第8章　Greenplum运维管理和监控172

8.1　数据库管理172

8.1.1　创建和管理数据库172

8.1.2　创建和管理模式173

8.1.3　创建和管理表空间175

8.1.4　创建和管理用户178

8.1.5　创建和管理资源队列180

8.2　可视化监控页面—GPCC183

8.3　管理好帮手—gp_toolkit185

8.4　Greenplum备份和恢复187

8.5　在线扩容工具GPExpand189

8.5.1　Greenplum扩容实战189

8.5.2　扩容原理分析191

8.6　锁机制192

8.6.1　锁管理概述192

8.6.2　普通锁数据结构192

第9章　Greenplum性能优化197

9.1　系统级优化197

9.1.1　操作系统选择197

9.1.2　硬件资源配置198

9.1.3　磁盘读写199

9.1.4　节点之间的网络带宽202

9.1.5　系统参数202

9.2　数据库级优化204

9.2.1　数据库参数配置204

9.2.2　资源队列206

9.3　表级优化206

9.3.1　建表参数207

9.3.2　表的优化208

9.4　执行计划和查询优化209

9.4.1　查看执行计划210

9.4.2　数据扫描方式210

9.4.3　分布式执行方式213

9.4.4　两种聚合方式214

9.4.5　关联分类214

9.4.6　优化器的选择216

9.4.7　其他关键术语217

第10章　Greenplum与开源组件220

10.1　Kettle220

10.2　DataX224

10.3　HDFS、Hive和HBase228

10.4　Spark230

10.5　Kafka235

10.6　Flink238

第11章　Greenplum与BI应用244

11.1　Tableau244

11.1.1　Tableau连接Greenplum245

11.1.2　Tableau*佳实践要点245

11.2　永洪BI248

11.3　帆软BI250

11.4　DataV253

11.5　Quick BI253

第四部分　数据中台实战

第12章　数据中台建设思路256

12.1　为什么要搭建数据中台256

12.2　什么是数据中台258

12.3　如何搭建数据中台259

12.3.1　数据资产盘点和规划259

12.3.2　数据应用规划与设计260

12.3.3　数据平台选型与建设261

12.3.4　数据应用设计与实现262

12.3.5　组织架构调整与流程变革262

12.4　数据中台怎么选型263

12.4.1　数据仓库选型263

12.4.2　ETL工具选型265

12.4.3　调度平台选型266

12.4.4　BI工具选型268

第13章　接口数据同步270

13.1　全量接口同步270

13.2　增量接口同步276

13.3　流式数据同步281

13.4　日志流数据同步283

第14章　数据建模285

14.1　数据建模思想285

14.1.1　Inmon企业信息化工厂286

14.1.2　Kimball的维度数据仓库287

14.1.3　两种建模体系的对比288

14.2　数据分层设计288

14.2.1　操作数据存储层289

14.2.2　数据仓库层290

14.2.3　数据集市层292

14.3　数据分层实战案例293

14.3.1　ODS层293

14.3.2　DWD层293

14.3.3　DWB层297

14.3.4　DWS层299

14.3.5　ADS层307

14.4　数据中台命名规范311

14.4.1　数据库表命名312

14.4.2　数据库字段命名312

14.4.3　脚本命名规范313

第15章　数据中台主要配套功能314

15.1　数据权限管理314

15.2　数据补录319

15.3　BI门户320

15.4　元数据管理323

15.5　指标管理324

第16章　数据中台数据应用328

16.1　商业智能328

16.2　自助分析平台331

16.3　数据服务332

16.4　标签平台335

16.5　推荐系统338

第17章　基于Greenplum的数据中台实践案例342

17.1　项目背景342

17.2　项目需求343

17.3　项目技术实现344

17.3.1　系统架构344

17.3.2　系统ETL分层345

17.3.3　系统调度任务346

17.4　智能数据应用347

17.4.1　自助分析应用348

17.4.2　固定报表349

17.4.3　可视化大屏350

17.4.4　钉钉数据服务351

17.5　典型技术方案分享352

17.5.1　准实时需求实现方案352

17.5.2　数据库优化方案353

17.5.3　数据权限控制方案355

17.5.4　历史数据离线存储方案358

17.5.5　系统备份方案358

17.6　典型业务方案分享359

17.6.1　零售指标同期分析359

17.6.2　零售指标节假日对比分析361

17.6.3　在库库存362

17.6.4　在途库存363

17.6.5　售罄率365

17.6.6　齐码率368

17.7　项目总结370