大数据测试技术与实践(全彩印刷)

第1章 认识大数据／1
1.1　大数据概述／1
1.2　大数据的发展／2
1.3　大数据的应用／4
1.3.1　互联网领域／4
1.3.2　物流领域／5
1.3.3　教育领域／6
1.3.4　金融领域／7
1.3.5　电信领域／7
1.4　本章小结／8

第2章 大数据技术生态／9
2.1　大数据技术生态总览／9
2.2　大数据采集技术／10
2.3　大数据存储技术／10
2.3.1　分布式文件系统：HDFS／10
2.3.2　海量数据列式存储： HBase／13
2.3.3　其他数据存储技术／18
2.4　大数据计算分析技术／19
2.4.1　批处理计算的基石：MapReduce／19
2.4.2　流计算的代表：Storm、Spark Streaming和Flink／21
2.4.3　OLAP引擎：Hive、Impala和Presto／24
2.5　大数据管理调度技术／30
2.5.1　分布式集群资源调度框架：YARN／30
2.5.2　容器集群管理系统：Kubernetes／32
2.5.3　大数据的“动物园管理员”：ZooKeeper／33
2.5.4　常用的工作流调度平台：Azkaban、Oozie和Airflow／34
2.6　大数据商业产品／36
2.7　本章小结／38

第3章　数据仓库的设计与构建／39
3.1　数据仓库概述／39
3.1.1　什么是数据仓库／39
3.1.2　数据仓库的发展过程／41
3.1.3　数据仓库与数据集市、数据湖、数据中台的区别／43
3.2　数据仓库设计／44
3.2.1　架构分层设计／44
3.2.2　数据模型设计／46
3.3　数据仓库构建／50
3.3.1　数据仓库的构建方法与评价标准／50
3.3.2　数据仓库实例／51
3.4　本章小结／58

第4章　大数据项目开发流程／59
4.1　大数据项目开发概览／59
4.2　数据的采集与存储／60
4.2.1　服务端日志采集／61
4.2.2　客户端日志采集／62
4.2.3　数据同步／64
4.2.4　大数据存储／66
4.3　大数据计算／67
4.4　大数据监控／71
4.4.1　数据监控／71
4.4.2　运维监控／72
4.5　大数据项目开发案例／73
4.5.1　项目背景介绍／74
4.5.2　项目需求分析／74
4.5.3　项目开发流程／76
4.6　本章小结／83

第5章　大数据测试方法／84
5.1　大数据测试概述／84
5.1.1　什么是大数据测试／84
5.1.2　大数据测试与传统数据测试／84
5.2　大数据测试类型／85
5.2.1　功能测试／85
5.2.2　性能测试／89
5.2.3　其他非功能性测试／93
5.3　大数据测试流程／94
5.4　大数据基准测试／96
5.4.1　大数据基准测试简介／97
5.4.2　大数据基准测试的步骤／97
5.4.3　大数据基准测试工具／98
5.5　大数据ETL测试／100
5.5.1　大数据ETL测试类型／100
5.5.2　大数据ETL测试场景／103
5.5.3　大数据ETL测试工具／107
5.6　大数据测试总结／108
5.6.1　大数据测试中的典型问题／108
5.6.2　大数据测试经验总结／112
5.6.3　大数据测试面临的挑战／113
5.7　本章小结／113

第6章　大数据测试实践／114
6.1　BI报表测试／114
6.1.1　BI工具简介／114
6.1.2　Tableau简介／115
6.1.3　BI报表测试实践／120
6.2　数据挖掘产品测试／128
6.2.1　数据挖掘的定义和流程／128
6.2.2　数据挖掘产品简介／129
6.2.3　数据挖掘产品测试实践／130
6.3　用户行为分析平台测试／139
6.3.1　用户行为分析平台测试概览／139
6.3.2　数据采集阶段测试／140
6.3.3　实时数据处理阶段测试／140
6.3.4　离线数据处理阶段测试／153
6.3.5　数据查询展示阶段测试／153
6.4　本章小结／156

第7章　数据质量管理／157
7.1　数据质量管理概述／157
7.2　数据质量管理流程／158
7.2.1　建立数据质量管理办法／159
7.2.2　制定数据标准／161
7.2.3　数据质量自查评估／162
7.2.4　数据质量问题修复／170
7.3　本章小结／173

第8章　大数据测试平台实践／174
8.1　大数据测试平台背景／174
8.2　大数据测试的开源技术调研／175
8.2.1　great_expectations／176
8.2.2　WeBankFinTech Qualitis／178
8.3　大数据测试的商业方案分析／181
8.3.1　QuerySurge／182
8.3.2　RightData／184
8.4　从零开始搭建大数据测试平台／186
8.4.1　需求分析／187
8.4.2　架构设计／187
8.4.3　功能实现／189
8.4.4　页面演示／196
8.4.5　总结和展望／201
8.5　本章小结／203

第9章　数据治理平台建设／204
9.1　数据治理概述／204
9.1.1　数据治理的基本概念／204
9.1.2　数据治理的重要意义／205
9.1.3　数据治理面临的主要挑战／206
9.1.4　如何开展数据治理／206
9.2　数据治理平台体系／207
9.3　元数据管理平台／208
9.3.1　平台产生背景／208
9.3.2　平台架构／208
9.3.3　模块设计：数据采集／209
9.3.4　模块设计：数据查询／212
9.3.5　模块设计：数据分析／214
9.4　数据质量监控平台／219
9.4.1　平台产生背景／219
9.4.2　平台架构／220
9.4.3　模块设计：规则引擎／221
9.4.4　模块设计：任务中心／230
9.4.5　模块设计：报警系统 ／230
9.5　本章小结／232

第10章 DataOps的理念与实践／233
10.1　DataOps概述／233
10.1.1　什么是DataOps／233
10.1.2　为什么需要DataOps／235
10.1.3　DataOps与DevOps、MLOps的联系和区别／237
10.2　DataOps的能力与特性／239
10.2.1　数据工程／239
10.2.2　数据集成／240
10.2.3　数据安全和数据隐私保护／241
10.2.4　数据质量／242
10.2.5　DataOps的4个特性／243
10.3　DataOps技术实践／244
10.3.1　DataOps技术工具／245
10.3.2　数据管道技术示例／246
10.4　本章小结／253

第11章 大数据测试的学习路线和发展趋势／254
11.1　为什么学习大数据测试／254
11.2　如何学习大数据测试／255
11.2.1　大数据测试的学习路线／255
11.2.2　大数据测试的技能图谱／259
11.3　大数据测试的发展趋势／269
11.4　本章小结／270

附录　大数据技术经典面试题／271
参考文献／276