阿里巴巴集团技术丛书:阿里测试之道

目 录

第 1 章 测试团队的发展之路 1

1.1 测试团队面临的困局 . 1

1.2 建立代码门禁 . 2

1.2.1 什么是代码门禁 3

1.2.2 代码门禁的效果 3

1.2.3 落地和优化 .. 4

1.2.4 更多的用途 .. 5

1.3 理解测试的本质 5

1.4 缩短反馈弧 .. 7

1.4.1 为什么缩短反馈弧是关键 .. 7

1.4.2 怎么才算反馈弧短 .. 8

1.4.3 缩短反馈弧的成本和投入产出比 .. 9

1.5 提升测试的稳定性 10

1.5.1 高频 10

1.5.2 隔离 13

1.5.3 用完即抛 . 14

1.5.4 不自动重跑 15

1.6 提升测试的有效性 16

1.6.1 测试有效性需要面对的挑战 .. 16

1.6.2 变异测试和 Bug 注入 . 17

1.6.3 更多的注入类型 . 21

1.7 提升测试的充分性 25

1.7.1 用例自动生成 .. 25

1.7.2 业务覆盖率度量 . 30

1.8 从测到不测 31

1.8.1 防错设计 . 31

1.8.2 静态代码分析和 Bug 自动识别 41

1.9 本章小结 . 42

第 2 章 大促质量保障 44

2.1 大促全链路的风险与挑战 44

2.1.1 全球*大流量洪峰下的高可用挑战 .. 44

2.1.2 纷繁复杂的用户场景 .. 45

2.1.3 无处不在的用户体验 .. 46

2.1.4 三位一体的保障体系 .. 46

2.2 全链路压测 47

2.2.1 全链路影子体系 . 47

2.2.2 全链路压测模型 . 48

2.2.3 全链路压测执行策略 .. 49

2.2.4 常态化智能压测 . 50

2.3 全链路功能 52

2.3.1 统一环境隔离 .. 52

2.3.2 全链路影子数据 . 54

2.3.3 全链路大促用例精简 .. 56

2.4 全民预演 . 59

2.4.1 什么是全民预演 . 59

2.4.2 全民预演的核心目标 .. 60

2.4.3 全民预演如何实施 61

2.4.4 预演执行策略的制定 .. 63

2.4.5 预演问题的收集和跟进 . 64

2.4.6 大促持续集成 .. 64

2.4.7 全民预演平台化支撑 .. 65

2.5 预案开关 . 68

2.5.1 预案的使用场景 . 68

2.5.2 预案评估方式 .. 69

2.5.3 预案流程 . 70

2.5.4 预案平台 . 70

2.5.5 预案与攻防 72

2.5.6 预案的目标与展望 72

2.6 全链路预热 73

2.6.1 解法 73

2.6.2 适用的业务场景 . 75

2.6.3 核心应用场景 .. 76

2.7 快速扩/缩容 .. 78

2.7.1 分析 79

2.7.2 方案 79

2.7.3 优化 80

2.7.4 演练 84

2.7.5 效果 84

2.7.6 展望 85

2.8 风控识别引擎压测 85

2.8.1 分析问题 . 86

2.8.2 延伸 89

2.9 本章小结 . 89

第 3 章 移动 App 测试 .. 90

3.1 移动 App 测试的主要类型、方法和工具 90

3.1.1 功能性测试——从手工到自动化 90

3.1.2 专项测试——从简单到专业好用 95

3.1.3 稳定性测试——智能化测试的初次尝试 99

3.1.4 兼容性测试——智能推荐 . 109

3.2 移动测试的标准、流程和经验 .. 125

3.2.1 深度专项验收——大促 .. 125

3.2.2 前端发布管控 127

3.2.3 客户端代码持续集成 132

3.3 移动端线上质量保障 140

3.3.1 性能监控 .. 140

3.3.2 性能分级与降级 .. 146

第 4 章 大数据测试 . 151

4.1 大数据应用测试的介绍 .. 151

4.1.1 大数据应用测试要解决的问题是什么 .. 151

4.1.2 大数据应用的技术质量体系综述 . 153

4.2 算法系统质量 155

4.2.1 算法测试的定义 .. 155

4.2.2 算法工程质量 156

4.2.3 特征质量与评估 .. 162

4.2.4 模型质量的评估 .. 163

4.2.5 深度学习平台质量（大规模分布式训练系统的测试） . 167

4.3 工程系统质量 168

4.3.1 功能测试平台 Markov . 168

4.3.2 无人值守的性能测试 182

4.4 效果评估 .. 185

4.4.1 效果评估的挑战 .. 186

4.4.2 用户体验保障 186

4.5 对大数据应用测试的预判 . 190

第 5 章 AI 系统测试 . 193

5.1 语音类产品测试——智能音箱测试 . 193

5.1.1 智能音箱业务介绍 . 193

5.1.2 语音类产品测试的挑战 .. 195

5.1.3 天猫精灵测试策略 . 196

5.1.4 端端语音测试 197

5.1.5 算法评测 .. 208

5.1.6 总结 . 211

5.2 计算机视觉类产品测试方案 211

5.2.1 计算机视觉类业务流程介绍 212

5.2.2 计算机视觉类测试分析 .. 215

5.2.3 计算机视觉类测试方案 .. 217

5.2.4 总结 . 230

第 6 章 云计算测试 . 231

6.1 专有云质量定义及挑战 .. 231

6.2 高可用测试——坚如磐石 .. 233

6.2.1 设计思想 .. 233

6.2.2 异常模拟 .. 234

6.2.3 复杂场景测试 235

6.2.4 自动化测试 . 236

6.3 性能容量压测——分层覆盖 . 238

6.3.1 单产品性能——基础能力 . 239

6.3.2 平台性能容量——集成视角 240

6.3.3 用户场景性能——业务视角 242

6.4 热升级——给飞行中的飞机更换发动机 .. 244

6.4.1 技术原理 .. 244

6.4.2 测试挑战 .. 245

6.5 用户场景测试——知己知彼 . 247

第 7 章 金融类测试之资损风险防控 251

7.1 资损风险防控体系 . 251

7.1.1 怎么防 252

7.1.2 怎么控 252

7.1.3 止损 . 252

7.2 资损风险防范 253

7.2.1 资金产品测试要点 . 253

7.2.2 资金系统测试要点 . 255

7.2.3 资金项目变更规范 . 266

7.2.4 资金测试框架/平台 268

7.3 资损风险识别 271

7.3.1 数据核对体系 271

7.3.2 数据核对平台 275

7.4 资损风险应急 278

7.5 资损防控文化 278

第 8 章 物流类测试 . 280

8.1 物流类通用测试技术 280

8.1.1 基于测试服务化的可编排测试 .. 280

8.1.2 基于业务流量的采集和回放平台 . 283

8.2 仓储实操类测试技术 285

8.2.1 仓储实操机器人业务介绍 . 285

8.2.2 仓储实操机器人业务面临的质量挑战 .. 285

8.2.3 仓储实操机器人自动化测试方案及结果 . 286

8.3 末端 IoT 设备测试技术 290

8.3.1 末端物流业务介绍 . 290

8.3.2 硬件服务与系统服务质量保证的挑战 .. 291

8.3.3 阿里巴巴菜鸟末端 IoT 设备通用的测试产品及方案 .. 291

8.3.4 硬件服务与系统服务质量保障成果 296

8.4 全球化物流骨干网测试技术 298

8.4.1 全球化物流骨干网业务简介 298

8.4.2 全球化物流骨干网质量挑战 299

8.4.3 全球化物流骨干网测试方案 300

第 9 章 安全生产 .. 303

9.1 资金安全 .. 303

9.1.1 资损定义 .. 304

9.1.2 资损解决方法 304

9.1.3 资金安全策略 306

9.1.4 体系化解决方案 .. 307

9.1.5 资金安全产品介绍 . 309

9.1.6 资金安全展望 314

9.2 故障快恢 .. 315

9.2.1 功能介绍 .. 315

9.2.2 关键技术 .. 316

9.3 灰度发布 .. 318

9.3.1 抓手——变更三板斧 318

9.3.2 灰度生态建设 319

9.3.3 灰度常坚守，安全无止境 . 320

9.4 信息安全风险 321

9.4.1 风险识别 .. 321

9.4.2 风险应对 .. 323

9.4.3 持续优化 .. 326

9.5 突袭演练 .. 327

9.5.1 背景 . 327

9.5.2 突袭演练策略 327

9.5.3 突袭演练技术大图 . 329

第 10 章 回顾和展望 .. 331

10.1 阿里测试的昨天和今天 331

10.2 测试是软件开发的一个领域 . 334

10.3 软件质量的挑战和不变量 .. 336

10.4 展望未来 341

10.5 写在*后 347