阿里巴巴集团技术丛书企业数字化基石:阿里巴巴云计算基础设施实践

第1章 基础设施架构综述 / 1 1.1 基础设施的概念 / 1 1.2 基础设施作为技术驱动力 / 3 1.3 基础设施的技术价值 / 7 1.3.1 技术安全 / 8 1.3.2 稳定性 / 9 1.3.3 TCO / 10 1.3.4 稳定性、性能、成本的平衡 / 11 1.3.5 追求效率、标准化、规范化 / 11 1.4 基础设施的核心竞争力特征 / 12 第2章 TCO建模 / 13 2.1 静态TCO模型 / 14 2.1.1 数据中心CapEx / 15 2.1.2 服务器及网络设备CapEx / 16 2.1.3 OpEx / 16 2.1.4 产能/TCO / 16 2.2 动态TCO模型 / 17 2.3 TCO*优 / 18 第3章 数据中心能效 / 22 3.1 数据中心电能利用率 / 22 3.2 数据中心服务器电能利用率 / 30 3.2.1 服务器电源的能效 / 31 3.2.2 服务器风扇的能效 / 33 3.3 数据中心基础设施使用率 / 35 3.4 小结 / 37 第4章 数据中心 / 39 4.1 数据中心面临的挑战 / 39 4.1.1 中国能源供给结构对数据中心的影响 / 39 4.1.2 新政策环境下数据中心面临的技术升级挑战 / 41 4.1.3 云计算业务给数据中心带来的机遇与挑战 / 41 4.2 数据中心技术的发展趋势 / 43 4.2.1 数据中心技术演进的路线与趋势 / 43 4.2.2 阿里巴巴数据中心的演进路线与趋势 / 46 4.3 数据中心能源与供电技术 / 49 4.3.1 数据中心能源的选择与引入 / 49 4.3.2 数据中心电气系统架构演进的趋势与路线 / 54 4.3.3 数据中心电气关键技术与设备 / 59 4.4 阿里巴巴数据中心供电工程实践案例 / 68 4.4.1 分布式不间断供电和集中式不间断供电的比较 / 68 4.4.2 240V PSU集中供电系统 / 70 4.4.3 天蝎BBS / 71 4.4.4 服务器BBU / 73 4.4.5 机柜DPS / 74 4.5 数据中心制冷技术 / 76 4.5.1 数据中心制冷系统架构的选择与设计 / 76 4.5.2 连续制冷 / 89 4.5.3 制冷系统的节能措施 / 91 4.6 面向下一代IT系统的冷却技术 / 96 4.6.1 液冷技术简介 / 96 4.6.2 冷板式液冷技术 / 98 4.6.3 浸没式液冷技术 / 99 4.6.4 不同冷却技术对比 / 100 4.7 数据中心制冷技术的发展趋势 / 102 4.8 阿里巴巴数据中心冷却工程实践案例 / 103 4.8.1 千岛湖数据中心 / 103 4.8.2 张北新风自然冷数据中心 / 105 第5章 数据中心网络架构和关键技术 / 112 5.1 超大规模数据中心网络概述 / 112 5.1.1 超大规模数据中心的网络架构及其技术演变 / 112 5.1.2 超大规模数据中心网络的未来发展趋势 / 115 5.2 阿里巴巴数据中心网络 / 118 5.2.1 云计算对数据中心网络的核心要求 / 118 5.2.2 阿里巴巴数据中心网络架构演进 / 120 5.2.3 阿里巴巴数据中心网络HAIL架构的设计理念 / 122 5.2.4 阿里巴巴数据中心网络HAIL架构简介 / 130 5.2.5 阿里巴巴数据中心交换机 / 131 5.2.6 阿里巴巴 vSwitch / 138 5.2.7 阿里巴巴数据中心网络光互联技术 / 141 5.3 数据中心网络协议和高性能网络 / 142 5.3.1 数据中心网络互联协议 / 142 5.3.2 高性能网络 RDMA技术 / 145 5.4 可编程芯片和高性能网关平台 / 146 5.4.1 基于x86高性能软件网关平台Netframe / 146 5.4.2 基于可编程交换机与SDN技术的硬件交换平台 / 147 5.5 网络可视化技术 / 148 5.5.1 网络可视化前端技术 / 149 5.5.2 网络可视化后端技术 / 150 5.6 城域网光传输技术 / 151 5.6.1 城域网架构简介 / 151 5.6.2 光传输技术 / 154 第6章 服务器技术 / 159 6.1 服务器简介 / 159 6.1.1 服务器系统分级 / 160 6.1.2 服务器行业生态 / 161 6.1.3 服务器应用场景 / 162 6.1.4 服务器面临的挑战 / 162 6.1.5 服务器设计考虑 / 163 6.2 服务器研发和技术体系 / 164 6.2.1 数据中心服务器研发模式 / 165 6.2.2 数据中心服务器工程技术之主板 / 167 6.2.3 数据中心服务器工程技术之散热技术 / 170 6.2.4 服务器结构工程技术 / 174 6.2.5 服务器监控及运维体系 / 189 6.2.6 服务器测试及性能评估体系 / 191 6.3 软硬件优化 / 197 6.4 服务器演进展望 / 198 6.4.1 阿里巴巴的服务器演进 / 198 6.4.2 计算/存储分离和部件化 / 199 6.4.3 进一步解耦CPU-Storage，CPU-GPU，CPU-MEM和架构一体化 / 201 6.5 硬件安全体系 / 203 6.5.1 可信计算 / 204 6.5.2 可信执行环境 / 205 6.5.3 内存安全 / 208 6.5.4 构建完善的硬件安全体系 / 209 第7章 计算硬件技术 / 211 7.1 通用计算 / 212 7.1.1 x86 / 212 7.1.2 Non-IA / 215 7.1.3 Non-IA与x86的比较 / 218 7.1.4 典型业务与通用计算 / 219 7.2 异构计算 / 221 7.2.1 GPU / 221 7.2.2 FPGA / 225 7.2.3 ASIC / 227 7.2.4 CPU、GPU、FPGA、ASIC简单比较 / 230 7.3 边缘计算 / 230 7.4 总线互联 / 233 7.4.1 QPI/UPI / 233 7.4.2 NV-Link / 234 7.4.3 CAPI / 234 7.4.4 CCIX / 235 7.5 计算与业务软硬件结合 / 236 7.6 小结 / 238 第8章 存储硬件技术 / 239 8.1 内存 / 240 8.1.1 DDR / 240 8.1.2 NVDIMM与UltraDIMM / 241 8.1.3 AEP / 243 8.1.4 HBM与HMC / 243 8.2 HDD / 245 8.2.1 基本原理 / 245 8.2.2 大容量硬盘应用 / 247 8.2.3 HDD的发展趋势 / 251 8.3 SSD / 251 8.3.1 NAND Flash / 254 8.3.2 2D/3D NAND / 254 8.3.3 SSD的使用 / 259 8.4 新型存储介质 / 261 8.4.1 3D XPoint / 261 8.4.2 ReRAM / 264 8.4.3 NVMe / 265 8.5 新型存储介质应用 / 265 8.6 自研存储产品AliFlash / 269 8.6.1 双模式SSD / 269 8.6.2 开放通道模式 / 270 8.6.3 开放通道模式的应用路径 / 272 8.6.4 AliFlash与业务软硬件结合 / 273 8.7 存储路径 / 276 8.7.1 传统文件系统 / 276 8.7.2 KV存储 / 278 8.7.3 SPDK / 279 8.8 NVMoF / 280 8.9 近存储计算 / 283 8.9.1 本地近存储计算 / 283 8.9.2 远端近存储计算 / 285 8.10 小结 / 288 第9章 基础设施智能化运营与自动化运维 / 289 9.1 基础设施资源运营智能化 / 290 9.1.1 需求预测 / 291 9.1.2 数据中心机架位容量规划 / 293 9.1.3 智能制造的发展趋势 / 295 9.2 基础设施资源交付自动化 / 296 9.2.1 通过带外网络实现的远程自动开关机 / 296 9.2.2 服务器操作系统自动化安装 / 297 9.2.3 自动化部署遇到的问题及解决方案 / 300 9.3 基础设施智能监管控 / 300 9.3.1 可用性监控分析 / 301 9.3.2 电热异常感知 / 301 9.3.3 能效优化 / 304 9.4 物理机自动化维修 / 305 9.4.1 故障发现 / 305 9.4.2 故障预测 / 307 9.4.3 故障维修 / 307 9.5 集群自动化运维 / 309 9.5.1 集群自动化运维的主要设计思想 / 309 9.5.2 物理机集群智能自愈系统 / 311 9.6 网络智能变更系统 / 314 9.6.1 变更稳定性挑战 / 314 9.6.2 解决方案 / 315 9.6.3 网络智能化变更系统 / 316 9.7 无人值守的数据中心 / 317 第10章 IDC、网络、服务器的一体化 / 319 10.1 基础设施的*优化匹配 / 319 10.1.1 大集群与业务的*优匹配 / 319 10.1.2 IDC建筑、网络大集群、服务器的宏观优化 / 320 10.1.3 机架功耗、服务器功耗、网络端口利用率的微观优化 / 321 10.2 整机架交付：OCP、天蝎与AliRack / 322 10.3 面向业务的一体化解决方案：HPC、超算、AI / 323 10.4 系统技术分层与协作 / 327 10.5 全系统模拟器 / 328 第11章 总结及展望 / 330 11.1 2022年——世界**的基础设施 / 330 11.2 基础设施5.0——AI、异构、智能化 / 332 11.3 基础设施6.0——一体化*优基础设施架构 / 332 11.4 五年之后的基础设施——创新的机制保障 / 333 11.4.1 NASA与达摩院——阿里巴巴的科技创新 / 333 11.4.2 AIS的创新机制 / 333 11.4.3 前瞻布局与战略拖动 / 334 11.5 量子与未来 / 334 11.5.1 量子通信 / 334 11.5.2 量子计算 / 335