数据存储架构与技术(第2版)

第 1 章 数据存储的背景 001 1.1 数据存储的重要性 001 1.2 数据存储的目标 002 1.2.1 高性能 002 1.2.2 高易用性 003 1.2.3 高可靠性 004 1.2.4 其他目标 005 参考文献 005 第 2 章 存储盘与存储介质 007 2.1 磁盘 007 2.1.1 磁盘的组成与结构 008 2.1.2 磁盘性能 009 2.1.3 磁盘固件 011 2.2 SSD 014 2.2.1 闪存单元与结构 015 2.2.2 FTL 017 2.3 主存 020 2.3.1 DRAM 组成与结构 020 2.3.2 DRAM 刷新 023 2.3.3 内存控制器 024 2.3.4 非易失性存储器 024 2.4 其他存储介质 027 2.4.1 光存储 027 2.4.2 磁带 028 2.5 本章小结 028 2.6 思考题 029 参考文献 029 第 3 章 存储阵列 030 3.1 硬件架构 030 3.1.1 整机架构 031 3.1.2 控制器模块 031 3.1.3 接口模块 032 3.1.4 硬盘框和硬盘单元 033 3.1.5 散热模块 033 3.2 软件架构 034 3.2.1 RAID 子系统 034 3.2.2 缓存镜像子系统 040 3.3 高性能与高可靠性设计 042 3.3.1 应用场景 042 3.3.2 高可靠性冗余切换子系统 043 3.3.3 高性能集群子系统 045 3.3.4 重定向写与垃圾回收技术 047 3.4 本章小结 049 3.5 思考题 049 参考文献 049 第 4 章 存储协议 050 4.1 SCSI 协议 050 4.1.1 SCSI 协议概述 050 4.1.2 SCSI 服务模型 051 4.1.3 SCSI 指令集 053 4.1.4 SCSI 读写流程解析 053 4.2 SCSI 链路承载协议 054 4.2.1 SAS 协议 054 4.2.2 FC 协议 056 4.2.3 iSCSI 协议 057 4.3 NVMe 协议 059 4.3.1 NVMe 设备模型 059 4.3.2 NVMe 队列模型 060 4.3.3 NVMe 指令集 062 4.3.4 NVMe over PCI-e 062 4.4 NVMe over Fabrics 064 4.4.1 NVMe over RDMA 065 4.4.2 NVMe over TCP 067 4.4.3 NVMe over FC 068 4.5 内存互连协议 070 4.5.1 CXL 协议概述 071 4.5.2 CXL 类型 1 072 4.5.3 CXL 类型 2 073 4.5.4 CXL 类型 3 074 4.6 本章小结 074 4.7 思考题 075 参考文献 075 第 5 章 键值存储 077 5.1 基本操作 077 5.2 键值索引 078 5.2.1 散列索引 078 5.2.2 B+树索引 080 5.2.3 LSM 树索引 081 5.3 数据布局 085 5.3.1 原地更新的数据组织 085 5.3.2 日志结构的数据组织 085 5.4 崩溃一致性 086 5.4.1 WAL 086 5.4.2 影子页 087 5.5 本章小结 087 5.6 思考题 087 参考文献 088 第 6 章 文件系统 089 6.1 文件系统的基本操作 089 6.2 文件系统实现 090 6.2.1 一个简单的文件系统 091 6.2.2 命名空间管理 094 6.2.3 存储管理 095 6.3 文件系统实例：ext2 098 6.4 本章小结 100 6.5 思考题 100 参考文献 100 第 7 章 网络存储体系结构 101 7.1 DAS 101 7.2 NAS 102 7.2.1 架构特点 102 7.2.2 网络文件协议 103 7.2.3 应用场景 104 7.3 SAN 104 7.3.1 架构特点 104 7.3.2 核心组件 105 7.3.3 应用场景 106 7.3.4 NAS 与 SAN 对比 106 7.4 对象存储 106 7.4.1 架构特点 106 7.4.2 核心组件 107 7.5 并行存储 108 7.5.1 架构特点 108 7.5.2 关键技术 108 7.6 P2P 存储 109 7.6.1 架构特点 110 7.6.2 关键技术 110 7.6.3 应用场景 111 7.7 云存储 112 7.7.1 架构特点 113 7.7.2 应用场景 113 7.8 存储虚拟化 115 7.8.1 基本概念 115 7.8.2 关键技术 116 7.9 软件定义存储 117 7.9.1 基本概念 117 7.9.2 代表性系统 118 7.9.3 关键挑战 119 7.10 超融合架构 120 7.10.1 基本概念 120 7.10.2 关键技术 121 7.10.3 代表性系统 121 7.10.4 概念对比 122 7.11 本章小结 122 7.12 思考题 123 参考文献 123 第 8 章 分布式存储系统 125 8.1 分布式存储系统的典型架构 125 8.2 分布式存储系统的关键衡量指标 126 8.2.1 性能 126 8.2.2 可扩展性 126 8.2.3 一致性 126 8.2.4 可用性 128 8.3 分布式键值存储系统 128 8.3.1 典型分布式键值存储系统 129 8.3.2 分布式键值存储系统关键技术 132 8.4 分布式对象存储系统 134 8.4.1 典型分布式对象存储系统 134 8.4.2 分布式对象存储系统关键技术 138 8.5 分布式块存储系统 139 8.5.1 典型分布式块存储系统 139 8.5.2 分布式块存储系统关键技术 142 8.6 分布式文件系统 142 8.6.1 典型分布式文件系统 143 8.6.2 分布式文件系统关键技术 150 8.7 本章小结 151 8.8 思考题 151 参考文献 151 第 9 章 存储可靠性 153 9.1 存储可靠性概述 153 9.1.1 可靠性指标及其计算方法 153 9.1.2 可靠性分层设计 154 9.1.3 可靠性与可用性的区别 155 9.2 硬盘可靠性 155 9.2.1 硬盘出错特征分析 155 9.2.2 硬盘故障预警和监测 157 9.2.3 面向环境因素的硬盘可靠性设计 160 9.3 闪存介质可靠性 161 9.3.1 闪存介质错误源 161 9.3.2 闪存可靠性优化关键技术 163 9.4 纠删码技术 165 9.4.1 多副本原理 165 9.4.2 纠删码原理 165 9.4.3 典型的纠删码介绍及分析 168 9.4.4 纠删码技术发展趋势 176 9.5 分布式存储系统可靠性 180 9.5.1 数据冗余技术 180 9.5.2 故障恢复技术 181 9.5.3 数据一致性协议 181 9.5.4 负载均衡技术 182 9.6 本章小结 182 9.7 思考题 182 参考文献 183 第 10 章 存储安全 189 10.1 理念和安全体系 189 10.2 系统安全 190 10.2.1 硬件安全 190 10.2.2 容器安全 192 10.2.3 系统韧性 193 10.3 数据安全 194 10.3.1 数据加密 194 10.3.2 数据完整 196 10.3.3 权限管理 199 10.3.4 数据安全销毁 200 10.3.5 数据安全计算 201 10.4 安全管理 203 10.4.1 系统访问控制(认证管理) 203 10.4.2 用户身份和访问管理 206 10.4.3 证书管理和密钥管理 207 10.4.4 网络安全管理 211 10.5 本章小结 212 10.6 思考题 212 参考文献 213 第 11 章 数据保护 216 11.1 数据保护背景 216 11.1.1 数据保护标准 216 11.1.2 数据保护技术特点 218 11.2 数据保护技术 219 11.2.1 镜像 219 11.2.2 快照 222 11.2.3 克隆 223 11.3 数据保护场景 223 11.3.1 备份 224 11.3.2 归档 228 11.3.3 容灾 231 11.4 本章小结 240 11.5 思考题 240 参考文献 240 第 12 章 存储维护 242 12.1 概述 242 12.2 预防性维护 242 12.2.1 硬盘健康预测 243 12.2.2 容量趋势预测 244 12.2.3 性能异常检测 245 12.2.4 性能潮汐分析 245 12.3 纠正性维护 246 12.3.1 主动问题处理 246 12.3.2 升级 246 12.3.3 扩容 249 12.4 思考题 251 参考文献 252 第 13 章 存储解决方案 253 13.1 运营商行业解决方案 253 13.1.1 运营商大数据解决方案 253 13.1.2 运营商 BOM 域生产业务备份 255 13.2 政务融合存储资源池解决方案 257 13.2.1 场景需求 257 13.2.2 融合资源池解决方案 258 13.3 金融行业容灾解决方案 259 13.3.1 场景需求 259 13.3.2 容灾建设需求 260 13.3.3 两地三中心容灾解决方案 260 13.4 医疗行业解决方案 261 13.4.1 场景需求 261 13.4.2 PACS 影像系统存储解决方案 262 13.5 教育行业解决方案 262 13.5.1 场景需求 263 13.5.2 教育科研高性能计算和数据分析 263 13.6 思考题 264 参考文献 264 第 14 章 存储技术趋势与发展 265 14.1 闪存存储系统 265 14.1.1 OC SSD 266 14.1.2 ZNS SSD 267 14.2 存内计算 269 14.2.1 近存计算 270 14.2.2 存算一体化 270 14.3 持久性内存 272 14.3.1 文件系统 272 14.3.2 键值存储系统 273 14.3.3 分布式存储系统 275 14.4 在网存储 276 14.4.1 在网数据协调 276 14.4.2 在网数据调度 277 14.4.3 在网数据缓存 278 14.5 智能存储 278 14.5.1 AI for Storage 278 14.5.2 Storage for AI 280 14.6 边缘存储 282 14.6.1 边缘存储设备 283 14.6.2 边缘存储 I/O 栈 284 14.6.3 边缘数据组织与检索 284 14.7 区块链存储 285 14.7.1 区块链存储系统简介 286 14.7.2 区块链存储系统优化 286 14.8 分离式数据中心架构 287 14.8.1 背景 287 14.8.2 架构特点及关键技术 288 14.8.3 未来趋势 291 14.9 高密度新型存储 292 14.9.1 叠瓦式磁性存储 292 14.9.2 高密光存储 293 14.9.3 DNA 存储 293 14.10 本章小结 294 14.11 思考题 294 参考文献 295 缩略语表 301