云存储:释放数据无限价值

第 1 章　数据价值驱动存储创新 ………………………………………1

1.1　数据与存储 …………………………………………………………………… 2

1.2　存储介质的发展 ……………………………………………………………… 3

1.2.1 NAND Flash…………………………………………………………… 4

1.2.2 NVMe SSD …………………………………………………………… 7

1.3　存储软件技术发展 …………………………………………………………… 9

1.3.1　用户态存储软件栈 …………………………………………………… 9

1.3.2　高性能用户态存储软件平台 …………………………………………12

1.4　存储系统架构的演进 ……………………………………………………… 13

1.4.1　硬件主导的存储系统架构 ……………………………………………14

1.4.2　软件主导的存储系统架构 ……………………………………………16

1.4.3　面向云端的软硬件协同存储系统架构 ………………………………18

第 2 章　存储关键技术 ……………………………………………… 19

2.1　存储协议类型 ……………………………………………………………… 20

2.1.1 SCSI 与 iSCSI …………………………………………………………20

2.1.2 NVMe …………………………………………………………………26

2.1.3 NVMeoF ………………………………………………………………34

2.1.4 RESTful API……………………………………………………………41

2.1.5　网络文件系统 …………………………………………………………45

2.1.6 SMB 协议………………………………………………………………55

2.2　数据重删与压缩 …………………………………………………………… 58

2.2.1　数据重删 ………………………………………………………………59

2.2.2　数据压缩 ………………………………………………………………60

2.3　数据复制与冗余 …………………………………………………………… 61

2.3.1　数据复制 ………………………………………………………………61

2.3.2　数据备份与恢复 ………………………………………………………62

2.3.3 RAID……………………………………………………………………64

2.3.4　多副本与纠删码 ………………………………………………………66

2.4　数据安全 …………………………………………………………………… 77

2.4.1　数据加密 ………………………………………………………………77

2.4.2　权限管理 ………………………………………………………………78

2.5　数据一致性 ………………………………………………………………… 81

2.5.1　分布式一致性 …………………………………………………………81

2.5.2　一致性对比分析 ………………………………………………………85

第 3 章　云存储基础组件 …………………………………………… 89

3.1　分布式存储系统 …………………………………………………………… 90

3.1.1　技术特点 ………………………………………………………………90

3.1.2　系统架构 ………………………………………………………………93

3.1.3　分布式文件协议 ………………………………………………………94

3.1.4　单机存储引擎 …………………………………………………………99

3.1.5　高性能软件栈 ……………………………………………………… 101

3.2　分布式锁服务 ……………………………………………………………… 104

3.2.1　从单机锁到分布式锁 ……………………………………………… 104

3.2.2　云存储的分布式锁 ………………………………………………… 106

3.3 高性能网络服务框架 ……………………………………………………… 110

3.3.1　网络服务面临的挑战 ……………………………………………… 110

3.3.2　云存储的高性能网络服务 ………………………………………… 111

3.4　键值存储系统 ……………………………………………………………… 118

3.4.1　键值存储系统架构的演变 ………………………………………… 118

3.4.2　阿里云键值存储系统 ……………………………………………… 121

第 4 章　云存储的技术创新 ……………………………………… 125

4.1　云存储服务技术创新 ……………………………………………………… 126

4.1.1 快照技术的*新应用 ……………………………………………… 126

4.1.2　共享块存储技术 …………………………………………………… 129

4.1.3　对象存储可用性技术实践 ………………………………………… 133

4.1.4　对象存储分布式缓存 ……………………………………………… 137

4.1.5　对象存储异地多活容灾架构 ……………………………………… 139

4.1.6　文件系统的数据一致性 …………………………………………… 144

4.1.7　文件系统的多租户实践 …………………………………………… 148

4.1.8　并行文件系统客户端优化 ………………………………………… 152

4.1.9　海量结构化大数据存储 …………………………………………… 155

4.2　云定义存储技术创新 ……………………………………………………… 162

4.2.1　块存储技术能力 …………………………………………………… 162

4.2.2　对象存储技术能力 ………………………………………………… 165

4.2.3　日志服务技术能力 ………………………………………………… 167

4.3　云数据管理技术创新 ……………………………………………………… 169

4.3.1　可观测性技术 ……………………………………………………… 169

4.3.2　数据重删技术 ……………………………………………………… 172

4.3.3　相册与网盘服务的关键技术 ……………………………………… 173

4.3.4　智能媒体管理技术 ………………………………………………… 178

第 5 章　云存储的应用实践 ……………………………………… 181

5.1　视频监控数据存储 ………………………………………………………… 182

5.2　大数据及数据湖统一存储 ………………………………………………… 183

5.3　多媒体数据存储 …………………………………………………………… 188

5.4　高性能计算数据存储 ……………………………………………………… 191

5.5　混合云灾备 ………………………………………………………………… 195

5.6　智能运维 AIOps …………………………………………………………… 197

5.7　容器数据存储 ……………………………………………………………… 203

5.8　即时消息系统支撑实践 …………………………………………………… 206

第 6 章　云存储的未来展望 ……………………………………… 209

6.1　技术创新 …………………………………………………………………… 210

6.1.1 NAND Flash 技术的发展 ………………………………………… 210

6.1.2　新存储介质的出现 ………………………………………………… 213

6.1.3　高性能网络的发展 ………………………………………………… 215

6.2　来自行业的挑战与机遇 …………………………………………………… 217

6.2.1　云向边缘的推进 …………………………………………………… 217

6.2.2　从“新基建”到“东数西算” …………………………………… 218

6.2.3　混合云存储的快速发展 …………………………………………… 219

6.2.4　数据安全的挑战依然严峻 ………………………………………… 220