信息科学与技术丛书私有云存储系统搭建与应用

出版说明

前言

第1章 存储系统的演进之路1

1.1 极具年代感的存储系统1

1.2 存储系统的演进历程1

1.2.1 节点能力的提升：从磁盘到磁盘阵列1

1.2.2 存储与服务器剥离：存储网络化2

1.2.3 抽象硬件管理：软件定义存储3

1.2.4 一切皆是对象：对象存储3

1.3 心中的存储系统3

1.4 结语：永无止境的存储系统5

第2章 初识Swift存储系统6

2.1 对象存储系统：OpenStack Swift6

2.1.1 Swift的重要特点6

2.1.2 对象存储的主要特征7

2.1.3 Swift的衡量结果7

2.1.4 Swift的重要概念8

2.2 Swift对开发者的支持8

2.2.1 开源9

2.2.2 对象存储API9

2.3 结语：企业级应用的选择10

第3章 Swift存储系统的架构11

3.1 Swift存储系统的结构11

3.1.1 系统层次结构11

3.1.2 部署规模的定义12

3.1.3 数据存储结构13

3.2 Swift存储系统的应用框架14

3.3 结语：框架决定开局15

第4章 搭建基于Swift的存储系统16

4.1 搭建思路16

4.1.1 部署方式的选择16

4.1.2 部署步骤的调整16

4.2 条件检查17

4.2.1 宿主机CPU是否支持虚拟化17

4.2.2 宿主机操作系统内核检查18

4.2.3 宿主机实验配置和生产配置18

4.3 系统规划18

4.3.1 集群规划18

4.3.2 存储规划19

4.4 准备基础模板虚拟机20

4.4.1 前提条件20

4.4.2 系统设置21

4.4.3 基础工具安装（可选）22

4.4.4 准备专用存储分区22

4.4.5 提取模板虚拟机24

4.5 准备对象存储模板虚拟机24

4.5.1 系统设置24

4.5.2 存储空间准备25

4.5.3 安装依赖项26

4.5.4 下载代码并编译27

4.5.5 配置依赖服务27

4.5.6 准备配置文件31

4.5.7 准备运行脚本37

4.5.8 提取模板虚拟机38

4.6 准备对象存储服务器39

4.6.1 实例化虚拟机39

4.6.2 基础个性化配置40

4.6.3 对象存储系统个性化设置42

4.7 启动对象存储服务44

4.7.1 创建环定义文件44

4.7.2 分发环定义文件（多机环境）45

4.7.3 启动主守护进程45

4.7.4 验证守护进程46

4.8 部署验证46

4.8.1 验证工具47

4.8.2 验证过程47

4.9 优化及调整56

4.9.1 服务进程数调整57

4.9.2 新增内置账户57

4.9.3 设置授权Token的时效57

4.9.4 网络超时设置58

4.10 结语：开启云存储之门58

第5章　存储系统的扩展59

5.1 系统扩展的“套路”59

5.2 纵向扩展：动态扩展虚拟机的能力59

5.2.1 扩展CPU的能力60

5.2.2 扩展内存的容量60

5.2.3 扩展存储的空间60

5.2.4 验证61

5.3 横向扩展：动态调整集群的节点62

5.3.1 扩展思路62

5.3.2 新增节点63

5.3.3 淘汰节点64

5.4 结语：让存储系统“保先”65

第6章　存储系统集成方案66

6.1 存储系统集成的用例66

6.2 B/S应用与存储系统的集成方案66

6.2.1 方案架构66

6.2.2 方案要点67

6.2.3 技术实现思路68

6.3 C/S应用与存储系统的集成方案70

6.3.1 方案架构70

6.3.2 方案要点70

6.3.3 技术实现思路71

6.4 结语：集成之道72

第7章　客户端工具API的实现74

7.1 Swift存储系统的API体系回顾74

7.1.1 账户API规范74

7.1.2 容器API规范74

7.1.3 对象API规范75

7.1.4 大对象API规范75

7.1.5 API规范的特点76

7.2 客户端工具API的实现思路76

7.3 账户验证API：叩开云存储之门80

7.4 账户API：管理你的存储系统81

7.4.1 获取账户下容器列表81

7.4.2 获取元数据83

7.4.3 设置自定义元数据84

7.4.4 删除自定义元数据86

7.5 容器API：管理你的存储空间87

7.5.1 创建容器87

7.5.2 获取元数据89

7.5.3 设置自定义元数据90

7.5.4 删除自定义元数据91

7.5.5 检测容器是否存在93

7.5.6 删除容器94

7.5.7 获取容器中对象列表95

7.6 对象API：管理你的存储内容103

7.6.1 创建对象103

7.6.2 获取元数据105

7.6.3 设置自定义元数据107

7.6.4 设置过期时效108

7.6.5 检测对象是否存在110

7.6.6 获取对象大小（字节数）111

7.6.7 获取对象内容112

7.6.8 删除对象117

7.6.9 复制对象118

7.6.10 移动对象119

7.7 大对象API：有容乃大120

7.7.1 检测是否支持静态大对象（SLO）121

7.7.2 上传分段对象（Segments）122

7.7.3 上传清单（Manifest）124

7.7.4 获取清单126

7.7.5 删除大对象127

7.7.6 复制大对象128

7.8 HTTP通信实现130

7.8.1 HTTP通信的“套路”130

7.8.2 GET方法130

7.8.3 POST方法137

7.8.4 PUT方法139

7.8.5 DELETE方法145

7.8.6 HEAD方法147

7.9 结语：存储一切对象149

第8章　存储系统与Java项目集成实例150

8.1 存储系统与Java项目的集成点150

8.2 Web应用与存储系统集成150

8.2.1 Web应用的集成模式150

8.2.2 集成示例1：文件上传151

8.2.3 集成示例2：显示图片167

8.2.4 集成示例3：下载文件170

8.2.5 Web应用集成小结173

8.3 工具类应用与存储系统集成174

8.3.1 工具类应用的集成模式174

8.3.2 集成示例1：上传文件到存储系统174

8.3.3 集成示例2：从存储系统下载内容177

8.4 应用集成技巧182

8.4.1 访问控制相关182

8.4.2 数据存取相关183

8.5 结语：用存储系统“武装”你的项目184

第9章　虚拟机管理185

9.1 不得不说的KVM185

9.2 条件检查185

9.2.1 宿主机CPU是否支持虚拟化185

9.2.2 宿主机操作系统版本检查186

9.3 安装KVM186

9.3.1 宿主机准备186

9.3.2 安装KVM工具188

9.3.3 安装系统性能监测工具191

9.4 管理你的虚拟机（VM）191

9.4.1 客户端准备191

9.4.2 宿主机准备192

9.4.3 管理虚拟机192

9.4.4 虚拟机镜像文件相关200

9.5 磁盘镜像工具用法详解202

9.5.1 创建/替换镜像文件202

9.5.2 查看镜像文件信息203

9.5.3 检查虚拟机镜像文件203

9.5.4 快照管理204

9.5.5 调整镜像文件大小205

9.6 结语：利器KVM206

第10章　虚拟机的扩展207

10.1 虚拟机扩展存储容量的思路207

10.2 有容乃大的LVM207

10.3 扩展虚拟机的存储容量207

10.3.1 扩展虚拟机镜像207

10.3.2 创建分区208

10.3.3 使用LVM管理新增分区210

第11章　Swift相关工具215

11.1 Swift建环工具215

11.1.1 建环工具简介215

11.1.2 建环工具的使用场景215

11.1.3 建环工具使用详解218

11.2 Swift客户端工具简介222

11.2.1 Swift客户端工具的安装222

11.2.2 Swift客户端工具的使用222

第12章　重要命令详解233

12.1 系统信息相关233

12.1.1 查看CPU信息233

12.1.2 查看内存占用情况233

12.1.3 打印系统信息234

12.1.4 显示进程信息234

12.1.5 查看网络235

12.2 磁盘相关236

12.2.1 磁盘分区236

12.2.2 格式化文件系统237

12.2.3 挂载/卸载设备238

12.2.4 扩展文件系统239

12.2.5 查看文件系统240

12.2.6 查看磁盘使用240

12.2.7 文件链接241

12.3 账户管理242

12.3.1 新增账户243

12.3.2 修改账户密码243

12.3.3 修改账户设置243

12.4 软件安装244

12.4.1 软件包安装工具244

12.4.2 修改更新源244

12.5 服务管理245

12.5.1 systemctl命令方式245

12.5.2 service命令方式245

12.5.3 /etc/init.d/xxx方式246

12.6 工具相关246

12.6.1 流编辑器—sed246

12.6.2 文本搜索—egrep247

12.6.3 参数传送—xargs247

12.6.4 文档打包/提取—tar248

12.6.5 基于SSH的远程复制—scp248