云操作系统架构与关键技术

目　录





第0章　绪 论　1

0.1　云计算及云操作系统的概念　1

0.2　云操作系统的主要特点　2

0.3　云操作系统的发展概况　2



第　一部分 基础篇

第　1章 操作系统发展历程　4

1.1　操作系统的基本类型　4

1.1.1　批处理操作系统　4

1.1.2　分时操作系统　6

1.1.3　实时操作系统　8

1.2　通用操作系统的演进　10

1.3　单机操作系统　10

1.3.1　单用户单任务操作系统　10

1.3.2　单用户多任务操作系统　11

1.4　网络操作系统　12

1.4.1　网络操作系统的特征　12

1.4.2　常用网络操作系统　12

1.5　分布式操作系统　15

第　2章 云操作系统概述　17

2.1　云操作系统概述　17

2.2　云操作系统发展历程　18

2.2.1　阶段一：分区虚拟化　18

2.2.2　阶段二：虚拟化 资源池管理　21

2.3　云操作系统主流产品　24

2.3.1　亚马逊云操作系统　24

2.3.2　阿里云操作系统　26

2.3.3　微软云操作系统　27

2.3.4　华为云操作系统　28

第二部分　设计篇

第3章　云操作系统技术架构　30

3.1　一个*简单的云操作系统　30

3.2　云操作系统的主要功能　31

3.3　云操作系统的逻辑架构　33

3.4　典型服务的设计思想　35

3.4.1　“管理者-生产者”模型　36

3.4.2　关键组件实现模型　37

第4章　硬件抽象与封装　40

4.1　计算资源　40

4.1.1　计算类的硬件设备　40

4.1.2　计算资源的抽象　41

4.1.3　计算资源的封装　47

4.2　存储资源　50

4.2.1　存储类硬件设备　51

4.2.2　存储资源的抽象　53

4.2.3　存储资源的封装　58

4.3　网络资源　62

4.3.1　网络类硬件设备　62

4.3.2　网络资源的抽象　64

4.3.3　网络资源的封装　65

第5章　资源调度　71

5.1　计算资源的调度　71

5.2　存储资源的调度　73

5.2.1　块存储　73

5.2.2　文件存储　74

5.2.3　对象存储　74

5.3　网络资源的调度　75

5.3.1　路由算法　75

5.3.2　负载均衡的算法　76

第6章　资源编排　77

6.1　通用化的编排方式　77

6.2　虚拟机的编排　77

6.3　容器的编排　79

6.3.1　Swarm　79

6.3.2　Kubernetes　81

6.3.3　Mesos&Marathon　82

第7章　管理类基础服务　84

7.1　用户界面　84

7.1.1　概览　84

7.1.2　组件介绍　84

7.1.3　使用示例　85

7.2　用户认证服务　85

7.2.1　概览　85

7.2.2　组件介绍　85

7.2.3　使用示例　87

7.3　数据库服务　88

7.3.1　概览　88

7.3.2　组件介绍　88

7.3.3　使用示例　89

7.4　镜像服务　90

7.4.1　概览　90

7.4.2　组件介绍　90

7.4.3　使用示例　90

7.5　通信服务　91

7.5.1　概览　91

7.5.2　组件介绍　91

7.5.3　使用示例　94

第8章　云操作系统的接口　96

8.1　HTTP协议　96

8.2　用户管理　98

8.2.1　用户管理　98

8.2.2　租户管理　98

8.3　权限管理　98

8.3.1　角色管理　98

8.4　运行管理　99

8.4.1　监控日志　99

8.4.2　计量监控-资源　101

8.5　云主机管理　101

8.5.1　云主机管理　101

8.5.2　云主机操作　102

8.6　存储管理　102

8.6.1　云硬盘管理　102

8.6.2　云硬盘操作　102

8.6.3　云硬盘备份　103

8.6.4　云硬盘转移　103

8.6.5　云硬盘快照　103

8.6.6　对象存储目录管理　104

8.6.7　对象存储对象管理　104

8.6.8　共享文件系统管理　104

8.6.9　共享文件系统操作　105

8.7　网络管理　105

8.7.1　网络管理　105

8.7.2　网络端口管理　105

8.7.3　子网管理　106

8.7.4　路由器管理　106

8.7.5　浮动IP管理　106

8.8　镜像管理　107

8.8.1　镜像管理　107

8.8.2　镜像数据管理　107

8.9　编排管理　107

8.9.1　栈资源管理　107

8.9.2　栈管理　108

8.9.3　栈操作管理　108

8.10　容器管理　108

8.10.1　容器集群管理　109

8.10.2　容器集群模板管理　109

8.10.3　容器Pods管理-K8S　109

8.10.4　容器RC控制器管理-K8S　109

8.10.5　容器应用管理-MESOS　110

8.10.6　容器应用操作-MESOS　110

8.10.7　容器镜像管理　110

8.11　主机虚拟化驱动接口　111

8.12　网络虚拟化驱动接口　115

8.13　分布式存储驱动接口　117

第三部分　部署篇

第9章　典型云操作系统的部署　121

9.1　系统部署介绍　121

9.1.1　按规模部署　121

9.1.2　主流的自动化部署工具　122

9.2　部署架构设计　122

9.3　部署资源准备　123

9.4　网络规划与连线　124

9.5　部署准备　125

9.5.1　配置服务器　125

9.5.2　部署服务器　125

9.6　手动部署云操作系统　133

9.6.1　加载物理机　133

9.6.2　配置网络环境　134

9.6.3　配置物理磁盘　136

9.6.4　测试验证网络　138

9.6.5　部署云操作系统　138

9.7　自动部署云操作系统　155

9.7.1　加载物理机　155

9.7.2　配置网络环境　157

9.7.3　配置物理磁盘　160

9.7.4　测试验证网络　161

9.7.5　创建部署环境　162

9.7.6　部署实施云操　162

第　10章 云操作系统的高可用　165

10.1　HA(high availability)介绍　165

10.1.1　冗余和故障切换　165

10.1.2　无状态服务和有状态服务　165

10.1.3　主从集群和主主集群　166

10.2　基本环境的配置　166

10.2.1　硬件要求　166

10.2.2　Memcached　166

10.3　配置共享服务　167

10.3.1　数据库　167

10.3.2　消息队列　167

10.4　配置控制器　167

10.4.1　Pacemaker架构　167

10.4.2　Pacemaker 集群　167

10.4.3　配置VIP　169

10.4.4　HAProxy　169

10.4.5　Memcached　169

10.4.6　keystone　170

10.4.7　Telemetry　170

10.5　配置网络服务　171

10.5.1　网络的DHCP agent　171

10.5.2　网络的L3 agent　171

10.6　配置存储　172

10.6.1　glance api　172

10.6.2　cinder api　173

10.6.3　共享文件系统　175

10.6.4　存储后端　176

10.7　配置计算节点　176

第　11章 大规模集群设计与优化　178

11.1　私有云待优化问题　178

11.2　资源监控系统　180

11.2.2　监控系统简介　180

11.2.2　监控系统效率　182

11.3　通信性能优化　185

11.4　键函数优化　186

11.5　模块依赖性能优化　187

11.6　任务调配优化　188

11.6.1　队列资源调度算法　188

11.6.2　作业结构设计　189

第四部分　应用篇

第　12章 云操作系统的应用场景　191

12.1　应用场景综述　191

12.1.1　公有云　191

12.1.2　私有云　194

12.1.3　混合云　197

12.2　典型场景一：异构资源的统一封装　198

12.2.1　场景描述　198

12.2.2　实现流程　198

12.2.3　应用案例　206

12.3　典型场景二：基础资源弹性伸缩　208

12.3.1　场景描述　208

12.3.2　实现流程　209

12.3.3　应用案例　212

12.4　典型场景三：多租户隔离　215

12.4.1　场景描述　215

12.4.2　实现流程　216

12.4.3　应用案例　219

12.5　典型场景四：一键部署　223

12.5.1　场景描述　223

12.5.2　实现流程　225

12.5.3　应用案例　228

12.6　典型场景五：故障自愈　234

12.6.1　场景描述　234

12.6.2　实现流程　236

12.6.3　应用案例　236

12.7　典型场景六：持续集成　244

12.7.1　场景描述　244

12.7.2　实现流程　245

12.7.3　应用案例　246

12.8　典型场景七：灰度发布　254

12.8.1　场景描述　254

12.8.2　实现流程　255

12.8.3　应用案例　256

第　13章 一个典型的云操作系统应用　261

13.1　“国网云”操作系统SG-COS综述　261

13.1.1　系统架构　261

13.1.2　部署情况　263

13.2　“国网云”大数据平台概述　264

13.3　“国网云”云操与大数据平台的融合　266

13.3.1　融合方案概述　266

13.3.2　物理机纳管方案　267

13.3.3　半虚半实融合方案　268

13.3.4　全虚拟化融合方案　271

13.4　“国网云”企业级应用迁移上云的典型方式　273

第　14章 总结与展望　275

附　录　277

术语定义　277