自顶向下的CEPH分布式存储系统基本原理

第1章Ceph概述1 1.1Ceph简介1 1.2Ceph架构3 1.2.1Ceph架构简介3 1.2.2Ceph中的数据流向5 1.3本书章节介绍6 第2章RGW对象存储8 2.1RGW简介8 2.2RGW的组成结构9 2.3RGW用户信息11 2.4Bucket与对象索引信息13 2.5RGW对象与RADOS对象的关系14 2.6上传对象的处理流程16 2.7RGW的并发与WatchNotify机制29 2.8RGW版本管理机制与CLS机制33 本章小结38 第3章RBD块存储39 3.1RBD简介39 3.1.1RBD方式40 3.1.2NBD方式42 3.2用户态librbd方式及librbd的结构组成45 3.2.1用户态librbd方式45 3.2.2librbd的结构组成46 3.3存储镜像的数据组成49 3.4RBD写操作的处理流程51 3.5RBD快照63 3.6克隆块设备及对读写性能的影响64 3.7RBD QoS65 3.8RBD journal与RBDMirror67 本章小结75 第4章LibRADOS接口76 4.1简介76 4.2LibRADOS对外提供的功能接口76 4.3LibRADOS的结构组成77 4.4存储池Pool与归置组PG79 4.5CRUSHMAP与CRUSH算法80 4.5.1CRUSHMAP80 4.5.2CRUSH算法82 4.5.3定制CRUSH84 4.6对象写请求示例86 4.7WatchNotify接口实现94 本章小结97 第5章Monitor节点98 5.1Monitor节点的结构组成99 5.2Monitor节点与Paxos算法100 5.2.1Paxos算法流程100 5.2.2Paxos算法在Ceph Monitor节点中的应用102 5.2.3Monitor节点Leader选举实现104 5.2.4选举后的Monitor集群内的数据通信113 5.3Monitor节点的认证功能115 5.3.1票据115 5.3.2三种密钥116 5.3.3票据与密钥应用的过程118 5.4Monitor节点对OSD状态的检测119 5.5OSDMAP的更新与传播122 本章小结124 第6章OSD节点125 6.1OSD中的对象125 6.2PG在OSD内的实现128 6.3OSD操作请求的处理过程131 本章小结152 第7章本地后端存储BlueStore153 7.1BlueStore的对外功能153 7.1.1BlueStore的对外接口153 7.1.2BlueStore事务的组成154 7.2BlueStore的内部实现156 7.2.1对象在BlueStore中的描述157 7.2.2BlueStore使用磁盘的方式158 7.2.3BlueStore对磁盘空间的管理162 7.2.4BlueStore使用RocksDB实现元数据的管理164 7.2.5专门支撑RocksDB的日志型文件系统BlueFS165 7.3事务在BlueStore中的实现171 7.3.1事务处理的基本流程171 7.3.2写操作事务处理实例174 本章小结178 第8章RADOS故障恢复180 8.1Peering同组互联机制180 8.1.1Peering的启动时机180 8.1.2PG PastIntervals与Peering初步处理182 8.1.3Peering的执行过程183 8.2数据恢复总述198 8.2.1recovery增量数据恢复201 8.2.2backfill全量数据恢复208 本章小结211