高性能架构:多级网关与多级缓存实践

推荐序 前言 致谢 基 础 篇 第1章 基础环境与软件配备 2 1.1 Java的历史发展简介 2 1.2 JDK8的安装 2 1.2.1 Java运行时环境JDK 2 1.2.2 Windows系统安装JDK8 3 1.2.3 MacOS（Intel）系统安装JDK8 9 1.2.4 MacOS（arm64）系统安装JDK8 11 1.3 安装Maven，配置项目工程的构建管理工具 13 1.3.1 Maven概述 13 1.3.2 Windows系统安装Maven 14 1.3.3 MacOS系统安装Maven 16 1.3.4 配置阿里云镜像仓库 16 1.4 开发工具 17 1.5 本章小结 17 第2章 Docker容器化入门 19 2.1 内网互通原则 19 2.2 容器化引擎Docker 20 2.2.1 虚拟化与容器化技术 20 2.2.2 Docker的架构 21 2.2.3 Docker的隔离机制 22 2.2.4 Docker的安装 22 2.2.5 Docker的启动 23 2.2.6 Docker的加速 24 2.3 使用Docker安装数据库 26 2.3.1 使用Docker的pull命令拉取镜像 26 2.3.2 开启CentOS7的ipv4 27 2.3.3 使用docker run运行镜像 27 2.3.4 可视化数据库工具 29 2.3.5 Docker命令 31 2.4 Docker镜像的提交与推送 34 2.4.1 提交镜像 34 2.4.2 自定义tag标签 35 2.4.3 推送镜像 35 2.5 本章小结 36 第3章 构建Web服务与接口 37 3.1 构建Web项目 37 3.1.1 使用Maven初始化项目 37 3.1.2 搭建SpringBoot工程 40 3.1.3 编写Restful风格接口 45 3.1.4 dev与prod环境切换 47 3.2 集成持久层框架 48 3.2.1 集成数据源 48 3.2.2 整合MyBatis 50 3.2.3 数据构建 52 3.2.4 数据库逆向工具 53 3.2.5 编写service业务层 55 3.2.6 @Junit操作持久层 56 3.2.7 对外暴露接口服务 58 3.3 本章小结 60 第4章 本地缓存Caffeine 61 4.1 进程间与进程外缓存 61 4.1.1 什么是缓存 61 4.1.2 进程内缓存与分类 62 4.1.3 进程外缓存 64 4.2 使用Caffeine本地缓存 65 4.2.1 集成Caffeine 65 4.2.2 使用junit进行Caffeine测试 66 4.2.3 Caffeine的值为空设值操作 67 4.3 SpringBoot整合Caffeine本地缓存 68 4.3.1 集成Caffeine配置 68 4.3.2 使用Caffeine 69 4.4 本章小结 70 第5章 Redis缓存中间件 71 5.1 分布式缓存中间件Redis 71 5.1.1 非关系型数据库的由来 71 5.1.2 分布式缓存Redis与NoSQL 72 5.1.3 Redis的Key-Value键值对 73 5.2 安装Redis 74 5.2.1 安装原生Redis 74 5.2.2 操作Redis的基本命令 76 5.2.3 使用可视化工具Redis Desktop Manager 77 5.2.4 使用Docker安装Redis 79 5.2.5 在Redis容器内部运行redis-cli 81 5.2.6 容器自动重启 82 5.3 五大数据类型常用操作 82 5.3.1 string字符串类型 83 5.3.2 list数据类型 84 5.3.3 hash哈希数据类型 85 5.3.4 set无序集合数据类型 86 5.3.5 sorted set 可排序集合数据类型 87 5.4 Redis的存储原理 88 5.4.1 Redis是怎么做持久化的 88 5.4.2 RDB持久化机制 88 5.4.3 RDB的自动保存机制 90 5.4.4 AOF持久化机制 92 5.4.5 使用AOF引发的思考 92 5.4.6 AOF的重写配置 92 5.4.7 AOF与RDB的混合持久化 93 5.5 本章小结 95 第6章 分布式缓存的应用方案 96 6.1 SpringBoot与Redis集成 96 6.1.1 构建SpringBoot项目高可用集群 96 6.1.2 SpringBoot整合Redis 99 6.1.3 Redis的通用工具操作类 102 6.1.4 Redis与本地缓存并肩作战 109 6.2 分布式缓存问题延伸 111 6.2.1 缓存预热 111 6.2.2 Redis缓存穿透 113 6.2.3 Redis缓存击穿 115 6.2.4 Redis缓存雪崩 116 6.3 分布式系统的CAP理论 117 6.3.1 分布式系统 117 6.3.2 CAP是什么 118 6.3.3 CAP定理 119 6.3.4 CAP的组合搭配 121 6.4 缓存数据双写方案 121 6.4.1 存储媒介发生数据不一致 121 6.4.2 数据库与缓存双写不一致 123 6.4.3 数据库与缓存双写一致方案 124 6.5 本章小结 126 第7章 Redis分布式锁 127 7.1 分布式锁 127 7.1.1 分布式锁是什么 127 7.1.2 本地锁是什么 128 7.1.3 分布式锁的原理 129 7.1.4 数据库悲观锁 129 7.1.5 数据库乐观锁 130 7.2 Redis分布式锁 131 7.2.1 setnx锁机制 131 7.2.2 基于setnx的实现 131 7.2.3 锁的自动续期 134 7.3 Redisson客户端 135 7.3.1 Redisson 概述 135 7.3.2 Redisson配置 136 7.3.3 Redisson分布式锁 137 7.3.4 Redisson公平锁 138 7.3.5 Redisson联锁 139 7.4 本章小结 140 第8章 Redis集群高可用 141 8.1 Redis主从架构 141 8.1.1 Redis主从复制原理 141 8.1.2 构建Redis 主从架构 142 8.2 Redis哨兵架构 144 8.2.1 Redis哨兵架构原理 144 8.2.2 构建Redis哨兵形态 146 8.3 Redis高可用集群架构 147 8.3.1 Redis集群原理 147 8.3.2 构建Redis集群形态的准备工作 149 8.3.3 Redis集群架构 Cluster实操 149 8.3.4 Redis集群的故障转移 152 8.3.5 Redis集群数据存取 153 8.3.6 Redis集群水平扩容 154 8.3.7 Redis集群的十点总结 158 8.4 Redis缓存淘汰机制 158 8.5 本章小结 159 进 阶 篇 第9章 nginx网关中间件 161 9.1 网关中间件nginx 161 9.1.1 nginx是什么 161 9.1.2 服务器的选型 162 9.1.3 反向代理与正向代理 164 9.2 安装nginx与配置 165 9.2.1 下载并安装nginx的依赖环境 165 9.2.2 安装nginx到Linux系统中 166 9.2.3 详解conf配置 168 9.3 nginx的基本应用 171 9.3.1 日志切割（手动） 171 9.3.2 日志切割（自动） 171 9.3.3 location请求的路由规则 172 9.3.4 静态资源服务器 174 9.4 本章小结 176 第10章 集群与负载均衡 177 10.1 集群与分布式 177 10.1.1 集群与分布式的概念 177 10.1.2 负载均衡的概念 178 10.2 实现集群负载均衡 179 10.2.1 配置上游服务集群 179 10.2.2 负载均衡之轮询 180 10.2.3 负载均衡之权重 181 10.2.4 负载均衡之ip_hash 181 10.2.5 负载均衡之url_hash 182 10.3 一致性哈希原理 182 10.4 OSI网络模型原理 183 10.4.1 七层网络模型 183 10.4.2 七层模型的归类与合并 185 10.5 本章小结 187 第11章 Lua脚本语言基础 188 11.1 Lua脚本 188 11.1.1 Lua脚本介绍 188 11.1.2 Lua脚本入门 189 11.2 Lua的数据类型 189 11.2.1 nil类型 189 11.2.2 boolean类型 190 11.2.3 number类型 190 11.2.4 string类型 191 11.2.5 function类型 191 11.2.6 table类型 192 11.3 Lua的循环与控制判断 193 11.3.1 Lua的循环 193 11.3.2 Lua的控制判断 195 11.3.3 Lua语法实操 195 11.4 本章小结 197 第12章 高性能OpenResty平台 198 12.1 OpenResty 198 12.1.1 OpenResty 背景介绍 198 12.1.2 OpenResty与nginx的区别 198 12.1.3 OpenResty 所处架构位置 199 12.2 安装OpenResty 201 12.2.1 OpenResty环境配置与安装——方式一 201 12.2.2 OpenResty环境配置与安装——方式二（推荐） 201 12.3 OpenResty的目录结构与运行 202 12.3.1 OpenResty的目录结构 202 12.3.2 测试访问页面 203 12.4 为OpenResty配置nginx的环境变量 203 12.5 本章小结 204 第13章 多级缓存落地 205 13.1 OpenResty结合Lua控制请求与响应 205 13.1.1 OpenResty结合Lua自定义数据响应 205 13.1.2 OpenResty结合Lua获得请求相关参数 207 13.2 Lua自定义请求反向代理 209 13.2.1 封装GET请求 209 13.2.2 封装POST请求 210 13.2.3 Lua控制请求转发 211 13.3 多级缓存架构落地 212 13.3.1 lua-resty-redis 212 13.3.2 封装Redis通用模块 214 13.3.3 完成多级缓存架构闭环 216 13.4 本章小结 217 第14章 多级网关 218 14.1 多级网关集群 218 14.1.1 什么是多级网关 218 14.1.2 nginx构建OpenResty集群 219 14.2 OpenResty的本地缓存 221 14.2.1 定义共享字典（本地缓存） 221 14.2.2 共享字典与多级缓存业务的结合 221 14.3 ApiPost性能压测 223 14.3.1 压力测试 223 14.3.2 ApiPost介绍 223 14.3.3 使用ApiPost进行接口调试 224 14.3.4 配置ApiPost的压测场景 225 14.3.5 进行接口压测 226 14.4 本章小结 227 第15章 多级缓存数据同步 228 15.1 缓存数据同步方案 228 15.1.1 缓存与数据库不一致的出现场景 228 15.1.2 消息队列方案 228 15.1.3 Zookeeper方案 230 15.1.4 Canal方案 231 15.2 消息队列 232 15.2.1 什么是消息队列 232 15.2.2 消息队列的技术选型 234 15.2.3 生产者与消费者 234 15.3 安装RabbitMQ 236 15.3.1 Docker安装RabbitMQ 236 15.3.2 RabbitMQ的可视化后台管理 238 15.3.3 RabbitMQ的模型原理 240 15.4 缓存数据的一致性落地 241 15.4.1 缓存数据的同步过程 241 15.4.2 SpringBoot集成RabbitMQ 243 15.4.3 配置交换机与队列 244 15.4.4 构建生产者—发送消息 246 15.4.5 构建消费者—监听队列 249 15.4.6 多节点对同一消息的监听处理 249 15.4.7 完成并测试缓存数据的同步 250 15.5 本章小结 253 第16章 OpenResty实践 254 16.1 用户请求频率限制与黑名单 254 16.1.1 网关限流需求说明 254 16.1.2 封装请求拦截函数 254 16.1.3 结合业务进行拦截 258 16.2 OpenResty集成MySQL 259 16.2.1 解读lua-resty-mysql示例代码 259 16.2.2 封装MySQL请求函数 261 16.2.3 实现调用MySQL业务 263 16.2.4 转发请求到sql查询的Lua文件 264 16.3 本章小结 264 云原生与DevOps 第17章 云原生与KubeSphere 266 17.1 DevOps与CICD 266 17.1.1 DevOps概述 266 17.1.2 CICD概述 268 17.2 Kubernetes初探 270 17.2.1 Kubernetes概述 270 17.2.2 Kubernetes 可以用来做什么 271 17.2.3 Kubernetes架构原理 272 17.2.4 Kubernetes的Pod容器 274 17.3 KubeSphere的使用与安装 275 17.3.1 KubeSphere 概述 275 17.3.2 KubeSphere环境准备 276 17.3.3 KubeSphere安装 279 17.3.4 KubeSphere启用DevOps 282 17.4 KubeSphere多租户 285 17.4.1 KubeSphere多租户系统 285 17.4.2 KubeSphere多租户角色 285 17.4.3 KubeSphere多租户账号分配 286 17.4.4 KubeSphere 企业空间创建与账号绑定 288 17.4.5 KubeSphere项目负责人账号分配 291 17.5 本章小结 294 第18章 KubeSphere部署中间件 295 18.1 应用的状态 295 18.1.1 有状态应用 295 18.1.2 无状态应用 295 18.1.3 KubeSphere项目的存储、服务与配置 296 18.2 KubeSphere部署中间件MySQL8 299 18.2.1 设置保密字典 299 18.2.2 设置配置字典 300 18.2.3 配置MySQL的持久卷PVC 302 18.2.4 创建MySQL的有状态服务 304 18.2.5 为MySQL创建数据库并导入数据 309 18.3 部署Redis 312 18.3.1 创建Redis的配置字典与持久卷 312 18.3.2 创建Redis有状态服务 314 18.4 部署RabbitMQ 317 18.4.1 创建RabbitMQ的持久卷与配置字典 317 18.4.2 创建RabbitMQ的无状态服务 318 18.4.3 RabbitMQ无状态服务对外访问 320 18.5 原生安装OpenResty 323 18.6 本章小结 326 第19章 DevOps流水线发布项目 327 19.1 DevOps前置准备工作 327 19.1.1 DevOps部署流程 327 19.1.2 为流水线创建凭证 328 19.1.3 项目的生产配置 330 19.1.4 编写DockerFile 332 19.1.5 编写k8s-YAML部署文件 334 19.2 开始DevOps流程 338 19.2.1 推送代码 338 19.2.2 创建项目流水线 342 19.2.3 拉取代码 344 19.2.4 为流水线构建动态参数 348 19.2.5 流水线打印动态参数 350 19.2.6 为流水线配置环境变量 350 19.2.7 流水线推送镜像到DockerHub 351 19.2.8 推送latest镜像到DockerHub 356 19.2.9 流水线部署项目到KubeSphere环境中 358 19.2.10 测试生产环境的项目接口访问 360 19.3 集群与扩容 360 19.3.1 手动扩容 360 19.3.2 自动扩容 362 19.3.3 OpenResty集群配置 363 19.4 构建云负载均衡器 365 19.5 本章小结 369