LINUX后端开发工程实践

目　　录

第 1章　概述 1

1.1　本书不会涉及的内容 1

1.2　本书专注的内容 1

1.3　为什么这么安排 1

1.4　Linux是什么 2

1.5　后端开发是什么 2

1.6　您将学到什么 3

1.7　代码目录结构说明 3

1.7.1　目录MyRPC 4

1.7.2　第三方依赖 4

1.8　如何学习Linux后端开发 4

1.8.1　坚持不懈的心态 4

1.8.2　以问题作为切入点 4

1.8.3　动手实践和创造 5

1.9　本章小结 5

第 2章　开发环境搭建 6

2.1　本地开发环境 6

2.1.1　代码编辑器 6

2.1.2　终端管理器 6

2.1.3　测试工具 6

2.2　远端运行环境 7

2.3　本章小结 9

第3章　服务器运维 10

3.1　什么是shell 10

3.2　shell下的命令行 11

3.2.1　命令行的组成 11

3.2.2　大部分命令具备的共性 11

3.2.3　使用man命令查询在线手册 12

3.2.4　命令和文件补全 13

3.2.5　命令行的通配符和特殊符号 13

3.2.6　内置命令与外部命令 13

3.3　基本的命令操作 14

3.3.1　屏幕相关 14

3.3.2　目录和文件相关 14

3.3.3　进程相关 21

3.3.4　网络相关 22

3.3.5　系统相关 22

3.3.6　用户相关 24

3.3.7　命令执行相关 25

3.3.8　日期相关 27

3.4　man的替代工具 27

3.5　命令黏合剂：管道机制 28

3.5.1　如何使用管道 28

3.5.2　行过滤命令grep 28

3.5.3　文本分析处理工具awk 29

3.5.4　流编辑命令sed 30

3.5.5　参数传递命令xargs 32

3.5.6　其他常用的辅助命令 34

3.6　命令输入/输出的重定向 35

3.7　命令的连续执行 36

3.8　vi编辑器简介 36

3.9　本章小结 37

第4章　shell编程简介 38

4.1　什么是shell编程 38

4.2　“hello world”程序 38

4.3　shell的执行过程 38

4.4　调试 39

4.5　执行方式的不同 39

4.5.1　直接执行 39

4.5.2　使用bash来执行 40

4.5.3　使用source或英文点号“.”来执行 40

4.6　变量 41

4.6.1　环境变量 41

4.6.2　自定义变量 41

4.6.3　特殊变量 42

4.6.4　在C语言中操作环境变量 43

4.6.5　查看进程运行时的环境变量 44

4.7　选择与判断 44

4.7.1　test命令与判断符号“[]” 44

4.7.2　if语句 46

4.7.3　case语句 47

4.8　循环 48

4.8.1　while循环 48

4.8.2　until循环 48

4.8.3　for循环 49

4.8.4　break语句和continue语句 50

4.9　函数 50

4.10　命令选项 51

4.11　本章小结 51

第5章　实现简易shell 52

5.1　实现的特性 52

5.2　执行逻辑 52

5.3　实现原理 52

5.3.1　命令行解析 52

5.3.2　特性实现 53

5.3.3　函数介绍 53

5.4　编码实现 55

5.5　特性测试 64

5.6　本章小结 65

第6章　使用Git管理代码 66

6.1　初始化 66

6.1.1　安装Git工具 66

6.1.2　设置用户名和邮箱 66

6.1.3　创建仓库 66

6.1.4　创建readme.md文件 67

6.1.5　创建.gitignore文件 67

6.2　核心概念 67

6.3　常用操作 68

6.3.1　查看当前仓库的状态 68

6.3.2　添加文件 69

6.3.3　删除文件 69

6.3.4　回退变更 70

6.3.5　查看提交日志 70

6.3.6　查看差异 71

6.3.7　分支管理 71

6.3.8　其他操作 73

6.4　团队协作 74

6.4.1　同步代码仓库 74

6.4.2　创建自己的分支 74

6.4.3　推送分支到远程仓库 75

6.4.4　发起合入请求 75

6.4.5　发布变更 75

6.5　本章小结 75

第7章　编译、链接、运行与调试 76

7.1　单文件程序的编译与链接 76

7.1.1　预处理阶段 77

7.1.2　编译阶段 78

7.1.3　汇编阶段 79

7.1.4　链接阶段 80

7.1.5　ELF概述 80

7.1.6　符号解析与重定位 82

7.2　工程项目的编译与链接 85

7.2.1　makefile 86

7.2.2　一个实例 87

7.2.3　实现简易的make命令 92

7.2.4　常用的编译和链接选项 100

7.3　动态链接与静态链接 102

7.4　Linux动态链接库规范 103

7.4.1　动态链接库的命名 104

7.4.2　动态链接库的三个不同名称 104

7.4.3　动态链接库的管理 105

7.5　自定义的动态链接库 107

7.5.1　相关源代码 107

7.5.2　生成携带“so name”的动态链接库 108

7.5.3　生成不携带“so name”的动态链接库 109

7.6　进程的内存模型 110

7.6.1　进程的虚拟地址空间布局 110

7.6.2　栈与堆的区别 111

7.6.3　经典问题剖析 111

7.7　调试程序 115

7.7.1　gdb的启动 115

7.7.2　gdb常用命令 115

7.8　本章小结 118

第8章　后端服务编写 119

8.1　守护进程 119

8.1.1　什么是守护进程 119

8.1.2　守护进程如何编写 119

8.1.3　代码实现 121

8.2　设置资源限制 122

8.3　信号处理 123

8.4　加载配置功能 124

8.5　命令行参数解析 125

8.6　日志输出功能 125

8.7　服务启停脚本 126

8.7.1　加载系统自带的shell函数 128

8.7.2　服务相关变量声明 128

8.7.3　服务启动函数 128

8.7.4　服务停止函数 128

8.7.5　服务重启函数 128

8.7.6　服务状态查看函数 129

8.7.7　case语句 129

8.8　本章小结 129

第9章　网络通信基础 130

9.1　TCP/IP协议栈概述 130

9.2　物理层与数据链路层 132

9.2.1　物理层 132

9.2.2　数据链路层 132

9.3　网络层 133

9.3.1　网际协议的特点 133

9.3.2　IP数据报格式 133

9.3.3　IP地址 135

9.3.4　路由选择 138

9.3.5　ARP与RARP 139

9.3.6　ICMP 145

9.4　传输层 156

9.4.1　UDP 157

9.4.2　TCP 158

9.5　网络编程接口 173

9.5.1　TCP网络通信的基本流程 173

9.5.2　socket网络编程 174

9.6　TCP经典异常场景分析 181

9.6.1　场景1：Address already in use 181

9.6.2　场景2：Connection refused 181

9.6.3　场景3：Broken pipe 182

9.6.4　场景4：Connection timeout 182

9.6.5　场景5：Connection reset by peer 184

9.7　本章小结 184

第 10章　I/O模型与并发 185

10.1　I/O模型概述 185

10.1.1　阻塞I/O 185

10.1.2　非阻塞I/O 185

10.1.3　I/O多路复用 185

10.1.4　异步I/O 186

10.2　并发实例——EchoServer 186

10.2.1　Echo协议 186

10.2.2　协程 190

10.2.3　benchmark工具 201

10.2.4　单进程 204

10.2.5　多进程 205

10.2.6　多线程 206

10.2.7　进程池1 207

10.2.8　进程池2 208

10.2.9　线程池 209

10.2.10　简单的领导者-跟随者模型 210

10.2.11　I/O多路复用之select(单进程)-阻塞I/O 212

10.2.12　I/O多路复用之poll(单进程)-阻塞I/O 214

10.2.13　I/O多路复用之epoll(单进程)-阻塞I/O 216

10.2.14　I/O多路复用之epoll(单进程)-Reactor 222

10.2.15　I/O多路复用之epoll(单进程)-Reactor-ET模式 225

10.2.16　I/O多路复用之epoll(单进程)-Reactor-协程池 226

10.2.17　I/O多路复用之epoll(线程池)-Reactor 229

10.2.18　I/O多路复用之epoll(线程池)-Reactor-HSHA 230

10.2.19　I/O多路复用之epoll(线程池)-Reactor-MS 233

10.2.20　I/O多路复用之epoll(进程池)-Reactor-协程池 236

10.3　基准性能对比与分析 239

10.3.1　非I/O复用模型对比 239

10.3.2　I/O复用模型对比 240

10.3.3　epoll下LT模式和ET模式对比 240

10.3.4　epoll下协程池模式和非协程池模式对比 241

10.3.5　HSHA模式下工作线程和I/O线程写应答对比 241

10.3.6　MS模式下MainReactor线程是否监听可读事件对比 241

10.3.7　epoll下动态和固定超时时间对比 242

10.3.8　epoll下进程池和线程池对比 242

10.4　本章小结 243

第 11章　公共代码提炼 244

11.1　参数列表 244

11.2　命令行参数解析 245

11.3　字符串 248

11.4　配置文件读取 249

11.5　延迟执行 251

11.6　单例模板 252

11.7　百分位数计算 252

11.8　鲁棒的I/O 253

11.9　时间处理 254

11.10　状态码 255

11.11　转换 256

11.12　socket选项 257

11.13　“龙套” 258

11.14　日志文件 260

11.15　服务锁 262

11.16　本章小结 263

第 12章　应用层协议设计与实现 264

12.1　协议概述 264

12.2　协议分类 264

12.2.1　按编解码方式对协议进行分类 265

12.2.2　按边界划分方式对协议进行分类 265

12.3　协议评判 266

12.4　自定义协议的优缺点 266

12.4.1　优点 266

12.4.2　缺点 267

12.5　协议设计 267

12.5.1　协议消息格式 267

12.5.2　协议设计权衡 268

12.6　预备知识 268

12.6.1　大小端 268

12.6.2　字节序 269

12.6.3　字节序的互转 270

12.6.4　内存对象与布局 272

12.6.5　指针类型的本质 272

12.6.6　序列化与反序列化 273

12.7　其他协议 274

12.7.1　HTTP消息格式 275

12.7.2　RESP消息格式 276

12.8　协议实现 276

12.8.1　协议编解码抽象 277

12.8.2　MySvr实现 279

12.8.3　HTTP实现 284

12.8.4　RESP实现 289

12.8.5　混合协议实现 293

12.8.6　共性总结 295

12.9　本章小结 296

第 13章　MyRPC框架设计与实现 297

13.1　框架概述 297

13.2　并发模型 298

13.3　框架具体实现 299

13.3.1　服务启动流程 300

13.3.2　事件分发流程 304

13.3.3　服务器端请求处理流程 311

13.3.4　客户端请求处理流程 321

13.3.5　分布式调用栈追踪 334

13.3.6　超时管理 338

13.3.7　本地协程变量管理 338

13.3.8　业务层的并发 339

13.4　示例服务Echo 339

13.4.1　目录结构划分 340

13.4.2　服务描述文件 340

13.4.3　服务启动 341

13.4.4　业务处理 341

13.4.5　配置与辅助文件 342

13.4.6　通用的服务启停脚本 345

13.4.7　接口测试 346

13.5　工具集合 347

13.5.1　服务代码生成工具myrpcc 347

13.5.2　接口测试工具myrpct 362

13.5.3　接口压测工具myrpcb 365

13.6　本章小结 371

第 14章　微服务集群 372

14.1　集群架构概述 372

14.2　持久化层 372

14.2.1　Redis服务 373

14.2.2　authstore服务 373

14.2.3　userstore服务 375

14.3　业务逻辑层 379

14.3.1　auth服务 379

14.3.2　user服务 383

14.4　接入层 387

14.4.1　目录结构 387

14.4.2　代码与配置 388

14.4.3　接口测试 389

14.5　本章小结 389

第 15章　回顾总结 390

15.1　6种思维模式 390

15.1.1　不要被编程语言所限制 390

15.1.2　掌握多种编程语言是必然的 390

15.1.3　计算机本身就是一个状态机 391

15.1.4　动手是*好的实践 391

15.1.5　依靠工具提高效率和质量 391

15.1.6　像工匠一样为自己创造工具 391

15.2　写在*后 391