Linux高性能网络详解:从DPDK、RDMA到XDP

第 1部分　背景知识

第 1章　计算机网络概述 3

1.1　计算机网络的定义和构成 3

1.2　计算机网络的体系结构 4

1.3　常见术语 6

第 2章　计算机硬件 10

2.1　中央处理器 10

2.1.1　处理器体系结构 11

2.1.2　Cache 12

2.1.3　NUMA 17

2.2　存储器 19

2.3　总线 19

2.4　网卡 22

第3章　Linux操作系统 25

3.1　Linux操作系统的诞生和发展 25

3.2　用户态和内核态 27

3.3　虚拟地址、物理地址和页表 28

3.4　用户空间和内核空间 30

3.5　Linux内核的组成 31

3.5.1　Linux内核源代码的目录结构 31

3.5.2　Linux内核的主要组成部分 32

3.6　Linux设备驱动程序 35

第4章　软件和硬件之间传递信息的方式 37

4.1　寄存器 37

4.2　数据缓存 38

4.3　队列和描述符 39

4.4　中断 43

4.5　DMA 46

第5章　内核协议栈方案及其存在的问题 47

5.1　内核协议栈方案的工作过程 47

5.2　内核协议栈方案的数据流 49

5.3　内核协议栈方案的缺点 50

第6章　Corundum——一个开源的基于FPGA的100G网卡方案 51

6.1　Corundum方案简介 51

6.2　Corundum的队列 54

6.3　Corundum的Linux网络设备驱动程序解析 56

6.3.1　驱动程序源码概览 57

6.3.2　驱动程序的编译和使用 57

6.3.3　驱动程序的加载和注册 58

6.3.4　驱动程序和设备的匹配 59

6.3.5　初始化阶段 60

6.3.6　打开网络接口 72

6.3.7　数据发送 75

6.3.8　中断处理 81

6.3.9　发送完成处理 85

6.3.10　数据接收 89

第 2部分 DPDK

第7章　认识DPDK 97

7.1　为什么需要DPDK 97

7.2　DPDK体系结构 98

7.2.1　核心组件 98

7.2.2　轮询模式驱动 100

7.3　一个典型的DPDK应用程序 102

第8章　DPDK的内存管理 104

8.1　影响数据包处理速度的内存问题 104

8.2　大页 105

8.2.1　在Linux系统中预留和配置大页 105

8.2.2　DPDK的大页管理 106

8.3　mempool 111

8.4　通道和rank 113

8.5　DPDK使用的内存管理技巧总结 114

第9章　UIO——DPDK的基石 115

9.1　UIO驱动程序的构成 115

9.2　应用程序和UIO的交互方式 118

9.3　UIO驱动程序的API 119

9.4　DPDK如何使用UIO 120

第 10章　DPDK的基本使用方法 123

10.1　编译DPDK 123

10.2　使用dpdk-testpmd进行数据包转发测试 123

10.2.1　运行环境和连接方式 124

10.2.2　使用Linux以太网驱动程序运行dpdk-testpmd 125

10.2.3　使用轮询模式驱动程序运行dpdk-testpmd 129

10.3　使用pktgen测试Mellanox ConnectX-4 LX 10G网卡 132

10.3.1　硬件环境 132

10.3.2　软件版本 132

10.3.3　安装Mellanox网卡驱动程序 132

10.3.4　编译和安装DPDK 133

10.3.5　“回环 转发”测试 133

10.3.6　编译pktgen 138

10.3.7　“外部发包 本地转发”测试 138

10.3.8 测试过程中可能遇到的问题及解决方法 141

第 11章　测试和分析高性能网卡 142

11.1　关于DDR访问速率的思考和测试 142

11.1.1　硬件配置和软件版本 143

11.1.2　DDR理论速率 144

11.1.3　内存性能测试工具mbw 145

11.1.4　单核测试 146

11.1.5　多核测试 148

11.2　基于100G网卡的单核和多核测试 150

11.2.1　硬件配置 150

11.2.2　软件版本和配置 150

11.2.3　单核测试 150

11.2.4　双核测试 152

11.2.5　测试结果总结 153

11.3　使用Intel VTune Profiler定量分析DPDK 154

11.3.1　硬件环境和软件版本 154

11.3.2　Intel VTune Profiler的下载和安装 155

11.3.3　测试模型 155

11.3.4　重新编译安装DPDK 155

11.3.5　使用Intel VTune Profiler启动和监控dpdk-testpmd 156

11.3.6　开始产生和发送数据包 159

11.3.7　统计和分析 159

第１2章　为Corundum编写DPDK驱动程序 163

12.1　Corundum DPDK驱动程序的组成 164

12.2　注册和打开调试日志 164

12.2.1　DPDK的日志级别 164

12.2.2　Corundum DPDK驱动程序的日志 165

12.3　Corundum DPDK驱动程序的注册 167

12.4　Corundum DPDK驱动程序的初始化 168

12.5　启动队列 173

12.6　数据发送 176

12.7　编写驱动程序时的注意事项 179

第3部分　RDMA

第 13章　RDMA技术简介 185

13.1　RDMA的控制通路和数据通路 185

13.2　RDMA的优势 188

13.3　RDMA协议 189

13.3.1　InfiniBand 190

13.3.2　RoCE 190

13.3.3　iWARP 192

13.4　RDMA网络构成 192

13.5　LID和GID 194

13.5.1　LID 194

13.5.2　GID 195

第 14章　RDMA软件架构 198

14.1　rdma-core 198

14.2　内核RDMA子系统 199

14.3　RDMA软件架构总览 201

第 15章　RDMA基本元素 202

15.1　WQ和WQE 202

15.2　QP和QPN 203

15.3　CQ和CQN 205

15.4　WR和WC 206

15.5　RDMA基本元素总结 207

第 16章　RDMA基本操作类型及其配套机制 208

16.1　Send和Receive 208

16.2　RDMA Write 209

16.3　RDMA Read 210

16.4　其他RDMA操作类型 212

16.5　RDMA操作类型总结 213

16.6　Memory Region 214

16.6.1　MR的基本概念 215

16.6.2　MR的作用之一 215

16.6.3　MR的作用之二 216

16.6.4　MR的作用之三 217

16.7　PD 218

16.8　Doorbell机制 219

16.9　RDMA各种元素的实体形式 220

第 17章　RDMA传输服务 222

17.1　传输服务维度一——可靠/不可靠 222

17.2　传输服务维度二——连接/数据报 223

17.3　传输服务类型 225

第 18章　一个简单的RDMA应用程序 229

18.1　程序的执行和输出 229

18.2　代码执行流程 230

第 19章　RDMA主要元素的实现 234

19.1　分配PD 234

19.2　注册MR 240

19.2.1　代码执行流程分析 240

19.2.2　注册MR的具体工作 242

19.2.3　硬件查表获取MR物理地址的过程 246

19.2.4　MR相关的软硬件行为汇总 248

19.3　创建CQ 249

19.3.1　代码执行流程分析 249

19.3.2　CQ buffer的组织形式 253

19.3.3　CQ Context的组织形式 255

19.3.4　硬件获取CQE地址的过程 257

19.3.5　CQ相关的软硬件行为汇总 258

19.4　创建QP 258

19.4.1　代码执行流程分析 258

19.4.2　QP buffer的组织形式 263

19.4.3　QP Context的组织形式 264

19.5　修改QP 265

19.5.1　应用程序修改QP 265

19.5.2　代码执行流程分析 267

19.5.3　硬件获取WQE地址的过程 270

第 20章　进行一次数据传输 272

20.1　发起数据传输——RDMA Write 272

20.1.1　应用程序发起数据传输 272

20.1.2　代码执行流程分析 273

20.2　确认数据传输完毕——轮询CQ 276

20.3　软件和硬件行为汇总 277

第 21章　RoCEv2网卡的MAC、IP和GID 279

21.1　RoCEv2网卡的GID 279

21.2　向RoCEv2网卡配置自己的MAC、IP和GID 281

21.2.1　获取RoCEv2网卡自己的MAC 281

21.2.2　获取RoCEv2网卡自己的IP地址 281

21.2.3　配置RoCEv2网卡自己的0号GID 281

21.2.4　配置RoCEv2网卡自己的非0号GID 282

21.3　向RoCEv2网卡配置对端设备的MAC、IP和GID 282

21.3.1　应用程序获取本地和对端设备的0号GID 283

21.3.2　应用程序获取对端设备的非0号（3号）GID 284

21.3.3　向RoCEv2网卡配置对端设备的MAC地址 284

21.3.4　向RoCEv2网卡配置对端设备的IP地址 285

第 22章　RDMA性能测试工具—perftest 286

22.1　源码获取和安装 286

22.2　测试方法和注意事项 286

22.3　测试选项 287

22.4　简单的测试过程和结果呈现 289

第4部分　XDP

第 23章　XDP简介 293

23.1　什么是BPF和eBPF 293

23.2　XDP系统架构 294

23.2.1　XDP程序的执行流程 295

23.2.2　BPF map 297

第 24章　XDP教程代码分析 298

24.1　xdp-tutorial代码获取和编译 298

24.2　基础课程 299

24.2.1　XDP程序的加载和卸载 299

24.2.2　按名称加载SEC 301

24.2.3　使用BPF map 302

24.2.4　多程序交流和共享 304

24.3　数据包处理课程 308

24.3.1　解析数据包 308

24.3.2　改写数据包 311

24.3.3　重定向 313

第 25章　简单的XDP性能测试 319

25.1　测试方法 319

25.2　测试流程和命令 320

25.3　测试结果 321

25.4　测试结果分析 321

第 26章　让网卡驱动程序支持XDP功能 322

26.1　XDP代码在网卡驱动中的位置 322

26.2　数据包的准备 323

26.3　返回值的处理 323

附录A　在Linux系统中查找各种核的对应关系 325

附录B　关于内存性能测试工具mbw的问题分析 331

附录C　简单分析memcpy的代码优化方法 335

附录D　用线性回归方法计算CPU频率 338