自动驾驶算法与芯片设计

第1章　自动驾驶芯片的挑战 1
1．1　自动驾驶科技界现状 1
1．2　自动驾驶设计的挑战 2
1．2．1　功能约束 3
1．2．2　可预测性约束 3
1．2．3　存储限制 4
1．2．4　热量约束 4
1．2．5　功率约束 5
1．3　自动驾驶系统算法设计 5
1．3．1　感知 6
1．3．2　决策 7
1．3．3　控制 8
1．3．4　安全验证与测试 9
1．4　自动驾驶系统计算平台 10
1．4．1　GPU 11
1．4．2　DSP 11
1．4．3　FPGA 11
1．4．4　ASIC 12
参考文献 12

第2章　3D物体检测 14
2．1　传感器 15
2．1．1　摄像机 15
2．1．2　激光雷达 15
2．2　数据集 16
2．3　3D物体检测方法 17
2．3．1　基于单目图像的检测方法 18
2．3．2　基于点云的检测方法 19
2．3．3　基于融合的检测方法 22
2．4　实战项目：3D物体检测 24
2．4．1　算法概述 25
2．4．2　点云预处理 26
2．4．3　网络结构 28
2．4．4　欧拉区域提议 28
2．4．5　锚盒设计 29
2．4．6　复角度回归 30
2．4．7　损失函数的构建 30
2．4．8　实验结果 31
2．4．9　训练细节 31
2．4．10　鸟瞰检测 32
2．4．11　3D对象检测 32
2．5　未来研究展望 33
参考文献 33

第3章　车道检测 37
3．1　传统图像处理 38
3．2　实例：基于霍夫变换的车道检测 39
3．2．1　霍夫变换 40
3．2．2　OpenCV车道检测 41
3．3　实例：RANSAC算法及直线拟合 42
3．3．1　算法思路 43
3．3．2　用Python实现直线拟合 43
3．4　基于深度学习 45
3．5　多传感器集成方案 47
3．6　车道检测系统评估标准 49
3．6．1　车道检测系统性能的影响因素 49
3．6．2　离线评估 50
3．6．3　在线评估 51
3．6．4　评估指标 52
3．7　实战项目：车道检测 53
3．7．1　概述 53
3．7．2　车道点实例网络 53
3．7．3　调整大小层 54
3．7．4　相同瓶颈层 55
3．7．5　下采样瓶颈层和上采样瓶颈层 56
3．7．6　损失函数 58
3．7．7　后处理方法 61
3．7．8　实验结果 62
3．7．9　测试部分 62
参考文献 63

第4章　运动规划和控制 68
4．1　概述 68
4．2　传统自动驾驶的规划和决策层 69
4．2．1　路径规划 70
4．2．2　实例：路径规划Dijkstra算法 71
4．2．3　实例：路径规划A*算法 75
4．2．4　行为决策 77
4．2．5　运动规划 77
4．2．6　实例：运动规划 78
4．2．7　车辆控制 84
4．2．8　实例：模型预测控制 84
4．2．9　实例：PID控制 89
4．3　集成感知和规划 90
实战项目：NVIDIA的端到端自动驾驶 92
4．4　交互行为感知和规划 94
4．4．1　合作与互动 95
4．4．2　博弈论方法 95
4．4．3　概率方法 96
4．4．4　部分可观察的马尔可夫决策过程 96
4．4．5　基于学习的方法 97
参考文献 98

第5章　定位与建图 102
5．1　SLAM问题 103
5．1．1　基于滤波器的SLAM方法 104
5．1．2　基于优化的SLAM方法 108
5．2　自主驾驶的局限性 109
5．2．1　问题的提出 109
5．2．2　避免或减少漂移的影响 109
5．2．3　自动驾驶SLAM的评估标准 110
5．3　自动驾驶中的SLAM 111
5．3．1　重新定位和回环检测 111
5．3．2　先前构建的地图中的定位 113
5．3．3　建立和使用未来地图 115
5．3．4　利用当前地图资源 116
5．4　自动驾驶中的地图表示 117
5．4．1　公制地图模型 117
5．4．2　语义地图模型 120
参考文献 122

第6章　自动驾驶仿真器 128
6．1　*新的仿真器 129
6．1．1　AirSim 129
6．1．2　Apollo 129
6．1．3　CARLA 130
6．1．4　Udacity AV Simulator 131
6．1．5　Deep Traf?c 132
6．2　仿真器实战：CARLA 132
6．2．1　仿真引擎 132
6．2．2　使用CARLA评估自动驾驶方法 133
参考文献 135

第7章　自动驾驶芯片 136
7．1　Mobileye EyeQ 137
7．2　NVIDIA 138
7．2．1　NVIDIA DRIVE AGX开发者套件 138
7．2．2　NVIDIA DRIVE软件 138
7．3　TI Jacinto TDAx 141
7．4　实战项目：360°环景系统与自动停车系统 142
7．4．1　自动停车与停车辅助系统 143
7．4．2　使用Jacinto TDA4VM处理器系列应对环视和自动停车的挑战 144
7．4．3　Jacinto TDA4VM SoC 145
7．5　Qualcomm 147
7．6　NXP 148
7．7　Xilinx Zynq-7000 148
7．8　Synopsys 149

第8章　深度学习模型优化 151
8．1　模型压缩和加速 152
8．1．1　参数修剪和共享 153
8．1．2　低秩分解 155
8．1．3　转移/紧凑卷积滤波器 156
8．1．4　知识蒸馏 159
8．2　AI模型效率工具包 159
8．2．1　大规模节能AI 160
8．2．2　通过合作推进AI模型效率的研究 161
8．3　未来研究展望 161
参考文献 162

第9章　深度学习芯片设计 166
9．1　概述 167
9．2　在CPU和GPU平台上加速内核计算 167
9．3　中科院计算所的深度学习芯片系列 168
9．3．1　卷积神经网络简介 168
9．3．2　DaDianNao 170
9．3．3　ShiDianNao 171
9．3．4　寒武纪Cambricon-X 172
9．4　麻省理工学院的Eyeriss系列 172
9．4．1　卷积神经网络基本知识 172
9．4．2　Eyeriss 173
9．4．3　Eyeriss v2 174
9．5　谷歌的TPU芯片 177
9．5．1　TPU v1 177
9．5．2　TPU指令集 178
9．5．3　TPU的心脏：脉动阵列 179
9．5．4　TPU v2/v3 180
9．5．5　软件架构 180
9．6　近内存计算 181
9．6．1　DRAM 181
9．6．2　SRAM 182
9．6．3　非易失性电阻存储器 182
9．6．4　传感器 183
9．7　DNN硬件的指标 183
参考文献 184

第10章　自动驾驶SoC设计 186
10．1　自动驾驶SoC设计流程 186
10．2　TI的Jacinto SoC平台 187
10．3　Jacinto 7处理器的功能安全特性 190
10．3．1　功能安全 190
10．3．2　软件功能安全 191
10．3．3 安全应用部署 192
10．4　具有DNN和ISP的符合安全标准的多核SoC设计 194
10．4．1　ADAS图像识别SoC 194
10．4．2　DNN加速器 195
10．4．3　具有安全BIST控制器的ISP 196
10．5　实例：NVIDIA深度学习加速器 197
10．5．1　NVDLA介绍 198
10．5．2　FireSim 199
10．5．3　NVDLA集成 199
10．5．4　性能分析 200
参考文献 200

第11章　自动驾驶操作系统 202
11．1　概述 202
11．2　开源自动驾驶操作系统 204
11．2．1　Linux RTOS 204
11．2．2　ROS中间件 205
11．3　使用开源软件开发自动驾驶技术的公司 206
11．3．1　百度 206
11．3．2　宝马 207
11．3．3　Voyage 208
11．3．4　Tier IV 208
11．3．5　PolySync 209
11．3．6　Perrone Robotics 210
11．4　汽车硬实时操作系统和框架 211
11．4．1　BlackBerry QNX 211
11．4．2　EB robinos和EB corbos 212
11．4．3　Integrity RTOS 213
11．4．4　NVIDIA DriveWorks SDK 213
11．5　总结 214

第12章　自动驾驶软件架构 215
12．1　概述 215
12．2　基于ISO 26262的软件开发 216
12．2．1　ISO 26262简介 216
12．2．2　Synopsys软件产品组合 216
12．2．3　ASIL 218
12．2．4　软件架构设计 218
12．2．5　软件单元设计与实现 219
12．2．6　软件单元测试 219
12．3　基于SAE J3016的组件架构设计 220
12．3．1 功能组件 221
12．3．2　AUTOSAR 224
12．4　自动驾驶汽车的架构设计与实现 225
12．4．1　硬件框架 226
12．4．2　软件系统架构 227
12．4．3　数据传输模块 229
12．4．4　自动驾驶测试报告 229
参考文献 229

第13章　5G C-V2X简介 230
13．1　移动车联网 230
13．2　C-V2X如何改变驾驶 231
13．2．1　避免碰撞 231
13．2．2　车队行驶 232
13．2．3　协作驾驶 232
13．2．4　队列警告 232
13．2．5　保护弱势道路使用者 232
13．2．6　支持应急服务 233
13．2．7　危险提前警告 233
13．2．8　越来越多的自动驾驶 233
13．3　C-V2X的优势 233
13．4　C-V2X的工作原理 235
13．4．1　直接通信 235
13．4．2　网络通信 235
13．4．3　5G如何改变C-V2X 236
13．5　C-V2X部署计划 236
13．5．1　中国引领潮流 236
13．5．2　澳大利亚――改善道路安全 237
13．5．3　美国――增长势头 237
13．5．4　欧洲――广泛支持 238
13．6　总结 238