智能座舱开发与实践

前言

第章　智能座舱概述 1

1.1　智能座舱定义 1

1.2　智能座舱发展 2

1.3　智能座舱场景 8

1.3.1　消费品的设计原则 8

1.3.2　特斯拉的**性原理 12

1.4　案例：长安UNI-T智能座舱及场景设计 15

1.5　练习题 18

第章　智能座舱技术架构及整体开发流程 19

2.1　技术架构 19

2.1.1　整体架构 20

2.1.2　车端 23

2.1.3　车云结合 25

2.2　开发流程 34

2.2.1　整体流程 34

2.2.2　开发工具 36

2.3　座舱项目管理流程 43

2.3.1　管理体系的演变 43

2.3.2　管理流程范围介绍 43

2.4　案例：基于AI Express开发人脸结构化 48

2.5　练习题 49

第章　智能座舱硬件基础 50

3.1　芯片技术的演化与发展 50

3.1.1　芯片制造 52

3.1.2　图形处理器（GPU） 58

3.1.3　片上系统（SoC） 60

3.1.4　域控制器（DCU） 64

3.1.5　案例：BPU及地平线征程系列芯片 65

3.2　车载传声器 66

3.2.1　传声器类型 66

3.2.2　传声器阵列安装方式 67

3.2.3　案例：车载多音区的实现方式 68

3.3　车载摄像头 69

3.3.1　摄像头类型 69

3.3.2　摄像头安装方式 70

3.3.3　案例：用于DMS的方向盘转向柱摄像头 71

3.4　基于芯片的硬件设计 71

3.4.1　一体机方案 71

3.4.2　ECU方案 72

3.4.3　案例：基于地平线芯片的硬件接入案例 72

3.5　练习题 76

第章　智能座舱算法基础 78

4.1　深度学习 78

4.1.1　卷积神经网络 80

4.1.2　损失函数 87

4.1.3　模型训练及测试 88

4.1.4　模型压缩 90

4.1.5　案例：VarGNet网络结构设计 96

4.2　机器视觉 99

4.2.1　分类 100

4.2.2　检测 103

4.2.3　分割 107

4.2.4　关键点 110

4.2.5　案例：人体关键点检测 112

4.3　语音识别 115

4.3.1　声学模型 117

4.3.2　语言模型 127

4.3.3　解码器 132

4.3.4　案例：“小安，你好！” 137

4.4　练习题 139

第章　智能座舱数据 140

5.1　座舱数据采集 140

5.1.1　采集环境搭建 140

5.1.2　采集文档 142

5.1.3　采集数据管理 142

5.2　座舱数据标注 144

5.2.1　数据标注方法 145

5.2.2　数据标注文档 152

5.2.3　标注体系建设 153

5.3　案例：疲劳数据采集与标注 158

5.4　练习题 164

第章　智能座舱算法研发 165

6.1　座舱算法研发流程 165

6.2　常见座舱算法（视觉篇） 167

6.2.1　视线 168

6.2.2　手势 172

6.2.3　行为 176

6.2.4　情绪 179

6.2.5　疲劳 185

6.3　常见座舱算法（语音篇） 189

6.3.1　语音前端 189

6.3.2　语音后端 197

6.4　常见座舱算法（多模篇） 211

6.5　案例：安全带算法研发 216

6.6　练习题 223

第章　智能座舱感知软件开发 224

7.1　感知软件开发流程 224

7.1.1　开发环境搭建 224

7.1.2　开发流程概述 225

7.2　芯片工具链 226

7.2.1　AI计算单元 226

7.2.2　AI芯片工具链 229

7.2.3　地平线AI工具链举例 231

7.3　感知软件开发框架 235

7.3.1　通信及底层组件 235

7.3.2　模型集成框架 241

7.4　案例：打电话识别开发实践 244

7.4.1　模型编译和管理 244

7.4.2　感知软件开发 246

7.5　练习题 252

第章　智能座舱场景应用开发 253

8.1　场景应用全貌 253

8.2　场景应用框架 257

8.2.1　通信 259

8.2.2　组件 262

8.2.3　工程模式 275

8.2.4　对外能力输出 281

8. 3　场景开发示例 285

8.3.1　场景可视化配置 285

8.3.2　冲突处理 287

8. 4　案例：抽烟场景应用开发实践 289

8.4.1　开发环境搭建 289

8.4.2　场景应用开发 291

8. 5　练习题 293

第章　智能座舱场景测试 294

9.1　座舱场景测试流程 294

9.2　座舱场景测试工具 295

9.2.1　图像测试工具 295

9.2.2　语音测试工具 300

9.3　座舱场景测试标准 302

9.3.1　车载视觉测试标准 303

9.3.2　车载语音测试标准 309

9.4　案例：抽烟识别场景测试 316

9.5　练习题 317

第章　智能座舱生命周期 318

10.1　机器学习生命周期 318

10.2　长尾问题及快速迭代 321

10.2.1　长尾问题 321

10.2.2　快速迭代 323

10.3　流程自动化 328

10.4　案例：基于AirFlow的自动模型迭代 330

10.5　练习题 333

第章　智能座舱的未来发展趋势 334

11.1　座舱传感器趋势 335

11.1.1　摄像头 335

11.1.2　传声器 337

11.2　感知算法趋势 338

11.2.1　视觉技术趋势 339

11.2.2　语音技术趋势 340

11.2.3　声学技术趋势 342

11.2.4　多模融合技术趋势 344

11.3　AI芯片趋势 346

11.4　云服务趋势 351

11.5　生态发展趋势 352

11.6　练习题 353

附录　术语与符号列表 354

参考文献 360