包邮3D计算机视觉:基础与前沿方法

第1章 绪论 001
1.1　计算机视觉简介 002
1.1.1　人类视觉要点 002
1.1.2　计算机视觉 003
1.1.3　相关学科 004
1.2　计算机视觉理论和框架 007
1.2.1　视觉计算理论 007
1.2.2　框架问题和改进 011
1.2.3　关于马尔重建理论的讨论 013
1.2.4　新理论框架的研究 016
1.2.5　从心理认知出发的讨论 018
1.3　图像工程简介 021
1.3.1　图像工程的3个层次 021
1.3.2　图像工程的研究和应用 023
1.4　深度学习简介 024
1.4.1　卷积神经网络的基本概念 024
1.4.2　深度学习的核心技术 028
1.4.3　计算机视觉中的深度学习 030
1.5　本书的组织架构和内容 032
参考文献 033

第2章 摄像机成像和标定 036
2.1　亮度成像模型 037
2.1.1　光度学概念 037
2.1.2　基本的亮度成像模型 038
2.2　空间成像模型 039
2.2.1　投影成像几何 039
2.2.2　基本空间成像模型 040
2.2.3　通用空间成像模型 043
2.2.4　完整空间成像模型 045
2.3　摄像机模型 047
2.3.1　线性摄像机模型 047
2.3.2　非线性摄像机模型 050
2.4　摄像机标定方法 053
2.4.1　标定方法分类 053
2.4.2　传统标定方法 055
2.4.3　自标定方法 058
2.4.4　结构光主动视觉系统标定方法 061
2.4.5　在线摄像机外参数标定方法 066
参考文献 069

第3章 深度图像采集 071
3.1　深度图像和深度成像 072
3.1.1　深度图像 072
3.1.2　深度成像 074
3.2　直接深度成像 075
3.2.1　激光扫描介绍 075
3.2.2　飞行时间法 079
3.2.3　LiDAR 081
3.2.4　结构光法 082
3.2.5　莫尔等高条纹法 084
3.3　间接深度成像 087
3.3.1　双目横向模式 087
3.3.2　双目会聚横向模式 092
3.3.3　双目轴向模式 095
3.4　单像素深度成像 097
3.4.1　单像素成像原理 097
3.4.2　单像素相机 098
3.4.3　单像素3D成像 100
3.5　生物视觉与立体视觉 102
3.5.1　生物视觉和双目视觉 102
3.5.2　从单目到双目立体 102
参考文献 103

第4章 3D点云数据采集及加工 105
4.1　点云数据概况 106
4.1.1　点云数据获取方式 106
4.1.2　点云数据类型 107
4.1.3　点云数据加工任务 108
4.1.4　LiDAR测试数据集 109
4.2　点云数据预处理 109
4.2.1　点云数据补漏 110
4.2.2　点云数据去噪 110
4.2.3　点云数据地面区域滤波 111
4.2.4　点云数据精简/压缩 112
4.2.5　多平台点云数据配准 114
4.2.6　点云数据与影像数据配准 116
4.3　激光点云3D建模 117
4.3.1　德劳内三角网法 117
4.3.2　面片拟合法 118
4.4　3D模型的纹理映射 121
4.4.1　颜色纹理映射法 121
4.4.2　几何纹理映射法 123
4.4.3　过程纹理映射法 123
4.5　点云特征描述 124
4.5.1　全局特征描述符和局部特征描述符 124
4.5.2　3种局部特征描述符 125
4.6　点云理解与深度学习 126
4.7　仿生优化配准点云 128
4.7.1　布谷鸟搜索 128
4.7.2　改进的布谷鸟搜索 129
4.7.3　点云配准应用 131
参考文献 132

第5章 双目立体视觉 137
5.1　基于区域的双目立体匹配 138
5.1.1　模板匹配 138
5.1.2　立体匹配 141
5.2　基于特征的双目立体匹配 147
5.2.1　基本步骤 147
5.2.2　尺度不变特征变换 150
5.2.3　加速鲁棒性特征 152
5.2.4　动态规划匹配 158
5.3　视差图误差检测与校正 160
5.3.1　误差检测 160
5.3.2　误差校正 161
5.4　基于深度学习的立体匹配 163
5.4.1 立体匹配网络 163
5.4.2　基于特征级联CNN的匹配 165
参考文献 166

第6 章 多目立体视觉 170
6.1　水平多目立体匹配 171
6.1.1　多目图像和SSD 171
6.1.2　倒距离和SSSD 173
6.2　正交三目立体匹配 175
6.2.1　正交三目 175
6.2.2　基于梯度分类的正交匹配 180
6.3　多目立体匹配 184
6.3.1 任意排列三目立体匹配 185
6.3.2　正交多目立体匹配 189
6.4　等基线多摄像机组 190
6.4.1　图像采集 191
6.4.2　图像合并方法 192
6.5　单摄像机多镜反射折射系统 193
6.5.1　总体系统结构 194
6.5.2　成像和标定模型 195
参考文献 196

第7 章 单目多图像场景恢复 199
7.1　单目图像场景恢复 200
7.2　由光照恢复形状 201
7.2.1　物体亮度和图像亮度 202
7.2.2　表面反射特性和亮度 205
7.2.3　物体表面朝向 207
7.2.4　反射图和图像亮度约束方程 209
7.2.5　图像亮度约束方程求解 211
7.3　由运动恢复形状 215
7.3.1　光流和运动场 215
7.3.2　光流场和光流方程 217
7.3.3　光流方程求解 219
7.3.4　光流与表面取向 225
7.3.5　光流与相对深度 227
7.4　由分割轮廓恢复形状 228
7.5　光度立体技术综述 230
7.5.1　光源标定 230
7.5.2　非朗伯表面反射模型 231
7.5.3　彩色光度立体 232
7.5.4　3D重建方法 233
7.6　基于GAN的光度立体 234
7.6.1　网络结构 234
7.6.2　损失函数 235
参考文献 236

第8章 单目单图像场景恢复 241
8.1　由影调恢复形状 242
8.1.1　影调与形状 242
8.1.2　图像亮度方程求解 245
8.2　由纹理恢复形状 251
8.2.1　单目成像和纹理畸变 252
8.2.2　由纹理变化恢复表面朝向 254
8.2.3　纹理消失点检测 260
8.3　由焦距确定深度 265
8.4　根据三点透视估计位姿 267
8.4.1　三点透视问题 267
8.4.2　迭代求解 268
8.5　混合表面透视投影下的由影调恢复形状 269
8.5.1　改进的Ward反射模型 269
8.5.2　透视投影下的图像亮度约束方程 270
8.5.3　图像亮度约束方程求解 272
8.5.4　基于Blinn-Phong反射模型的方程 273
8.5.5　新图像亮度约束方程求解 274
参考文献 276

第9章 广义匹配 278
9.1　匹配介绍 279
9.1.1　匹配策略 279
9.1.2　匹配算法分类 280
9.1.3　匹配评价 281
9.2　目标匹配 282
9.2.1　匹配的度量 282
9.2.2　对应点匹配 285
9.2.3　惯量等效椭圆匹配 286
9.3　动态模式匹配 288
9.3.1　匹配流程 288
9.3.2　绝对模式和相对模式 289
9.4　匹配和配准 291
9.4.1　配准的实现 291
9.4.2　基于特征匹配的异构遥感图像配准 293
9.4.3　基于空间关系推理的图像匹配 294
9.5　关系匹配 295
9.6　图同构匹配 298
9.6.1　图论简介 298
9.6.2　图同构和匹配 301
9.7　线条图标记和匹配 304
9.7.1　轮廓标记 304
9.7.2　结构推理 305
9.7.3　回朔标记 307
9.8　多模态图像匹配 308
9.8.1　基于区域的技术 308
9.8.2　基于特征的技术 310
参考文献 312

第10章 同时定位和制图 317
10.1　SLAM概况 318
10.1.1　激光SLAM 318
10.1.2　视觉SLAM 321
10.1.3　对比和结合 323
10.2　激光SLAM算法 324
10.2.1　Gmapping算法 324
10.2.2　Cartographer算法 326
10.2.3　LOAM算法 330
10.3　视觉SLAM算法 331
10.3.1　ORB-SLAM算法系列 331
10.3.2　LSD-SLAM算法 336
10.3.3　SVO算法 341
10.4　群体机器人和群体SLAM 343
10.4.1　群体机器人的特性 344
10.4.2　群体SLAM要解决的问题 344
10.5　SLAM的一些新动向 345
10.5.1　SLAM与深度学习的结合 345
10.5.2　SLAM与多智能体的结合 346
参考文献 347

第11 章 时空行为理解 354
11.1　时空技术 355
11.1.1　新的研究领域 355
11.1.2　多个层次 356
11.2　动作分类和识别 357
11.2.1　动作分类 358
11.2.2　动作识别 360
11.3　主体与动作联合建模 363
11.3.1　单标签主体?动作识别 363
11.3.2　多标签主体?动作识别 364
11.3.3　主体?动作语义分割 365
11.4　活动和行为建模 368
11.4.1　动作建模 369
11.4.2　活动建模和识别 373
11.4.3　基于关节点的行为识别 378
11.5　异常事件检测 381
11.5.1　自动活动分析 381
11.5.2　异常事件检测方法分类 383
11.5.3　基于卷积自编码器的检测 386
11.5.4　基于单类神经网络的检测 387
参考文献 388
主题索引 392