计算机视觉三维测量与建模

目 录 第1章 绪 论 1 1.1 数字影像 2 1.1.1 数字影像概念 2 1.1.2 常见的影像类型 3 1.1.3 空间域和频率域处理 4 1.2 射影几何学基础 5 1.2.1 射影几何意义 5 1.2.2 射影变换 5 1.2.3 二维射影空间 6 1.2.4 三维射影空间 8 1.2.5 二维仿射变换 9 1.2.6 几何元素的分层表达 10 1.3 欧氏空间坐标转换 11 1.3.1 二维坐标转换 11 1.3.2 三维坐标转换 12 1.4 成像模型与成像系统中的坐标系 14 1.4.1 成像模型中的几何元素 14 1.4.2 成像系统中的坐标系 15 1.4.3 透视投影成像模型 16 1.5 常见的三维成像方式 19 1.5.1 人工输入方法 20 1.5.2 主动式扫描方法 20 1.5.3 被动式扫描方法 23 1.6 三维计算机视觉的应用 24 1.6.1 三维计算机视觉测量的应用领域 24 1.6.2 三维计算机视觉测量系统的常见技术指标参数 25 1.6.3 三维计算机视觉与摄影测量的关系 26 1.6.4 三维计算机视觉测量面临的问题 26 1.7 小结 27 参考文献 27 第2章 摄像机的几何标定 30 2.1 摄像机标定参数 30 2.1.1 内参数 30 2.1.2 外参数 32 2.1.3 标定方法分类 32 2.2 摄像机内参数标定 33 2.2.1 直接线性变换法 33 2.2.2 Tsai1987标定方法 36 2.2.3 Zhang1999标定方法 37 2.3 静态场景多视角下摄像机系统的自标定 39 2.3.1 基础矩阵 39 2.3.2 度量自标定 41 2.3.3 基于灭点的自标定方法 44 2.4 摄像机系统的半自动标定 45 2.4.1 标定装置 46 2.4.2 自动提取角点 46 2.4.3 人工靶标标志 47 2.5 摄像机与激光雷达的联合标定 49 2.5.1 多源融合的意义 49 2.5.2 时空配准 50 2.5.3 摄像机与激光雷达的联合标定 50 2.6 应用举例 52 2.6.1 标定工具箱 52 2.6.2 多源传感器联合标定 53 2.7 小结 54 参考文献 55 第3章 影像特征提取表达 58 3.1 影像特征的基本概念 58 3.1.1 特征表达形式 58 3.1.2 像素特征的基本要求 59 3.1.3 邻域范围 59 3.2 边缘和线特征提取 60 3.2.1 梯度算子 61 3.2.2 Canny边缘检测 64 3.2.3 Snake边缘提取 65 3.2.4 霍夫变换检测直线 66 3.3 点特征提取 67 3.3.1 Harris角点 67 3.3.2 FAST角点 69 3.3.3 SIFT特征提取 70 3.3.4 SURF特征提取 74 3.3.5 ORB特征检测 77 3.3.6 AKAZE特征检测 78 3.3.7 Lucas-Kanade光流算法 79 3.3.8 卷积神经网络特征提取 81 3.4 纹理特征表达 82 3.4.1 纹理的概念 82 3.4.2 纹理特征类型 83 3.4.3 纹理特征应用举例 85 3.5 应用举例 86 3.5.1 目标跟踪 86 3.5.2 全景拼接 86 3.6 小结 87 参考文献 88 第4章 由运动恢复结构 90 4.1 对极几何 90 4.1.1 极线与极点 90 4.1.2 基础矩阵 92 4.1.3 本质矩阵 93 4.2 影像的单应变换 94 4.2.1 投影矩阵和影像单应矩阵之间的关系 94 4.2.2 基础矩阵和影像单应矩阵之间的关系 95 4.3 求解二视图的基础矩阵 96 4.3.1 八点算法 96 4.3.2 七点算法 98 4.3.3 鲁棒算法 98 4.3.4 退化情况 100 4.3.5 三视图和四视图几何计算 100 4.4 摄像机位置姿态和场景结构恢复 101 4.4.1 初始化影像位置姿态和场景结构 101 4.4.2 由本质矩阵提取摄像机矩阵 102 4.4.3 更新结构和位置姿态 104 4.4.4 PnP问题 105 4.5 光束法平差 105 4.5.1 光束法平差模型 105 4.5.2 *小二乘原理 107 4.5.3 高斯?牛顿算法 107 4.5.4 列文伯格?马奎特算法 108 4.5.5 光束法平差的LM算法模型 109 4.5.6 稀疏光束法平差 109 4.6 应用举例 111 4.7 小结 113 参考文献 113 第5章 双目立体视觉 116 5.1 标准形式的双目系统 116 5.2 匹配基础 117 5.2.1 立体影像极线校正 117 5.2.2 匹配预处理 119 5.2.3 视差图原理 120 5.3 传统立体匹配算法 121 5.3.1 局部窗口匹配算法 121 5.3.2 匹配代价度量 122 5.3.3 代价聚合与视差计算 123 5.3.4 视差图后处理 124 5.3.5 动态规划法 125 5.3.6 半全局优化匹配算法 127 5.4 图割优化匹配算法 128 5.4.1 匹配问题中的马尔可夫模型 129 5.4.2 图割求解算法 129 5.4.3 超像素分割 132 5.4.4 高阶马尔可夫模型匹配算法 134 5.4.5 实验比较 135 5.5 结构光三维扫描 136 5.5.1 结构光三维扫描基本原理 136 5.5.2 二进制编码和灰度编码 139 5.5.3 相移法编码 139 5.5.4 混合方式：相移法+灰度码投影 141 5.5.5 其他编码模式 142 5.5.6 编码模式的比较 144 5.6 立体视觉标定 144 5.6.1 摄像机标定 145 5.6.2 投影仪标定 145 5.6.3 系统参数对精度的影响 146 5.7 应用举例 147 5.8 小结 149 参考文献 150 第6章 点云滤波与分割 152 6.1 采样点云特性 152 6.1.1 点云质量问题 152 6.1.2 点云数据组织和查询 153 6.2 点云滤波增强 155 6.2.1 点云的法向量估计 155 6.2.2 点云去噪一般方法 158 6.2.3 基于统计学的异常值检测 160 6.2.4 局部优化投影采样 160 6.2.5 密度加权局部优化投影采样 162 6.3 点云超体素分割 164 6.3.1 超体素 164 6.3.2 简单迭代分割方法 165 6.3.3 体素云连接性分割 166 6.3.4 评价指标 168 6.4 目标级别分割 169 6.4.1 目标分割引言 169 6.4.2 基于底层特征的分割 169 6.4.3 基于模型拟合的分割 170 6.4.4 基于深度学习的分割 173 6.5 小结 178 参考文献 179 第7章 点云特征提取和三维配准 183 7.1 点云特征提取 183 7.1.1 点的法向量和曲率特征 184 7.1.2 点特征直方图 184 7.1.3 快速点特征直方图 186 7.1.4 三维Harris特征 187 7.1.5 面向深度学习网络的特征 188 7.2 点云精配准 188 7.2.1 迭代*邻近点算法 188 7.2.2 迭代*邻近点算法拓展 190 7.2.3 正态分布变换算法 192 7.2.4 正态分布变换算法拓展 196 7.3 点云粗配准 198 7.3.1 简单搜索 198 7.3.2 四点一致集4PCS搜索 198 7.3.3 4PCS拓展 200 7.3.4 基于深度学习的粗配准 201 7.4 异源三维数据的配准融合 204 7.4.1 RGBD深度图的配准融合 204 7.4.2 普适的有色点云配准方案 204 7.5 应用举例 205 7.5.1 两组点云配准 205 7.5.2 多组数据配准的误差累计 206 7.5.3 柔性目标的配准 207 7.6 小结 208 参考文献 208 第8章 三维表面建模与网格模型滤波 211 8.1 三维表面网格模型 212 8.1.1 网格数据存储 212 8.1.2 建模算法的分类 215 8.1.3 可视化渲染 216 8.1.4 海量数据的压缩 218 8.2 显式建模方法 219 8.2.1 数据的凸包 219 8.2.2 狄洛尼三角剖分 220 8.2.3 阿尔法形状模型 224 8.3 隐式建模方法 224 8.3.1 隐函数基本思想 225 8.3.2 径向基函数重建 226 8.3.3 移动*小二乘重建 228 8.3.4 泊松表面重建 230 8.3.5 基于行进立方体提取网格 232 8.4 模型网格滤波去噪 234 8.4.1 网格的双边滤波 234 8.4.2 法向量引导滤波 236 8.5 应用举例 238 8.5.1 三维建模 238 8.5.2 网格滤波处理 239 8.6 小结 241 参考文献 242