包邮多视点图像的二维与三维场景建模——流形建模与Cayley方法的原理及应用

第1 章数学预备知识1 1.1 实射影空间与齐次坐标 1 1.2 群的直积与半直积 .2 1.3 变换群 3 1.3.1 一般线性变换群GL(n, F).3 1.3.2 射影变换群PGL(n, F) 4 1.3.3 平移变换群GT(n, F)5 1.3.4 仿射变换群GA(n, F)6 1.3.5 正交变换群O(n,R) 与特殊正交变换群SO(n,R). 7 1.3.6 相似变换群GS(n,R) 与特殊相似变换群Sim(n,R) 8 1.3.7 Euclid 变换群E(3,R) 与特殊Euclid 变换群SE(3,R)9 1.3.8 酉变换群U(n) 与特殊酉变换群SU(n).10 1.3.9 M?bius 变换群.11 1.4 拓扑与流形. 12 1.4.1 拓扑空间与连续映射. 12 1.4.2 距离空间 13 1.4.3 流形 14 1.5 Lie 群与Lie 代数 16 1.5.1 Lie 群. 16 1.5.2 代数与Lie 代数. 17 1.6 三种矩阵运算 20 1.6.1 奇异值分解. 20 1.6.2 矩阵的张量积 21 1.6.3 矩阵向量化. 22 1.7 Cayley 变换. 23 1.7.1 Cayley 变换的定义与基本性质.23 1.7.2 Cayley 变换与不变量24 本章小结. 26 第2 章多视图几何基本概念27 2.1 图像的数学描述. 27 2.1.1 图像与二元函数. 27 2.1.2 图像点的坐标描述 28 2.2 小孔成像与针孔摄像机模型. 28 2.2.1 摄像机投影与摄像机矩阵. 28 2.2.2 摄像机标定与畸变参数 30 2.2.3 匹配点对与三角原理. 30 2.3 极几何与两视点图像三维重建 32 2.3.1 极几何. 32 2.3.2 绝对二次曲线及其对偶 33 2.3.3 射影重建定理 34 2.4 图像序列的三维重建35 2.4.1 结构与运动初始化 35 2.4.2 结构与运动更新. 37 2.4.3 结构与运动的全局优化 37 2.4.4 度量重建 38 2.4.5 分层重建：从射影重建到度量重建. 39 2.4.6 稀疏重建与稠密重建. 40 本章小结. 41 第3 章视觉建模的底层算法42 3.1 线性模型参数估计的优化算法 42 3.1.1 *小二乘算法的三种基本形式. 42 3.1.2 尺度总体*小二乘算法 44 3.1.3 Levenberg-Marquardt 算法 45 3.1.4 LM 算法与STLS 算法的关系. 47 3.2 图像特征分析简介48 3.3 彩色图像的帧间单应估计算法 49 3.3.1 光流分析 50 3.3.2 偏导数计算的Simoncelli 方法. 51 3.3.3 单应模型估计 52 3.3.4 算法的实验验证. 53 3.4 实时处理中的特征均匀化方法 56 3.4.1 ORB 特征描述.56 3.4.2 四叉树原理. 58 3.4.3 特征均匀化分布的设计与实现. 59 3.4.4 实验结果与分析. 60 3.5 SIFT 类特征的快速匹配算法61 3.5.1 类SIFT 特征描述子. 62 3.5.2 描述子预筛选 63 3.5.3 k-d 树检索. 64 3.5.4 类SIFT 特征描述子快速匹配的PS-ANN 算法.65 3.5.5 实验结果与分析. 66 本章小结. 69 第4 章流形建模 .71 4.1 流形建模的基本思想71 4.1.1 物理场景与流形. 71 4.1.2 数学概念与计算机视觉概念的对应关系. .72 4.2 流形建模与二维拼接75 4.2.1 近平坦流形建模与图像拼接 75 4.2.2 圆柱流形建模与图像拼接. 76 4.3 流形建模与坐标配准78 4.3.1 转换映射与坐标配准. 78 4.3.2 图像拼接中的坐标配准 79 4.3.3 三维重建中的坐标配准 80 本章小结. 83 第5 章二维场景建模 84 5.1 背景与基本假设. 84 5.2 条带整形操作 85 5.2.1 光流场的均匀化. 85 5.2.2 管道场景的条带整形操作. 89 5.3 管道场景的图像拼接90 5.3.1 拼接算法的步骤. 90 5.3.2 拼接算法 96 5.3.3 算法的实验验证. 98 5.3.4 消化道建模中的应用100 本章小结101 第6 章三维场景建模.102 6.1 视点增加的递推算法 102 6.1.1 核心问题.102 6.1.2 坐标配准矩阵的估计103 6.1.3 视点增加算法.107 6.2 基于视觉SLAM 系统的室内场景三维重建. .109 6.2.1 深度图像数据采集与预处理.109 6.2.2 3D 点云的生成与配准 115 6.2.3 闭环检测后的点云优化.117 6.3 基于SfM 的二维拼接与三维重建组合方法.119 6.3.1 应用需求.119 6.3.2 算法的实现基础119 6.3.3 两视点下的二维拼接与三维重建的联合计算.120 6.3.4 图像序列的二维与三维联合处理方法.120 6.3.5 二维拼接与三维重建相结合的三维建模系统.122 本章小结124 第7 章摄像机位姿估计方法 125 7.1 摄像机位姿估计方法概述 125 7.2 摄像机位姿估计的Cayley 方法. 127 7.2.1 本质矩阵与几何约束127 7.2.2 姿态估计的Cayley 方法. 127 7.2.3 位姿估计的Cayley 方法与SVD 分解方法的区别 .130 7.2.4 实验结果与分析131 7.3 PnP 问题的Cayley 方法 132 7.3.1 PnP 问题与常用算法 132 7.3.2 PnP 问题的Cayley 方法134 7.3.3 实验结果与分析136 本章小结138 第8 章三维点云配准方法. 139 8.1 概述 139 8.2 三维点云配准的基本概念 140 8.3 三维点云配准的Cayley 方法 141 8.3.1 问题描述.141 8.3.2 数据预处理——零均值化142 8.3.3 代价函数的等价形式与位移的估计142 8.3.4 尺度因子的估计143 8.3.5 旋转矩阵的估计143 8.3.6 三维点云配准矩阵估计算法.143 8.4 实验结果与分析144 本章小结146 第9 章新型光学成像系统与场景建模简介. .147 9.1 STEM 视角下的视觉场景建模.147 9.1.1 光学成像系统与图像拓扑结构147 9.1.2 图像拓扑连通性与视觉建模.148 9.2 环视全景成像系统与场景建模.149 9.2.1 环视成像镜头的视场特性149 9.2.2 环视全景镜头的成像光学系统设计150 9.2.3 环视图像与矩形图像 . 151 9.2.4 环视图像与管道场景全景图像拼接算法.152 9.2.5 环视全景摄像机带来的新问题153 9.3 多视点显微成像系统与场景建模154 9.3.1 显微镜三维成像的挑战.154 9.3.2 新型多视点三维光场显微镜系统.154 9.3.3 光场三维超分辨率显微图像显示方法.156 9.3.4 光学设计与视觉方法结合的独特优势.158 本章小结158 参考文献159