图像序列光流计算理论及优化方法

目录 前言 第1章 绪论 1 1.1 研究背景 1 1.2 图像序列光流定义 1 1.2.1 运动场与光流场对应关系 1 1.2.2 光流基本约束方程 3 1.3 国内外研究发展与现状 4 1.3.1 基于变分理论的光流计算方法 4 1.3.2 基于匹配模型的光流计算方法 7 1.3.3 基于深度学习的光流计算方法 8 1.3.4 图像序列光流计算存在的若干问题 12 1.4 本书的主要内容及章节安排 13 第2章 光流计算数据库及评价基准 15 2.1 引言 15 2.2 光流计算数据库 15 2.2.1 Middlebury数据集 15 2.2.2 MPI-Sintel数据集 16 2.2.3 KITTI数据集 17 2.2.4 FlyingChairs数据集 17 2.2.5 FlyingThings3D数据集 18 2.2.6 HD1K数据集 18 2.2.7 FlyingChairsOCC数据集 19 2.3 光流评价标准 19 2.3.1 Middlebury数据集评价标准 19 2.3.2 MPI-Sintel数据集评价标准 20 2.3.3 KITTI数据集评价标准 21 2.4 本章小结 22 第3章 图像序列变分光流计算理论与方法 23 3.1 引言 233.2 变分光流计算理论 23 3.2.1 变分原理 23 3.2.2 梯度下降流 24 3.2.3 变分光流基本方法 26 3.3 变分光流能量泛函 27 3.3.1 数据项 27 3.3.2 平滑项 29 3.4 基于图像局部结构张量的变分光流算法 34 3.4.1 基于图像局部结构张量的变分光流能量函数 35 3.4.2 基于图像局部结构张量的变分光流算法数值化过程 38 3.4.3 实验与分析 40 3.5 基于遮挡检测的非局部TV-L1变分光流计算方法 43 3.5.1 基于Delaunay三角网格的图像序列运动遮挡检测 43 3.5.2 基于遮挡检测的非局部TV-L1光流计算模型 46 3.5.3 实验与分析 51 3.6 本章小结 53 第4章 图像序列变分光流计算优化策略与方法 55 4.1 引言 55 4.2 图像纹理结构分解优化策略 55 4.3 金字塔分层变形计算策略 57 4.4 非局部加权中值滤波优化 58 4.5 基于运动优化语义分割的变分光流计算方法 60 4.5.1 基于归一化互相关的变分光流计算模型 60 4.5.2 基于运动优化语义分割的光流计算方法 62 4.5.3 实验与分析 66 4.6 基于联合滤波的非局部TV-L1变分光流计算方法 74 4.6.1 图像相互结构区域 74 4.6.2 图像光流相互结构引导滤波模型 76 4.6.3 基于联合滤波的非局部TV-L1变分光流计算模型 77 4.6.4 基于非局部联合滤波优化方案线性化过程 79 4.6.5 实验与分析 81 4.7 本章小结 89 第5章 图像局部匹配光流计算理论与方法 90 5.1 引言 90 5.2 图像局部匹配模型 905.2.1 图像局部特征点匹配模型 90 5.2.2 图像局部区域匹配模型 96 5.3 基于图像相似变换的局部匹配光流计算方法 97 5.3.1 非局部TV-L1光流估计模型 97 5.3.2 基于非刚性稠密匹配的*近邻域场 98 5.3.3 基于非刚性稠密匹配的TV-L1光流估计 101 5.3.4 实验与分析 103 5.4 基于图像深度匹配的大位移运动光流计算方法 107 5.4.1 深度匹配 107 5.4.2 基于稠密插值的大位移运动光流估计 111 5.4.3 实验与分析 113 5.5 本章小结 118 第6章 深度学习光流计算理论与方法 119 6.1 引言 119 6.2 卷积神经网络模型 119 6.2.1 输入层 119 6.2.2 卷积层 120 6.2.3 池化层 121 6.3 卷积神经网络光流计算模型 122 6.3.1 FlowNet光流计算网络模型 122 6.3.2 FlowNet2.0光流计算网络模型 124 6.3.3 PWC-Net光流计算网络模型 125 6.4 卷积神经网络光流计算训练方法 127 6.5 本章小结 128 第7章 深度学习光流优化策略与方法 129 7.1 引言 129 7.2 光流估计网络优化策略 129 7.2.1 特征金字塔 129 7.2.2 匹配代价层 129 7.2.3 变形技术 130 7.2.4 后置处理 131 7.2.5 子网络融合 131 7.3 光流估计训练优化策略 132 7.3.1 有监督学习模型训练策略 132 7.3.2 无监督学习模型训练策略 1337.3.3 半监督学习模型训练策略 134 7.4 基于遮挡检测的多尺度自注意力光流估计方法 134 7.4.1 基于变形误差的遮挡检测模块 135 7.4.2 基于自注意力机制的多尺度学习模块 137 7.4.3 混合训练函数 140 7.4.4 实验与分析 141 7.5 基于多尺度上下文网络模型的光流估计方法 153 7.5.1 基于多尺度上下文网络的运动遮挡检测模型 154 7.5.2 基于多尺度上下文网络的遮挡–光流联合计算模型 157 7.5.3 训练损失函数 158 7.5.4 实验与分析 160 7.6 本章小结 168 第8章 总结与展望 169 8.1 现有光流计算方法总结 169 8.2 光流计算技术发展展望 170 参考文献 173