水下光学图像增强与复原方法及应用

第1章 绪论 1.1 研究背景及意义 随着全球人口数量的激增、经济和科学的迅速发展，陆地上的各种资源(如石油、煤矿、木材)不断被消耗，已满足不了人类日益增长的需求，所以人类开始越来越重视水下资源的开发与利用。江河中蕴藏着丰富的水生物资源，湖海中则蕴藏着丰富的石油、天然气和煤矿等社会发展不可或缺的能源，而且种类繁多的海洋生物资源也有待研究和开发。因此水下探测技术正处于一个举足轻重的地位，水下目标清晰化就显得越发重要。目前，水下探测技术已有广泛的应用，如坝堤和坝体的裂缝检测、水下管道检测、海底地形勘探、水下考古探测、水下鱼雷潜艇跟踪、水质环境检测以及海洋生态保护等。 基于可见光的视觉探测技术多应用于小范围、近距离的水下目标场景，且要满足高精度的接收数据需求，如海洋石油平台检测和油管裂缝检测等。一般地，视觉探测技术获取到的水下图像或视频包含的信息量更加丰富，加上更加直观的表现方式使视觉探测技术有着无可替代的地位，如通过对水下大坝底部进行测试获取的数字图像信息，可以获知大坝是否存在裂缝。 图像的质量会直接影响人眼或者机器对获取图像的计算、识别、分析和理解的准确性。但是观测设备的成像质量在水下常受到诸多因素的影响，致使获取的图像存在一定程度的退化，如图像散焦模糊、相机抖动产生的模糊、大气湍流、光电传感器的非线性映射以及水体的吸收散射等。大部分机器视觉系统都需要准确清晰地提取图像的特征来进行后续的处理，但是一般系统对光照环境非常敏感，尤其是在水下环境中，图像特征不明显会导致特征提取失败。目标反射光在从反射点传播到成像点的过程中会受到介质中悬浮颗粒的散射和反射作用，导致成像系统的性能明显下降甚至无法正常作业，获取的图像特征模糊不清。水下环境作业由于水下光线较暗，往往需要辅助点光源，所获取的图像就会存在光照不均匀现象，水下影像主要受到水体对光线的吸收与散射效应、水体浑浊度、光照条件等因素的影响。水下环境作业也会遭遇光照不均，光照不均匀增加了检测工作的难度，因此，对光照的处理成为视觉检测工作的一个重要环节。匀光处理是针对存在光照不均匀现象的图像消除光照负面影响、实现光照均衡的过程。 另外，水分子对传播光线具有选择性吸收的特点，导致获取到的水下图像存在颜色失真的问题。一方面，因为不同波长的光线在水中传播时的衰减程度不相同，其中蓝光的波长较短，在水中衰减较弱，传输性能较好；而红光的波长*长，在水中衰减*严重，传输性能*差，所以水下图像的色调大多为蓝色或绿色。另一方面，水分子和悬浮颗粒会与全局背景光发生后向散射作用，导致水下光学成像的过程中有许多杂散光一并进入成像设备，因此水下图像通常存在一层类似雾霾的纱状物，这是导致水下图像模糊和对比度低的主要因素。而且不同的水下环境的后向散射程度也不尽相同，进一步加大了去除这一层纱状物的技术难度。通过以上分析，水下图像通常存在边缘细节模糊、对比度偏低和蓝绿色分量偏重的问题。为了提高视觉系统在恶劣环境下的实用性和鲁棒性，有必要对采集到的水下退化图像进行增强处理。 近年来，随着机器视觉技术及相关技术的迅速发展，使用传统图像处理技术和深度学习等方法提高水下图像质量，并满足机器识别的需求已成为社会关注的热点问题。一般地，用于水下图像复原的方法可分为两类：水下图像增强算法和基于水下光学成像模型的水下图像复原算法。 水下图像增强算法不过多考虑成像过程中图像的退化，通过改变图像像素灰度值来调整图像的视觉效果，只使用定量的客观标准衡量提升效果来达到优化图像的目的；适用性高，可以显著地提高水下图像的对比度、增强图像场景边缘细节和改善图像的清晰度，但会损失一定的高频部分信息。水下图像复原算法着重于恢复目标反射光原有的特性，算法一般先对图像退化的物理原理进行分析研究，再对图像退化过程建立水下光学成像模型，根据模型计算或估计其中的未知参数，*后通过参数反演成像模型，并对图像失真进行补偿，获得没有被散射、吸收及其他因素干扰的目标反射光或其*优估计，从而提高水下图像的质量。图像复原算法需获取各种参数来建立数学模型，如衰减系数、水体透射率、相机参数、背景光强度以及景物距离等，这些参数一般可以通过直接测量或其他手段估计得到。复原算法针对性较强，恢复效果自然，较少产生信息丢失。 1.2 国内外研究现状 随着计算机软件和图像采集系统的发展完善，水下图像增强算法的实时性和增强效果也获得了很大的提高。多年的研究表明，水体的散射和吸收作用造成光的衰减，目标与成像设备之间的悬浮物增加了图像噪声，人造光源的非均匀光照以及水体微粒对光的后向散射造成水下场景模糊并降低图像的对比度等是限制水下成像距离和图像质量的主要原因。 在水下复杂环境中，水中悬浮颗粒的不规则运动、水质区域性差异、水体微粒对光的后向散射、光线随着水深的衰减以及水介质对光线的吸收均比较明显，水下设备所成的像不经过一定的增强或者复原处理几乎不能直接在实际中使用。而且图像质量还会随着水下环境的变差而衰减，只有当处于光照条件充足、微粒较少的良好水体中所成的像才较清晰。但是，随着水污染的加剧，水中形式各样的微粒、微生物含量增大，水体质量逐渐恶化，导致成像质量总体比较差 [1]。而高质量的水下图像在科研、经济和军事等多个方面都有非常大的需求。虽然目前存在大量对天空图像去雾进而复原图像、改善图像视觉效果的方法，但由于水下环境的复杂性和特殊性，天空图像处理方法不能完全适用于水下图像的去模糊和颜色修复，而现有的较广泛使用的水下图像增强算法在某些方面仍存在问题，因此，开展水下图像增强和图像复原算法研究具有重要意义。 水下图像增强方法大致可以分为两类：空域法与变换域法。空域法是以灰度映射为基础，直接对图像像素进行操作，如图像对比度增强、图像灰度层级改善等。其中传统的增强图像对比度的方法有直方图均衡化 [2](histogram equalization， HE)与限制对比度自适应直方图均衡化 [3](contrast limited adaptive histogram equalization，CLAHE)、灰度边缘假设 [4]、白平衡 [5]以及灰度世界法 [6]等。这些常用的图像增强方法对于普通图像效果较好，但对水下图像增强效果不理想。HE会在处理图像过程中放大噪声并引入伪影，降低图像质量；由于水下图像对比度低、边缘细节不明显，灰度边缘假设在处理水下图像时容易失效；在光照不充分的条件下，白平衡和灰度世界法会使图像颜色产生严重的失真。所以空域法在增强图像效果的同时，也存在颜色失真、产生伪影以及放大噪声的问题。变换域法是通过一些变换规则将图像从空域变换到频域、小波域等其他特征域，再利用变换域的特性进行相应的图像增强，*后重新转换回空域得到增强图像。小波变换 [7-9]在处理水下图像时，可以去除图像噪声，但不能解决图像模糊、对比度差和颜色失真的问题。对于水下特殊且复杂的光照环境，只依靠变换域无法得到理想的增强结果。 对于水下图像增强算法的研究，主要有颜色校正方法和综合型方法。Chambah等[10]基于 Land[11]的 Retinex理论，考虑到人工辅助光源的影响，提出了水下彩色恒常理论，在水下图像颜色恢复上有较好的鲁棒性和非监督性，能有效地进行水下图像特征提取和分割。Retinex理论与物体表面的反射特性有着密切的联系，而与物体表面所受的光照特性关系不大；其本质是从一幅图像中获取物体反射光，从而达到图像增强的效果。许多学者 [12-15]通过改变光照条件或者对水下光照进行处理来对其进行改进，其中常用的有多尺度视网膜增强( multi-scale Retinex，MSR)算法 [16]、带色彩恢复的多尺度视网膜增强( multi-scale Retinex with color restoration，MSRCR)算法[17，18]等。Torres-Méndez和 Dudek[19]通过马尔可夫随机场(Markov random fields，MRF)分析真实的水下目标反射光与获取的水下失真图像的关系，利用统计先验的方法对图像颜色进行恢复，实验表明该方法能有效地应用于不同的水下场景。Bazeille等[20]提出了一种融合同态滤波、小波去噪、各向异性滤波和 HE的水下图像增强方法，用于提高水下图像的质量。Iqbal等[21]提出了一种基于直方图滑动拉伸的水下图像增强算法，该方法能够简单有效地解决水下图像对比度丢失和颜色衰减的问题；该团队还提出了一种用于水下图像的非监督式色彩校正方法( unsupervised colour correction method，UCM)[22]，该方法基于 RGB和 HIS颜色空间的色彩平衡和对比度校正，有效地去除了图像中较重的蓝色分量，提高了较低的红色分量，并改善了水下图像的低照度和颜色异常的问题。石丹等 [23]提出了一种基于非下采样轮廓小波变换和 MSR的水下图像增强算法，显著地解决了水下图像边缘细节模糊、噪声明显和对比度低的问题。Ancuti等[24]分别将经过颜色校正和对比度增强后的两幅图像进行融合，提高了水下图像和影像的清晰度、暗区域曝光效果，消除了图像中较明显的噪声。杨淼和纪志成 [25]提出了一种基于模糊形态筛和四元数的水下彩色图像增强算法，改善水中非均匀光照的影响，恢复场景色彩，并通过增加目标与背景的差异提高水下图像对比度。.elebi和 Ertürk[26]根据经验模态分解算法增强水下图像和影像的视觉效果。陈从平等[27]将前景目标从背景中分离，并对前景目标进行同态滤波处理，增强图像高频细节分量的同时抑制模糊的低频信息。Henke等[28]基于颜色恒常理论对水下图像的颜色失真进行修正，解决了 Retinex理论应用于水下时存在的问题。Fu等[29]运用水下图像颜色校正、颜色恒常理论、自适应光照分量增强等相结合的方法进行水下图像增强。Kan等[30]根据水体对不同波长的光具有不同的吸收作用进行图像的颜色恢复。Ji和 Wang [31]根据图像结构分解的优势，去除了水下图像非均匀光照的影响。Li和 Guo[32]通过水下图像去模糊、 HE、颜色补偿、光照强度和饱和度拉升以及双边滤波器滤波等一系列的处理达到提高图像亮度、清晰度、颜色分布和抑制噪声的目的。Abunaser等[33]基于粒子群算法对水下图像进行增强，降低了水体吸收作用和后向散射产生的图像模糊。水下图像增强算法的研究总体上都围绕着图像去模糊、远处景物对比度增强和颜色恢复进行。 对于水下图像复原算法的研究，研究人员也进行了很多尝试和创新。Trucco和 Olmos-Antillon[34]根据文献[35，36]中建立的水下光学成像模型，提出了一种自适应的水下图像滤波算法，能够有效地减少散射光的影响。Hou等[37]认为水下图像表面的雾状模糊是由水体微粒对光的散射引起的，结合传统的图像复原方法与水下图像的特性，对散射参数进行估计并反卷积得到水下复原图像。Carlevaris- Bianco等[38]根据不同波长的光衰减系数不同的特点，对场景深度进行估计，再去除散射光对成像的影响进行图像复原。张赫等 [39]将大气湍流模型应用于水下图像复原，得到较为清晰的图像和良好的图像分割效果。Chiang和 Chen[40]结合天空图像去雾算法的优势和光波长与衰减系数的关系进行水下图像复原，降低了人造光源所产生的非均匀光照的影响，并显著改善了图像的质量。Lu等[41]针对水下图像存在的散射光照模糊和颜色失真的问题，提出了一种双边三角滤波和颜色恢复算法相结合的方法对图像进行复原。Wen等[42]通过建立新的水下光照成像模型，对光的散射参数和后向散射进行估计，并逆推模型得到复原图像。Serikawa和 Lu[43]通过能量的形式对图像的退化进行补偿，降低了图像的颜色失真和模糊。Galdran等[44]根据暗通道去雾模型 [45]，提出了红信道方法进行图像对比度的恢复，算法能够较好地复