图像重建原理与应用(工业和信息化部十四五规划教材)

第1章图像清晰化简介 　　1.1图像清晰化的概念 　　图像清晰化是将已有的一幅或几幅质量较差的图像，经过一系列处理得到一幅质量较好的图像。在大量的电子图像应用领域，人们经常期望得到清晰化图像，清晰化意味着图像能够提供更多的细节，而这些细节在许多实际应用中不可或缺。例如，清晰化的医疗图像对于医生做出正确的诊断是非常有帮助的；清晰化的卫星图像很容易从相似物中区别相似的对象；清晰化的图像能极大提高计算机视觉中的模式识别性能，特别是在刑侦领域，能够获得犯罪嫌疑人清晰的图像对于警方的破案尤为重要。在实际情况中，摄像机拍到的图像往往是不清晰的，这就需要一个图像清晰化过程来得到尽可能多的图像细节，恢复出尽可能清晰的图像。 　　图像清晰化包括图像去噪、图像去模糊、图像超分辨率、图像去马赛克、去斑马纹、去摩尔纹等。图像重建是图像清晰化的一种方法，是根据获取的退化图像结合图像的先验知识，重建原始清晰图像的方法。从数学问题上看，图像重建可以使用反问题来描述。 　　人类获取的信息大部分来源于图像媒体，大量而清晰的图像对人们的日常生活、科学研究都有着十分重要的作用。但图像在形成、传输和记录的过程中都会受到诸多因素的影响，所以人类通过各种方式获得的图像一般都不可能是一个物体的完整描述，摄像设备在拍摄图像时质量会有所下降，其典型表现为图像模糊、失真、有噪声等。因此，图像清晰化技术越来越成为图像处理中的主流，研究和发展有效的图像清晰化技术来改善退化的图像也就显得尤为重要。 　　1.2图像退化的种类 　　图像在采集、转换、传输和显示等过程中不可避免地要受到设备、环境和场景的影响，导致图像质量的退化，退化原因主要有以下几点。①灰度失真：光学系统或成像传感器本身特性不均匀，造成同样亮度景物成像灰度不同；②运动模糊：成像传感器与被拍摄景物之间的相对运动，引起所成图像的运动模糊；③辐射失真：由于场景能量传输通道中的介质特性，如大气湍流效应、大气成分变化引起图像失真；④噪声干扰：图像在成像、数字化、采集和处理过程中引入的噪声等。以上种种原因将影响图像后续的处理和应用，这就涉及图像降质问题，图像的降质类型大致分为五类：噪声、亮度偏移、对比度拉伸、模糊和压缩。 　　1.2.1噪声 　　噪声是*常见的退化因素之一，如无线电中的静电干扰、道路上的喧闹声和电视上的雪花等。对信号来说，噪声是一种外部干扰，由于噪声携带了噪声源的信息，噪声本身也是一种信号。其中，椒盐噪声和高斯噪声是*为常见的两类噪声。 　　1.椒盐嗓声 　　椒盐噪声（salt-and-peppernoise）又称脉冲噪声，它随机改变一些像素值，在二值图像上表现为使一些像素点变白，一些像素点变黑，如图1.1所示。椒盐噪声包括两种噪声，一种是盐粒噪声，为白点，另一种是胡椒噪声，为黑点。前者是高灰度噪声，后者属于低灰度噪声。一般两种噪声同时出现，呈现在图像上类似把椒盐撒在图像上，因此得名。椒盐噪声出现的位置是随机的，但噪声的幅值是基本相同的。 　　图1.1（b）与图1.1（a）相比，出现了很多黑白杂点，这些杂点随机分布在不同位置，图像中既有被噪声污染的点，也有干净的点，这就是椒盐噪声。 　　椒盐噪声（脉冲噪声）的概率密度函数如下： 　　(1.1) 　　其中，Z为图像的像素点的取值；a和b通常是饱和值，即它们是图像中可表示的*小值和*大值，因此一般为0和255，其中，0为胡椒噪声，255为盐粒噪声；Pa和巧分别为像素点变为胡椒噪声和盐粒噪声的概率。椒盐噪声的含量取决于图像的信噪比，信噪比越小，噪声越大，信噪比为1时，图像不含噪声。椒盐噪声的概率密度分布如图1.2所示。 　　椒盐噪声的产生原因通常为以下两种：①通信时出错，部分像素的值在传输时丢失，如在早期的印刷电影胶片上，由于胶片化学性质的不稳定和播放时候的损伤，会使得胶片表面的感光材料和胶片的基底掉落，在播放时候，产生一些或白或黑的损伤；②影像信号受到突如其来的强烈干扰，如电视里的雪花噪声等。 　　关于椒盐噪声的去除，是刑侦图像和模式识别方向关注的重点。要解决椒盐噪声，可以釆取以下两类措施：一是从感光器件方面补光；二就是在得到椒盐噪声图像后，对图像进行去噪处理，一般釆用中值滤波器滤波可以得到较好的结果。 　　2.高斯嗓声 　　高斯噪声[1]（Gauss　noise）是噪声点幅度的概率密度函数服从高斯分布（即正态分布）的一类噪声，如图1.3所示。如果一个噪声，它的幅度分布服从高斯分布，而它的功率谱密度又是均匀分布的，则称它为高斯白噪声。 　　如图1.3所示，图1.3（a）为原始图像，图1.3（b）为含高斯噪声的图像。图1.3（b）与图1.3（a）图相比，出现了很多噪声点，图像产生了降质，这就是高斯噪声。 　　高斯噪声出现的幅值是随机的。高斯噪声（正态噪声）的概率密度函数如下： 　　（1.2） 　　其中，#为噪声的均值，a是噪声的标准差，是噪声的方差。高斯噪声的概率密度分布如图1.4所示。 　　图1.4高斯噪声概率密度分布 　　高斯噪声的产生源于电子电路噪声和由低照明度或高温带来的传感器噪声。常见的高斯噪声包括起伏噪声、宇宙噪声、热噪声和散粒噪声等。若想恢复出清晰的图像，必须对图像进行去噪处理。关于高斯噪声的去除一直是图像处理领域的一个科研课题，迄今为止，虽然有大量关于高斯噪声去除问题的方法和文献，但高斯噪声的去除问题仍然没有彻底解决。 　　1.2.2亮度偏移 　　亮度[2]是发光体（反光体）表面发光（反光）强弱的物理量。人眼从一个方向观察光源，在这个方向上的光强与人眼所“见到”的光源面积之比，定义为该光源单位的亮度，即单位投影面积上的发光强度。其中，发光强度，是指光源在给定方向上单位立体角内所发出的光通量，单位为坎德拉（cd），因此亮度的单位是坎德拉/平方米（cd/m2），亮度是人对光的强度的感受。 　　亮度也称明度，表示色彩的明暗程度。人眼所感受到的亮度是色彩反射或透射的光亮所决定的。 　　如图1.5所示，图1.5（a）为原始图像，图1.5（b）为亮度偏移图像。可以看出亮度偏移后的图像视觉效果明显比原始图像差很多，图像分辨率也明显降低了，这就产生了图像的降质。 　　在一些图像应用领域，特别是刑侦图像领域，需要对图像的细节进行识别。一个物体因受光不同可能在明亮度上产生不同程度的变化；照射的光越强，反射光就越强，看起来就越亮。此外，还有一些图像曝光过渡或曝光不足引起一些细节难以识别，这都需要使用图像处理的方法来校正。 　　1.2.3对比度拉伸 　　图像对比度[3]是指一幅图像中明暗区域*亮的白和*暗的黑之间不同亮度层级的测量，即指一幅图像灰度反差的大小。差异范围越大代表对比越大，差异范围越小代表对比越小。对比度拉伸是把图像灰度反差变大的一个过程，使原图像暗的地方变得更暗，亮的地方变得更亮，增加了图像的对比率。 　　如图1.6所示，图1.6（a）为原始图像，图1.6（b）为对比度拉伸后的图像。从图中我们可以很清晰地看出，图1.6（b）与图1.6（a）相比，在鼻子、额头等部位，这些原图中较亮的地方变得更亮；眼窝、脖子等部位，这些原图中较暗的地方则变得更暗。 　　在非良好照明环境下我们会获取到低对比度图像，此时就要用到对比度拉伸对图像进行处理，但在对比度拉伸的过程中会降低图像的质量，导致图像退化。 　　1.2.4模糊 　　釆集过程中产生的退化被称为模糊，它对目标的频谱有限制作用，也就是高频分量得到抑制或消除的过程。 　　造成图像模糊的原因主要有两种：一种是边缘模糊，如光学系统中的孔径衍生产生退化；另一种是运动模糊，如在拍摄过程中相机发生抖动。 　　如图1.7所示，图1.7（a）为原始图像，图1.7（b）为模糊图像。图1.7（b）与图1.7（a）相比，只能看到原始图像的一个大致轮廓，原始图像中的很多细节并不能从模糊图像中找出，这对图像处理影响很大。特别是在刑侦图像领域，当我们需要对清晰的图像进行仔细分析时，就必须要对模糊图像进行处理，以得到更多的图像细节。 　　1.2.5压缩 　　图像和视频在计算机中表示后通常会占用非常大的空间，出于节省硬盘空间的考虑，往往要对其进行压缩[4]。同时，传输过程中，为了节省珍贵的带宽资源和时间，我们对压缩也有较为迫切的需求。图像编码与压缩从本质上来说就是对要处理的图像原数据按一定的规则进行变换和组合，从而达到以尽可能少的代码（或符号）来表示尽可能多的数据信息。但与此同时，一些压缩（如JPEG压缩）会带来图像的块状人工痕迹，这是压缩过程中的典型退化现象。 　　如图1.8所示，图1.8（a）为原始图像，图1.8（b）为经过JPEG压缩的图像。压缩比=压缩前所占空间大小/实际所占空间大小，从图1.8（b）可以看出，压缩比例过大就会造成明显的图像降质。压缩图像的质量与压缩比例成反比，压缩比例越大，图像的质量越差，所占存储空间越小。反之，图像压缩比例越小，图像的质量越好，所占存储空间越大。