视频卫星监测技术

第1章绪论 1.1概述 1.1.1视频卫星监测技术的由来 航天器对地观测在世界各国的航天技术研究与应用中占有非常高的地位，随着空间技术的不断发展，从配备遥感图像功能的卫星到视频卫星，从配备多光谱传感器的卫星到配备高分辨率光谱成像仪的卫星，对地观测技术手段在不断发展进步。视频卫星监测技术正是基于视频卫星而产生的一系列相关技术手段。 在介绍视频卫星监测技术前，需先对视频卫星和其成像特点进行介绍。视频卫星是近年发展起来的一种新型对地观测卫星，与传统对地观测卫星相比，其*大特点是可以对某一区域进行“凝视”观测，即光学成像系统可以始终锁定某一目标区域，并以“视频录像”的方式，将一定时间间隔的图像序列组成视频，获得传统静态遥感卫星难以捕捉的目标运动速度和方向等动态信息，进而以“天之眼”从太空中对热点目标和事件进行实时监测与分析。视频卫星提高了卫星遥感系统的动态观测能力，视频卫星动态影像也正成为一种重要的空间大数据资源，捕捉传统静态卫星影像难以获取的动态信息。 视频卫星凝视成像是指在对地观测过程中，卫星的光学传感器始终盯住某一目标区域并进行连续拍摄，获取目标区域的视频数据。对地凝视成像是视频低轨道卫星的主要功能，如图1.1所示，卫星的姿态控制系统通过实时调整星体的姿态，使光学传感器的光轴始终指向地面目标区域并进行连续摄像。凝视控制问题实质上是一个动态的姿态跟踪问题，其关键技术在于如何保证卫星光学传感器的光轴在运动过程中始终对观测目标区域进行高稳定跟踪。 图1.1视频卫星“凝视”示意图 视频低轨道卫星的应用前景得到了多个国家的重视，其研发技术也逐渐走向成熟，经过早期发射的视频低轨道卫星的技术试验，现已出现多颗业务型应用的视频低轨道卫星。国外视频低轨道卫星的地面分辨率已由5m左右提高到1m，可以实现对动态事件的快速检测与评估。美国Skybox公司正在发展由24颗低轨道卫星组成的SkySat星座，通过将互联网与高分辨率卫星星座结合，可以实现每天8次对地面目标区域的重访，并将时间分辨率较高的亚米级彩色影像和地球高清视频组合，可实时监测目标的变化情况。与国外较为成熟的技术相比，国内的视频卫星技术发展紧跟其后，目前发射了“天拓二号”“吉林一号”“珠海一号”等一系列科学和商用视频卫星，对视频卫星相关技术的研究还有待进一步发展。而本书介绍的武汉大学视频数据集主要来自“吉林一号”卫星。 这里以“吉林一号”为例，如图1.2[1]和图1.3[1]所示，它的视频成像模式为凝视成像，分辨率为1.13m，其每次拍摄地面的覆盖范围为4.6km×3.4km。由此可以看出，因为卫星视频数据的特殊性，很多传统的视频监测方法在不经改变的情况下，很难运用到卫星视频数据处理中。同样，适用于遥感图像的监测技术也因为多模态的结构不同而难以直接适用于视频卫星监测。 图1.2“吉林一号”视频卫星单帧影像（香港维多利亚港） 图1.3“吉林一号”视频卫星单帧影像局部影像放大图（香港维多利亚港） 近些年随着视频卫星技术的不断发展，从印度尼西亚的**颗LAPAN-TUBSAT遥感卫星的200m分辨率的黑白视频到2014年发射的“天拓二号”的5m分辨率的黑白视频，再到“吉林一号”的0.92m分辨率的彩色视频，视频卫星的数据质量得到巨大提升，这也促进发展了有趣的民生和军事应用。 为了更加清晰地阐述视频卫星监测技术的概念、来源、发展和更深层次的内容，本章将对视频卫星监测技术、传统的视频技术和遥感图像处理技术做出对比和分析。通过比较可以更为直观地了解视频卫星监测技术的独特之处。需要强调的是，研究视频卫星监测技术的算法模型是为了适应不同类型、不同应用的视频卫星数据的偏好，所以视频卫星监测技术不能仅仅只研究遥感方面的算法，更需要研究基于视频的算法，并结合视频卫星数据的特性做出适当改进。总之，只有通过不断学习和借鉴，视频卫星监测技术才能更好地蓬勃发展。 1.1.2视频卫星监测技术的基本概念和特征 视频卫星监测技术是指通过视频卫星采集到的遥感影像数据，进行对地或者对空实时监测的一系列技术总称。 不同于一般摄像头所采集的视频数据，视频卫星所拍摄的影像中每个像素蕴含的信息更加丰富。卫星视频中很多具有意义的目标，如小车，其在卫星视频中一般只用几个像素表示，导致在进行物体表征和语义学习时，会带来一些传统算法不曾遇到的困难。除了上面提及的小目标表征问题，还涉及如大气散射、云层遮挡等遥感图像存在的问题。视频卫星监测除了要解决一些遥感图像存在的问题，还要解决一些视频监测本身存在的问题，如大量冗余信息的消除、模型目标信息的传递、跨序列的语义信息的表达等。这些问题导致视频卫星监测不同于传统的视频监测和遥感图像监测。 本书的视频卫星监测技术根据现有的应用，基于超分辨率重建技术、特征提取技术、目标跟踪及相关的后处理技术进行对地监测。其中，超分辨率重建技术主要用于应对卫星视频分辨率较低导致后续应用无法展开的问题。而特征提取技术则是通过研究卫星视频的固有表征特性，为目标识别、检测和跟踪等提供鲁棒性的特征支撑。目标跟踪则是视频卫星监测的主要应用之一，相关的后处理技术则作为提高应用系统整体鲁棒性和精准度的方法。 由于视频卫星数据本身的特性，除了与传统视频因为观测角度和视频语义信息的差异，还因为不同的应用背景，对算法速度、虚警率与精度的平衡要求有差异，而这些差异导致视频卫星监测算法和传统的目标探测、识别、跟踪算法有所区别，以致绝大部分算法在卫星视频数据集上效果较差。而且遥感视频本身因为单幅图像巨大，对算法速度要求较高，这一切对开展视频卫星监测技术的研究产生了很大的阻碍。为了应对各种视频卫星任务上的挑战，视频卫星监测技术应具有以下几点特性。 1.实时性 卫星视频应用领域对算法速度的要求较高，不过和图像任务不同的是，卫星视频任务中的实时性一般指算法技术能够实时地处理新得到的视频。例如，对于一个24帧/s的视频来说，算法只需要每秒能处理24帧即可，如果监测技术有大于24帧/s的处理速度，那么将不会影响监测技术的应用效果，但如果技术的处理速度小于24帧/s，实时性便大打折扣，影响视频卫星监控的应用效果。 2.鲁棒性 鲁棒性是用于衡量视频卫星监测技术泛化性能的特性指标，由于监测算法模型可能存在一些假设前提或者训练数据存在一些分布性差异问题，算法技术可能无法对不同硬件或者不同场景下的数据进行有效的监测。例如对卫星视频硬件的监测，一般是针对不同分辨率或者不同分布干扰噪声下的卫星视频数据，而对不同场景下的数据监测，一般是针对云层遮挡、目标遮挡等。算法鲁棒性至关重要，在某些领域中，鲁棒性也可以被称为泛化性能。在现代深度学习中，很多算法性能上的提升本质上都是对某个单一数据集或者某个数据分布的过拟合。一般而言，较大的数据集可以克服这个问题。但现有的数据集并不能完全反映算法效果的提升。因为现有数据集都是人为采集的，其中存在人为感官上的偏好，所以不能满足独立同分布理想数据集的采样原则。 3.可适应性 几乎所有应用算法对输入和输出的数据结构有一定的要求，只有当输入数据满足一定的条件时，算法才能直接进行处理。对于深度神经网络来说，如果使用高光谱视频图像进行训练，网络结构需要重新设计。不仅如此，除了这种因为数据维度的变化带来的网络架构的不适用，还有三通道的卫星视频图像和文本等数据之间的多模态融合，也将导致深度网络可能需要重新设计。而对这种数据结构变化的适应性，叫作视频卫星监测技术模型的可适应性。 4.可解释性 视频卫星监测技术的可解释性来源于对各个功能模块作用的解释。视频卫星监测技术可以分为机器学习模型和基于深度学习的模型。在机器学习模型中，可解释性一般指机器学习模型所依赖的统计上的区分能力和其数学基础模型，通过对机器学习模型进行分解，可以很容易地发掘每个子模块的具体功能。因为模型的训练过程相当于黑盒模型，所以基于深度学习的模型一般缺乏可解释性。但是可以通过如模型热力图、每层的特征图和权重图等来可视化出模型的学习情况。 5.可拓展性 视频卫星监测技术的可拓展性是指某个模型和其他模型在进行集成时效果提升的能力。一般模型在不同类数据集（或者不同分布数据）上运行的结果不同，便称为模型对某类数据分布进行了学习。根据boost理论，当几个弱分类器可以对数据进行独立同分布区分时，它们可以组合形成一个强的分类器。所以，算法模型的可拓展性十分重要。现在对可拓展性并不好直接进行定量描述，一般来说，相对于复杂的模型，元模型（指相对简单的模型，如支持向量机算法等假设条件少的模型）可拓展性较好。 视频卫星监测技术的特性还有很多，基于不同的特性方向，很多难题亟须解决。本书旨在描述一些现有的通用方法，并对其应用于卫星视频数据所需进行的一些改进做出相关介绍。 1.2视频卫星监测的关键技术 卫星视频数据存在分辨率低、数据量大、目标小的特点，所以应用前需要对卫星视频数据进行一定的质量提升工作，包括去噪、清洗、超分辨率重建等预处理，本书首先以超分辨率重建技术为例，引入视频质量的概念和相关超分辨率重建的方法。然后为了获取更为鲁棒的卫星视频表征，奠定后续识别、监测、跟踪的基础，本书将讨论相关特征提取技术。为了更好地理解如何构建卫星视频跟踪器，后续从卫星视频跟踪任务的特点与挑战出发，分别介绍一些卫星视频跟踪模型和提高跟踪鲁棒性的后处理方法。 1.2.1超分辨率重建技术 超分辨率重建这一问题的研究始于20世纪60年代，由Goodman[2]提出的复原单帧图像超过光学系统限带传递函数之外的信息，以提高图像分辨率，称为频谱外推法。然而，由于单帧图像的有限信息及这一问题的病态性，超分辨率重建并未取得很好的效果。直到1984年，Tsai[3]为解决遥感图像分辨率低的问题时，才首次明确提出超分辨率重建这一概念并取得成功。自此，无数科研工作者投身其中，使该领域成为现今*活跃的研究领域之一。随后，除了傅里叶变换这一典型频域处理方法，离散余弦函数和小波变换等其他频域处理方法也相继出现。然而，由于这些方法往往数学模型简单，难以加入先验信息，重建效果难有突破，使得超分辨率重建技术发展缓慢。 近年来人工智能的研究火热，基于学习的超分辨率重建逐渐进入人们的视野并取得了很好的效果。2017年，由谷歌研究院发布的快速精确图像超分辨率（rapid and accuratei mage super resolution，RAISR）技术更是在提高分辨率的基础上，使重建速度提升数十倍。然而，基于学习的超分辨率重建往往是单帧图像的超分辨率重建，鲜有多帧图像或者视频的超分辨率重建。在遥感领域，更是鲜有这一方法的应用，少数应用效果也不明显。所以，应用这些方法进行视频卫星的超分辨率重建，技术手段仍不成熟。 利用超分辨率重建技术能够通过融合多幅低分辨率图像的互补信息，增加图像中每个单位面积上的像素数目，因此能为后续处理提供更详尽的细节信息，提高遥感数据空间分辨率。Skybox公司的SkySat-1和SkySat-2卫星数据传回地面后，通过超分辨率重建技术来提高卫星数据的空间分辨率，使得*终的产品达到亚米级水平。超分辨率重建中序列影像间的运动估计和超分辨率重建算法是两个关键问题。运动估计基于不同的分类原则可分为全局配准和局部配准、刚体配准和非刚体配准、空间域方法和频率域方法等。也可将现有的主要亚像素图像配准算法分为三类：插值法、扩展的相位相关法和解*优化问题法。目前，超分辨率重建方法主要分为频率域方法和空间域方法两大类。频率域方法的观测模型仅局限于全局平移运动模型和线性位移不变模型，适用范围有限，因此目前研究方法基本集中在空间域方法。空间域方法也叫空域法，主要包括非均匀插值法、迭代反投影法、自适应滤波法、凸集投影