飞行器红外图像目标检测与跟踪技术

第1章 绪 论 异源景像匹配技术可为各类飞行器的自主导航提供重要技术途径，是自主巡视飞行器领域研究的关键、热点问题 [1]。具备自主精确导航能力的飞行器可以为空基影像测量、区域监测、资源勘探、情报保障、任务规划等新兴技术的发展提供基础平台支撑，广泛应用于城市规划、移动安防、智慧厂区、智能装备等高新科技领域。在自主导航基础上，具备环境智能感知能力是飞行器智能化发展的一个重要特征。本书结合智能飞行器发展需求，针对典型应用场合的目标检测与跟踪问题展开研究，特别是以红外成像模式为背景，体现环境感知的全天时特性，包括弱小目标与区域目标、固定目标与时敏目标等多种常见目标类型，以期为特定应用场合的空地智能感知提供理论与技术参考。本章系统论述图像目标检测与跟踪的基本问题，从图像目标检测技术、图像目标跟踪技术，以及相关技术应用现状等方面分析国内外相关领域的研究进展与趋势。 1.1图像目标检测与跟踪问题描述 目标检测与跟踪是计算机视觉领域的核心技术，为后续的目标识别、行为识别、场景理解、态势感知等提供重要的信息来源和技术基础 [2]。目标检测与跟踪直接作用于输入图像，给出目标的位置信息、形状信息、属性信息和连续信息，将这些信息传递给视觉分析和理解系统，从而完成对图像的高级处理过程。 1.1.1图像目标检测问题 目标检测的范畴主要包括行人检测、车辆检测、区域运动检测、时敏目标检测、异常变化检测、威胁检测，以及生物体检测等，目标检测通常是目标识别和跟踪系统的前期处理环节，检测性能的优劣直接影响后续跟踪的精度 [3]。目标检测技术可以是依据单帧图像的检测，也可以是利用视频序列的检测，处理的图像模式既可以是可见光图像，也可以是红外图像、夜视图像、合成孔径雷达 (synthetic aperture radar，SAR)图像等。本书重点考虑红外图像的目标检测问题。 目标检测的主要任务是从图像或者视频序列中将敏感，或者感兴趣的目标提取来，并给出其精确定位的过程。一般来说，它是利用目标的特征信息或者目标与背景的差异信息，将目标从背景中分离并定位 [4]。但是，在真实的场景中，图像背景复杂多变、目标和背景相互耦合、目标的运动状态未知、场景中的干扰较大。这些都给目标检测带来较大的挑战。 按照算法处理对象的不同，目标检测系统的框架结构可分为基于背景建模的目标检测系统和基于前景建模的目标检测框架。基于背景建模的方法通常通过连续帧图像对背景进行建模和估计，并通过差分图像来有效分离出前景区域，昀后通过阈值的分割提取目标。基于背景模型的算法结构如图 1.1所示。 图 1.1基于背景模型的算法结构 基于前景目标检测方法直接利用目标的特征信息，如颜色、形状、纹理、轮廓或者高层特性等，建立目标具有辨别性的描述模型，并通过设计有效的分类器对目标进行分类和定位，从而完成对目标的检测。基于前景模型的算法结构如图 1.2所示。 图 1.2基于前景模型的算法结构 1.1.2图像目标跟踪问题 目标跟踪问题可以描述为在场景中估计目标轨迹的过程，一个典型的目标跟踪系统包含四个模块 [5]。跟踪系统的各部分组成如图 1.3所示。对于一个输入图像序列，手动或者自动检测到目标，将目标的状态作为跟踪的初始状态，同时对目标建模，获取相关特征构造目标的描述类型，然后在后续的图像中利用目标模型，采用统计滤波或者密度估计的方式估计目标当前的状态，同时利用当前定位结果更新目标模型 [6]。 图 1.3跟踪系统的各部分组成 (1)目标初始定位 在目标的初始化阶段，初始定位一般分为手动标记定位和自动标记定位。对于手动标记定位，例如在传统的电视制导武器，以及在察打一体无人机的机载成像武器中，通过作战人员标定要打击的目标，确定打击的对象。对于自动标记定位，例如在智能监控中通过与固定背景比较自动获取运动目标，人脸识别中自动对人脸的识别定位，以及在昀新的具备发射后不管 (fire and forget，FAF)的制导武器中利用异源景像匹配技术，都具备对目标的自动捕获能力。 (2)外观模型 在获得目标初始状态的基础上，下一步就是提取目标的特征，即构造目标描述模型。一般来说，目标描述模型有全局特征和局部特征两种。全局特征包括区域像素特征、光流特征、直方图特征和主动轮廓特征等。局部特征包括模板子块特征、分割特征、点特征和显著性特征等。外观统计模型根据目标的描述特征，利用统计学的方法通过构造有效的数学模型区分目标。外观统计模型一般分为启发式模型和辨别式模型。启发式模型首先搜索候选区域，然后通过比较与参考目标模型的相似度来定位昀可能目标区域。辨别式模型把目标跟踪问题看作一个在图像局部区域内的二值分类问题，目的是通过分类面把目标从背景中分离出来。 (3)目标运动模型 目标运动模型是在一帧图像中获取候选样本的过程，直接影响跟踪算法的效率和鲁棒性[7]。一般情况下，都是通过预测器来完成的，如核密度估计 (kernel density estimation，KDE)和粒子滤波 (particle filter，PF)等。KDE本质上是一种梯度下降方法，通过不断地迭代移动，直至收敛到极值。 PF是一种用于估计动态系统状态变量的后验概率分布的贝叶斯重要性采样 (importance sampling，IS)技术。它可以给出一种能够方便地进行状态变量分布的后验概率密度函数估计和随时间推演的算法框架。 (4)更新模型由于目标和背景会在跟踪过程中不断变化，如果目标模型不进行更新，当目标的形变较大时，或者环境发生剧烈变化时，跟踪算法就无法准确定位目标，导致跟踪失败；如果目标模型更新过于频繁，就会不断地引入误差产生跟踪漂移问题。目标模型的更新是一个合理权衡的过程，如何设计有效的更新策略，使跟踪算法可以鲁棒地适应外观的变化，同时尽量地抑制跟踪漂移问题，是目标跟踪技术的研究重点。 1.1.3图像检测与跟踪技术应用 目标检测与跟踪是计算机视觉领域的一项重要工作。随着高性能计算机的增多和摄像机的普及，对自动视频分析与日俱增的需求，目标检测与跟踪成为当前的热门研究领域。目前来说，图像检测与目标跟踪技术的应用主要包括如下领域。 (1)智能视频监控 视频监控正在迅速向着网络化、数字化的方向发展。智能视频监控是在没有人工干预的情况下，自动地从非结构化的视频中提炼出结构化信息，并把对信息的表达从图像层次提升到语义层次。智能视频监控已经成为视频监控的重要发展方向，受到国内外各界的广泛关注。卡内基 梅隆大学等在美国国防部的支持下，先后启动多项关于智能视频监控的研究，并取得一系列进展。国外的一些信息巨头，如微软、国际商业机器公司 (International Business Machines Corporation，IBM)、英特尔等也十分重视智能视频监控相关技术，分别设置了专业的研究部门进行相关理论研究，并开发了一些智能视频监控软硬件系统和中间件 [8]。国内的智能视频监控虽然起步晚，但是发展迅速，以海康威视、大华等安防公司为代表，在智能监控技术方面取得很大的突破和应用推广。 (2)智能交通系统 作为未来交通系统的发展方向，智能交通系统是将先进的数据通信传输技术、电子传感技术，以及计算机技术等有效地集成运用于整个地面交通管理系统而建立的实时、高效的综合交通运输管理系统。智能交通系统主要分析视频信息对交通流量进行评估、分析和控制。在视频流中，实时检测和跟踪车辆通过分析车辆的速度、车流的密度和道路的拥堵情况，以及对违章逃逸车辆的追踪、车辆异常行为的分析等建立并完善智能交通系统的结构 [9]。智能交通系统可以每天连续 24小时进行实时监控，并对海量的数据进行分析和理解，极大地节省人力、财力和物力，提高工作效率。 (3)智能机器人 机器人通过摄像头捕获视觉信息，通过目标跟踪技术进行目标定位，并在此基础上完成指定的任务。在机器人技术这一领域，美国和日本具有较大优势。美国的波士顿动力 (Boston Dynamics)公司代表超级机器人的国际昀高水平，昀新研制的一款机器狗，可以完成奔跑、转弯、爬坡等诸多挑战动作，用于全地形探测、复杂环境应急救援等任务。另外，波士顿动力还研制了一款名为 Atlas的仿人机器人。相比于日本的阿西莫， Atlas可以更加熟练地行走、爬楼梯和跳跃，还能在受到冲击时保持平衡稳定。智能机器人可以依靠安装的摄像机和传感器，通过局部视觉方式，实现对目标的检测、识别，进而有目的地移动并完成指定任务，可代替人在危险环境中 (如有毒、放射线、水下、污染等 )进行指定的劳动等。智能机器人的工作环境复杂多变，给目标检测与跟踪算法提出了更高的要求和挑战，因此研究精度更高、实时性更好的目标检测与跟踪算法，对进一步推广智能机器人的应用领域具有重要意义。 (4)智能人机交互 随着虚拟现实技术的快速发展，人们已经不满足于传统的鼠标和键盘为主的交互方式，而是期望计算机以更加智能的方式与人进行交流。要实现这种智能的交互方式，计算机需要通过摄像头采集图像信息，并捕获和跟踪人类的运动，对相关数据(如表情、手势、姿势和身体动作 )进行分析和理解。目标跟踪技术是分析和理解语义信息的基础。相比于传统的键盘和鼠标为主的接触式人机交互技术，微软于 2010年开发的 Kinect体感游戏系统，为人机交互提供了一种更加直观和方便的交互方式，并在后续对 Kinect进行升级，在图像处理速度和深度检测精度有了进一步的提高。 (5)精确导航与制导 现代的战争不仅要求精确制导武器能够准确地摧毁目标，还要求更高的隐蔽性、可靠性和抗干扰能力。成像制导武器已经成为精确制导武器发展的主要方向。基于视觉的目标跟踪技术能够在线实时地提供目标的精确位置、面积、运动速度等有效信息，是成像制导系统中不可缺少的一部分 [10]。目标跟踪技术还在军事领域的其他方面有着广泛的应用，包括战场侦察、武器控制系统、航天器的导航定位，以及光电检测系统等领域。无人机 (unmanned aerial vehicle，UAV)在进行搜索侦查和精确打击任务中 [11]，能否在复杂的场景中精确检测和稳定跟踪真实目标，是完成任务的关键步骤，如以色列梅卡瓦火控系统、日本 90式主战坦克火控系统、美国海军陆战队的 AV-8A系统等。 (6)智能医学诊断 智能医学诊断是指对图像进行增强、标记，以及生物特征的检测、跟踪来帮助医生诊断疾病，并协助医生对感兴趣的区域进行定性或定量的估计测量和比较，也可以对患病部位进行跟踪识别，增强医生对病情深入了解，协助医生更快、更准确地祛除疾病。目前，超声波和核磁共振 (nuclear magnetic resonance，NMR)技术已被广泛地应用于病情诊断。目标检测与跟踪技术在超声波和核磁共振序列图像的自动分析中有广阔的应用前景，可基于超声波图像和核磁共振图像进行病情的智能处理和辅助判断，为医生的诊断提供更可靠和更全面的辅助诊断信息。 另外，视觉目标检测和跟踪技术还在图像压缩、视频检索、三维重构、虚拟现实、活动分析等领域具有重要的应用价值。 1.2图像目标检测技术研究进展 空地复杂场景下的目标检测由于特殊的应用场景和传感器探测模式，其成像与可见光相比有独有的特点，主要体现在红外场景下的目标颜色信息缺乏、亮度信息与目标本身的热辐射直接相关、在远距离目标缺乏纹理等特性。本节对空地复杂背景下的远距离红外弱小目标检测、异源图像匹配检测、基于深度学习的目标检测三个方面对目前的研究进展进行分析。 1.2.1红外弱小目标检测技术 在信息化战争中，尽早地识别并锁定目标具有重要的意义。由于弱小移动目标的特殊性和复杂