中波红外制导模拟系统图像处理单元设计

刘曼曼，轩新想，路　新，吴金中

(中国电子科技集团公司第三研究所，北京 100015)



中波红外制导模拟系统图像处理单元设计

刘曼曼，轩新想，路新，吴金中

(中国电子科技集团公司第三研究所，北京 100015)

作为红外制导模拟系统的重要组成部分，该系统基于MFC设计开发了后端图像处理软件，主要完成以下功能：红外视频的显示、目标检测、多种算法的目标跟踪(包括质心跟踪、相关跟踪以及基于这两种算法的组合跟踪)、视频压缩存储以及系统控制和状态显示。在不增加任何硬件设施的前提下为系统实现了录像功能，且软件的自动目标提取有效弥补了弹上跟踪器的不足，为导引头操控提供了极大便利。

目标检测；目标跟踪；相关跟踪；质心跟踪；视频压缩存储

中波红外制导模拟系统用于模拟外军典型红外成像制导导引头，为光电对抗外场和室内激光干扰/损伤体制验证提供效应物，验证并等比推算激光对导引头光电系统干扰/损伤效应，获取干扰/损伤阈值及干扰光斑尺寸对导引头目标提取能力的影响等。通过与其他电子对抗装备相结合，可为红外成像制导武器的光电对抗作战效能评估、系统战技指标论证、作战过程论证等提供良好平台。

1　系统组成

中波红外制导模拟系统主要由弹上分系统和地面分系统组成。弹上分系统包括光学舱和跟踪控制电子舱两部分，光学舱主要由二维陀螺稳定转台、热像仪等部分组成，跟踪控制舱主要由陀螺伺服稳定板、主控板、视频跟踪处理板、电源板等单元组成。地面分系统主要由操控台和图像处理单元等组成，图像处理单元主要包括工控机、图像采集卡以及综合显控软件。系统的组成框图如图1所示。

图1　中波红外制导模拟系统组成框图

系统的工作流程如下：首先由弹上光学舱的热像仪完成视频的前端采集，采集到的视频送至弹上跟踪器做跟踪处理，同时由跟踪器提出一路送至图像处理单元的图像采集卡，由综合显控软件完成图像的显示、处理和压缩存储等。系统由地面操控台或者图像处理单元的综合显控软件发起系统控制，控制信号送至弹上主控板和伺服稳定控制板，从而完成整个系统的联动。

2　图像处理单元

图像处理单元即本文设计的主要内容，集系统控制、系统状态显示、目标检测、目标跟踪以及视频压缩存储等多种功能于一套软件上。图像处理单元由工控机、图像采集卡、232转422控制器以及上位机综合显示控制软件组成，上位机综合显控软件采用多线程技术，通过采集卡驱动获取图像数据，根据系统状态信息进入不同的处理线程，完成不同的系统功能。本图像处理单元结构图如图2所示。

图2　图像处理单元结构图

综合显控软件主要功能集中于图像处理和单点数据通信，因此采用MFC窗口类应用程序结构，所需的支撑环境如表1所示[1]。

表1综合显控软件支撑环境

操作系统WindowsXPSP3编程环境VisualStudio2008支撑工具OpenCV2.3.1Microsoft.NETFramework3.0MSCOMM32串口控件大恒VTX系列采集卡SDK

3　综合显控软件功能模块

在对系统各个功能之间的关系进行深入分析之后，将综合显控软件的功能归纳为6个模块，功能模块图如图3所示。

具体功能如下：

1)视频显示：由采集卡对弹上光学舱获取的模拟视频信号进行数字化，综合显控软件操控采集卡驱动获取数字化之后的图像数据，在指定窗口进行实时显示；

2)系统状态显示：由232转422控制器接收弹上主控板下发的系统状态信息，经解析后在界面相应位置实时更新系统各项状态信息，包括红外传感器当前视场、图像极性等设置信息，弹上跟踪器当前设置信息，以及当前伺服控制系统的架位角、角速度、当前系统的工作模式等信息；

3)系统控制：由软件界面上传感器控制区、弹上跟踪器控制区以及系统工作模式控制区等交互按钮进行系统控制数据的更改，软件设计定时器，定时将控制数据发送至弹上主控板，进行系统响应；

4)目标检测：由软件界面上开启自动目标提取功能后，图像处理线程自动进入目标检测算法模块，将提取出的目标用绿色矩形框标识出，以备进入跟踪处理；

5)目标跟踪：软件设计了质心跟踪、相关跟踪两种算法，跟踪过程中可手动切换跟踪算法，同时设计了自动切换跟踪算法的策略，并将之作为第三种跟踪方式(组合跟踪)供用户选择，软件为不同的跟踪算法设计了不同的跟踪波门，方便识别；

6)视频压缩存储：软件可启动视频记录功能，将采集到连续图像压缩编码为H.264视频流，并以录制的起止时间为文件名(2015122-175519.h264表示本视频是从2015年12月2日17点55分19秒开始录制的)存储在D：VideoData目录下。

4　图像处理算法详细设计

4.1目标检测

目标检测是一种基于目标几何和统计特征的图像分割过程。图像分割算法一般基于亮度值的基本特性之一：不连续性和相似性[2]。经典的基于亮度不连续性的分割算法有角点检测、线检测、边缘检测等，而基于相似性的分割算法如门限处理、区域生长、区域分离和聚合等。

本系统红外导引头用于验证激光对导引头光电系统干扰/损伤效应，获取干扰/损伤阈值及干扰光斑尺寸对导引头目标提取能力的影响。激光照射下红外成像为特定尺寸和亮度的光斑，通常的红外图像为灰度图，因此，本文选取最大稳定极值区域(Maximally Stable Extremal Regions，MSER)算法进行目标提取。本算法基于灰度图进行处理，具有如下特点：

1)对于图像灰度的仿射变化具有不变性；

2)区域的支持集相对灰度变化稳定；

3)可以检测不同精细程度的区域。

MSER算法基本原理是对图像进行二值化，二值化阈值取[0， 255]，这样二值化图像就经历一个从全白到全黑的过程。在这个过程中，有些连通区域面积随阈值上升的变化很小，这种区域就叫MSER，数学定义如下

(1)

式中：Qi表示第i个连通区域的面积；Δ表示微小的阈值变化。当v(i)小于给定阈值时认为该区域为MSER。然而这样只能检测到图像中的暗区域，因此对原图进行一次MSER检测后需要将其反转，再做一次MSER检测用于检测图像中的亮区域，两次操作分别称为MSER+和MSER-。

目前MSER的代码实现有OpenCV,IDIAP,VLFeat三种算法库，由于本文设计的图像处理单元还有许多其他功能需要借助OpenCV完成，因此MSER部分代码选用OpenCV库的MSER类实现[3]，结合光斑目标的几何形状特性，完成从检测出的众多候选MSER区域中选出最终的目标区域。目标检测模块流程如图4所示。

图4　目标检测算法流程图

由于MSER算法复杂耗时，本文图像处理单元仅对部分图像进行处理，系统中选取图像中心200×200像素区域(前端红外探测器输出的有效图像分辨率为640×512，且假设目标一般出现在图像视场中心部分)，可检测的最小目标区域为3×3像素。根据光斑形状一般为圆形的特征，滤除长宽比过大的目标，且光斑为高亮度区域，因此选取平均亮度最大的区域为最终的目标区域，输出其具体位置，之后在原始输入图像上相应位置调用OpenCV绘图函数画上绿色矩形框。系统的目标检测效果图如图5所示，图中整幅画面的分辨率为640×512，较大的方框为相关跟踪算法120×120搜索波门，中间较小的方框为目标检测算法框出的目标区域。

图5　目标检测效果图

4.2目标跟踪

到目前为止，目标跟踪领域已经涌现出大量成熟算法，如均值漂移法(Mean-shift)及改进的均值漂移法(Camshift)，粒子滤波法(Partical filter)，基于对运动目标建模的方法，基于Kalman滤波的目标跟踪等[4]。每种算法都有各自的适用场景和局限性。

本文设计的目标跟踪用于配合导引头上伺服系统完成跟踪闭环控制，原则上属于摄像头运动下的目标跟踪，摄像头运动时就无法获取固定的背景模型，这种情况下对目标的特征描述和目标跟踪算法要求较高。常用的方法有质心跟踪、边缘跟踪、相关跟踪以及组合跟踪算法。文中实现了质心跟踪、相关跟踪以及组合跟踪算法。

4.2.1质心跟踪

这种跟踪方式主要用于跟踪有界目标[5]，背景和目标的差异较大，且目标完全在视频画面内，跟踪时需要用一些图像预处理算法，如对比度增强、图像去噪、双极性增强等。算法过程如下：

结合上文的目标检测，如果用户选择开启自动目标提取功能的状态下进入质心跟踪过程，那么算法取MSER目标检测模块输出的可疑目标中心位置区的60×60像素作为质心算法的输入图像，如果用户未开启自动目标提取功能，则将整个图像中心的60×60像素作为质心算法的输入图像，根据当前目标的极性(黑目标/白目标)将图像进行二值化，背景像素值为0，目标像素值为1，然后按照式(2)进行目标质心计算，输出目标质心位置(k，l)。

(2)

图6　质心跟踪效果图

需要指出的是：1)质心跟踪算法的核心是二值化算法，如果所选二值化算法不能很好地“切”出目标，跟踪将发生偏差，严重者可导致整个导引头出现飞车现象。本文选用大津法(OTSU)进行二值化，算法核心思想是选择一个阈值，使得目标像素与背景像素类间方差最大，所选阈值即二值化的分割阈值。大津法对一般图像均能表现出良好的分割特性，尤其适用于具有双峰直方图的图像。2)输出的质心位置(k，l)是基于80×80像素区域的坐标，需要将其映射至768×576全图坐标系下，进而引导伺服系统(前端热象仪分辨率为640×512，经采集卡采集添加黑边后形成768×576图像)。

4.2.2相关跟踪

相关跟踪算法的本质是模板匹配，即在一帧图像内寻找目标模板的位置，根据预先定义好的相关算法计算目标模板与全图或波门内子区域的相关系数，找到最匹配的子区域即目标位置。

相关跟踪算法有三个基本问题，首先是模板大小的选择，模板大小的确定往往是一个经验值，紧帖目标轮廓的模板或者包含太多背景的模板都不好，前者的模板太小，对目标的变化太敏感，容易丢失目标。后者正相反，目标变化的时候算法却没有反应。一般而言，目标所占模板的比例在30%～50%为佳。其次是匹配算法选择，比较经典的匹配算法有平方差匹配、标准平方差匹配、相关匹配、标准相关匹配、相关系数匹配、标准相关系数匹配。这几种匹配算法从简单(平方差匹配)到复杂(标准相关系数匹配)，匹配精度越来越高，运算量也逐渐增大。最后是搜索策略，在搜索时，最笨的方法就是暴力式逐行遍历搜索，把图像中的每一个子区域都计算一遍。但实际上目标往往只在一个非常小的区域出现，很多地方根本没必要计算。所以在搜索时，如果当前位置的相关系数小于一定阈值或者该位置离上一帧的目标中心很远的时候，搜索的步长可以加大，反之则减小搜索步长，或者将搜索区域限定在目标可能出现的子区域，这依赖经验值来确定子区域的大小和位置。

本文的相关跟踪算法模板大小确定为60×60像素，搜索波门大小为120×120像素，选用波门内逐行逐列遍历搜索。模板的选取取决于当前是否开启自动目标提取功能，如果开启自动目标提取功能的状态下进入相关跟踪过程，则取MSER算法提取出的可疑目标中心60×60像素区域为模板，下一帧图像到来时在可疑目标中心的120×120像素区域进行搜索匹配，找到最匹配中心点后保存本中心点位置为目标中心点，以后每次的搜索区域均为上一帧目标中心点的120×120像素区。如果用户未选中自动目标提取功能，则抠取整幅图像中心点的60×60像素区域为模板，后续处理同上。这里匹配算法选择标准相关系数匹配法。一般可根据式(3)完成相关系数计算

(3)

相关跟踪效果图如图7所示，图中方框为相关算法模板图像大小60×60像素，十字丝为当前视场中心位置，图中跟踪的是一架直升机。

图7　相关跟踪效果图

4.2.3组合跟踪

组合跟踪算法即将两种具有互补特性的跟踪算法组合使用，一般适用于目标尺寸、表面、特征改变很大的场景(如舰船在波涛汹涌的大海里航行)。本文将相关跟踪和质心跟踪组合起来，可以有效处理目标由近及远由清楚变模糊的跟踪过程。

当目标由近及远或由远及近运动时，目标与背景的对比度会发生明显变化，对于激光光斑，距离的远近还会造成成像光斑大小变化。当目标与背景对比度较低时，由于二值化分割算法会产生较大误差，这时已不适合质心跟踪算法，但相关算法仍能得到令人满意的跟踪效果，因此在软件设计时开启一个算法判决线程，线程中实时计算当前目标模板(目标中心60×60区域)二值化后目标面积大小，如果目标面积大于1/4模板大小即切换至相关跟踪过程，否则进入质心跟踪过程。

4.3视频压缩存储

为了将实验过程作为素材保留下来，红外制导模拟系统需要录像功能，在不添加任何硬件外设的前提下，本文尝试用软件实现视频的压缩存储。

目前视频的编解码技术已非常成熟，其中H.264凭借其高压缩比和优秀的画质表现占据了视频压缩存储及传输的主要市场。本文根据原始图像制式(PAL制，768×576@25 f/s)选用H.264的3.0级和主类(Main Profile@Level 3.0)。H.264的类(Profile)规定了一组特定的编码功能，主类(Main Profile)支持隔行视频，采用B片的帧间编码和加权预测的帧间编码，支持利用基于上下文的自适应的算术编码(CABAC)，主要用于数字广播电视与数字视频存储[6]。而H.264的级别(Level)则规定了分辨率、码率、帧率等视频本身的特性，3.0级别支持的视频类型为D1格式720×576， PAL制视频与此分辨率接近。

现有的支持软件压缩编码的算法库有FFMpeg组织的AVCodec类等，本文即借助此类实现视频压缩，压缩之前需要先初始化编码器，将RGB颜色空间变成YUV4∶2∶0格式，然后调用FFMpeg的avcodec_encode_video函数完成压缩，同时将压缩码流写入文件，存入D：VideoData目录下。

5　综合显控软件流程及界面设计

综合显控软件采用多线程实现上述各功能。系统初始化时需提前分配好所要使用的内存，主要是图像显示缓存和图像压缩缓存，图像采集回调函数中进行内存搬移，填充显示缓存，进行跟踪处理时直接处理显示缓存中的数据，处理完成后立即显示。为了能够在跟踪状态记录视频数据，需要额外拷贝出一份图像数据用于压缩存储，因此开辟一份压缩缓存。软件在设计之初应考虑好内存的使用逻辑，避免过多分配无用内存空间，以及无用的内存搬移。

软件启动后即开启图像处理线程、图像压缩线程、图像采集回调以及串口接收线程，主线程中设计定时器，定时刷新界面及发送控制数据。图像处理线程在没有进行目标提取和目标跟踪的情况下仅做显示处理，图像压缩线程在不进行记录的时候仅空循环。在图像处理线程、图像压缩线程和图像采集回调中需要处理好共享内存的保护，使用线程锁时需谨慎，避免死锁、线程饥饿等问题。

综合显控软件流程图如图8所示。

本着美观和交互友好性的原则，本系统软件界面设计截图如图9所示。

图9　软件界面设计(截图)

软件界面主要分为四大区域，左上图像显示区，中上状态显示区，右上系统控制区和下方跟踪误差波形显示区。图像显示区根据当前系统工作模式以及当前所选视频类型显示相应图像，如图所示为外置形心跟踪状态的图像，波门内显示为二值图。状态显示区用文字显示当前伺服工作状态、红外热像仪以及弹上跟踪器的当前设置，用罗盘更形象地显示当前伺服的架位角信息。系统控制区则选用了常用的按钮进行系统控制和传感器等设备控制。下方跟踪误差波形显示区实时显示当前的跟踪误差，如果点击右侧开始记录按钮，则将跟踪误差跟踪算法等信息写入日志文件，存储于D：LOG文件夹下，以备后续用以排查问题。

6　小结

本系统图像处理单元在一般综合显示控制软件的基础上增加了图像处理及视频压缩存储的功能，其中的自动目标提取功能极大提高了目标捕获的便捷性，比弹上跟踪器必须要求目标进入波门内才可进入跟踪的工作方式向前迈进了一大步。在不增加额外硬件设备的条件下，使用软件进行视频压缩存储也极大方便了用户储备实验数据的需求，从这两点来说软件设计是合理而成功的，不足之处在于输出控制数据的时钟还不够精确，达不到伺服系统要求的精确20 ms给出一帧数据的跟踪误差，在跟踪精度上还有待提高，此外界面的工业化设计也需进一步完善。

[1]刘书智.Visual C++串口通信与工程应用实践[M].北京：中国铁道出版社，2011.

[2]冈萨雷斯.数字图像处理[M].北京：电子工业出版社，2010.

[3]毛星云，冷雪飞.OpenCV3 编程入门[M].北京：电子工业出版社，2015.

[4]蔡荣太，吴元昊，王明佳，等.视频目标跟踪算法综述[J].电视技术，2010，34(12)：135-138.

[5]熊伟，谢剑薇.光电跟踪控制系统导论[M].北京：国防工业出版社，2009.

[6]张志伟，向健勇，朱学涛.视频压缩新标准H.264的新特点[J].电子科技，2004(8)：49-51.

刘曼曼(1983— )，女，工程师，主研图像处理及软件；

轩新想(1982— )，工程师，主研结构设计；

路新(1983— )，工程师，主研伺服系统软硬件设计；

吴金中(1965— )，研究员，主要研究光电侦察系统设计。

责任编辑：时雯

Image processing unit of mid-wave infrared guidance system

LIU Manman，XUAN Xinxiang，LU Xin，WU Jinzhong

(TheThirdInstitudeofCETC，Beijing100015，China)

As an important part of the infrared guidance system， an image processing software is developed based on MFC in this system. Functions as below are supplied by the software， such as infrared image display， target detection， target tracking (including centroid tracking， correlation tracking and the combination tracking based on the two algorithms)， video compression and system control and status display. Video recording without any other hardware equipment is realized， and at the same time the software makes up for the lack of the auto target detection for the system， which provides great convenience for the manipulation of the infrared lead.

target detection；target tracking；correlation tracking；centroid tracking；video compression

TP274+.2

A

10.16280/j.videoe.2016.08.006

2016-07-04

文献引用格式：刘曼曼，轩新想，路新，等.中波红外制导模拟系统图像处理单元设计[J].电视技术，2016，40(8)：31-37.

LIU M M，XUAN X X，LU X, et al.Image processing unit of Mid-Wave infrared guidance system[J].Video engineering，2016,40(8)：31-37.