红外图像校正与增强技术研究现状

张宝辉，姚立斌，张巍伟，陈莹妍，王润宇



红外图像校正与增强技术研究现状

张宝辉，姚立斌，张巍伟，陈莹妍，王润宇

（北方夜视科技集团有限公司 南京研发中心，江苏 南京 211106）

非均匀校正和视觉增强是红外图像处理的关键性技术，其主要是为了解决红外系统在光学、焦平面、读出电路等设计和工艺中存在的问题。基于此，在非均匀校正方面，概述了近年来基于场景的非均匀校正技术和去除“鬼影”现象的发展现状。在视觉增强方面，从灰度值的动态压缩角度阐述了传统方法和红外图像细节增强技术的最新研究成果，以及640×512中波数字化焦平面探测器在增强方面采用的最新技术和成像效果；并从分辨率增强角度介绍了“微扫”技术在红外系统分辨率增强方面的突破技术和相关产品。最后，对红外图像处理发展趋势进行了展望。

红外图像处理；非均匀校正；分辨率增强；视觉增强

0 引言

随着红外技术的不断革新与发展，红外成像技术在森林防火、医疗、行车辅助、电力监测、军事等领域越来越多地被应用[1]。红外成像系统包括红外光学系统、红外焦平面技术和红外图像处理系统，而红外图像处理系统作为最后端的处理系统，其处理之后的信号直接展示在最终显示端，其处理方法和结果直接决定了系统的质量。受前端的光学系统、红外焦平面技术工艺、读出电路等因素影响，面对同一辐射面源，不同像元最终输出给红外成像电路的值会有所不同，从而产生了红外图像的非均匀性和盲元。此外，红外焦平面的设计动态范围较大，设计时为了满足不同环境的适应性，一般采用满量程的高精度ADC进行数据采集保证其精度。但日常使用环境的辐射强度基本集中在较小的范围，这样ADC采集到的信号也就集中在满量程的小部分范围。因此，未经处理的图像信号输出显示时，分辨率、对比度和人眼舒适度都很差，必须经过相应的处理后才能显示。

目前，随着焦平面工艺的改进和成熟，焦平面的盲元现象已经越来越少，而均匀性、对比度和分辨率等问题，与红外探测器材料、光学系统、读出电路和成像电路设计等因素有关，很难单纯地从工艺方面解决。国内外学者针对这些问题，开展了多方面的研究和探索，取得了一定进展，本文将针对这些进展进行分析和讨论。

1 图像非均匀校正技术

目前，针对红外焦平面探测器输出的非均匀性问题，所采用的校正技术主要分为参考源标定技术（Calibration-Based NUC, CBNUC）和场景算法校正技术（Scene-Bsed NUC, SBNUC）[2]。CBNUC技术主要是指在实验室内利用均匀的黑体通过不同温度对红外系统进行标定，计算出不同像元在同一温度下不同响应的差异，从而进行相应的补偿，其算法主要分为单温度点校正、双温度点校正和多温度点校正算法。CBNUC技术由于原理简单、校正效果明显、技术相对成熟，在工程中被大量采用。但CBNUC校正方法缺点也很明显，每台热像仪都需要在实验室中利用参考黑体标定，这样大大增加了热像仪的工作量；同时，热像仪的各种性能会随着时间和环境而改变，之前标定的参数也逐渐偏离真实值，导致校正效果越来越不理想。而基于场景的非均匀校正算法（SBNUC）正好能克服定标法的不足，自适应判定出场景中的非均匀成分，具有免维护的优点，使其在红外领域的应用前景和市场非常广阔，而近年来红外图像非均匀校正技术的研究方向也逐渐转向了基于场景的校正算法。这类算法整体上可以根据实现途径分为两大类，一类是基于统计类的校正算法，另一类是基于配准的校正算法[3]。

1.1 基于统计类的校正算法

在基于统计类的校正算法中，比较典型的是时域高通滤波法，它的存储量和计算量相对较小，因而得到了广泛的应用和研究，但是这种算法对场景随机运动的依赖性较强，且容易被场景中强辐射所干扰，使得该算法的稳定性和收敛速度不能兼顾，要取得较好的稳定性就必须牺牲算法的收敛速度，而要想取得较快的收敛速度，则校正后的图像会存在明显的“鬼影”问题。针对时域高通滤波算法所存在的问题，许多学者做了广泛的研究和改进。目前比较常见的时域滤波改进是空域低通和时域高通相结合的方法（Space Low-pass and Temporal High-pass, SLTH-NUC），算法首先利用空域滤波器（一般采用均值滤波）分离输入图像中的高低频信号，在非均匀性的校正过程中只利用高频部分来计算校正参数。为了减少对场景边缘的影响，设定了一个阈值，当高频部分中某个像素值比该阈值大时，判定其处在场景的边缘上，不用于非均匀性校正参数的计算中。该方法相对于原始算法收敛速度得到提高，并且“鬼影”现象得到一定抑制。文献[4]中对这种方法进一步改进，提出了双边滤波时域高通法（Bilateral Filter and Temporal High-pass, BFTH-NUC），利用性能更好的双边滤波代替均值滤波，该滤波器对图像的边缘部分能够起到更好的保护作用，所以能有效减少鬼影的出现，同时算法收敛速度也得到了提高。其对不同算法的校正效果如图1所示。改进后的BFTH-NUC算法，校正后的图像明显好于前几种效果。

图1 基于时域高通滤波的校正效果

基于恒定统计（Constant Statistics , CS）的非均匀校正算法也是统计类校正算法的一种，其主要思想是假设红外焦平面上各像元接收的辐射范围一致，各像元的均值和标准偏差恒定，从而用于计算校正因子。文献[2]中介绍了改进的CS-NUC方法，通过纵向通道间的统计量均衡策略实现对条纹非均匀性的抑制，并引入遗忘因子通过帧间迭代实现非均匀性的动态校正，有效地降低了算法对场景信息的要求，可快速有效地消除网格和条纹状固定噪声，且不受场景变动的影响，提高红外图像质量，其效果如图2所示。

另一种基于统计类的算法为基于神经网络的校正方法，其主要思想是寻找到一个“期望”图像，通过校正图像不断趋近“期望”图像来摆脱图像的非均匀性。非均匀校正的增益和偏置参数采用最小均方（Least Mean Square, LMS）等算法进行校正更新，依照校正图像和“期望”图像之间的均方误差的梯度变化进行计算。文献[5]提出了一种改进的神经网络方法，采用了一种具有空间自适应能力的LMS算法，根据场景变化的情况调整对应的校正步长大小。观察像素点局部方差的变化情况，调整校正步长，高方差的图像区域采用较小的步长，较平坦的图像区域采用较大的步长，并对LMS采用设置自适应值进行改良。该算法能够快速实现收敛（一般在几十帧图像内），同时能够有效地抑制“鬼影”现象，如图3所示，从图中标出的位置可以看出，经过改进后的基于神经网络的算法，在抑制“鬼影”方面取得很好的结果。

1.2 基于配准的校正方法

基于统计的校正方法速度快，效果明显，但在校正时需要统计的先验条件，如果实际的图不满足这些先验条件，会严重影响校正的图像质量。针对这些问题，文献[6]中提出了基于帧间匹配的最小均方误差法，估计了相邻两帧之间的差异，并且以最小化均方误差的方法对相邻两帧进行匹配。这种方法可以减少累积的匹配误差，并且计算比较简单，需要较少的存储空间，能获得时域上的非均匀性漂移参数，图4给出了其校正效果。

文献[7]中，提出了一种基于场景的空间投影估计和时域迭代非均匀性校正算法，主要是通过投影估计来估算全局位移，并且在连续多帧图像中进行迭代计算。算法首先为配准准则设计了一个新的投影估计方法，然后利用相邻帧进行迭代计算，以此来获得较快的固定图案噪声（Fixed-Pattern Noise, FPN）收敛，同时在减少“鬼影”产生方面也取得了良好的效果。此外，文献[8]给出了一种同时考虑全局和局部运动信息的算法，对红外焦平面的非均匀性进行补偿。文献[9]提出了一种考虑了环境温度补偿的非均匀性校正方法，这种方法在校正了像元响应非均匀性的同时对环境温度的漂移进行了补偿，这些方法都取得了较好的效果。

图2 基于恒定统计的校正效果

图3 神经网络校正算法

基于场景的校正算法，能够克服传统标定算法的缺点，大大降低红外系统对标定工作的依赖，成为近些年非均匀校正的主要研究方向。但由于算法是基于时域及空域等未知场景信息，因此难免会对图像信号造成“误伤”，产生“鬼影”现象，虽然许多学者和科研机构对此展开了大量的工作和研究，但还是达不到完全去除“鬼影”现象的要求。从近年来基于配准校正算法的思路和时效性来看，基于场景的校正技术可与光机电技术相结合，更精确地计算图像的位移等空间信息，从而降低甚至去除“鬼影”。

2 视觉增强技术

经过非均匀校正后的红外信号最终要在显示终端进行显示，终端的显示效果主要取决于图像信号的灰度值和分辨率。对于红外系统输出信号而言，其灰度值动态范围一般大于显示终端的动态范围，因此需要进行动态范围调整。红外图像分辨率一般随着焦平面的参数而固定，若要增强视觉效果，则必须后期提升系统的分辨率。

2.1 显示动态范围压缩

显示动态范围调整技术，即红外图像增强技术，传统的图像增强处理方法根据其作用域的不同，可分为空域增强和频域增强两种。空域增强是对图像中的像素点直接操作，将每一个像素点作为处理对象，最后通过改变灰度值实现图像增强，典型的算法有灰度变换、直方图均衡化以及改进的平台直方图等；频域增强主要是对图像所在的频谱操作，再逆变换得到增强后的图像。

自从美国FLIR公司首次在产品中使用了数字细节增强技术（Digital Detail Enhancement, DDE）[10]之后，近年来红外图像增强算法大多围绕着数字增强技术进行。文献[11]提出了一种用于红外成像系统的动态范围压缩技术，如图5所示。该技术通过采用双边滤波来分离图像的细节部分和背景部分，然后对两部分进行单独处理，最后通过一定的方法进行综合，得出增强后的图像。通过实验验证，具有较好的增强效果，如图5所示。

文献[12]提出了一种高动态范围红外图像的显示和细节增强方法，它同样采用双边滤波和动态范围分割技术，将原始高动态范围图像映射到8位图像。该方法对梯度反转有比较好的消除作用，使得图像具有更好的视觉效果。如图6所示。

文献[13]提出了一种针对海上场景的高动态范围压缩方法，该方法主要基于两种技术：对比度增强和动态范围压缩。前者增强了图像的细节，后者减少了包含大量无关信息的灰度区间。并且考虑了一些海上场景的特殊情况，利用图像的聚类信息，通过一个合适的权重函数将每个聚类的内容信息映射到输出图像。该方法细节增强效果较好，并且克服了地平线的影响，可以比较容易看到感兴趣的目标。文献[14]提出了一种基于梯度域的高动态范围红外图像的压缩和细节增强方法，该方法利用了一个包含数据限制项和梯度限制项的能量函数。在数据限制项中，采用经典的直方图投影方法进行初始的动态范围压缩，得到希望的像素值，并且保持全局的对比度。在梯度限制项中，采用矩匹配方法获得标准图像，然后设计一个梯度增益因子函数去调整标准图像的梯度值，获得想要的梯度域。最后通过给出的能量函数可以获得低动态范围的图像。该方法可以较好地减少晕轮、梯度反转、模糊和饱和现象。文献[15]提出一种基于时域数字细节增强滤波的高动态范围红外图像的低对比度目标增强算法，该算法采用导向滤波将原始图像分为基本层和细节层，并且采用一种掩膜去避免噪声的扩大，最后的图像采用一种自适应的依赖于直方图投影的方法，在时域上的直方图限制可以避免帧间的全局亮度波动，也取得了较好的效果。文献[16]提出了一种针对红外图像shearlet变换的自适应增强算法，该算法基于结构信息线性增强了高频分量的细节，并通过低频分量的非均匀校正来提高全局对比度，最后将其转换为空域图像获得增强图像，可以在提高红外图像细节的同时减少噪声产生的区域，其效果如图7所示。

图4 基于配准的校正算法

图5 动态范围压缩技术增强效果

2016年昆明物理所最新研制了640×512中波数字化焦平面探测器，并在此平台上，研制了增强算法FDR（Fine Detail Resolution）技术。该算法原理如图8所示。

主要是利用滤波技术将14位红外图像进行高低频域滤波，由于图像低频部分主要包含图像显示的背景分量，而高频部分主要含有图像细节及噪声分量。为了使所观察物体在图像中更为显著，必须让该物体与其周围背景产生一定差异，因此在处理背景分量时利用显著性算法进行运算，然后对其进行灰度映射。在高频处理部分，主要是滤除高频部分的噪声，然后对高频细节进行增强，最后与背景分量进行融合，输出8位显示图像。图9为45 mm光学镜头焦距、25mm数字化焦平面在FPGA中实时成像的效果，该成像效果具有很好的细节特征和人眼舒适度。

2.2 显示分辨率增强

红外图像信号显示在终端除了灰度值的影响之外，图像分辨率也是一项重要指标，高分辨率的图像能够提供更多的场景及细节信息，最直接地提升系统分辨率的方法就是提高焦平面的分辨率，但是目前受到焦平面技术的限制，成本和技术难度较大。分辨率增强技术在此问题下应运而生。从本质上来讲，提高图像的空间分辨率就是要增加图像所承载的信息量，由于单帧图像所承载的信息量有限，必须利用多帧图像信息提高系统图像的分辨率，但同时带来了帧间图像匹配问题。若单靠图像处理算法进行配准，系统运算量太大，实时性很难保障。因此目前工程应用中主要利用“微扫”技术进行分辨率增强。利用“微扫”技术扩展分辨率主要分为两种，一种是同一视场下的超分辨率技术，另一种则用不同视场的拼接提高系统的分辨率甚至可至360°全景，这两种方式都是借助光学装置，利用空间运动让传感器多次曝光，配准后利用算法进行拼接融合的过程。

图6 高动态范围显示和细节增强方法

图7 Shearlet变换红外细节增强效果

图8 FDR技术原理

利用“微扫”技术提升红外系统分辨率成本低、效果佳，甚至可以拓展和挖掘红外系统的应用价值和潜能，因此成为国内外学者和公司逐渐重视的研究内容。早期的英国BAE SYSTEMS公司研发的2×2微扫描系统将输出像素扩大了4倍；德国耶拿公司所研制的ProgRes C14 plus 通过“微扫”技术可以提供高达4080×3072像素的视频；德国AEG和STANTRLAS共同开发的扫描成像系统，将原来像素384×288提高到了768×576等。国内相关学者和机构也对此展开了研究，取得了不少技术突破。文献[17]提出了一种基于帧间块匹配图像增强算法，结合“微扫”和后端图像处理技术，能很好地提高红外系统分辨率。文献[18]研究了自适应虚拟电子微扫描技术，提高了红外图像的空间分辨率，如图10。

文献[19]分析了常用的扫描模型之间的调制传递函数（Modulation Transfer Function, MTF）的差别，验证了圆形模型在微扫设计中具有较好的MTF，为扫描型热像设计提供了很好的参考意义。文献[20]介绍了一种基于国产自研的超长线长波红外线列探测器红外预警系统的设计，系统利用1152×6的线列红外，通过转台与“微扫”技术输出1152×50000的高分辨率图像，如图11所示。

2013年，法国HGH红外系统公司推出了Spynel-S 360红外预警系统，如图12所示。系统携带中波红外制冷热像仪，将红外热像仪的分辨率提升至3千万像素，展示周围360°无死角图像[21]。

2016年，以色列Elbit Systems公司在展会上推出了新型便携式红外监控预警系统SupervisIR，如图13所示。该系统可以提供高广域分辨率和可视范围的红外监控，相当于并排放置150个热成像仪[22]，拓展和挖掘了红外系统的应用领域和潜能。

基于“微扫”的红外分辨率增强技术是在不增加探测器像素尺寸和规模的条件下，通过增大成像系统的空间采样频率，从多幅图像相互之间位移的时间序列来提高系统成像的分辨率。近年来，随着红外技术的发展，成像电路采集到的焦平面输出信号精度会越来越高、动态范围会越来越大，因此成像电路采集到的红外信号中包含的细节信息也会越来越多，在图像处理时需要将这些细节信息更合理、更有效地展现在视频显示端，还要兼顾人眼的视觉特性、不同场景变化的适应性，以及利用帧间冗余信息提升图像分辨率及图像质量，扩展或重新定义红外系统的应用。

图9 FDR技术在不同场景中的效果

图10 微扫技术提高图像分辨率

图11 国产自研的超长线列红外预警系统及成像效果

图12 Spynel-S 360系统及成像效果

图13 SupervisIR系统及成像效果

Fig.13 SupervisIR system and it’s imaging result

3 结束语

红外图像处理技术是整个红外系统的输出端与展示端，图像处理技术的好坏直接影响整个红外系统的性能。文章介绍了红外图像处理中的非均匀校正和视觉增强关键性技术的最新研究进展。现阶段，基于场景的非均匀性校正技术，如何突破校正后图像的“鬼影”现象；图像增强方面，如何更好地与视觉系统结合，挖掘红外信号中的可用信息并适当合理地展现出来；图像分辨率增强方面，如何结合红外焦平面高帧频技术，与光机电多学科结合，充分提升系统分辨率，实时展示超分辨率图像，这些问题将是目前红外图像处理中研究的主要内容。

[1] 冯涛, 金伟其, 司俊杰. 非制冷红外焦平面探测器及其技术发展动态[J]. 红外技术, 2015, 37(3): 177-184.

FENG Tao, JING Weiqi, SI Junjie. Uncooled infrared FPA-A review and forecast[J].,2015, 37(3): 177-184.

[2] 曹扬, 金伟其, 刘崇亮, 等. 红外焦平面阵列的自适应非均匀性校正及硬件实现[J]. 光学精密工程, 2011, 19(12): 2985-2991.

CAO Yang, JING Weiqi, LIU Chongliang, et al. Adaptive nonuniformity correction and hardware implementation of IRFPA[J]., 2011, 19(12): 2985-2991.

[3] 潘科辰. 基于国产红外焦平面阵列的非均匀性校正技术研究[D]. 南京: 南京理工大学, 2016.

PAN Kechen. Research on the nonuniformity correction technology based on demestic IRFPA detector[D]. Nanjing: Nanjing University of Science and Technology, 2016.

[4] ZUO C, CHEN Q, GU G, et al. New temporal high-pass filter nonuniformity correction based on bilateral filter[J]., 2011, 18(2): 197-202.

[5] 陈芳林, 张宝辉, 汪贵华, 等. 改进的神经网络非均匀性校正算法研究[J]. 科学技术与工程, 2016, 16(33): 215-220.

CHEN Fanglin, ZHANG Baohui, WANG Guihua, et al. Research on the nonuniformity correction based on improved neural net algorithm[J].2016, 16(33): 215-220.

[6] ZUO C, CHEN Q, GU G, et al. Scene-based nonuniformity correction algorithm based on interframe registration[J]., 2011, 28(6):1164-76.

[7] XU Honglie, CHEN Qian, SUI Xiubao, et al. Space projection estimator and temporal iteration scene-based non-uniformity correction algorithm[J]., 2015, 34(6): 710-714.

[8] Bae Y, Ra J B. Scene-based nonuniformity correction in infrared videos[C]//, 2012, 8399: 14.

[9] QU H M, GONG J T, HUANG Y, et al. New Non-uniformity correction approach for infrared focal plane arrays imaging[J]., 2013, 17(2): 213-218.

[10] FLIR Systems Inc. Digital detail enhancement, technical note [EB/OL]. [2013-06-12]. www.flir.com/uploadedfiles/Eurasia/MMC/Tech_Notes.

[11] Branchitta F, Diani M, Romagnoli M. New technique for the visualization of high dynamic range infrared images[J]., 2009, 48(9): 6401.

[12] ZUO C, CHEN Q, REN J. Display and detail enhancement for high-dynamic-range infrared images[J]., 2011, 50(12): 895-900.

[13] Rossi A, Acito N, Diani M, et al. High dynamic range compression for visualization of IR images in maritime scenarios[C]//:IX, 2012, 8541: 85410V.

[14] ZHANG F, XIE W, MA G, et al. High dynamic range compression and detail enhancement of infrared images in the gradient domain[J]., 2014, 67: 441-454.

[15] Frederic Garcia, Cedric Schockaert, Bruno Mirbach. Media-real-time visualization of low contrast targets from high-dynamic-range infrared images based on temporal digital detail enhancement filter[J]., 2015, 24(6): 061103..

[16] FAN Z, BI D, GAO S, et al. Adaptive enhancement for infrared image using shearlet frame[J]., 2016, 18(8): 085706.

[17] 白俊奇, 陈钱, 屈惠明. 红外凝视成像光学微扫描重建技术研究[J].红外与毫米波学报, 2008, 27(4): 257-260.

BAI Junqi, CHEN Qian, QU Huiming. Research on optical micros caning reconstruction for infrared staring imaging[J]., 2008, 27(4): 257-260.

[18] 隋修宝, 陈钱, 陆红红. 红外图像空间分辨率提高方法研究[J]. 红外与毫米波学报, 2007, 26(5): 377-385.

SUI Xiubao, CHEN Qian, LU Honghong. Research on improving spatial resolution of infrared image[J]., 2007, 26(5): 377-385.

[19] SUN Mingjie, YU Kanglong. Effect of pixel active area shapes on microscanning based infrared super-resolution imaging [J]., 2015, 44(1): 48-52.

[20] 范宏波. 基于1152×6长波线列探测器的高性能红外搜索预警系统[J]. 红外技术, 2010, 32(1): 20-24.

FAN Hongbo. A high performance IRST system based on 1152×6 LWIR detectors[J]., 2010, 32(1): 20-24.

[21] KATIE SHEA. HGH Infrared Systems news. Debut of Spynel-S [EB/OL]. [2013-04-18]. https: //www.hgh-infrared.com/ News/News/ Debut-of- Spynel-S.

[22] Elbit Systems. Infrared Wide Area Persistent Surveillance System [EB/OL]. [2016-08-06]. http: //elbitsystems. com/pr-new/elbit-systems -introduces -supervisir/.

The Current Research Status of Infrared Image Correction and Enhancement

ZHANG Baohui，YAO Libin，ZHANG Weiwei，CHEN Yingyan，WANG Runyu

(,.,,211106,)

Non-uniformity correction(NUC) and vision enhancement are the key techniques of infrared image processing. They serve mainly to resolve the existed problems for infrared system in the design and technology of optics, FPA and circuitreading. In the respect of non-uniformity correction, recent advances on the technique of scenario-based non-uniformity correction, and ghosting artifact are reviewed. In the respect of vision enhancement, traditional method and the new technique of infrared image detail enhancement are expounded from the perspective of gray value dynamic compression, as well as the new imaging enhancement technique used in the MWIR 640×512 digital IRFPA detector. The breakthrough technique and related products of micro-scanning technique used in infrared system resolution enhancement are introduced. Finally, the development trends of infrared image processing are also presented．

infrared imageprocessing，non-uniformity correction，resolution improvement，vision enhancement

TN911.73

A

1001-8891(2017)06-0481-08

2017-06-02；

2017-06-06 .

张宝辉（1984-），男，陕西宝鸡人，高级工程师，博士，主要从事红外图像处理方面的研究。E-mail：zbhmatt@163.com。

姚立斌（1968-），男，博士，研究员，博士研究生导师，主要研究方向为混合信号集成电路设计。