红外成像系统非均匀性快速校正方法

李召龙，沈同圣，史浩然，娄树理

(1. 海军航空工程学院 控制工程系，山东 烟台 264001；2. 国防科技信息中心，北京 100037)

红外成像系统非均匀性快速校正方法

李召龙1，沈同圣2，史浩然1，娄树理1

(1. 海军航空工程学院 控制工程系，山东 烟台 264001；2. 国防科技信息中心，北京 100037)

针对传统基于场景的非均匀性校正方法计算量大的缺点，提出一种快速校正方法。通过对图像序列进行分析，得出非均匀性的表现形式可看作是在理想视频上叠加一个固定图案噪声这一结论。首先对前 k 帧图像求取均值，得到包含非均匀性而且背景灰度趋于一致的均值图像；然后提取非均匀性噪声矩阵，将原始非均匀性图像与噪声矩阵做差，便可实现非均匀性的快速校正。利用仿真图像序列与实拍视频对方法进行验证，实验结果表明提出的方法能够有效对非均匀性进行校正，而且计算量较小，具有更快的校正速度。

非均匀性校正；固定噪声图案；均值图像；噪声矩阵

0 引 言

红外成像系统具有灵敏度高、可获取目标更多信息及较高的帧频等特点，在军用及民用方面显示出越来越重要的作用。尽管红外成像技术已发展到较高水平，但由于制造工艺和使用环境的影响，红外成像系统的非均匀性问题依然存在，在图像上表现最为明显的是固定图案噪声（Fixed Pattern Noise，FPN），这极大地降低了图像质量，严重的甚至使红外探测器失去探测能力[1–2]。在工程应用中，相应的非均匀性校正技术（Non-uniformity Correction，NUC）是关键的图像预处理技术。

校正方法主要分为两大类：一类是辐射定标法，主要包括一点法、两点法和多点法。由于校正效果比较理想，上述方法在工程实践中得到了广泛应用。但是 20 世纪 90 年代初，人们逐渐发现定标类校正无法解决红外成像系统的参数漂移问题。于是人们发展了基于场景的校正方法，比较经典的有时域高通滤波法[3]、常数统计法[4]、神经网络法[5]、帧间配准法[6]、代数法[7]等。上述基于场景的校正方法存在计算量大、收敛速度慢的缺点，在实际系统中应用较少。针对上述问题，本文提出一种效果较好的非均匀性快速校正方法。利用固定图案噪声在图像上表现出来的固定不变的特点，提取噪声矩阵，从待校正图像上减掉该噪声矩阵，便可对非均匀性进行较好的校正。该方法原理简单，计算量小，实现容易，有利于在实际红外成像系统中使用。

1 非均匀性表现形式

由于红外成像系统响应率及空间分辨率低于可见光 CCD 阵列，使得红外图像的对比度、清晰度低于可见光图像。非均匀性对红外图像的影响尤为严重，如图 1 所示。图 1（a）和图 1（b）是利用 JIR1161G 型长波非制冷热像仪拍摄的未校正视频中截取的两帧。由于非均匀性的存在使得 2 幅图像上表现出了强烈的条纹状噪声，这对图像配准、目标识别、目标跟踪等后续处理都极其不利。通过对比可以看出，两帧图像间的非均匀性噪声模式及强度基本一致。因此非均匀性的表现形式可以看作是在视频上叠加一个固定的噪声图案，而且噪声图案在较短的时间内可以认为不变。基于这个考虑，在校正时可以首先提取固定噪声图案，然后将非均匀性图像减掉此噪声图案，最终实现非均匀性的校正。

图1 非均匀性示意图Fig.1 Nonuniformity of IR imaging system

2 非均匀性校正方法

根据第 1 节中的分析得知：非均匀性的表现形式可看做是在理想视频上叠加一个固定的噪声图案，而且噪声图案在较短的时间内可以认为不变。采用探测器线性响应模型：焦平面阵列上第（ij）个探测单元在第 n 时刻的输出响应 Yn（i，j）可表示为：

式中：Xn（i，j）为第 ij 个探测单元在第 n 时刻接收到的场景辐射；Gn（i，j）和 On（i，j）分别为探测单元的增益和偏置为探测单元理想输出。Nu（i， j）为探测单元的非均匀性噪声，模型中同一探测单元在不同时刻 n 的非均匀性噪声 Nu（i，j）不变。

理想的红外焦平面阵列（IRFPA）中每个探测单元响应参数保持恒定，而且不同探测单元之间参数保持一致。可做如下假设：一是在足够长的时间内，阵列中不同探测单元受到的平均场景辐射相同。二是在一定时间内，阵列中探测单元的平均输出相同。基于上面 2 个假设，校正方法具体实施过程如下：

1）对第 k 帧图像，求取前 k 帧图像的均值图像：

根据前面的 2 个假设，均值图像中不同像素（ij）的理想输出均值项相同。

2）统计均值图像中不同灰度值的像素数量，取像素数目最多的灰度值（记为 Lgray）作为理想输出均值项。获得非均匀性噪声矩阵：

矩阵 INu（i，j）中既有正值，也有负值。若矩阵中为负值，表示对应图像该位置的像素灰度值被非均匀性噪声拉低；若矩阵中为正值，表示该位置的像素灰度值被非均匀性噪声增高。

3）校正非均匀性图像：

式中：Icorr（i，j）为校正后图像；Inoise（i，j）为原始未校正图像。

3 实验结果与分析

3.1 仿真图像序列实验

为了使校正后的图像能够有标准图像作为对比，对校正算法的综合性能进行较好的评估，首先利用仿真得到的 100 帧非均匀性图像序列对校正方法进行验证。对仿真图像进行校正，校正结果如图 2 所示。

图2 仿真图像序列校正结果Fig.2 Correction result of simulation images

图 2 （a）所示图像为理想图像序列的第 86 帧。图 2（b）是按照一定算法对理想图像序列添加了固定图案噪声和散点噪声之后的图像。可以看到图像中有明显的条纹噪声，这与真实红外图像的固定图案噪声样式一致。图 2（c）为均值图像，较好地反映了图像上的条纹噪声。图 2（d）为经过本文方法校正后的图

像。从图像上看，无论是条纹噪声还是散点噪声都得到了较好的校正。

3.2 真实视频实验

利用实际采集的红外非均匀性视频对提出的校正方法进行验证，校正结果如图 3 所示。视频采集设备为 JIR1161G 型长波非制冷热像仪。图 3（a）和图3（b）分别为视频中截取的第 85 帧和第 307 帧。图像质量被条纹状的非均匀性噪声严重影响，建筑物上的窗口甚至被条纹噪声淹没而导致信息丢失。图 3（c）和图 3（d）分别为第 85 帧和第 307 帧对应的均值图像。均值图像上的条纹状噪声的信息被完整的保留了下来，而背景灰度趋于一致。图 3（e）和图 3（f）分别为校正后的结果，通过图像可以很直观地看到，条纹噪声被消除掉，而且原本淹没在噪声中的建筑物窗口信息也得到了较好的复原，校正效果比较理想。

图3 非均匀性校正结果Fig.3 Experiment result of NU correction

为了对实验结果进行客观定量的评价，采用国家标准定义来评估图像的非均匀性[8]，即：

式中： 为系统输出图像的灰度均值；M 和 N 分别表示系统输出图像的行数和列数；Yij为图像中（i，j）位置的像素灰度值。

图 4 为校正前后非均匀性曲线对比。‘-*’表示的是未校正的视频序列非均匀性随帧数变化的曲线，‘-’表示的是校正之后的视频序列非均匀性随帧数变化的曲线。由于场景变化较为复杂，不同帧之间的非均匀性不是单调下降的，但是可以确定的是采用本文提出的校正方法校正的第 n 帧图像比未校正的视频第 n 帧非均匀性要小得多。

图4 校正前后非均匀性曲线Fig.4 Nonuniformity curve before and after correction

4 结 语

传统的基于场景的非均匀性校正方法存在计算量大，计算复杂的缺点。本文提出一种原理简单、计算量小的校正方法，并利用仿真图像序列及真实拍摄视频对提出的方法进行验证，实验结果表明本文提出方法能够有效的对非均匀性进行校正，而且本方法计算量较小，具有更快的校正速度。

[1]高思莉, 于洋, 汤心溢. 红外焦平面阵列非线性响应仿真[J].红外与激光工程, 2008, 37(5): 770–772.

[2]张菲菲, 王文龙, 马国锐, 等. 基于非局部均值滤波与神经网络的红外焦平面阵列非均匀性校正算法[J]. 红外技术, 2015, 37(4): 265–271.

[3]SCRIBNER D A, SARKADY K A, KRUER M R, et al. Adaptive nonuniformity correction for IR focal-plane arrays using neural networks[C]//Proceedings of the SPIE 1541, Infrared Sensors: Detectors, Electronics, and Signal Processing. San Diego, CA: SPIE, 1991: 100–109.

[4]HARRIS J G, CHIANG Y M. Nonuniformity correction of infrared image sequences using the constant-statistics constraint[J]. IEEE Transactions on Image Processing, 1999, 8(8): 1148–1151.

[5]王娴雅, 陈钱, 顾国华, 等. 基于BP神经网络的红外焦平面非均匀性校正技术[J]. 光子学报, 2009, 38(6): 1504–1506.

[6]HARDIE R C, HAYAT M M, ARMSTRONG E, et al. Scenebased nonuniformity correction with video sequences and registration[J]. Applied Optics, 2000, 39(8): 1241–1250.

[7]RATLIFF B M, HAYAT M M, TYO J S. Generalized algebraic scene-based nonuniformity correction algorithm[J]. Journal of the Optical Society of America A, 2005, 22(2): 239–249.

[8]聂瑞杰, 李丽娟, 王朝林, 等. 一种凝视红外成像系统联合非均匀校正算法[J]. 红外与激光工程, 2015, 44(8): 2339–2346.

Fast nonuniformity correction method for IR imaging system

LI Zhao-long1, SHEN Tong-sheng2, SHI Hao-ran1, LOU Shu-li1
(1. Department of Control Engineering, Naval Aeronautical and Astronautical University, Yantai 264001, China; 2. National Defense Science and Technology Information Center, Beijing 100037, China)

To solve the problem of the large calculation quantity when correcting the nonuniformity using the traditional scene-based method, a fast correction method was proposed. Through the analysis of the image sequences, the results showed that the nonuniformity can be seen as that a fixed pattern noise superimposed on the ideal video. Firstly, the mean image of the first k frames was obtained. Then the nonuniformity noise matrix was extracted. The original image could be corrected by subtracting the noise matrix. The method was validated by using simulated video and real video. Experimental results show that the method can correct the nonuniformity with smaller calculation quantity and faster speed.

nonuniformity correction；fixed pattern noise；mean image；noise matrix

TN911.73

A

1672 – 7619(2016)11 – 0148 – 03

10.3404/j.issn.1672 – 7619.2016.11.031

2016 – 01 – 15；

2016 – 03 – 02

国家自然科学基金资助项目(61303192)

李召龙(1987 – )，男，博士研究生，研究方向为光电制导、红外物理与技术、红外成像系统性能测试与仿真等。