一种降低高灵敏度热红外成像条纹噪声的方法

姬弘桢，李春来，金 健，曹嘉豪，王建宇



一种降低高灵敏度热红外成像条纹噪声的方法

姬弘桢，李春来，金 健，曹嘉豪，王建宇

（中国科学院上海技术物理研究所 主动光电技术重点实验室, 上海 200083）

高灵敏度热红外成像系统的灵敏度是最重要的指标。经过简单非均匀性校正的红外图像已不能满足高灵敏度场合的需要，需要后续对红外图像条纹噪声进行处理，以提高红外图像的灵敏度水平。为了进一步提高热红外成像系统的应用效果，全面分析了系统的图像噪声模型，提出并实施了一种基于硬件系统的条纹噪声去除方法，通过一套自行研制的制冷型热红外成像系统的实测数据实际验证了提出方法的实际效果，由非均匀性噪声引起的NETD从26mK降到19mK。

红外成像系统；非均匀性校正；条纹噪声

0 引言

随着红外成像技术的发展，人们对热红外成像系统灵敏度水平的要求越来越高，获取高灵敏度高分辨率红外图像的需求也更加迫切，对其主要性能评价参数噪声等效温差（NETD）也有了更加深入的研究。目前对NETD的研究一般是关注时间维度的噪声等效温差[1-3]，该参数可以反映红外成像系统的时间噪声特性，但是对其空间维的噪声等效温差不能反映，未能全面反映热红外成像系统的噪声情况。

而对空间NETD来说，经过简单非均匀性校正的红外图像已不能满足高灵敏度场合的需要，需要后续对红外图像进行去噪处理，以提高红外图像的灵敏度水平。高灵敏度红外成像系统一般采用制冷型红外焦平面器件，它由按矩阵式排布的像素和外围读出电路组成，由于焦平面阵列中各探测元响应特性不完全一致，不同的探测光敏元件对相同的红外辐射会产生不同的输出信号，使得红外图像内会出现一种条纹状的非均匀性噪声，常规的非均匀性校正算法无法去除该噪声。在实践中常采用直方图匹配以及矩匹配等方法去除此类条纹噪声，处理的方法是直接在二维图像上去除噪声，因此此类方法多有限制。

本文全面分析了系统的图像噪声模型，提出并实施了一种基于硬件系统的条纹噪声去除方法，结合Sofradir公司的320×256元热红外焦平面探测器组件MARS VLW RM4热红外成像系统的实测数据，验证了方法的有效性。

1 红外焦平面成像系统噪声模型

基于红外焦平面组件的热红外成像系统总噪声由时域噪声和空域噪声两部分组成[4]。美国陆军夜视与电子传感器委员会（NVESD）提出了三维噪声模型（3-D noise model），它将噪声细分为7个分量（见表1）来分析和评价红外成像系统噪声[5]。由采集帧（≥100）红外图像，在每帧图像的均匀区域上×个像元，用于计算噪声均方根值。

表1 三维噪声模型的噪声分量

则××个像元的噪声平均值为：

其余分量可类似求出，则红外成像系统的噪声均方根值为：

其中时域噪声与焦平面探测器的每个像元相关，包括散粒噪声、读出噪声、热噪声和放大器噪声等，表现为高频时间噪声和低频时间噪声（即1/噪声），单个像元时间噪声即上表中的(0,0,)，时间域高频噪声是热红外系统的像元的输出随时间快速地变化，这种噪声的功率谱类似于白噪声，时间域低频噪声即1/噪声，这种噪声主要由加性噪声构成[6-7]。

空域噪声则是由热红外成像系统中多元探测器输出差异性及系统本身的状态引起。不同探测器像元之间和系统多路输出的不均匀以及相互的混叠等空间因素都会引入空域噪声，具体表现为固定模式噪声（FPN）和非均匀性噪声[8]，对全帧空间噪声而言，即为上表中的(,,)。这些噪声的存在一定程度上影响系统的成像分辨率，使得热红外成像系统无法获得高灵敏度高分辨率的红外图像。

2 热红外图像的空间条纹噪声优化方法

主要处理空间噪声的方法是做图像空间维的非均匀性校正，一般情况下，经过校正的红外图像仍然残留有空间噪声，在采用较复杂的校正方法后其剩余空间非均匀性可以达到0.09%左右，对应空间NETD在30mK以下[9]。但在对探测灵敏度水平要求较高的应用场合，经过这样简单处理的红外图像的空间噪声水平仍然不能满足使用需求，本方法基于此问题而提出，基于红外焦平面硬件特性，针对性地进一步削弱非均匀性噪声，可以在不损失图像信息的前提下有效抑制剩余非均匀性条纹噪声。

2.1 空间非均匀性噪声的去除

空间噪声最大的来源就是器件本身的非均匀性，这种噪声需要用非均匀校正的方法去除。较好的方法是采用4个定标点的最小二乘拟合的方法，计算简单易实现，且有较大的使用温度范围。精度最高的是采用S曲线的定标，但计算量过于复杂。这种方法不再假定探测器的响应曲线为直线，而是依据实验特性得出其响应曲线，其基于的响应曲线理论模型如下[10]：

式中：,j()和y,j()分别表示时刻第(,)探测元的辐照输入和响应输出；A,j()、B,j()、C,j()、D,j()分别是此探测元响应曲线的参数。

基于式(3)，用不同的定标点得到所有像元的响应参数以此来校正。对图像的评价采用空间NETD，其计算公式如下：

表2给出了不同方法定标后的黑体图像的空间噪声NETD，S曲线方法采用6个定标点，线性最小二乘法采用4个定标点，两点法采用两个定标点，并比对了两组不同定标点时的效果。1DN值对应8.8mK。由表2可以发现，在两点法的定标范围很小的情况下有着很好的效果[11]，但随着可标定范围的扩大，效果下降的很厉害，而S曲线法则在大范围内有着最好的效果。经线性最小二乘法校正后的24°黑体图像如图1所示。

图1(a)为常温黑体的原始红外图像，图1(b)是经过定标黑体校正后的常温定标黑体，图1(c)是校正后的图像直方图拉伸，图1(d)是校正黑体的局部放大。从图1(d)的局部放大上看，经过校正后的黑体图像仍然残余空间条纹噪声，这很大影响了图像空间NETD，下面对这些噪声开展进一步处理。

表2 不同方法定标后的黑体图像的空间噪声NETD

图1 线性最小二乘法法校正后的24°黑体图像

2.2 针对条纹噪声的频域谱线去除滤波方法

针对校正后的图像的空间条纹噪声，本文提出并实施了噪声抑制新方法，理论分析和实验验证表明本方法对图像的空间条纹噪声抑制有较好的处理效果。

红外焦平面器件一般有多路信号输出端口，各个输出端口之间存在信号的不一致性，另外，不同位置的红外探测光敏元对相同红外辐射也会产生不同的输出信号，最终使得红外图像内出现一种类似于条纹状的非均匀性高频噪声。一种常用的方式是矩匹配方法[12]，利图像统计数据计算每个像元的增益和偏移量（本文后续所说DN值均指最终数字图像的具体数值）如下式：

式中：DN为相对定标后的像元DN值；DN0为探测器原始件采集的DN值；为像元的标准差；为整个列平均标准差；P为像元采集到的数据的平均值；P为整个列数据的平均值。

该方法没有从该类噪声产生的机制上去考虑噪声来源并加以抑制，并且要求图像中地物类型单一，另外，这些方法一定程度上是会导致图像质量变差，丢失图像有效信息的。

条纹噪声具有一定的周期性，尤其是采样时序不变的系统，依据该图像的频谱特性，可以采用傅里叶变换提取噪声并加以抑制[13]。快速傅里叶变换（FFT)表达式如下：

一般的傅里叶变换滤波方法[13]在频域空间构造一个滤波器直接在二维图像上用高频滤波器滤去噪声，这往往造成了红外图像高频信息丢失。焦平面的输出从某种意义上看其实是一种一维信号，相当于按照不同输出路数按时间先后读出不同的像元，所以在将这些像元排列为二维图像时会产生明暗的条纹噪声。此噪声的频率与焦平面的读出电路的个数紧密相关。本文提出的方法将红外系统焦平面组件的输出等效看成是一种一维信息，按照不同输出路数（共4路）按时间先后输出不同的像元（不同的焦平面可能有个数不同的输出端口，也会产生周期不同的条纹噪声）。所以这些像元排列为二维图像时会产生明暗的条纹噪声。

因此提出图像的像元依焦平面1、2、3、4路输出的顺序按时间先后排列成一维数列，之后经过FFT变换，将FFT的谱线中以4为周期和以160，320为周期的谱线置0（这些点的谱线值过高，意味着存在着以这些值为频率的周期信号），最后得到的数据再反变换即可得到消除条纹的图像。

以320×256的四路输出端口的焦平面为例，将图像的像元依焦平面1、2、3、4路输出的顺序按时间先后排列成一维，之后经行FFT变换，将FFT的谱线中以4、160、320为周期的谱线置0，最后得到的数据再反变换即可得到消除条纹的图像方法原理如图2。

同时，对于实际红外拍摄图像的时候，图像本身可能含有这几个频率的谱线，但实际图像中，不会有如此整数的强烈谱线，这几根特殊谱线的幅值与其相邻谱线的值基本相似。为此可以考虑将原本置0的谱线用左右相邻的谱线强度的平均值代替。

图2 320×256焦平面上的四路输出端口简图

2.3 实验室黑体图像和实际景物图像验证

以经过非均匀校正后的24°黑体红外图像为实验数据，对比传统的基于矩匹配的方法。为了更客观地对本文算法进行评价，以图像剩余非均匀性，图像RMS噪声以及空间NETD为依据对图像处理效果进行评价，剩余非均匀性，均方差以及NETD越低，则表示图像的质量越好。实验结果如图3、表3所示。

图3(a)是经过最小二乘法非均匀性校正后的黑体图像局部放大，可以明显地看到其中存在的带状条纹，全帧图像RMS噪声为2.9967，空间NETD为26.1mK。图3(b)是传统方法处理后的结果，可以看到带状条纹噪声减弱了，图像RMS噪声变为2.889，空间NETD为25.16mK。图3(c)是本文方法处理后的结果，带状条纹几乎已不见了，图像RMS噪声变为2.2485，空间NETD为19.58mK。图4给出了原黑体校正图像与本文方法处理后图像其谱线变化的对比。图中轴为谱线频率，250处就是代表4个像元周期的条纹。

图3 黑体图像中对条纹噪声处理方法的对比

表3 原始图像与不同方法处理结果的比较

算法中FFT设置的采样频率为1000，可以看到有个别谱线幅值过高。因此图中的频率3.137、6.243、250对应的谱线说明在未处理的一维数据中存在着以4、160、320个像元为周期的起伏噪声，反映为二维图像中的条纹噪声。

图4 本文方法处理后的谱线变化

因此从对于黑体图像的去除效果上看，本文的方法相比常用的矩匹配方法更加有效。

同时，为验证对于实际拍摄的图像效果，校正后的红外图像和经过本文方法处理过的图像如图5所示，因为本文使用的是8～11.5mm的长波红外探测器，相较于短波红外探测器，非均匀性要差很多，所以最终图像的噪点较多。

从图5实际图像处理结果中看到，横向条纹得到有效削弱，同时原始图像经过本文方法处理之后的频谱中可以看到，因为频谱是对称的，图中箭头所指的两跟谱线就代表的是原始校正后图像中以4个像元为周期的条纹噪声。同时也可以看到，一般实物图像中的频谱曲线是连续变化的（最中间的一根谱线代表的大于等于采样频率的谱线，且只有一根），而只有这两根噪声谱线是孤立的，所以采用文本所述方法，将这两跟谱线的值用周边的均值代替，可以有效的抑制条纹噪声。同时说明本文的方法对图像本身信息并没有太多的影响，却可以有效削弱条纹噪声。

本方法比起传统的二维滤波或矩匹配的去噪方法，更大限度保留了图像本身信息，对由焦平面输出路数引起的噪声具有更好的去除效果。同时无论焦平面的读出电路如何变化，均可简单的适用本方法，同时由于原始图像只有1根谱线发生了变化，对图像的影响十分微弱。

图5 本文方法实际图像处理效果

3 结论

分析和总结了热红外成像系统中的各种噪声的来源和特点，随着对热红外成像系统探测灵敏度的要求提高，系统空域噪声的存在成了限制系统信噪比的主要因素。对于一般的处理方法，图像的空间条纹噪声依然残留较大，空间NETD依然在25mK以上。本文采用一套像元时间噪声NETD为30mK热红外成像系统，将空间NETD减少到20mK以下，为高灵敏度热红外成像系统进一步实用化提供了一定参考。

在现有系统前提下若想进一步降低空间维度的噪声，标定黑体的均匀性和焦平面自身的非均匀性成了限制因素，一方面标定中可以采取设定更多的定标点来提高校正效果，或者采用数字域TDI技术等，另一方面也认识到进一步发展红外焦平面阵列技术水平，使焦平面组件本身拥有更好的均匀性和噪声特性也是进一步提升探测灵敏度水平的方法。

[1] 熊辉丰. 红外成像系统中全视场的噪声等效温差[J]. 红外与激光工程, 1996, 25(4): 1-5.

XIONG Huifeng. The full field NETD of an infrared imaging system[J]., 1996, 25(4): 1-5.

[2] Dieter Lohrmann, Roy Littleton, Colin Reese, et al.Uncooled long-wave infrared small pixel focal plane array and system challenges[J].,2013, 52(6): 061305.

[3] Shi Rongbao, Chen Yuheng, Zhou Jiankang, Shen Weimin.Radiation Characterization Analysis of Pushbroom Longwave Infrared Imaging Spectrometer[C]//, 2013, 9042: 904217-1.

[4] 王建宇, 王跃明, 李春来. 高光谱成像系统的噪声模型和对辐射灵敏度的影响[J]. 遥感学报, 2010, 14(4): 607-620.

WANG Jianyu, WANG Yueming, LI Chunlai. Noise model of hyperspectral imaging system and influence on radiation sensitivity[J]., 2010, 14(4): 607-620.

[5] Cott L B, D Agostino J A. NVEOD FLIR92 thermal imaging systems performance model[C]//, 1992, 1689: 194-203.

[6] 胡铁力, 冯卓祥, 李旭东, 等. 红外热像仪时间噪声测量技术研究[J]. 红外与激光工程, 2008, 37 (6): 519-522.

HU Tie-li, FENG Zuo-xiang, LI Xu-dong, et al. Modeling and measurement of thermal imager temporal noise[J]., 2008, 37 (6): 519-522.

[7] Eustace L Dereniak, Robert E Sampson. Infrared detectors and focal plane arrays V[C]//, 1998, 3379(4): 206-207.

[8] Pruchnic S J. Standard NETD test procedure for FLIR systems with video outputs[C]//,, 1993:194-205.

[9] 王湘波, 陈小文, 李春来, 等. 制冷型热红外焦平面成像系统数据处理的关键技术[J]. 红外, 2014, 35(5): 7-12.

WANG Xiang-bo, CHEN Xiao-wen, LI Chun-lai, et al. Key techniques of cooled ultra long wave infrared focal plane detector’s image data processing [J]., 2014, 35(5): 7-12.

[10] Yan Shi, Tianxu Zhang, Zhiguo Cao. A new piecewise approach for nonuniformity correction in IRFPA[J]., 2004, 25(6): 959-972.

[11] 杨正兴, 谈新权, 尚小冬. 红外焦平面非均匀性校正算法研究与实现[J]. 红外技术, 2004, 26(3): 11-14.

YANG Zhengxing, TAN Xinquan, SHANG Xiaodong. Study and implementation of IRFPA non-uniformity correction[J]., 2004, 26(3): 11-14.

[12] 刘正军, 王长耀, 王成. 成像光谱仪图像条带噪声去除的改进矩匹配方法[J]. 遥感学报, 2002, 6(4): 279-284.

LIU Zheng-jun, WANG Chang-yao, WANG Cheng. Destriping imaging spectrometer data by an improved moment matching method[J]., 2002, 6(4): 279-284.

[13] 连学强, 丁兴号, 闫敬文, 等. 基于无下采样Contourlet变换的SAR图像去噪[J]. 仪器仪表学报, 2008, 29(3): 512-516.

LIAN Xueqiang, DING Xinghao, YAN Jingwen, et al. SAR image despeckling using nonsubsampled Contourlet transform[J]., 2008, 29(3): 512-516.

A Method for Reducing the Stripe Noise in the Highly Sensitive Thermal Infrared Imaging System

JI Hongzhen，LI Chunlai，JIN Jian，CAO Jiahao，WANG Jianyu

(,,,200083,)

Sensitivity is a key index for high resolution & high sensitivity thermal infrared imaging system.Such noise cannot be removed by any routine NUC algorithm, the IR image after NUC cannot satisfy the demand in any high sensitivity case, because there is still some non-uniform spatial noise in the IR image after NUC. To improve the application effect of the thermal infrared imaging system, the system image noise model was comprehensively analyzed, various methods for inhibiting the image spatial noise after image nonuniformity correction were taken, the actual effect of these methods was verified by the data measured from a series of independently designed refrigerating thermal infrared imaging system, and the NETD caused by the nonuniform noise was reduced from 26mK to 19mK.

thermal infrared imaging system，NUC，stripe noise

TP23

A

1001-8891(2016)09-0747-05

2016-02-24；

2016-03-14.

姬弘桢（1987-），男，博士生，主要从事热红外成像方面的研究。E-mail：18616531461@163.com。

王建宇（1959-），男，博士，博士生导师，研究员，主要从事物理电子学和成像光谱技术等方面的研究。E-mail：jywang@mail.sitp.ac.cn。

国家高技术发展计划（863计划）（2012AA121102）。