基于黑体标定的红外图像非均匀性校正系统设计

梁　超，马天翔

(中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033)



基于黑体标定的红外图像非均匀性校正系统设计

梁超*，马天翔

(中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033)

为提高某中波红外探测器的图像质量，设计了基于FPGA的红外图像实时处理系统, 系统能够完成实时的非均匀性校正与盲元补偿处理。介绍了目前常用的非均匀性校正、盲元识别和补偿算法，并结合实际工程需求采用多点法进行非均匀性校正以及8点平均法进行盲元补偿。在仿真实验成功的基础上，基于FPGA平台构建了硬件平台。系统可以实现系数自定义更新，可以手动或自动完成非均匀性较正系数计算，以及实现盲元列表的自动更新操作。利用某国产中波红外探测器对处理系统进行了测试试验，实验结果表明：校正后图像非均匀性<0.3%，盲元率<0.001%。系统工作稳定、可靠，图像处理满足实时性和精度要求。

红外探测器；非均匀性校正；盲元补偿

1　引　言

作为红外成像系统的核心器件，红外探测器的性能将直接影响整个系统的成像质量。由红外器件自身物理特性以及工作环境等原因所引起的非均匀性问题是制约红外成像系统性能的最主要因素[1-2]。红外成像非均匀性的来源和成因有很多，探测器各像元响应不一致、1/f噪声、读出电路、光学系统以及环境温度的变化都会导致成像的不均匀[3]。因此，为提高探测器的成像质量与系统的探测性能，必须进行非均匀性校正。

目前业内主流的红外非均匀性校正算法可分为两类：一类是基于黑体辐射定标的非均匀性校正算法，主要包括单点校正、两点法以及多点法；另外一类是基于场景的非均匀性校正算法，主要包括高通滤波法、人工神经网络法、卡尔曼滤波法和恒定统计平均法等。其中，基于场景的非均匀性校正算法大多处于实验室仿真阶段或者在硬件实现上存在一定的问题，并且算法的环境适应性存在着很大的限制[4-9]。相对而言，基于黑体辐射定标的非均匀性校正算法在其可实现性、实时性以及算法的运算速度等方面更具优势，更适合于硬件实现和工程应用。因此，本文采用多点法完成红外图像的非均匀性校正处理。

采用Xilinx公司生产的Spartan-6系列FPGA芯片XC6SLX150作为主处理器，完成红外图像的接收、实时非均匀性校正处理以及盲元补偿，具有非均匀性较正系数、盲元列表自动更新、多种模式图像输出等功能。经过多次试验验证，系统工作稳定可靠，图像处理效果良好，实时性和处理精度满足需求。

2　总体方案设计

图1为红外图像处理系统的结构示意图。系统主要由图像接收模块、FLASH和SRAM驱动模块、非均匀性校正模块、盲元补偿模块、图像输出模块、系数更新模块以及系统控制模块组成。

图1　图像处理系统原理图 Fig.1　Schematic of image processing system

系统工作的基本原理为：红外探测器输出的图像数据经过图像接收模块后缓存至FPGA的DRAM中，系统控制模块根据当前工作的温度区间选择适用的非均匀性校正系数段，随后非均匀性校正模块从片内DRAM中读取图像数据，从SRAM中读取对应像元的非均匀性较正系数，并进行非均匀性校正处理，将处理结果输出至盲元补偿模块，根据周围8个像元的情况进行盲元补偿，最后将处理后的图像数据进行输出。可通过串口指令选择输出原始图像或处理后图像，在进行系数更新时，通过串口指令控制系统完成相应温度节点图像的存储，待所有温度下的图像都存储完成后，系统开始进行非均匀性校正系数计算和更新操作，同时完成相应温度区间内的盲元识别。图2为图像处理系统软件工作流程图。

图2　图像处理系统软件工作流程图 Fig.2　Software workflow chart of image processing system

系统各模块设计相对独立，通过调整输入输出模块的图像传输协议即可适用于不同的探测器成像系统中，具有较高的可移植性。

3　系统关键算法设计与实现

3.1多点非均匀性校正算法

红外探测器的像元响应在工作温度范围内线性较好时可将其从低温到高温的响应近似为斜率和偏移量都不同的直线簇，如图3所示。在光照度为φ的条件下，红外探测器中第(i，j)个像元的响应输出为：

(1)

式中，(i，j)是探测器像元对应的坐标，φs是对应像元接收到的光子流，Ri,j和Bi,j分别对应增益量和偏移量。

图3　红外探测器像元响应曲线 Fig.3　Response curves of infrared detector image element

根据式(1)所示，探测器像元在低温和高温黑体辐射条件下的响应分别为：

(2)

(3)

由于每个像元的输出响应曲线都不同，因此在相同的辐射条件下会表现出红外图像的非均匀性。进行非均匀性校正的目的就是将上述直线簇通过改变增益量和偏移量的方式使其重合，最终使探测器各像元在校正温度范围内表现出相同的响应值，如图4所示。

图4　增益校正和偏移校正 Fig.4　Gain correction and offset correction

将高温和低温辐射条件下各像元的响应进行时间和空间平均后可以得到一条期望的响应曲线，如图4(b)所示。该曲线对各像元的原始响应曲线进行增益修正和偏移修正。若设校正后像元输出响应为P，增益量修正系数为G，偏移量修正系数为O，则单个像元进行非均匀性校正后的输出响应如下式：

(4)

(5)

由式(4)、式(5)可计算出探测器各像元的非均匀性校正增益修正系数G和偏移修正系数O，如式(6)、式(7)所示。

(6)

(7)

这样，根据式(6)、式(7)，对探测器像元的原始响应只需要一次乘法运算和一次加法运算即可完成探测器的两点法非均匀性校正[10-13]。

两点校正算法是应用最为普遍的一种非均匀性校正算法，其计算量小、实现简单、实时性和适用性较好，但由于探测器的响应曲线是近似线性，因此其温度适用范围和校正精度存在着一定的矛盾。多点校正法则很好地解决了这个问题，在两点法的基础上增加一部分硬件即可在保证温度适用范围的前提下提高校正精度。多点校正算法是将红外探测器的像元响应曲线按照工作的温度区间近似分为多个线性段的折线，在每个温度区间内采用两点法进行校正。

图5　多点较正算法示意图 Fig.5　Sketch map of multi-point correction algorithm

图5为多点校正算法示意图。其中V为探测器的像元响应，Ф为探测器接收到的辐射通量。将整个探测器的工作温度区间分为3段，每段内的响应曲线可近似为线性，随后可采用两点法进行校正。

根据实际的精度需求，系统采用多点法完成红外图像的非均匀性校正。

3.2实时校正算法的硬件实现

接收到红外探测器输出的图像数据后，系统根据当前工作的温度区间选择相应的校正系数段，在此温度范围内进行两点法非均匀性校正。

如前文所述，图像数据需要一次乘法操作和一次加法操作来完成增益量和偏移量的校正。为了保证图像的实时性，系统采用流水线的工作方式完成图像处理。

由于图像的接收时钟和FPGA内部进行图像处理的时钟相互独立，因此需要先将图像数据送入FIFO缓存，以待后续各个模块采用同步时钟进行处理。

进行非均匀性校正时首先将当前像元对应的增益校正系数G和偏移校正系数O从2片SRAM中读入FPGA，然后与当前的图像数据进行乘法和加法操作，从FIFO中读取16 bit数据需要2个时钟周期，一次乘法操作需要2个时钟周期，而从SRAM中将系数读出并完成地址偏移操作同样需要2个时钟周期。因此，数据读取、系数读入、乘法操作刚好可以按流水线的方式进行工作，而加法操作是不需要耗费额外的时钟周期的[14]。所以，在探测器输出图像数据的2个时钟周期后，即下一拍图像数据送入FPGA时，刚好可以完成当前数据的非均匀性校正操作。非均匀性校正的流水线操作如图6所示。

图6　非均匀性校正的流水线工作 Fig.6　Assembly line work of nonuniformity correction

图7为FPGA内部进行非均匀性校正的前仿真结果。FPGA采用XC6SLX150，编译环境ISE13.3，采用ISIM进行时序仿真。图中截取了20个时钟周期，其中CLK信号为非均匀性校正处理的工作时钟信号，频率为50 MHz；fifo_data_in信号为从FIFO中读出的探测器的图像数据；Mul_pixel信号为进行数据拼接后的16 bit数据；P_A为增益校正系数G；P_B为偏移校正系数O；pixel_data_out_reg信号为进行非均匀性校正处理后的结果。由图7中可以分析出，当前像元完成非均匀性校正处理的时刻刚好是下一像元数据被接收到的时刻。算法处理延时为2个时钟周期即40 ns，能够满足系统的实时性要求。

图7　非均匀性校正时序仿真结果 Fig.7　Simulation result of nonuniformity correction timing sequence

3.3盲元补偿算法的硬件实现

盲元是指探测器像面中由于制造和生产工艺问题导致的响应过高或过低的像元。盲元在成像时表现为极亮或极暗的像素点，将严重影响红外成像系统的成像质量，也为后续的图像处理、目标识别等工作带来了困难[15]。

系统中采用邻域平均法来完成红外探测器的盲元补偿，即在确定盲元位置后，取其周围有效像元响应的平均值作为盲元的替换响应。根据任务需求和硬件实现的复杂程度，有一维平均、二维平均及8点全平均3种盲元补偿方法可选。其中，一维平均法是利用当前盲元左右两个像元的灰度平均值进行补偿，其实时性较好，但对于边界盲元和丛生盲元并不能够很好地进行处理；二维平均法是利用盲元周围上下左右4个有效像元的平均值进行补偿，进行流水处理需要缓存两行图像信息，实时性稍差，但对于边界盲元和丛生盲元的处理相比于一维平均法要合理很多；8点全平均法采用盲元周围全部的8个像元中有效像元的灰度平均值进行补偿，与二维平均值相比，同样需要缓存两行图像信息，但由于引入了更多的有效像元，使得补偿后的盲元响应置信度更高。因此，系统选用8点全平均法进行盲元补偿，其示意图如图8所示。

图8　盲元补偿示意图 Fig.8　Sketch map of blind pixel compensation

在进行盲元补偿处理时，需要建立两个数据缓冲区，一个为320×3的原始响应，另一个为320×2的补偿后响应。首先缓存两行像元的灰度值，在第3行第1个像元数据到来时进行第1行第1个像元的盲元补偿处理。根据盲元列表判定，如果当前像元是盲元，则将周围8个像元的校正后响应带入加法器，移位求平均值，作为盲元的替换响应存入缓冲区；如果不是盲元，则直接将其灰度值存储在替换后缓冲区中。按顺序完成盲元补偿，在当前处理像元之前的像元响应采用替换后缓冲区中的灰度值，当前处理像元之后的像元中如果存在盲元，则盲元响应不参加平均，由剩下的非盲元响应和补偿后响应进行加权平均。通过这种方式，对于周围8个像元中的丛生盲元，采取就近替换的原则，避免了盲元补偿时因丛生盲元而导致的补偿后响应失衡现象。

图9　盲元补偿缓冲区设置示意图 Fig.9　Sketch map of blind pixel compensation buffer setting

两个缓冲区建立示意图如图9所示，8点全平均法盲元补偿需要额外的320×5个字的数据缓冲区，最新的数据将最旧的数据覆盖，采用行指针循环的方式完成盲元补偿的流水线工作。可以分析出，完成盲元补偿输出的像元与最新输入的像元时间上相差两行，由于整个系统的处理都是流水线操作，且各模块采用同样的50 MHz系统时钟。因此，盲元补偿处理所耗费的时钟周期数为320×2×2=1280，处理延时为25.6 μs，满足系统实时性需求。

3.4系数更新模块的设计实现

红外探测器随着工作次数和使用时间的增加，其非均匀性会发生变化，盲元也会增多。因此，需要定期对探测器进行系数标定。

根据前文所述多点法的基本原理，在进行系数标定时，首先控制黑体到达相应的温度，通过串口发送命令告知FPGA，系统会将当前成像数据存储至SRAM中。如此，将所有温度区间的边界温度成像一一进行存储，随后，通过串口发送系数计算指令，系统开始进行非均匀性校正系数计算。

根据非均匀性校正原理，首先从SRAM中读取出各温度下存储的图像数据，并计算出各图像内像元响应的平均灰度值，以此作为多点法中各温度下的理想校正后响应P；随后再从SRAM中将各图像内对应像元数据依次读出，求出其各温度下的平均值，以此作为当前像元在各温度下的典型响应值V，最后根据式(6)、(7)可计算出当前像元在各温度下的非均匀性校正系数，同时可通过比较其原始响应值V来确定出当前像元是否为盲元。如此将所有像元一一进行计算并将结果写入FLASH中，待所有像元数据全部计算并烧写完成后，系统将自动触发一次初始化操作，将新的非均匀性校正系数和盲元列表更新至SRAM中[16]。至此，非均匀性校正系数的更新操作全部完成，图10为系数更新模块的软件工作流程图。

图10　系数更新模块软件工作流程图 Fig.10　Software workflow chart of coefficient update module

系统除具有自动系数更新功能以外，还可根据需要通过串口经FPGA将参数直接写入FLASH进行系数更新。

4　成像试验结果与分析

为了验证系统的实际性能，联合红外探测器和图像采集器在实验室条件下进行了成像实验。

图11为采集器接收到的系统测试图像。实验结果表明，系统图像输出通路工作正常，后端图像接收设备能够稳定、准确的接收到图像数据。

图11　测试图像 Fig.11　Test image

在实验室条件下对均匀辐射的黑体进行成像实验。设置黑体辐射温度40 ℃，图12为红外探测器直接进行成像与经过非均匀性校正和盲元补偿后的成像对比图。

图12　黑体温度40 ℃非均匀性校正前后成像对比图 Fig.12　Comparison of black body image in 40 ℃ before and after nonuniformity correction

图12(a)为探测器输出的原始图像，在均匀黑体辐射条件下，图像中由于探测器非均匀性带来的条纹现象和盲元带来的坏点非常明显，严重降低了图像质量。图12(b)为经过非均匀性校正和盲元补偿处理后的图像，相比于原始图像，条纹状图像噪声及盲元坏点经过处理后已经基本消失，图像整体均匀性得到显著提升。经过计算，校正前图像非均匀性为5%，盲元率为0.06%；校正后图像非均匀性低于0.3%，盲元率低于0.001%，图像质量满足指标需求。

为了比较多点法和两点法校正效果以及8点全平均法和一维、二维平均法盲元补偿的性能差异，在不同条件下分别进行了成像试验。表1为在20～65 ℃时，两点法和多点法的校正效果对比。其中，两点法的校正系数是在15 ℃和70 ℃时计算得到的。

表1　两点法和多点法校正效果对比

由表1可知，相比于两点法，多点法在获得校正系数时更多地考虑了探测器响应的非线性变化，因此在整体温度范围内非均匀性更低，校正效果更好。

表2为采用不同方法进行盲元补偿处理后的盲元残留对比。

表2　3种方法盲元补偿效果对比

一维平均法对于2个以上的丛生盲元处理效果较差，因此其盲元率较高；二维平均法和8点全平均法则通过引入周边像元提升了补偿效果，而8点全平均法中引入的有效像元数更多，因此其补偿效果会更平滑，补偿结果置信度更高[17]。

图13　对实际景物成像非均匀性校正前后对比图 Fig.13　Comparison of actual scene image before and after nonuniformity correction

图13中给出了利用红外探测器对实际目标成像时系统处理前后的对比图。可以看出，经过系统处理后，图像质量得到大幅提升，为后续观测或图像处理提供了便利。

5　结　论

为解决红外探测器的非均匀性与盲元问题，设计了一套基于FPGA的红外图像实时处理系统，采用多点校正法提升了系统的温度适用范围和非均匀性校正精度；采用8点全平均法使盲元补偿的置信度更高。实验结果表明:红外图像实时处理系统能够稳定、准确、高精度的完成红外图像的非均匀性校正和盲元补偿处理，校正后非均匀性低于0.3%，盲元率低于0.001%，图像输出延时小于30 μs，图像处理精度及实时性满足指标需求，系统设计相对独立，具有一定的可移植性。

[1]张一舟，许廷发，刘子伟，等.基于Savitzky-Golay加权拟合的红外图像非均匀性条带校正方法[J].中国光学，2015,8(1)：51-57.

ZHANG Y ZH,XU T F,LIU Z W,etal.. Correction method for stripe nonuniformity in infrared images based on Savitzky-Golay weighted fitting algorithm[J].ChineseOptics,2015,8(1):51-57.(in Chinese)

[2]吴晗平.红外搜索系统[M].北京：国防工业出版社，2013.

WU H P.InfraredSearchSystem[M]. Beijing:National Defense Industry Press,2013.(in Chinese)

[3]李俊山，杨威，张雄美.红外图像处理、分析与融合[M].北京：科学出版社，2009.

LI J SH,YANG W,ZHANG X M.Processing,AnalysisandFusionofInfraredImage[M]. Beijing:Science Press,2009.(in Chinese)

[4]李晓杰,任建伟,李宪圣,等.反射式拼接CCD相机非均匀性定标与校正[J].液晶与显示,2014,29(6):1057-1064.

LI X J,REN J W,LI X SH,etal.. Non-uniformity calibration and correction of reflector-based mosaic CCD camera[J].ChineseJ.LiquidCrystalsandDisplays,2014,29(6):1057-1064.(in Chinese)

[5]王学伟，李珂，王世立.红外焦平面阵列的非均匀性研究[J].激光与红外，2012,42(10)：1131-1134.

WANG X W,LI K ,WANG SH L. Study of non-uniformity in infrared focal plane arrays[J].Laser&Infrared,2012,42(10):1131-1134.(in Chinese)

[6]曲洪丰,王晓东,吕宝林.多通道输出面阵CCD图像非均匀性校正[J].液晶与显示,2012,27(4):569-572.

QU H F,WANG X D,LV B L. Non-uniformity correction of mutiple output area CCD image[J].ChineseJ.LiquidCrystalsandDisplays,2012,27(4):569-572.(in Chinese)

[7]宁永慧，郭永飞.TDICCD拼接相机的像元响应非均匀性校正方法[J].中国光学，2013,6(3)：386-394.

NING Y H,GUO Y F. Correction of pixel response non-uniformity in TDICCD mosaic camera[J].ChineseOptics,2013,6(3):386-394.(in Chinese)

[8]代少升，张天骐.基于非线性响应的红外焦平面阵列非均匀性自适应校正算法[J].光学 精密工程，2008,16(4)：714-719.

DAI SH SH,ZHANG T Q. Adaptive nonuniformity correction algorithm for IRFPA with nonlinear response[J].Opt.PrecisionEng.,2008,16(4): 714-719.(in Chinese)

[9]孙志远，常松涛，朱玮，等.应用内外定标修正实现红外测量系统辐射定标[J].光学 精密工程，2015,23(2)：356-362.

SUN ZH Y,CHANG S T,ZHU W,etal.. Radiation calibration of infrared system by amendment of inner and outer calibrations[J].Opt.PrecisionEng.,2015,23(2): 356-362.(in Chinese)

[10]任婷婷,张智杰.一种基于场景的红外图像非均匀性校正算法[J].光学与光电技术,2014,12(2):136-138.

REN T T,ZHANG ZH J. A scene-based non-uniformity correction algorithm for infrared image[J].Optics&OptoelectronicTechnology,2014,12(2):136-138.(in Chinese)

[11]任建乐，陈钱，顾国华，等.红外焦平面阵列条纹非均匀性校正方法[J].红外与激光工程，2013,42(8)：1987-1990.

REN J Y,CHEN Q,GU G H,etal.. Stripe nonuniformity correction for infrared-focal plane arrays[J].InfraredandLaserEngineering,2013,42(8):1987-1990.(in Chinese)

[12]樊晓清,顾国华,隋修宝,等.红外热像仪与上位机通信系统设计[J].光学与光电技术,2013,11(3):49-53.

FAN X Q,GU G H,SUI X B,etal.. Design of communication system between thermal imager and host computer[J].Optics&OptoelectronicTechnology,2013,11(3):49-53.(in Chinese)

[13]朱瑞飞，王超，魏群，等.红外探测器非均匀性校正系统研制[J].红外与激光工程，2013,42(7)：1669-1673.

ZHU R F,WANG CH,WEI Q,etal.. Manufacture of nonuniformity correction system for infrared detector[J].InfraredandLaserEngineering,2013,42(7):1669-1673.(in Chinese)

[14]李一芒,何昕,魏仲慧.红外预警实时图像处理系统设计与实现[J].液晶与显示,2013,28(1):110-114.

LI Y M,HE X,WEI ZH H. Design and implement of real-time image processing system for IR warning system based on multi-passage[J].ChineseJ.LiquidCrystalsandDisplays,2013,28(1):110-114.(in Chinese)

[15]张晓龙，刘英，王健，等.不同非均匀性校正温度的红外测温技术[J].中国光学，2014，7(1)：150-155.

ZHANG X L,LIU Y,WANG J,etal.. Infrared thermometry technology with different nonuniformity correction temperatures[J].ChineseOptics,2014,7(1):150-155.(in Chinese)

[16]黄战华，杨鹤猛，孙立彬，等.一种基于DSP+CPLD的低功耗实时红外成像系统实现方法[J].光学技术，2012,38(1):14-18.

HUANG ZH H,YANG H M,SUN L B,etal.. An implement method for real-time infrared imaging system with low power consumption based on DSP+CPLD[J].OpticalTechnique,2012,38(1):14-18.(in Chinese)

[17]徐世伟，魏东，王大鹏，等.红外线阵探测器盲元定位与补偿[J].红外与激光工程，2014,43(11)：3621-3626.

XU SH W,WEI D,WANG D P,etal.. Blind pixel detection and compensation for infrared linear detector[J].InfraredandLaserEngineering,2014,43(11):3621-3626.(in Chinese)

Design of infrared imaging nonuniformity correction system based on black body calibration

LIANG Chao*, MA Tian-xiang

(Changchun Institute of Optics,Fine Mechanics and Physics,ChineseAcademyofSciences,Changchun130033,China)*Correspondingauthor,E-mail:liangchao_job@126.com

In order to improve the image quality of certain medium wave infrared detector, a infrared image real-time processing system based on FPGA is designed, which can accomplish nonuniformity correction and blind pixel compensation in real time. Some widely used nonuniformity correction algorithms, blind pixel detection and compensation algorithms are introduced. Combined with actual project requirements, nonuniformity correction with multi-point method and blind pixel compensation with eight-point average method are realized on the FPGA platform on the basis of successful simulation. User-defined coefficient updating, non-correction coefficients manually or automatically calculating and blind pixel lists automatically updating are realized by the system. The processing system is tested using certain domestic medium wave infrared detector, and the result shows that the nonuniformity of corrected image is less than 0.3% and the blind pixel of corrected image is less than 0.001%. The system is stable and reliable, which satisfies the requirements of image processing in real-time and accurancy.

infrared imaging detector;nonuniformity correction;blind pixel compensation

2016-01-19；

2016-02-25

中国科学院国防科技创新基金项目(No.CXJJ-16-S038)

2095-1531(2016)03-0385-09

TN215； TN911.73

A

10.3788/CO.20160903.0385

梁超(1988—)，男，黑龙江七台河人，硕士，研究实习员，2011年、2014年于哈尔滨工程大学分别获得学士、硕士学位，主要从事航空遥感成像系统方面的研究。E-mail：liangchao_job@126.com

Supported by National Defense Science and Technology innovation Fund, Chinese Academy of Sciences(No.CXJJ-16-S038)