制冷焦平面高动态范围热成像非均匀校正系数与积分时间的关系

顿雄，范永杰，2，金伟其，王霞

(1. 北京理工大学 光电学院，北京100081;2. 昆明理工大学 理学院，云南 昆明650504)

0 引言

热成像技术利用景物自身辐射差异获取图像细节，由于具有隐蔽性好、抗干扰能力强、可全天候工作等优点，在军事、商业、医疗、航空航天等领域有着广泛的应用［1］。目前，针对目标景物辐射变化范围大，强辐射和极弱辐射探测需求多等问题，高动态范围(HDR)成像研究已成为国内外学者研究的热点领域［2-8］。通常，提高热成像动态范围方法主要有调节积分时间［4-7］、细节增强［8］等。其中，积分时间tI控制着探测器积分电容累积光电转换后产生电荷的时间，与探测器最终的输出信号、暗电流噪声等有着直接的关系，是改变红外焦平面阵列(IRFPA)动态范围最有效和直接的方法之一，同时积分时间变化也会引起系统的非均匀性变化［9］。即改变探测器积分时间，会使IRFPA 系统的图像产生新的非均匀性噪声，需要重新进行非均匀校正(NUC)处理。

通常NUC 方法有基于参考源的定标类校正(CBNUC)方法(如单点法［10］、两点法［11］、多点法［12］等)和基于场景的自适应校正(SBNUC)方法(如恒定统计法［13］、神经网络法［14］、高通滤波法［15］等)。两点校正法是能兼顾计算精度和效率的常用方法之一，但两点校正具有增益和偏置两个校正参量，理论上需提供高温和低温目标场景才能实现有效校正。虽然通过预先标定不同积分时间下的NUC 矩阵是目前可用的方法，但对于随着环境温度变化和工作时间而产生非均匀性噪声，预存的校正参数往往偏离预期，难以有效实现NUC，仍需动态NUC 处理。因此，对于通过调整积分时间实现HDR 实时成像的IRFPA 成像系统，提高NUC 参数矩阵的修正速度，对于HDR 热成像系统的实现具有重要的意义。为此，本文拟从IRFPA 响应模型出发，分析热成像系统两点NUC 参数与积分时间之间的关系，为提高HDR 热成像系统NUC 处理速度奠定理论和实验基础。

1 积分时间对非均匀性噪声的影响

为了说明曝光积分时间tI对IRFPA 非均匀性噪声的影响，对实际HgCdTe 中波320 像素×256 像素焦平面热成像系统(噪声等效温差40 mK)进行了实验。

首先在tI= 1.0 ms 的情况下，采集15 ℃和35 ℃面型黑体的图像完成定标，获得两点NUC 的增益和偏置校正参数矩阵。然后，基于这组校正参数，在tI分别为1.0 ms、1.5 ms、2.0 ms、2.5 ms 的条件下，对25 ℃面型黑体图像进行两点校正，得到的校正图像如图1所示。

图1 不同积分时间tI下的黑体图像Fig.1 Images of blackbody at different tI

由图1可见:在与定标相同的积分时间1.0 ms下，图像较为均匀，校正效果良好;随着积分时间的增加，图像中出现的亮点逐渐增多，非均匀性也逐渐恶化，出现中心亮四周暗的情况。实验说明，在调整探测器积分时间时，必须考虑新增非均匀性噪声对热成像系统成像质量的影响。

2 制冷焦平面热成像系统的响应模型

制冷型IRFPA 探测器的输出包括目标景物辐射、系统杂散辐射、探测器暗电流、处理电路偏置、时间噪声等。

依据文献［16］，制冷型IRFPA 探测器的输出电荷Qo(T)(电荷数/s)与目标景物辐射的关系为

式中:η 为探测器的量子效率;Adet为探测单元面积;λ1和λ2分别为探测器响应波段的下界和上界;Mo(λ，T)为光子光谱辐射出射度;ε (λ，T)为景物的光谱比辐射率;F 为成像红外系统的光学系统的F 数;

系统杂散辐射产生的电荷输出与系统环境温度Ts有关，其电荷输出为

式中:S(Ts)为系统杂散辐射函数，与探测器响应和环境温度Ts有关。当Ts和探测器响应状况无变化时，其对每个单元探测器为一个常量。

探测器暗电流Id指无任何辐照时探测器的输出电流，在tI内探测器暗电流产生的电荷数为

假设处理电路的偏置电荷数为Qb，时间噪声电荷数为Qn，则系统的电荷输出为

3 两点NUC 参数与探测器积分时间

由(5)式可得单个探测器单元的电荷输出为

式中:i 为第i 个探测器。

两点NUC 公式为

式中:Yi(T)为第i 个探测器校正后的输出;［gi，bi］为第i 个探测器的增益和偏置校正参数。

两点NUC 中，通过热成像系统分别对高温TH和低温TL的面型黑体成像，可得校正参数:

式中:Y(T)为目标景物温度为T 时焦平面探测器所有单元输出电荷的均值，即

式中:M 和N 分别为探测器的行数和列数。

将(6)式、(7)式、(9)式代入(8)式，可得

可见:在两点NUC 法中，增益校正参数gi与探测器的积分时间tI无关，仅与光学系统及探测器响应(Ai)等相关;偏置校正参数bi除了与Ai有关外，还与积分时间tI、探测器暗电流、系统杂散辐射函数等密切相关。

以上分析也表明:在HDR 焦平面热成像的线性或近似线性响应区域，改变探测器积分时间只影响两点校正法的偏置校正参数，不影响增益校正参数。因此，在完成实验室或出厂基于辐射源的CBNUC之后，热成像系统若希望通过改变探测器的积分时间，来适应HDR 场景成像时，只需对探测器的偏置校正参数矩阵进行修正，即可完成系统的NUC，勿需对增益校正参数矩阵进行校正。

4 实际热成像系统的实验验证

利用上述中波制冷焦平面热成像系统和美国EOI 公司的面型温差黑体源进行验证实验，实验装置如图2所示。

图2 验证热成像系统积分时间与NUC 参数关系的实验装置Fig.2 Experimental setup for the validation of relationship between integral time and NUC parameters

采集热成像系统在0 ms、0.5 ms、1.0 ms、1.5 ms、2.0 ms、2.5 ms 五种积分时间下，温度范围5 ℃～95 ℃、间隔10 ℃的黑体图像。计算图像灰度随积分时间和温度的关系，并绘制成探测器温度响应随积分时间变化曲线图，如图3所示。由图3可以看出，除在探测器响应范围的底部和顶部存在一定非线性外，探测器响应范围的中部线性度较高，近似成一条直线。

图3 探测器温度响应随积分时间变化曲线图Fig.3 Detector temperature responses as a function of tI

进一步按如下步骤进行实验:

1)tI分别为0.5 ms、1.0 ms、1.5 ms、2.0 ms 时，分别获取黑体温度5 ℃、15 ℃、25 ℃、35 ℃、45 ℃的原始图像;

2)tI为1.0 ms 时获取的15 ℃和35 ℃面型黑体图像分别作为低温和高温场景，利用(9)式计算红外系统NUC 的增益和偏置校正参数矩阵;

3)将步骤2 获取的增益校正参数带入(8)式，分别以tI为0.5 ms、1.5 ms、2.0 ms 时15 ℃面型黑体图像，计算对应积分时间下的偏置校正参数;

4)利用步骤2 和步骤3 获得的增益和偏置校正参数分别对0.5 ms、1.5 ms、2.0 ms 对应的5 ℃、25 ℃、45 ℃面型黑体图像进行NUC(简称A 方法);

5)利用各个积分时间时的15 ℃和35 ℃黑体图像，对相应积分时间下的5 ℃、25 ℃、45 ℃面型黑体图像进行两点校正(简称B 方法);

6)利用各个积分时间时的15 ℃面型黑体图像，对相应积分时间时5 ℃、25 ℃、45 ℃的黑体图像进行一点校正(简称C 方法);

7)对各种方法得到的结果进行评价和比较。

依据上述步骤采集并计算了tI分别为0.5 ms、1.5 ms和2.0 ms 时，A 方法、B 方法、C 方法校正前后的图像直方图及其灰度标准差，图4和图5为其中两组图像直方图。表1给出了相应的灰度标准差。

表1 不同tI和黑体温度T 的图像及校正图像标准差Tab.1 Standard deviation of the original and corrected blackbody images with different T and tI

由图4、图5可见:A 方法与B 方法相比，具有近似相同的校正效果，且校正效果优于C 方法，特别是远离校正温度(15 ℃)时，校正图像效果更加明显。这说明在不同积分时间下，系统NUC 增益校正参数没有变化，只校正偏置校正参数是合理可行的，与本文推导的结论一致。由表1还可以看出，当积分时间增加时，B 方法在高温45 ℃时，残留非均匀性的标准差由5 变为了7，而A 方法残留非均匀性的标准差由5 变为了10，且A 方法的标准差均大于B 方法。出现这种现象是由于系统响应的非线性效应，随着积分时间的增加，相同的目标温度区域对应于系统电子势阱的不同区域，使得单元探测器的A1i发生了变化，即实际NUC 增益校正参数发生了变化，若仍然用以前的增益校正参数进行校正，则必然增大其残留非均匀性的标准差。

图4 0.5 ms 时不同温度黑体图像及其校正图像的直方图Fig.4 Histograms of the original and corrected blackbody images with different temperatures and tI =0.5 ms

为了获得对实际场景图像的处理效果比较，进一步分别采集了积分时间为0.5 ms、1.0 ms、1.5 ms、2.0 ms、2.5 ms 的挡板和实际场景原始14 bit 图像;采用基于1.0 ms 时15 ℃和35 ℃黑体图像获得的增益校正参数及相应积分时间下挡板图像生成的偏移校正参数，对实际场景图像进行了NUC 处理，最后将校正后14 bit 图像通过线性方式压缩为8bit 图像，从图6显示的图像很难分辨出这些图像间的差别，这也再次说明同一组增益数据在不同积分时间下应用的可行性。

图5 2.0 ms 时不同温度黑体图像及3 种方法校正后图像直方图Fig.5 Histograms of the original and corrected blackbody images with different temperatures and tI =2.0 ms

图6 增益校正参数不变、只更新偏置校正参数时不同积分时间获取的线性压缩后的实际场景校正图像Fig.6 Linear compression images obtained by different tI and different bias parameters but same gain parameters

5 结论

在复杂战场环境下，各种火焰、干扰弹都会对红外成像制导形成严重干扰，采用不同积分时间的HDR 热成像技术是适应强辐射干扰条件下高性能场景成像的重要手段之一。由于积分时间直接影响IRFPA 的非均匀性，因此，提高动态NUC 速度成为HDR 热成像的关键技术之一。

本文从理论和实验两方面验证了在IRFPA 系统的线性或近似线性响应区域，系统的NUC 增益校正参数与积分时间无关;当调整积分时间时，只需更新NUC 偏置校正参数。目前，在热成像系统的动态NUC 过程中，通过切入均匀挡板的CBNUC 及各种基于场景的SBNUC 算法可方便地实现NUC 偏置校正参数矩阵校正，因此，在HDR 热成像中可以通过预存若干不同环境下的NUC 增益校正参数矩阵，在实际应用中只需通过对偏置参数矩阵的校正，即可实现积分时间变化时的非均匀性动态校正，保证强辐射干扰条件下目标场景的高性能热成像。

References)

［1］Vollmer M，Möllmann K P. Infrared thermal imaging:Fundamentals，research and applications ［M］. Hoboken:John Wiley ＆Sons，2010.

［2］Reinhard E，Heidrich W，Debevec P，et al. High dynamic range imaging:acquisition，display，and image based lighting［M］. San Francisco :Morgan Kaufmann，2010.

［3］Branchitta F，Porta A，Diani M，et al. Dynamic-range compression and contrast enhancement in infrared imaging systems［J］.Optical Engineering，2008，47(7):076401-14.

［4］Nayar S K，Branzoi V. Adaptive dynamic range imaging:Optical control of pixel exposures over space and time［C］// Ninth IEEE International Conference on Computer Vision. Nice:IEEE，2003:1168 -1175.

［5］Kao W C. High dynamic range imaging by fusing multiple raw images and tone reproduction［J］. IEEE Transactions on Consumer Electronics，2008，54(1):10 -15.

［6］Mertens T，Kautz J，Van Reeth F. Exposure fusion:a simple and practical alternative to high dynamic range photography［J］. Computer Graphics Forum，2009，28(1):161 -171.

［7］Caulfield J T，Pettijohn K L，Schlesselmann J D，et al. Multipurpose readout integrated circuit with in cell adaptive nonuniformity correction and enhanced dynamic range:USA，6040568 ［P］.2000-03-21.

［8］金伟其，刘斌，范永杰，等. 红外图像细节增强技术研究进展［J］. 红外与激光工程，2012，40(12):2521 - 2527.JIN Wei-qi，LIU Bin，FAN Yong-jie，et al. Review on infrared image detail enhancement techniques［J］. Infrared and Laser Engineering，2012，40(12):2521 - 2527. (in Chinese)

［9］李福巍，张运强. 积分时间对红外焦平面成像系统的影响［J］.应用光学，2008，29(5):727 -730.LI Fu-wei，ZHANG Yun-qiang. Influence of integration time on IRFPA imaging system ［J］. Journal of Applied Optics，2008，29(5):727 -730. (in Chinese)

［10］Perry D L，Dereniak E L. Linear theory of nonuniformity correction in infrared staring sensors［J］. Optical Engineering，1993，32(8):1854 -1859.

［11］Friedenberg A，Goldblatt I. Nonuniformity two-point linear correction errors in infrared focal plane arrays［J］. Optical Engineering，1998，37(4):1251 -1253.

［12］Zhou H，Lai R，Liu S，et al. New improved non-uniformity correction for infrared focal plane arrays［J］. Optics Communications，2005，245(1):49 -53.

［13］Sui J，Jin W Q，Dong L，et al. A new nonuniformity correction algorithm for infrared line scanners［J］. Proceedings of SPIE，2006，6207:62070Y.

［14］Sui J，Dong L，Jin W Q，et al. A new adaptive nonuniformity correction algorithm for infrared line scanner based on neural networks［J］. Chinese Optics Letters，2007，5(2):74 -76.

［15］Torres S N，Hayat M M. Kalman filtering for adaptive nonuniformity correction in IRFPA［J］. Josa A，2003，20(3):470 -480.

［16］范永杰，金伟其，杨帆. 中波/长波碲镉汞探测器温度响应特性分析［J］.北京理工大学学报，2010，30(5):581 -584.FAN Yong-jie，JIN Wei-qi，YANG Fan. Analysis of MW/LWIR HgCdTe detector temperature responses［J］. Transactions of Beijing Institute of Technology，2010，30(5):581 -584. (in Chinese)