热像仪暗角补偿研究

粟宇路，杨 波，夏 菲，苏 兰，苏俊波，刘传明，陈大乾



热像仪暗角补偿研究

粟宇路1，杨 波1，夏 菲2，苏 兰1，苏俊波1，刘传明1，陈大乾1

（1. 昆明物理研究所，云南 昆明 650223；2. 国网辽阳供电公司 信息通信分公司，辽宁 111000）

针对热像仪普遍存在的暗角噪声进行了分析，提出了一种基于参考辐射源进行暗角噪声补偿的方法。探讨了传统非均匀性校正方法对暗角噪声进行补偿的优劣性，并提出了一种改进的神经网络校正算法。基于Retinex理论提出了一种基于单帧图像快速去除暗角噪声的方法，实验结果表明，该算法可以有效去除暗角噪声。

热像仪；暗角噪声；非均匀性校正

0 引言

随着凝视型红外焦平面技术的发展，红外热像仪被越来越多地应用到军事、医疗、安防、农业、工业等领域。同时，人们对红外热像仪功能、性能需求的提升也促使红外热像仪不仅探测器阵列分辨率越来越高（像元数越来越多、像元尺寸则越来越小），而且其系统结构也越来越复杂（光学系统越来越复杂）。红外热像仪系统响应非均匀性校正一直是红外热像仪研究的热点问题之一，伴随着热像仪功能、性能的提升，红外系统响应非均匀性问题也越来越突出，难以解决。红外热像仪系统响应非均匀性产生的三大来源是光学系统、探测器、后处理电路。对于整个热像仪系统，经过一次基于参考辐射源的校正通常可以很好地补偿光学系统、探测器和后处理电路共同引入的系统响应非均匀性缺陷。但随着热像仪视场切换、调焦以及环境温度、冲击振动等因素的影响，光学系统引入的非均匀性会呈现明显变化，导致热像仪输出图像经常会出现画面中心亮、边缘及四角暗的现象——暗角。暗角其实就是热像仪光学系统引入非均匀性未得到有效补偿所导致的结果，是一种特殊的光学系统引入噪声。

本文针对暗角噪声现象及其产生原因进行了分析，提出了基于参考辐射源的暗角噪声补偿方法，采用了传统热像仪系统响应非均匀性校正算法对暗角噪声进行补偿，改进了神经网络校正算法，并提出了一种基于单帧图像快速去除暗角噪声的方法。

1 暗角分析

1.1 暗角表象

未经过校正的热像仪输出图像一般都会出现不同程度的中心亮、周围暗的现象，如图1所示，这种现象称为暗角。其中，图1(a)为国产640×512制冷型中波热像仪对55℃均匀辐射黑体成像输出的未经校正的本底图像；图1(b)为黑体辐射出的中波红外能量进入光学系统最终到达像面，探测器对其响应的二维能量强弱分布；图1(c)为探测器接收入射二维中波红外能量分布的等能线。

排除红外探测器自身响应非均匀性和后续电路引入噪声的影响，从探测器响应能量分布的趋势可以看出，进入光学系统最终到达探测器（像面）的红外能量呈现以光轴为中心，向探测器边缘由强至弱的渐变分布过程。

1.2 暗角产生原因

暗角的产生主要源于光学系统孔径光阑大小、视场大小等因素的限制，如图2所示。为了简明阐释暗角产生原理，图中对整个光学系统进行了简化，物面中心与光轴重合，物面中心点B发出的所有进入光学系统的光线（介于B1和B2之间所有光线）后均能达到像面形成像点B’，而位于物面边缘的A、B两点发出的进入光学系统的光线则都存在部分光线被遮挡，无法到达像面。以物面边缘点A为例，A点发出三条光线，分别为通过光学系统上边缘的边缘光线A1，通过光学系统中心的中心光线A2，通过光学系统下边缘的边缘光线A3。上边缘光线A1和中心光线A2都能顺利通过光学系统，并会聚于像面A’点，而下边缘光线A3则被孔径光阑的下边缘遮挡，无法到达像面。事实上，A点发出的进入光学系统靠近下边缘光线A3的光线均被孔径光阑遮挡。因此，像点A’只会聚了物点A发出进入光学系统的部分光线，其会聚的红外光能量较少；像点B’则会聚了物点B发出进入光学系统的全部光线，其会聚的红外光能量较多；像面便呈现中心区域亮，边缘区域暗的现象。

2 补偿方法

2.1 构建图像退化模型

首先，我们构建红外场景成像退化模型，如图3所示。场景辐射出红外中波，经过大气传输进入热像仪光学系统，由于受到光学系统结构、材料等因素的限制，只有一部分光线能够到达探测器感光面。探测器将红外光能转换为电信号输出给后续处理电路，后续电路对信号进行放大、滤波等处理，最终用于显示或存储，形成最终的场景成像。

为了简化问题，方便计算，忽略影响热像仪成像退化的次要因素，如红外光在大气中传输引起的能量衰减和受到气流扰动等因素的影响，得到成像退化计算式如式(1)所示：

图2 暗角成因示意图

图3 红外场景成像退化模型

式中：in表示入射红外场景；opt表示光学系统引入的乘性噪声；opt¢表示光学系统引入的加性噪声；sen表示探测器光电转换带来的乘性噪声；sen¢表示探测器引入的加性噪声；cir表示电路引入的乘性噪声；cir¢表示电路引入的加性噪声；out表示热像仪最终输出的退化图像。

对式(1)进行整理，可以得到式(2)：

out＝in×opt×sen×cir＋opt¢×sen×cir＋

sen¢×cir＋cir¢(2)

令mul＝opt×sen×cir，add＝opt¢×sen×cir＋sen¢×cir＋cir¢，则式(2)变为式(3)：

out＝mul×in＋add(3)

由式(3)可以看出，整个热像仪对输入场景的响应呈线性，故而红外场景成像退化模型可以简化如图4所示。

图4 热像仪线性响应模型

热像仪输出退化图像跟场景入射的红外能量成正比，入射能量越强，输出图像响应越强。本文目的是消除光学系统引入的暗角噪声，而输出图像也加入了探测器和电路引入的噪声，因此通过已知的输出图像还原出输入真实场景的估计，就可以将光学系统连同探测器和处理电路引入的噪声一起消除了。

2.2 基于参考辐射源的暗角噪声补偿方法

对式(3)进行变型，求解真实输入场景得到式(4)：

in＝×out＋(4)

式中：＝1/mul，表示增益补偿系数；＝－add/mul，表示偏置补偿系数。

式(4)就是通常用到的热像仪系统响应非均匀性校正模型。我们可以通过采集热像仪对一组高低温黑体的响应数据求解出增益补偿系数和偏置补偿系数，从而实现对整个热像仪输出的校正，这就是两点非均匀性校正法。对于固定视场热像仪两点非均匀性校正法可以很好地对光学系统带来的暗角效应进行校正，但对于多视场热像仪，尤其是连续变倍热像仪则存在应用上的技术瓶颈。我们在某一个确定视场所做的校正参数随着热像仪视场的变化而不再适用。由于存储空间有限，我们难以对连续变倍热像仪的所有视场均进行两点校正并保留校正参数以备调用。

对图3红外场景退化模型的3种退化来源（光学系统、探测器、后处理电路）进行分析可以发现，引起输出图像由中心向边缘由亮变暗现象（暗角）的因素只有光学系统，为了最大限度降低探测器和后处理电路引入噪声影响，可对未加光学系统的热像仪先进行两点校正，并存储相关校正参数以备热像仪调用。然后安装光学镜头，将热像仪对准恒温黑体执行连续视场切换，等间距采集热像仪在变倍过程中的响应数据，每组响应数据对应一个具体的视场位置。由于已对热像仪的探测器和后处理电路噪声进行了校正，因此残留的噪声相对于光学系统对热像仪成像退化的影响可以忽略不计，对于每个视场输出图像式(1)的退化公式可以简化如式(5)所示：

out＝in×opt＋opt¢(5)

采用两点校正法可计算出每个像元的光学系统补偿系数，如式(6)所示：

如上所述，我们获得了各个像元在不同视场下的光学补偿系数，利用所获得的光学补偿系数随视场位置变化的离散数据，采用最小二乘法拟合出补偿系数随视场位置变化而变化的曲线关系，从而可根据视场位置计算出对应的光学补偿系数，完成热像仪不同视场光学系统非均匀性响应的校正。基于参考辐射源的光学系统补偿校正过程如图5所示。

图5 基于参考辐射源的暗角补偿方法

2.3 基于多帧场景图像的暗角噪声补偿方法

利用参考辐射源对光学系统进行标定补偿可以获得较好的补偿效果，但是这种方法所获得的补偿系数难以适应由于温度变化、冲击振动引起的热像仪光学系统通透率的改变。因此，需要寻求一种方法对热像仪光学系统产生的暗角进行实时校正。如前所述，由光学系统引起的暗角属于热像仪响应非均匀性的一种特殊情况，故可以使用普适性的基于场景的热像仪系统响应非均匀性校正方法对暗角进行补偿，典型的方法有恒定统计法、时域高通滤波法、神经网络法。

恒定统计法[1-2]对真实场景分布进行统计学假设，即假设红外探测器各单元对真实场景响应输出信号的统计平均值是恒定的（可设为0），并且各单元对真实场景响应输出信号的统计方差也是相等的[3]（可设为1）。

对式(4)两端求平均和方差，变换整理可得增益系数和偏置系数，如式(7)所示：

式中：(out)表示热像仪各像元输出图像的时域均值；(out)表示热像仪各像元输出图像的时域标准差。

时域高通滤波法[4-5]认为红外图像低频部分主要是探测器单元的响应特性随时间的缓慢变化和探测器内部的1/噪声，高频部分为目标与背景的相对运动。热像仪光学系统引入的暗角实质也是一种低频噪声，因此对红外图像低频部分进行滤波，即可消除光学系统引入的暗角噪声。该算法原理如图6所示，计算如式(8)所示：

图6 时域高通滤波原理

式中：fl()表示第帧红外图像的低通滤波输出；表示预先设定的时间常数。

神经网络法[4]认为相邻像元之间响应相关性较大，可利用相邻像元响应的均值作为该像元对应场景真实值的估计，采用LMS算法更新补偿系数。该算法原理如图7所示，计算如式(9)所示：

图7 神经网络法原理

式中：(－1)表示第－1帧红外图像输出值与真实值估计之差；表示预先设定的步长因子。

由于传统神经网络校正算法真实值估计仅考虑邻域像素的影响，因而难以消除暗角这种低频噪声。本文引入全局偏置系数对真实值估计进行修正，其算法原理如图8所示。

全局偏置系数2的更新计算如式(10)所示：

式中：i,j表示像元坐标；k表示帧序号；表示经过空域和时域低频滤波后的像元灰度值；Sum表示像元总数。

2.4 基于单帧场景图像的暗角噪声快速去除方法

基于场景的热像仪系统响应非均匀性校正算法虽然摆脱了参考辐射源的束缚，可以在不干扰热像仪工作的情况下持续进行暗角补偿，但是这类方法无疑都要求场景移动，对于固定方位监控的热像仪或者场景变化缓慢的情况则不适用。此外，该类算法要达到收敛状态通常要成百甚至上千帧图像序列，难以满足实时性要求较高的特定战场需要。因此，需要寻求一种只用单帧红外图像就可去除暗角噪声的方法。

Edwin Land提出Retinex理论[4]，其认为原始图像是入射光图像和反射率图像的乘积，如式(11)所示，而场景信息与物体表面的反射性质紧密相关。因此，通过消除入射光图像的影响并求出反射率图像可以达到图像增强的目的：

out＝×(11)

式中：表示入射光图像；表示反射率图像。

受此理论启发，结合热像仪输出红外图像暗角噪声（图像中心亮，图像边缘暗）的特点进行分析，不难发现输入的场景信息通过光学系统后产生的这种退化跟场景信息自身的亮度分布没有直接关系，因此推断光学系统引入的暗角退化应该是一种加性噪声，热像仪输出图像为输入场景图像与噪声图像之和，计算如式(12)所示，通过对热像仪输出退化图像out去除暗角噪声图像light，即可求出真实场景的估计图像in：

out＝in＋light(12)

式中：light表示暗角噪声图像，其计算如式(13)所示。

light(,)＝in(,)*Gaus(,) (13)

式中：*表示卷积运算；Gaus(,)为高斯函数，计算如式(14)所示：

3 实验结果及分析

本文以国产1024×1280中波制冷型热像仪输出未经任何校正的场景视频为实验对象，如图9所示，分别采用传统算法、本文改进算法以及本文快速算法进行处理，结果如图10和图11所示。

对实验结果分析，可以看出基于场景的非均匀性校正算法如恒定统计法和时域高通滤波法可以对光学系统引入的暗角噪声得到较好的补偿效果，但这两种方法都需要成百上千帧图像才能使补偿因子收敛从而获得一个较好的效果，且对场景的变化有一定的要求；基于场景的非均匀性校正算法如神经网络法对于暗角噪声这种空域低频噪声则无能为力，究其原因是因为神经网络法以邻域像素值而非全域像素值来估计真实场景值，本文改进的神经网络法则可以较好地补偿暗角噪声；单尺度Retinex算法和本文算法去除暗角噪声均只依靠单帧图像，不同之处在于单尺度Retinex算法实质将暗角噪声当成一种乘性噪声，而本文算法将暗角噪声当成一种加性噪声，从处理结果来看，本文算法处理的结果明显优于单尺度Retinex算法，从而佐证了光学系统引入的暗角噪声更可能是一种加性噪声的结论。

图9 原始图像

Fig.9 Original image

图10 第720帧图像处理结果比较

图11 第1420帧图像处理结果比较

4 结论与展望

本文分析了热像仪产生暗角噪声的原因，提出了一种基于参考辐射源进行暗角噪声补偿的工程应用方法，针对暗角噪声的低频特性，提出了一种改进的神经网络校正算法，并在Retinex理论的基础之上，提出了一种基于单帧图像快速去除暗角噪声的方法，并取得了较好效果，可对工程应用中消除热像仪光学系统引入噪声提供一定的指导意义。

[1] John G. Harris, Yu-Ming Chiang. Nonuniformity Correction of Infrared Image Sequences Using the Constant-Statistics Constraint[J]., 1999, 8(8): 1148-1151.

[2] 季尔优, 顾国华, 陈钱, 等. 双通道分频段恒定统计非均匀性校正算法[J].激光与红外, 2011, 41(4): 474-475.

JI Er-you, Gu Guo-hua, CHEN Qian, et al. Dual channel constant statistic NUC algorithm of separate band[J]., 2011, 41(4):474-475

[3] 许慧慧, 张桂林, 姜瑾. 基于场景的红外探测器非均匀性校正方法的分析[J]. 计算机与数字工程, 2007, 35(9): 27-29.

Xu Huihui, Zhang Guilin, Jiang Jin. Analysis of Scene-based Non-uniformity Correction for IRFPA[J]., 2007, 35(9): 27-29.

[4] Scribner D.A, Sarkady K.A, Caulfield J.T, et al. Nonuniformity correction for staring IR focal place arrays using scene-based techniques[J]., 1990, 1308: 224-233.

[5] 郑瑞红, 陈钱. 基于场景的红外图像非均匀性校正算法的研究[J]. 光电子技术, 2003, 23(4): 242-243.

ZHENG Rui-hong, CHEN Qian. The Research of Scene-based Methods on Infrared Nonuniformity Correction[J]., 2003, 23(4): 242-243.

Research on Thermal Imager Dark-corner Compensation

SU Yulu1，YANG Bo1，XIA Fei2，SU Lan1，SU Junbo1，LIU Chuanming1，CHEN Daqian1

(1.,650223,; 2.,111000,)

A dark-corner compensation method based on reference source is proposed in this paper, following the analysis of the multi-view thermal imager dark-corner noise. The superiority-inferiority of NUC algorithm is discussed based on multi-frame images to solve the problem of the dark-corner noise, and improve the NUC algorithm based on neural network.A fast algorithm of removing dark-corner noise based on single frame image is also introduced in this paper. The experimental results show that the proposed algorithm can remove dark-corner noise effectively.

thermal imager，dark-corner noise，NUC

TN219

A

1001-8891(2017)03-0226-06

2016-09-28；

2017-01-08.

粟宇路（1987-），男，湖南怀化人，工程师，研究方向为红外系统成像及图像信息处理。