基于混合高斯模型的红外图像自适应校正算法

贾俊涛

(洛阳电光设备研究所，河南 洛阳 471023)

引言

由于自身材料和制造工艺水平的限制，红外探测器各探测元间响应的非均匀性较大，严重影响了成像质量，降低了系统的探测和识别距离。更为复杂的是，探测元响应参数会随时间缓慢漂移，使得无法通过单次定标的方法彻底解决非均匀性问题[1-2]。非均匀性校正是指通过信号处理的方法将不同像元的响应特性曲线校正到同一期望输出曲线，根据真实值估计方法的不同，可分为基于定标的校正方法和基于场景的自适应校正方法[3]。基于场景的非均匀性校正算法有神经网络法、时域高通滤波法[4]、恒定统计法[5]、代数校正算法[6]、Kalman滤波法[7]等。时域高通滤波器算法(THPF)具有计算量小、易于实现等优点，已成为新一代红外探测器中集成的标准算法[8]之一。但由于该算法参数更新的盲目性，导致其校正结果极易出现鬼影现象，限制了其应用。本文针对THPF存在的鬼影问题，提出了一种新的基于混合高斯模型的校正算法，新算法选择性地更新校正系数，有效地抑制了鬼影。

1 时域高通滤波校正算法

Harris[9]等人提出了一种基于运动检测(MD-THPF)的鬼影抑制算法，该算法通过设置全局门限判断当前像元对应的场景是否发生运动，只对运动区域进行参数更新。MD-THPF算法抑制了低频场景的干扰，能在一定程度上缓解鬼影问题，但是存在2个不足：一是需要更长的时间才能收敛；二是算法等效于提高了截止频率，偏置值的估计更易受到场景高频分量的影响，校正效果可能比原始算法更差。

本文基于背景建模[10]思想，利用一个混合高斯模型[11]对场景进行建模，只有在像元输出值满足一定条件的时候，才将其更新到校正系数中。校正系数的选择性更新可以有效地防止前景目标被学习到校正系数中，从而抑制了鬼影。

2 基于混合高斯模型的非均匀性校正算法

当红外探测器加非均匀噪声占主导，且工作场景动态范围较小时，探测元的响应可以用一个简单的线性模型描述：

xi,j(n)=yi,j(n)+oi,j(n)

(1)

式中：xi,j(n)为探测元的响应输出值；yi,j(n)为输入的真实场景值；oi,j(n)为像元响应的偏置系数。将像元响应的偏置系数看成是背景，其不受光照条件和背景杂波的干扰，因此用单高斯模型对每个像元的偏置系数进行建模。偏置系数的漂移过程对应着高斯模型的均值变化。

当应用场景较复杂时，如机载红外搜索系统，场景可能长期偏离背景，此时偏置系数较长时间内得不到更新，因此也应对前景进行建模。当前景处于平稳状态时，前景的更新过程也应反映到背景中。算法中用2个高斯分布组成混合模型对前景进行建模，为简化计算假设2个分布的方差相同且为常量，其值可以等于背景方差，也可取经验值。选用2个高斯分布描述前景主要是从有效性和可实现性两方面考虑。

综上所述，算法假设探测元的响应值是由前景和背景(偏置系数)2个分量相加而成，其中前景由2个高斯分布的混合模型表示，背景由单个高斯分布表示。前景建模的目的是在场景长期偏离背景时也能更新校正系数。

产后出血是产科常见并发症,集中发生在产后2h内。引起产后出血的病因,包括子宫收缩乏力、软产道损伤以及胎盘因素、凝血功能障碍,各个原因能够合并存在,也能互为存在,其中以子宫收缩乏力为主[4]。产后出血处理原则:补充血容量、纠正休克、预防感染。相关资料指出,第一以及第二产程期间产妇自身的负性情绪以及滞产均是导致宫缩乏力的主要因素,而第三产程期间胎盘剥离不全导致的子宫收缩以及分娩造成的产道撕裂均会诱发产妇出血。在产后出血预防方面常规护理干预效果并不显著,而助产士通过进行第一、二、三产程以及产后护理可以成功提高产妇产后出血预防效果,提高母婴安全。

背景建模算法需要对背景赋初始值，常用的方法有初始定标法、光学镜头散焦法、时间平均值法和时间中值法等。

基于混合高斯模型的非均匀性校正算法(GMM-NUC)流程如下：

2) 等待新的图像帧。t时刻探测元输出值为Xt。

3) 判断Xt是否为背景。背景的判断准则如下：

(2)

如果为背景，则按如下公式对背景进行更新：

(3)

式中α是学习率参数，取值范围为0～1。同时如果前景分布的计数值大于1，则降低计数值cnti,t=cnti,t-1-1，随后转入流程5)。

4) 判断Xt是否为前景。判别第i个前景的准则如下：

(4)

如果满足条件则按如下公式对第i个前景进行更新：

(5)

判断cnti,t是否大于阈值T，如果大于则表示前景处于长时间平稳状态，其更新过程应反映到背景中，以跟踪探测元的漂移过程。此更新过程如下：

(6)

不满足条件的前景分布保持均值不变，同时计数值减1。

3 实验结果

本节通过仿真和实际的红外序列说明本文所提算法的有效性。对于已知真实值的序列采用峰值信噪比(PSNR)指标进行评价。实验中重点考察算法是否会出现鬼影和目标退化，以及背景更新能力。为忽略算法初始值对性能的影响，用真实的或定标的偏置系数作为背景初始值。实验中主要对比THPF、MD-THPF、GMM-NUC 3种算法的性能。

3.1 仿真的时间序列

基于时域的非均匀性校正算法是基于单个像元的处理模式，仿真单个像元1 000帧时间序列。原始序列如图1(a)所示，在第300帧至第500帧期间均匀背景上叠加了一个目标，此过程仿真了一个运动目标进入场景，静止一段时间后离开场景的情景。探测元偏置系数的漂移过程如图1(b)所示，偏置系数初始值为10，每帧递增0.01。图1(c)是生成的探测元输出仿真序列，该序列包含了目标、时间随机噪声(标准分布的高斯噪声)和参数漂移过程，用于评价校正算法的鬼影抑制能力和参数更新能力。PSNR指标用于评价校正误差，序列期望值作为背景参考。整个序列的平均PSNR为25.41。

图1 仿真的1 000帧序列Fig.1 1 000 frames sequence simulation

原始THPF算法的校正结果如图2(a)，2(b)和2(c)所示。滤波器的时间常数为50。校正结果曲线中第300帧至500帧区间目标逐渐退化至完全消失，第500帧过后目标已经离开场景，但校正结果中仍存在反向的目标鬼影。整个序列THPF算法的平均PSNR为40.67，比未校正序列提高了15 dB。MD-THPF算法的校正结果如图2(d)，2(e)和2(f)所示。滤波器的时间常数为50，运动判决门限为10。校正结果中没有出现鬼影，但校正效果不明显。整个序列校正系数只更新2次，不能及时地跟踪场景的漂移过程，收敛速度慢。校正结果平均PSNR为40.99，因为没有出现目标退化和鬼影，其统计性能略优于THPF算法。

基于混合高斯模型的校正算法中背景标准差为2，前景标准差为5，前景更新的阈值T为10，学习率参数为1。GMM-NUC算法的校正结果如图2(g)，2(h)和2(i)所示。校正结果接近于期望值，没有出现鬼影。算法中背景始终跟随着参数的漂移，背景学习能力较强。整个序列算法均取得了较好的性能，平均PSNR为49.59，比原始未校正序列提高了24 dB。

图2 不同校正算法性能曲线Fig.2 Performance curves of different correction algorithms

3.2 线列探测器红外序列

图3是采集的一帧红外线列探测器输出的原始图像，探测器的扫描方向为从左向右。原始图像的大小为600像素×480像素。

图3 线列探测器原始输出图像Fig.3 Original image output by linear array detector

探测器输出的原始图像受时域噪声的影响较大，图4给出了图像第170行和第440行的响应输出，两行均对应纯背景。第170行图像的最大最小响应差值为16，标准差为3.2。第440行的最大差值为20，标准差为4.1。由于探测元参数的漂移幅度较大，基于定标的单点校正算法无法取得较好的校正效果。

图4 线列探测器行响应输出Fig.4 Line response output by linear detector

对图像每行前20列求均值，将其作为偏置系数的初始定标值。图5给出了相应的实验结果。由于探测元的漂移幅度较大，单次定标的算法无法彻底抑制非均匀性噪声。单点校正结果仍存在明显的横条纹。THPF算法中时间常数为50，算法有效地抑制了原图中的横条纹。但由于THPF算法无选择性地更新背景，场景中的亮目标存在严重拖尾，即鬼影。MD-THPF算法中时间常数也为50，运动判决门限为10。校正结果中没有出现拖尾现象，但由于场景中运动目标较少，算法校正效果不明显。GMM-NUC算法中前景和背景的标准差均为5，前景更新的门限T为10，学习率参数为0.5。由于算法对背景有选择性地更新，既跟踪了背景的漂移过程，又没有把前景亮目标学习到背景中。从实验结果也可看出，基于混合高斯模型的校正算法有效消除了横条纹(非均匀性)，同时又没有出现目标退化和鬼影。

图5 校正结果比较图Fig.5 Comparison chart of correction results

3.3 焦平面探测器红外序列

红外序列来源于一个长波制冷型焦平面阵列探测器，图像分辨率为320像素×240像素，有效数据宽度为14位，序列长度为2 000帧。序列中的场景为背景固定，人随机运动。序列的前100帧镜头散焦，将其时间均值作为校正算法偏置系数的初始值。

图6和图7分别给出了序列第900帧和第1 400帧的校正结果。THPF和MD-THPF算法均存在着目标退化和鬼影现象，严重影响了成像质量。基于混合高斯模型的改进算法较好地解决了参数更新问题，避免了鬼影的出现。

图6 序列第900帧校正结果Fig.6 Correction results of the 900th frame sequence

图7 序列第1 400帧校正结果Fig.7 Correction results of the 1 400th frame sequence

4 结语

传统时域高通滤波算法将非均匀性看成是时间上的低频噪声，通过时域高通滤波器对其进行校正。目标退化和鬼影问题严重影响了算法的性能。本文所提出的基于混合高斯模型的校正算法是一种有选择性的背景更新算法，排除了前景对背景更新的影响。当前景长时间静止时，算法能有效地响应探测元偏置系数的漂移过程。基于混合高斯模型的校正算法既考虑了灰度值本身，又考虑了灰度值的时间差值对参数更新的影响，因此能够更加有效地抑制参数的漂移过程。

[1] Chang Benkang, Cai Yi. Infrared imaging array and system[M]. Beijing:Science Press, 2006.

常本康, 蔡毅. 红外成像阵列与系统[M]. 北京：科学出版社, 2006.

[2] Cheng Yao, Wang Yuhan, Yuan Xianghui. Nonuniformity correction experiment system of pyroelectric IRFPA[J]. Journal of Applied Optics, 2014, 35(1):106-110.

程瑶, 王玉菡, 袁祥辉. 热释电IRFPA非均匀性校正实验系统研究[J]. 应用光学, 2014, 35(1):106-110.

[3] Dong Liquan, Jin Weiqi, Sui Jing. Summarize on the scene-based nonuniformity correction algorithms for IRFPA[C]. USA: SPIE, 2005.

[4] Scribner D, Sarkady K,Kruer M, et al. Adaptive retina-like preprocessing for image detector arrays[J]. IEEE Conference on Neural Network, 1993, 3: 1955-1960.

[5] Harris J G, Chiang Y M.Nonuniformity correction of infrared image sequences using the constant-statistics constraint[J]. IEEE Transactions on Image Processing, 1999, 8(8): 1148-1151.

[6] He Ming, Wang Xinsai, Lu Jianfang, et al. New algebraic scene-based non-uniformity correction in infrared focal plane array[J]. Journal of Applied Optics, 2011, 32(6):1217-1221.

贺明, 王新赛, 路建方,等. 一种新的红外焦平面阵列非均匀性代数校正算法[J]. 应用光学, 2011, 32(6): 1217-1221.

[7] Torres S N, Hayat M M. Kalman filtering for adaptive nonuniformity correction in infrared focal-plane arrays[J]. Journal of the Optical Society of America, 2003, 20(3): 470-480.

[8] Oelmaier W R.Third gen focal plane array IR detection modules at AIM[J]. Infrared Physics & Technology, 2002, 43: 257-263.

[9] Harris J G, Chiang Y M.Minimizing the ghosting artifact in scene-based nonuniformity correction[J]. SPIE, 1998, 3377: 106-113.

[10] Power P W, Schoonees J A.Understanding background mixture models for foreground segmentation[C]. Australia: Proceedings of Image and Vision Computing, 2002.

[11] Cucchiara R,Grana C, Piccardi M, et al. Detecting moving objects, ghosts, and shadows in video streams[J]. IEEE Trans. Pattern Analysis and Machine Intelligence, 2003, 25(10): 1337-1342.