基于场景的扫描线非均匀性校正算法

蔡竞晨,许 静,李江勇,刘纪洲

(华北光电技术研究所,北京 100015)

1 引 言

目前线列型红外探测器在军事侦察、导航与制导,预警和跟踪有着广泛应用[1]。由于器件的制造工艺受限,任何一个红外探测器制造完成,就会存在非均匀性,这是红外焦平面的固有属性[2]。

去除非均匀性信息主要有两种方法[3],第一种方法是提高成像探测元的制作工艺,然而目前的工艺水平很难使各探测元的光电响应完全一致,即使在出厂时达到一致,随着使用时间的增长,器件会有一定程度的损耗,导致新的非均匀性信息出现[4]。第二种方法是对带有非均匀性信息的红外图像通过数字图像处理手段,用非均匀性校正方法来去除非均匀性信息;该方法实现起来简单,成本低,不受环境制约,是目前主要的非均匀性校正方法,该方法可被分为基于定标的校正方法和基于场景的非均匀校正方法[5]。

大部分的线列红外探测器都采用基于定标的非均匀性校正算法[6];基于定标的校正方法虽然原理简单、操作方便,但是其假设的线性或者局部线性关系往往与真实的探测器响应模型并不完全符合,而且红外焦平面探测器在连续工作过程中,其工作状态也会发生变化,这也会导致定标法计算出的原校正参数不再适用,原校正参数甚至会降低成像质量,造成图像模糊[7]。

对于线列红外探测器,通过单一的定标校正算法并不能完全将图像校正干净,在图像上甚至仍然会有着扫描线存在。本文针对红外扫描热像仪成像时产生的扫描线提出了一种基于线列探测器的场景校正算法。该算法可以更精确地提取扫描线,避免场景影响,再通过后续补偿算法对特殊场景进行识别、剔除,降低误填率,提升补偿效果,获得更好的成像质量。

2 扫描线非均匀性分析

扫描型红外热像仪成像时对同一目标物体进行多次扫描并将得到的信号积累后输出。图1是线列探测器扫描模型示意图,可以看到热像仪通过扫描每次读取一行像素,后通过寄存器合成最终的成像画面,如图2所示。

图1 线列探测器扫描模型示意图

图2 寄存器模型示意图

通过分析发现,对于线列红外探测器,扫描系统的非均匀性是一维的,即扫描方向上存在的非均匀性尤为明显,这也导致了采用传统两点校正算法校正后仍会出现扫描线。从图3(a)、(b)可以看到扫描线会严重影响红外图像质量,所以需要对线列校正后的图像再进行扫描线补偿。

图3 扫描线场景

传统的扫描线补偿算法一般采用列比较补偿[8]。当原始图像输入时,首先计算4邻域均值组成的比对矩阵。通过计算列之间的差值来求得校正矩阵。最后利用校正矩阵,进行逐行校正。传统的校正算法虽然简单方便,易于实现,但无法准确的识别提取与扫描线平行的线型特殊场景,常常会出现扫描线误判,尤其是对建筑物扫描成像时,常常造成电线衰减或是墙壁窗户的边沿消失的情况。

3 扫描线识别与提取

3.1 认证点判定

传统算法常常无法准确识别扫描线,为了能够更好地识别扫描线,本文算法将图像像素点与其邻域的标准差作为基础识别,通过类标准差对图像的差异信息进行计算,从而改善像素偏差提取功能。在扫描线识别中,扫描线与其邻域存在显著的差异就是扫描线的认证点个数应该充分的多。

为了能更好地识别图像边缘,对图像阶跃性变化进行有效提取,通过大量实验,我们将算法矩阵扩充至1×5大小,便于中心点与四周点差异的有效提取,这样可以更好地识别图像阶跃,从而提取扫描线。在某些特殊环境(如物体边沿,建筑物与填空衔接处,建筑物自身窗框等),像素点灰度数值有时呈现阶跃现象,若利用传统的扫描线识别算法进行检测,极易照成误判,为了解决这一问题,本算法还增加了像素灰度阶跃检测的特殊模块,该部分能对像素灰度阶跃进行检测筛除,对窗口内所有可能的边缘信息及逆行剔除,以此保留图像的边缘细节。

由于本文中所采用的探测器扫描方向为竖直方向,扫描线将以列形态出现。为了方便观察,本文将图片在输出后进行转置,使其符合人眼观察规律。根据当前图像的矩阵的内一个像素进行1×5的水平开窗操作,利用公式(1)计算像素点四邻域均值矩阵,计算窗口各点与矩阵差值,并求出标准差均值矩阵c:

(1)

a是当前红外图像的灰度矩阵;b是以a(i,j)为中心的1×5开窗中与其4个邻域灰度值的均值矩阵;d1(i,j),d2(i,j),d3(i,j),d4(i,j),d5(i,j)是窗口各点与矩阵差值;c是标准差均值矩阵,利用dk(i,j)做标准差,求均值得到。为了能识别扫描线,设定基础识别条件为当像素点邻域均差d1(i,j),d2(i,j),d4(i,j),d5(i,j)均小于c(i,j)的3倍且像素点均值差d3(i,j)大于c(i,j)的2倍,当满足上述条件,则判定为该像素点需要校正。如公式(2)所示:

(2)

通过公式(3)求得的像素点还需要再进行筛选:去除符合阶跃模型的像素点,余下的点才是该列有效的需要校正的像素点,也就是认证点。

在1×5开窗中,若像素点符合阶跃模型,则矩阵边缘至中心点的差值会成阶梯状,且差值均大于阈值Th,如公式(3)～(6)所示。阈值Th通过大量实验后得出。在满足基础识别条件的像素点中,利用四个公式,将符合阶跃模型的像素点剔除,从而求得认证点。

(3)

(4)

(5)

(6)

图4是某建筑物的窗户模型,若利用传统算法识别的像素点如图所5示,图6则是改进的算法模型,白色为识别的像素点。如图4所示,可以看到原算法的判定条件较为单一,误判的像素点过多,且无法过滤掉图像的边缘信息。不仅如此,能明显看到窗户边缘也被错误识别为认证点。如图5所示,本文算法可以有效识别窗户间的扫描线,并规避窗户边缘的信息,很好地识别窗户间的扫描线。

图4 某建筑物窗户红外图像

图5 原算法窗户认证点判定图

图6 改进算法对窗户认证点判定图

3.2 扫描线提取算法

在认证点判定的基础上,通过原理分析可以得到,扫描线应满足如下几个条件:扫描线中认证点数量较多;扫描线中认证点数量符合该列补偿平均值的概率关系;扫描线中所有认证点的补偿标准差较小,即对某一扫描线其与邻域的灰度差异是一个基本固定的值。

在扫描线的判定中,扫描线与其邻域存在最显著的区别是,扫描线的认证点个数应该充分的多。由于在实际红外热像仪成像过程存在多种环境因素,认证点统计结果数量也会随着背景环境变化而不同,随着场景信息的丰富,扫描线认证点与非扫描线认证点数量均呈上升趋势。在进行扫描线判定时,算法采用固定数值法,但是该固定数值会随着真实图像中所有列的认证点数量的平均值f对扫描线判定数值进行实时调整。根据大量实验验证,确定当某列认证点数量大于f的2倍时,认为该列符合扫描线的认证点数量特征。为避免环境等单一因素造成的误判,还需要对f进行下限保护,设定限值。

在较为复杂的环境,某些物体可能符合扫描线与其邻域的差异特征并满足扫描线的认证点数量判别条件(例如砖块,电线等)。这些场景若是被误判成扫描线,并进行补偿,对成像质量会造成极大的影响。经过大量仿真统计可以发现,扫描线在数字响应大时,认证点数量也会随之变多;数字响应小时,认证点数量也少。与砖块电线等边沿场景进行对,边沿场景信息的灰度信息与场景所在的图像列认证点数量无明显概率关系。该类场景的认证点数量主要取决于场景的环境变量,如在实际场景里,电线的认证点数量随电线自身在图片中的长度,方向一致性等因素有关;当电线以探测器扫描的方向笔直的穿过图像时,其认证点数量将达到最高值。但电线与其邻域的差值是由辐射决定而相对固定的。因此可以通过某一列认证点数量与该列列补偿平均值的概率关系判断该列是否为扫描线。

根据大量实验结果,可以发现扫描线认证点统计数量与其补偿值存在如下关系。如图7所示,横坐标是认证点数量,纵坐标为补偿值,黑色点为实际扫描线,灰色则是扫描线近似模型。可以基本认定,当认证点大于512时,该列必然是扫描线。

图7 扫描线补偿数量与其补偿值

4 扫描线补偿算法

4.1 补偿算法设计

传统算法对扫描线补偿的方法是对整列像素使用相邻的两列数据的均值进行补偿,补偿方法与盲元填充的思想类似,这就会导致图像直接丢失该像元信息,从而使得补偿后的图像模糊失真,丢失大量细节(例如单像素线状场景)。

为了可以保留更多的图像信息,对原始算法进行改进:

1)扫描线补偿根据该列标准差δS(1,j)自动选择补偿方式,当δS(1,j)大于阈值时只补偿认证点,反之则进行整行补偿;

当算法对认证点进行邻域补偿时,邻域补偿值为像素点灰度值与1×5矩阵中4邻域均值的差,即像素点补偿值变量s(i,j)。在均匀背景下,4邻域均值具有良好的代表性,但是在复杂背景下,由背景变化剧烈,4邻域均值极容易造成图像背景扭曲等问题;为了能避免4邻域对图像边缘所造成的影响,考虑在复杂背景的情况下,采用2邻域均值作为图片的补偿值。当4邻域均值和2邻域相差过大时,扫描线补偿值采用2均值效果将远好于4均值。经过大量仿真实验,可以发现当差值大于10时,选择2邻域均值可以很好地解决上述问题。

在对扫描线进行认证点补偿时,发现部分扫描线经过补偿后出现点状像素,扫描线校正不完整;图8是某建筑的外墙部分,仅对图片进行认证点补偿后,会出部分点状像素;图像中标记位置出现保留了原扫描线中的非认证点信息,与认证点补偿后的像素点形成图像差异,如图9所示。

图8 某建筑物外墙

图9 仅对认证点补偿后的扫描线

为了能够减少扫描线补偿不充分所带来的影响,考虑设计一个梳状滤波器,用于平滑补偿值保留图像原始信息,改善补偿值引起的图像差异。经过实验,设计好的梳状滤波器可以将补偿值趋近于(1,j),相对于直接使用邻域均值补偿有利于保留图像的高频信息。对补偿值作梳状滤波平滑处理后,可以看到点状像素明显消除不少,如图10所示。

图10 梳状滤波前后对比图

在实际成像中单像素格栅类场景也具备扫描线判断条件,所以原始算法常常对该场景造成误判。通过多次实验仿真可以发现,由于光学的畸变,图像边缘大片的格栅在成像中并不是一条格栅对应着一列像素,单条格栅常常在光学畸变的影响下由直线变为曲线,因此.多条格栅会在同一列像素上交错呈现。在认证点识别中1×5矩阵仍具备差异识别特征,且由于格栅贯穿图像的场景特征和红外辐射特征满足前文的扫描线判断。如图11所示,该建筑物由楼顶的格栅和下部分的玻璃窗户组成,可以看到图片上玻璃窗户上分布着不少的扫描线,如图12所示。这严重影响了成像效果,通过补偿可以看到,扫描线都被很好地补偿了,但是楼顶的格栅经过补偿后边的模糊,故需要对格栅场景进行剔除。

图11 格栅场景原始图像

图12 格栅场景补偿图片

分析格栅的模型特征,可以发现格栅与扫描线相比所在列的标准差相差较大;不仅如此单像素格栅所在列的补偿值时正时负,统计补偿值的正负数数量,发现正负数数量基本平均。因此为避免场景特征等因素引起的列认证点的补偿值标准差较大,综合格栅模型特征,可以采用以下两点作为判断条件,在前文判断的基础上剔除误判扫描线:

1)该列中所有认证点的补偿值标准差大于阈值;

2)该列中灰度差异的符号统计值大于认证点统计量的二分之一。

阈值通过大量实验求得,调整后的格栅补偿如图13所示,可以看到格栅场景类型很好地从扫描线补偿的过程中剔除,且对其他场景不会造成影响。不仅如此,扫描线也被很好地补偿。

图13 楼顶格栅调整后补偿图

4.2 算法补偿结果

为了能更好地验证扫描线补偿的效果,选取多个不同场景进行仿真如图14所示,选择多个场景红外图像(左),仿真加入不同强度的扫描线(中),然后进行校正(右)。图14(a)可以看到校正后的图像与原始图像相比,并没有造成窗户边缘消失与电线衰减的现象。图14(b)则是电线场景的校正图,可以发现校正后的电线与原图基本一致,细节丢失少,这也说明了本文的算法可以很好地对扫描线进行提取补偿,且误判率低。为了能验证复杂背景下,算法的校正效果,对图像14(c)进行仿真,可以看到校正后房子边缘清晰可见,电线并未衰减;房子底部的格栅场景并未被误判成扫描线错误补偿,校正后的格栅场景仍然清晰可见。由此可见算法的补偿效果显著。

(a)扫描线校正结果图

5 结 语

本文提出了一种基于场景的非均匀校正算法,能够有效地校正扫描型红外热像仪成像时出现的扫描线。该算法不仅计算简单,且可以根据场景进行自适应校正,还可以很好地避免窗户,电线等场景的对扫描线识别造成误判,满足热像仪的成像需求。试验结果表明,该算法校正效果显著,能够为后续工程应用提供思路。