红外回扫补偿系统图像退化评价方法的研究

刘大通,刘 洋,刘力双

(北京信息科技大学 仪器科学与光电工程学院,北京 100192,中国)

0 引 言

红外周扫成像系统广泛应用于目标预警、防空探测等领域,其通常采用延迟积分型(time delay integration,TDI)线阵探测器配合扫描机构(如周扫转台)实现成像,但线阵探测器扫描成像时,像元与目标驻留时间短,造成灵敏度不高、探测距离有限。因此面阵回扫补偿型周扫结构成为目前研究的主要方向。

回扫补偿通过面阵探测器与摆镜配合,利用摆镜在积分时间内对转台运动进行反向补偿,从而消除积分时间内的运动模糊。通过提升探测器的积分时间,有效提升系统探测距离。在此过程中转台、摆镜摆速的均匀性及成像光学系统在回扫期间内主光线偏移所造成的额外相差,都会导致所采集的图像存在不同程度的退化。目前,对图像退化程度的量化评价主要采用平行光管配合黑体,通过测量传递函数等方式进行测量及评价。因此只能在实验室通过专用设备进行,而周扫设备大都应用于海上、边境等恶劣环境,为此本文作者提出一种基于全参考的回扫补偿图像退化质量评价方法,在不使用外部测量设备的前提下,可实现回扫补偿型红外成像系统的实时在线质量评价及优化。

针对补偿摆镜摆速与转台转速不一致所导致的拍摄图像存在运动模糊的现象,通常使用质量评估算法对失真图像进行评价。传统的全参考质量评估方法有均方误差 (mean square error,MSE)法与峰值信噪比 (peak signal-to-noise ratio,PSNR)[1]法,这两种算法可以较好地表示随机误差所造成的图像失真,但对于结构性的或压缩图像的互相关误差无效。WANG等人[2-4]提出的结构相似性理论(structural similarity,SSIM)评估算法,由于其假设图像各部分区域的重要程度都相同,所以不能与实际结果相一致。参考文献[5]中基于电子稳像[6]技术提出一种灰度投影结构相似度算法。参考文献[7]中提出了将边缘信息和梯度特征作为图像结构信息的边缘相似度算法和梯度相似度算法。ZHAO等人[8-9]中利用扩展的Sobel算子代替了传统的梯度算子以获取更为准确的图像梯度信息。SESHADRINATHAN等人[10-14]提出基于图像梯度特征和相位一致性的特征相似度测量算法,但该算法对于图像边缘失真的梯度信息变化不敏感。

根据以上所提方法的不足,本文作者在SSIM算法思想的基础上,针对回扫补偿型红外成像系统的特点,提取出有效衡量图像失真变化程度的梯度特征,计算出图像的梯度相似度,最终为回扫补偿型红外成像系统提供一种新的实时在线图像质量评价算法。

1 回扫补偿型红外成像系统

红外成像系统在稳定平台下随着转台的运动进行周视扫描,实现方位角360°大视场监测,当红外成像系统连续扫描未补偿时,红外相机所拍摄的图像存在严重的拖尾现象。回扫补偿型红外成像系统可以在分辨率没有明显降低的情况下实现对视场内的目标检测[15]。

根据摆镜所处位置不同,回扫补偿结构一般分为物方扫描与像方扫描两种基本结构[16]。物方扫描结构中的摆镜位于光学系统前方[17],因此结构简单,对光学系统成像无影响,但由于光学系统口径受摆镜镜片尺寸限制,只能应用在焦距较短、视场较大的系统中;而像方扫描结构中摆镜位于前置望远系统及2次成像物镜之间,由于可使用前置的望远系统来压缩光束的口径,因此通常应用在长焦系统中,但此类系统结构复杂,摆镜扫描角度高,扫描过程对主光线入射角度变化较大[18-19]。两种回扫补偿结构示意图如图1所示。

图1 两种回扫补偿结构Fig.1 Two retrace compensation structures

由两种类型的回扫补偿结构示意图可知,红外成像系统转台的转速为ω,在物方扫描下,需要补偿的反向摆镜摆速ω1为ω/2;在像方扫描下,望远镜放大倍率为K,需要补偿的反向摆镜摆速ω2为Kω/2。

探测器随方位转台进行匀速扫描时,场景图像f(x,y)在探测器上的结果为:

(1)

式中:T为探测器积分时间;n(x,y)为探测器和电路噪声总和;x0(t)表示运动时间变化参数,周扫转台匀速扫描成像时:

(2)

式中:D为像移,可以通过探测器积分时间和转台转速的关系来确定。

红外成像系统在方位转台上进行周扫成像时,红外相机与实际场景之间的相对运动会造成图像一定程度的拖尾像移[20]。针对此问题,通过摆镜回扫补偿的方式可大幅提高成像质量[21],而对于成像后的红外图像质量评价则必不可少,通常利用质量评价算法对其成像质量进行评估。

2 基于梯度相似度的图像质量评价方法

通过回扫补偿型红外成像原理可知,回扫补偿系统图像退化的主要原因是周扫系统成像过程中红外相机与实际场景之间的相对运动造成图像的边缘失真[21],为此本文中分析了两种常用的图像质量评价方法,并对其在红外回扫补偿系统图像评价方面的性能指标进行分析及测试。

2.1 SSIM算法的基本原理

SSIM算法是通过计算原始图像与失真图像之间的亮度、对比度及结构度之间的差异来对失真图像进行质量评价,相比一般的全参考质量评估算法更加符合人眼视觉系统的判断。计算过程如图2所示。

图2 SSIM算法原理框图[2]Fig.2 Block diagram of SSIM algorithm[2]

由原理图可知,SSIM算法主要分为3个过程。首先计算参考图像和失真图像的亮度信号和对比度信号,然后通过亮度、对比度及结构三通道来计算二者相对应的比较函数,最后将计算出的3种比较函数的值进行合并,得到结构相似性的值[2]。其计算公式为:

VSSIM(r,d)=[l(r,d)]α·

[c(r,d)]β·[s(r,d)]γ

(3)

式中:r代表参考图像;d代表失真图像;l(r,d)、c(r,d)、s(r,d)分别表示二者间的亮度、对比度及结构3种比较函数;α、β和γ为大于0的3个权重参数,使用这3个参数调整3种比较函数在整个公式中的权重。3种比较函数的计算公式如下所示:

(4)

(5)

(6)

式中:μr和μd表示r和d二者的均值;σr和σd代表二者的标准差;σr,d代表二者之间的协方差;C1,C2,C3为常数。

SSIM算法比均方误差、峰值信噪比等方法具有更好的评价性能,在很多方面都得到了广泛的应用,但SSIM方法有两个明显的缺点:一是SSIM算法只是根据图像的均值和方差来评价图像质量,没有考虑到梯度等包含图像结构信息的边缘纹理特征,使得SSIM算法不能很好地区分由于运动失真引起的不同模糊程度的红外周扫图像;二是失真红外图像尽管边缘模糊,但相对于参考图像来说,整幅图像的亮度、对比度和整体结构并没有太多的降质。因此,本文中提出将图像梯度信息加入SSIM算法,从而获得对运动模糊图像更为准确的评价。

2.2 基于梯度特征的结构相似度

由于图像纹理和边缘特征是图像结构中最为关键的信息,采用梯度特征可以很好地表示图像边缘纹理的变化程度,本文中提出将梯度信息加入SSIM算法,从而获得对运动模糊红外图像的更为准确的质量评价。图像梯度幅值计算方式为:

(7)

式中:G(i,j)表示图像在点(i,j)处的梯度幅值;Gh(i,j)、Gv(i,j)分别表示水平和垂直方向上的梯度分量,当G(i,j)≠0时,表明在该点处存在梯度变化,G(i,j)值越大,该点处存在越清晰的边缘信息。

如图3所示,本文中采用Sobel梯度算子分别对原始图像与失真图像的梯度特征进行提取,进而得到原始图像r和失真图像d所对应的梯度图像r′和d′。图像梯度对比度可定义为:

图3 Sobel梯度算子[7]Fig.3 Sobel gradient operator[7]

(8)

图像梯度相关系数可定义为:

(9)

式中:σr′、σd′分别表示r′和d′的标准差;σr′,d′表示r′和d′的协方差;常数C2、C3避免分母为零的情况。将SSIM算法中的对比度函数c(r,d)和结构函数s(r,d)替换为式(8)、式(9),从而得到梯度相似度(gradient similarity,GSIM)算法模型:

VGSIM(r,d)=[l(r,d)]α·

[Cg(r,d)]β·[Sg(r,d)]γ

(10)

整幅图像的梯度相似度可通过各子图像块的梯度相似度均值(mean gradient similarty,MGSIM)得出:

(11)

式中:M为子图像块的数量。

3 实验结果分析及比较

为验证图像质量评估算法的有效性,本文中实验分为两部分:第一部分采用图像与视频工程实验室(laboratory for image &video engineering,LIVE)图像质量评价数据库进行实验;第二部分利用实验室回扫补偿型红外成像系统所拍摄的红外图像数据库进行实验。

3.1 标准数据库图像质量评价实验

在像移变化、像旋不变的运动模糊图像实验中,对原始参考图像加入像移D变化范围(5 pixel～55 pixel)、像旋角度θ=5°的运动模糊核,利用MSE、PSNR、SSIM以及MGSIM 4种算法对不同运动模糊程度的图像进行质量评估。参考图像及其不同运动程度的失真图像如图4所示。

图4 原始图像及其不同程度的运动模糊图像Fig.4 Original image and its different degrees of motion blur images

利用上述4种算法对像移变化、像旋角度为定值5°的运动模糊图像进行评价,其结果如表1所示。

表1 图4中不同运动模糊程度图像质量评估结果Table 1 Image quality evaluation results of different degrees of motion blur in Fig.4

从表1可以看出,随着图像像移距离的增加,图像越来越模糊时,MSE的值逐渐增大,PSNR、SSIM、MGSIM的值逐渐减小。4种算法的评价结果与人眼视觉系统感知基本一致。

由图5可以看出,当像移距离由小到大变化,即图像越来越模糊时,SSIM算法与MGSIM算法二者的图像质量评价值都呈现逐渐下降趋势,但二者的变化程度有着显著差异,SSIM算法的图像评价值由0.882下降至0.634,而MGSIM算法的评价值由0.846下降至0.262,由此可知,MGSIM算法的评价值变化更加明显,对不同运动状态的图像表现出更好的灵敏度,这表明梯度相似度算法对于不同运动状态的失真图像的质量评价更为优越。

图5 图4中不同运动模糊程度下的评价值的曲线Fig.5 Curves of evaluation values under different degrees of motion blur in Fig.4

3.2 红外周扫图像质量评价实验

红外图像实验使用周扫转台搭载的分辨率为1280 pixel×1024 pixel、像方扫描、焦距150 mm的非制冷红外相机静止拍摄的图像作为参考图像,采用周扫转台不同转台转速和摆镜摆速下的5幅不同模糊程度的图像作为对比,其中,图6a为周扫转台静止拍摄的参考图像;图6b～图6e为周扫转台以85.045 °/s的转速、摆镜摆速分别为95 °/s、98 °/s、100 °/s、105 °/s的周扫图像;图6f转台转速为92.370 °/s、摆镜摆速(110°/s)下的周扫图像。

图6 不同运动模糊程度的红外周扫图像Fig.6 Infrared scan images with different degrees of motion blur

利用MSE、PSNR、SSIM以及本文中MGSIM算法这4种方法对上述周扫图像进行质量评估,其结果如表2所示。

表2 图6中不同运动模糊程度的红外周扫图像质量评估结果Table 2 Evaluation results of infrared scan image quality with different degrees of motion blur in Fig.6

从表2可以看出,图6d与参考图像最为接近,4种方法均能正确反映图6d的质量评价结果;图6f失真最为明显,MSE、PSNR、SSIM 方法并不能很好地区别不同运动模糊程度的红外图像;而本文中MGSIM算法较为准确地反映出红外运动模糊图像变化过程。

以往的评价方法主要采用平行光管测试传递函数的方式,该方法可以获得绝对系统的评价参数,但这需要专用设备。像质评价主要用于优化周扫系统摆扫速度,使成像质量最优,因此采用相对评价参数并寻找最优参数也可同样实现该目的。本文中所采用的图像评价方法主要用于摆镜回扫速度的优化,因此采用的是相对评价参数,目的是寻找各摆扫速度下图像质量的最优值。由图7可以看出,SSIM方法对于不同运动状态下的红外周扫图像质量评价结果区分度不高,对摆扫速度变化较小的红外周扫图像并不能准确评估。而本文中MGSIM算法在评价过程中考虑了梯度信息对图像质量变化的影响,对于不同运动状态的周扫图像更为敏感,与人眼视觉系统具有较高的一致性,更加准确地反映出红外周扫图像的质量评价结果。

图7 图6中不同运动模糊程度下红外周扫图像的评价曲线Fig.7 Evaluation curves of infrared scan images under different degrees of motion blur in Fig.6

4 结 论

针对回扫补偿型红外成像系统图像退化程度在线评价问题,提出了梯度相似度的质量评估算法。该算法以分块结构相似度思想为基础,通过Sobel梯度算子获得能有效度量图像中失真程度的梯度特征,使用梯度特征替代SSIM算法中的对比度和结构两个部分,最终计算各子图像块的梯度相似度均值,从而获得整幅图像的梯度相似度。MGSIM算法对红外周扫图像的质量评价从0.700下降至0.543,实验结果表明,本文中所提出的方法对红外周扫图像的退化程度敏感性更高,可作为实时在线周扫图像优化系统的一种有效评价手段。