基于场景有序运动的热红外视频去噪方法

杨 暄,王义坤,韩贵丞,蔡能斌,亓洪兴

(1.中国科学院上海技术物理研究所空间主动光电技术重点实验室,上海 200083；2.中国科学院大学,北京 100049；3.上海市现场物证重点实验室，上海 200083)

1 引 言

热红外成像技术可以获得成像场景自身的温度分布特征,在遥感、工业检测等领域具有广泛的应用[1-2]。然而对于场景动态范围较小的一些应用场合,比如海洋搜救中落水人员出现“失温”现象后的搜寻[3]、海洋表面温度研究(Sea Surface Temperature,SST)[4]以及水下目标的热尾流特性分析[5]等都要求尽可能的减少图像噪声,提高系统灵敏度,后续才能有效的进行图像分析与目标判别。因此如何减少噪声,提高热红外图像的信噪比始终是项重要的研究方向。

由于热红外探测器器件与工艺技术的限制,所获取的图像噪声仍然较大,这种噪声可以区分为空间噪声与时间噪声两大类[6]。其空间噪声表现为单帧图像上的非均匀性,目前效果较好的非均匀性校正方法大多依赖于图像间的配准工作[7-8],而在噪声强烈的情况下,图像的配准往往会有较大的误差；时间噪声表现为图像上常规出现的高斯白噪声、泊松噪声等高频随机噪声,并逐步发展了诸如NLM、BM3D、SAIST等基于非局部自相似性(Nonlocal Self-Similarity,NSS)的主流去噪方法[9-11]。近几年有人提出利用低秩矩阵近似(Low-Rank Matrix Approximation,LRMA)的观点进行去噪[12-15],它同样寻找图像中的相似块,在无噪的情况下这些相似块组建的矩阵应当具有低秩特性,而噪声会使这种低秩特性产生退化,因此该方法旨在从退化的观测数据中恢复出潜在的低秩结构,最终达到去噪效果。但所有基于NSS的方法前提是从单帧或相邻帧中获取足够的局部相似块,在噪声强烈的情况下难以获取充分的相似结构,最终导致图像失真。

在许多热成像设备的应用场合中,比如军用或者民用的遥感飞行,在稳定控制机构的作用下其航拍的多帧图像场景往往是沿着一个方向进行有序的单调运动[16],这种有序运动可以作为先验知识引入图像或视频的处理流程中。基于这种考虑,本文提出了一种基于场景有序运动的热红外视频去噪方法,首先利用有序运动的先验知识来构建低秩矩阵近似所需的稳定观测矩阵,并使用恒定统计方法对数据归一化去除空间噪声,再利用核范数最小化的相关优化算法去除时间噪声,最终重构图像序列实现热红外视频去噪。经仿真分析文中方法具有较高的峰值信噪比与去噪鲁棒性,并通过遥感实验测试了方法有效性。

2 去噪方法设计

2.1 低秩矩阵近似去噪原理

Y=X+N

(1)

(2)

(3)

其中,λ是正则化参数;||X||*是矩阵X的核范数,即矩阵的奇异值之和||X||*=∑i|σi(X)|,σi(X)是矩阵X的第i个奇异值。对于式(3)F-范数的NNM模型可以利用奇异值阈值(Singular Value Thresholding,SVT)的方法获得封闭解[19],即:

(4)

其中,Y=UΣVT是对矩阵Y的奇异值分解;Sλ(Σ)代表对角矩阵Σ在可变参数λ下的软阈值函数。即对角矩阵Σ中的每个非零元素σi有:

Sλ(σi)=max(σi-λ,0)

(5)

尽管NNM模型被广泛应用到低秩矩阵近似上,但它仍有一定的不足。式(5)中的每一个奇异值均会缩减相同的阈值λ,而由奇异值分解的先验知识可知,较大的奇异值对应着更主要的投影方向,该奇异值应当缩减较少从而最大化的保留数据主要信息。因此这里使用一种加权核范数最小化(Weighted Nuclear Norm Minimization,WNNM)的非凸优化方法[20],矩阵的加权核范数定义为||X||w*,=∑i|wiσi(X)|,则式(3)改写为:

(6)

当权重系数满足0≤w1≤w2≤…≤wr时,式(6)仍然具有封闭解:

(7)

且:

(8)

其中,c1=σi(Y)-ε,c2=(σi(Y)+ε)2-4C,ε与C为常量。

因此当使用含噪的图像信息来构建具有潜在低秩特性的观测矩阵时,通过上述方法便可以去除数据中的随机分布噪声,进而恢复出图像信息。

2.2 有序运动构建观测矩阵

通过2.1节的分析可知,利用低秩矩阵近似进行去噪的首要一步是构建稳健的观测矩阵,目前基于该理论的去噪方法中这一步同样涉及图像或视频中的非局部相似性问题[21-22],它寻找图像或视频中的相似块,经堆叠并依次展开后组成观测矩阵。如图1(a)所示,连续的多帧图像中具有相似部分,当这些区块的匹配准确时,其构建的观测矩阵经奇异值分解后的奇异值集中在阶次较低的位置如图1(b),因而该矩阵具有低秩特性；而当噪声等原因导致相似块的位置估计出现较大误差时,其观测矩阵的奇异值会分布在阶次更高的位置如图1(c)所示,其低秩特性便无法保证,最终处理后的图像会发生模糊[11],因此构建稳定的观测矩阵是一项重要内容。

图1 连续多帧图像中相似块矩阵的奇异值Fig.1 Singular values of the observed matrix by patches aligned to the sequential frames

在遥感飞行以及巡视监控的这些场合下,场景信息整体的运动速度较慢,与此同时热红外成像设备的曝光频率通常可以满足连续多帧高冗余度的拍摄需要。同理如图2所示,成像设备中的面阵探测器沿某一方向进行有序的匀速运动并连续曝光成像时,那么沿运动方向的各个像元可以视为不同时刻对同一目标场景的重复扫描,将每个像元获取的观测信号作为独立的时间序列,那么这些时间序列也具有很高的冗余性且满足如下关系:

y0(t)=x0(t)+n0(t)

(9)

ym(t)=xm(t)+nm(t)

(10)

x0(t)=xm(t+m·τ)

(11)

其中,m是运动方向上的像元数量;y0(t),y1(t),…,ym(t)是运动方向上不同像元所获取的时间序列信号；x0(t),x1(t),…,xm(t)是不含噪声的真实源信号；n0(t),n1(t),…,nm(t)是独立同分布的随机噪声；t=1,2,…，k为离散的采样时刻；τ是两组序列信号之间的相位延迟,且满足:

τ=(IFOV·Fps)/ω

(12)

其中,IFOV为成像设备的瞬时视场角;Fps为帧频;ω为场景与设备间的相对运动角速度,对于遥感飞行系统即为飞行速高比,对于巡视监控类系统即为运动轴的角速度。

图2 探测器扫描示意图Fig.2 Schematic diagram of detector scanning

因此可以引入运动状态的先验知识,利用相位延迟τ与运动方向上像元的时间序列来构建具有冗余的含噪观测矩阵,如式(13)所示,通过调整参数τ将各个序列的起始点尽量配准,并作为矩阵的行向量。因为这里观测矩阵的构建是由硬件系统状态所保证的,所以避免了强噪声情况下相似块匹配的误差而带来的影响,从而保证观测矩阵的稳健性与潜在低秩特性。

Y=(y0(t),y1(t+τ),…,ym(t+m·τ))Τ

(13)

2.3 观测矩阵的数据归一化

对于红外图像信号而言,除了随机分布的时间噪声还有空间噪声。低秩矩阵近似去噪利用的是期望信号间相似性,对于时间噪声具有良好的去除效果。而空间噪声往往是片状不均匀分布的,某些相邻像元间的响应参数有相似性,因此不均匀的响应特性会隐藏在观测矩阵的有效秩阶次中并破坏低秩结构,因此在观测矩阵构建之前还需要对数据进行归一化,去除空间噪声带来的影响。

通常会认为探测器像元的响应信号与入射光通量在一定范围内服从线性关系,即:

y(t)=ax(t)+b

(14)

在恒定统计的相关模型下,原信号x(t)服从标准正态分布X～N(0,1),在采样时间足够长的情况下,可以获得如下的统计关系[20]:

my=E[y]=E[ax+b]=aE[x]+E[b]

=amx+b=b

(15)

sy=E[|y(t)-my|]=E[|a(x(t)-mx)|]

=asx=a

(16)

其中,my为响应信号的均值;a为响应增益参数;b为响应偏置参数。因此可以统计每个像元所获取信号的均值与方差,通过式(17)进行归一化,消除空间噪声带来的影响:

x(t)=(y(t)-b)/a=(y(t)-my)/sy

(17)

2.4 数据处理流程

通过上述分析,去噪方法的具体流程如图3所示:

1)首先热红外成像设备在平台的匀速扫描下连续曝光获得有序的场景运动视频；

2)根据探测器所有像元的位置,从每一帧中抽取获得对应的时间序列,并通过计算当前系统状态下曝光帧频、瞬时视场角与运动角速度间关系,获得时间序列的相位延迟τ；

3)将沿运动方向像元的时间序列依照式(13)构建观测矩阵；

4)对观测矩阵中所有元素做均一化操作,消除空间噪声；

5)利用奇异值分解与加权核范数最小化方法(WNNM)去除时间噪声；

6)判断当次矩阵数据在欧式距离下的误差是否收敛且下降到阈值,若没有则重复迭代；

7)对垂直于运动方向的每一组时间序列均执行3)到6)的流程,从而对视频中所有数据进行去噪恢复；

8)根据原始图像中像素的位置将优化后矩阵的各个元素重新映射到对应图像中,从而重构每一帧图像,获得去噪后视频。

图3 数据处理流程图Fig.3 Flow chart describing the data processing

3 实验分析

3.1 仿真分析

仿真实验设置如图4所示,为了获取有序运动的红外视频图像,首先取无噪的长画幅红外图像作为参考,使用与图像等宽的滑动窗口从图像的一侧开始移动,每次移动一个像素,并将该窗口内的图像作为视频的一帧,由此模拟场景有序运动过程。

评价标准采用图像去噪领域常用的峰值信噪比(Peak Signal-to-Noise Ratio,PSNR),定义如下:

图4 视频捕获仿真示意图Fig.4 Simulation for video capture

(18)

为更好地验证方法在低信噪比场景下的有效性,本文特意选取信号动态范围较小的低温植被覆盖地区场景,即一张512×1980像素的长画幅无噪热红外图像作为参考,运动方向沿图像长度方向进行,并用上述方法生成300帧512×640像素的视频。这里人为添加不同强度的随机噪声,并将文中方法与目前主流的V-BM4D视频去噪方法进行分析比较。

去噪效果对比如图5(a)～5(d)所示,其中图5(a)为原始视频中的一帧图像；图5(b)为加入噪声后图像,PSNR=25.97 dB；图5(c)是采用V-BM4D去噪后图像,PSNR=36.15 dB；图5(d)是文中方法去噪后图像,其中运动方向的序列数量m=10,相位延迟参数τ=1,经计算PSNR=37.43 dB；图5(e)与图5(f)是两种方法去噪后对应的局部放大图。可以看出采用V-BM4D的视频去噪算法在低动态范围的场景下虽然仍保持了35 dB以上的PSNR值,但出现了较为明显的块状涂抹痕迹；而文中方法获得了更高的PSNR值,且保留了更多图像细节。

图5 两种方法处理后图像去噪效果对比Fig.5 The contrast of denoised image with two methods

图6是两种方法处理后的视频所有帧的平均PSNR值随噪声强度变化曲线。在噪声较小的情况下,两种方法的去噪性能相当,当噪声逐渐增大时文中方法的性能衰减趋势较慢,且仍具有较高的PSNR值,具有一定的算法鲁棒性。

图6 PSNR随噪声强度变化曲线Fig.6 The plot of PSNR with different noise intensity

3.2 海水遥感实验

为验证文中方法的实际去噪效果,于东海海域进行了机载遥感飞行试验。由于海水表面的温度差异很小,热红外成像对噪声的波动会更加敏感,因此该场景下的图像信噪比较低。成像设备主要参数及试验条件如表1所示,根据帧频与飞行速高比基于稳像平台进行连续的曝光成像,此时所有时间序列具有固定的相位延迟,由此获得场景有序运动的热红外视频。

视频中随机抽取两帧的处理前后效果如图7所示。其中，图7(a1)与(a2)是原始图像,由于响应非均匀性以及场景信号动态范围较小的原因,图像中无法得到有效信息；图7(b1)与(b2)是经数据归一化去除盲元与空间噪声后的图像效果,图中空间噪声的非均匀性已经基本上得到消除,然而在场景信息较平坦区域,其时间噪声产生的影响仍十分明显；图7(c1)与(c2)是再经过低秩矩阵近似算法去除时间噪声后的最终效果,可以看出不论是图像中的非均匀性或是随机分布的高频噪声均得到去除,从而实现了热红外视频去噪。

图7 实际遥感数据去噪效果Fig.7 Denoising results on the remote sensing data

4 总 结

由于噪声的影响,在动态范围较小的场景下热红外图像的信噪比往往会低于预期水准,干扰了图像信息的有效使用。而在诸多热红外成像的应用场合比如遥感飞行,其场景会在某一方向产生单调的有序运动。因此本文基于低秩矩阵近似的相关理论,利用场景有序运动这一先验知识来构建稳定的观测矩阵,设计了一种应用于热红外视频的去噪方法。经仿真分析,在强噪声环境下本方法相较于主流的视频去噪算法具有更高的峰值信噪比与降噪鲁棒性,并通过海洋遥感实验数据证明了方法有的效性,从而在红外遥感与巡视监控等领域具有一定应用价值。