视频卫星影像的Bayer插值重建

吴佳奇， 汪韬阳， 彭雨芬， 张过

(1.辽宁工程技术大学测绘与地理科学学院，阜新 123000； 2.武汉大学遥感信息工程学院，武汉 430079； 3.湖北地信科技集团股份有限公司，武汉 430074； 4.武汉大学测绘遥感信息工程国家重点实验室，武汉 430079)

0 引言

随着近年来卫星对地观测技术的突飞猛进，对卫星影像的应用需求已从定期的静态普查向实时动态监测方向发展，利用卫星对全球热点区域和目标进行持续监测，获取动态信息已成为迫切需求。卫星视频可以直接、全面地获取实时动态信息，对遥感应用的新开拓和新发展有着重要意义[1]。UrTheCast公司于2013年底和2014年初将2台相机安置在国际空间站上，其中IRIS相机在世界范围内首次能够获取高清彩色视频，空间分辨率为1.1 m[2]。长光卫星技术有限公司于2015年10月发射商用卫星“吉林一号”视频01和02星，于2017年初再次发射升级改进的视频03星，“吉林一号”视频系列卫星其搭载的高空间分辨率视频相机，在国内首次实现了高清彩色视频影像的获取； 珠海欧比特公司于2017年6月15日发射了2颗视频卫星——OVS1A和OVS1B，同样具备卫星视频拍摄能力[3-4]。卫星的视频相机获取高清彩色视频一般采用Bayer模板[5]的成像方式，在相机成像系统中只采用一个CMOS传感器。相机拍摄时，在每一个像素位置只获取物理三基色(红、绿、蓝)其中一种分量，其他2种颜色被过滤掉。按照这种方式获取的影像是Bayer影像。Bayer影像可以减少三分之二的数据量，节省星上存储资源，减轻星地传输压力。但由于Bayer影像损失彩色信息，必须对其进行插值重建处理，恢复成全彩色影像后才能用于后处理和应用。Bayer插值重建的方法一般分为以下几种： 基本法[6]、波段间相关法[7]、边缘导向法[8-9]、迭代法[10]和滤波法[11]等。一幅影像的细节主要体现在高频区域，高频区域附近存在较大的灰度突变，因此在Bayer插值重建时容易产生误差，导致影像信息流失和失真。但是，高频区域的明显灰度突变情况一般发生在一个方向上(水平、垂直或对角线)，而与灰度突变方向相垂直方向的灰度变化是平滑的(低通)，沿着该方向进行线性插值能够取得高精度的插值结果。边缘导向插值法利用插值像素与邻域、相邻波段的多尺度相关性特性，准确获取影像边缘方向，并沿着边缘方向进行插值，一般具有最好的插值效果和精度，但往往耗时较多[12-13]。滤波法主要利用Bayer影像的频率信息，通过带通滤波分离高、低频信号，或采用滤波器重建全彩色的亮度、色度信号[14]，进而完成Bayer影像插值重建。滤波法主要针对影像频率域的处理，而非像素级，因此具有非常快的运行速度。经典的亮度色度多路分解重建滤波算法(least-squares luma-chroma demultiplexing，LSLCD)[15]利用最小二乘法训练全彩色的标准影像集得到通用的高、低频带通滤波器，然后采用滤波重建彩色信号，该方法效果好且速度快。但训练出的带通滤波器无法适应所有频率情况，且影像都具有一定程度的频谱混淆，在滤波时无法完全区分和提取高、低频信号。尤其针对噪声多的卫星视频影像，容易在边缘附近的低频区域产生拉链和颗粒现象。此外，经典的三步优化插值法(three step demosaicing，TSD)[16]采用带有权值的二阶拉普拉斯算子计算梯度，同时利用梯度差区分高、低频区域和边缘方向进行边缘导向插值，最后采用色差域的中值滤波优化重建结果。该方法能有效提升优化整体插值效果，但高频边缘区域仍不清晰、拉链和伪彩色现象有所残留。

通过对LSLCD和TSD方法研究可以得出，二者存在优势互补的特性。考虑卫星视频影像低频区域分布较多的特点，深入分析LSLCD和TSD的研究思路，本研究提出了一种基于亮度-色度信号滤波重建的边缘导向Bayer插值重建新方法，将LSLCD的信号滤波法与TSD的迭代优化处理和边缘导向方法思路相结合，通过引入低频区域的梯度判断，并进行相应的区域更新优化和边缘导向插值，有效解决了低频区域的拉链和边缘区域插值误差等常见问题，提升了插值重建效果和精度。

1 卫星视频影像Bayer插值重建基本原理

1.1 信号滤波初始重建

全彩色影像可以被分解为亮度和色度信号，而亮度可表示为各分量与其加权系数的加权和[17]，公式为

I(x,y)=L+C，

(1)

(2)

(3)

式中：I为彩色影像；L为彩色影像的亮度；C为色度；p为加权系数；i为三基色(红、绿、蓝)颜色分量，i=1，2，3。

而Bayer影像在每个像素位置只保留一个颜色值，可以被表达为每个颜色分量按照Bayer模板进行降采样的结果，Bayer模板如图1所示。

(a) Bayer彩色模板(b) Bayer红色模板 (c) Bayer绿色模板 (d) Bayer蓝色模板

(4)

(5)

(6)

式中：ICFA(x,y)为Bayer影像；Ii(x,y)为原始影像第i颜色波段；mi(x,y)为正交降采样函数，根据空间位置(x，y)是否出现特定颜色而取值1或0；i和j表示不同基色。令式(4)中，mi(x,y)=pi+m′(x,y)，pi取值与式(3)相同，m′表示均值为0的波动函数，其取值可通过m和p确定。于是，式(4)可变换为

(7)

又根据式(1)和式(4)可以得出，Bayer影像也可被分解为亮度和色度，其中Bayer影像的亮度与全彩色影像的亮度保持一致，因此Bayer影像亮度可用全彩色影像的亮度代替。Bayer影像可被分解为一个亮度信号和2个调制色度信号，得出Bayer模型为

ICFA(x,y)=L+C1(-1)(x+y)+C2[(-1)x-(-1)y]，

(8)

(9)

式中L，C1和C2分别为全彩色影像的一个亮度和2个色度信号。进一步作傅里叶变换为

FICFA(u,v)=FL(u,v)+FC1(u-0.5,v-0.5)+FC2a(u-0.5,v)+FC2b(u,v-0.5)。

(10)

针对信号C1，C2a和C2b设计滤波器为h1，h2a和h2b，色度信号C1分量在空间频率(0.5，0.5)处进行调制，而信号C2a和C2b分量在空间频率(0.5，0)和(0，0.5)处进行调制。滤波设计的基本原则为使得滤波重建的色度信号与原始信号的平方误差最小，其表达式为

(11)

式中：X∈(1,2a,2b)；CX表示对应的色度信号。若已知一张全彩色影像，即可得到对应的CX和ICFA，进而根据式(11)可求得对应的3个滤波器h1，h2a和h2b。为提高滤波器的准确度和普适性，将24张标准柯达影像作为参考进行训练，建立24个方程，从而利用最小二乘方法对滤波器进行平差优化。在平差计算时，滤波尺寸为11×11的结果最好[18]。求得滤波所对应的频率响应如图2所示。

(a) h1(b) h2a(c) h2b

在求得滤波后，可以利用相应的带通滤波器获得Bayer影像的3个色度信号，进而可利用式(8)的Bayer模型重建全彩色影像。

1.2 基于低频区域判断的插值重建

在初始处理中，利用影像的高频色度信息进行重建，信号串扰的影响不能完全避免，导致边缘附近的低频区域容易产生拉链效应。一种推荐的优化方法是TSD方法中的色差空间中值滤波法[16]。由于色差空间的平滑性，该方法可以很好地保留边缘信息、优化插值灰度值，并能去除噪点； 但也由于色差空间的平滑性，对低频区域的精化效果有限。本文在TSD方法的基础上，在绿色更新时，首先通过梯度判断区分高、低频区域，在低频区域采用边缘方向插值，在高频区域采用色差空间中值滤波； 红色(蓝色)更新时，在绿色空间更新优化的基础上，在新的色差空间中结合滤波和方向插值法做进一步优化处理，完成插值重建。

具体根据像素邻域及波段间的高相关性，利用水平、垂直和邻域3个梯度进行低频区域的判断。如图3的Bayer插值模板，数字代表像素位置，R，G和B分别代表该位置为红光、绿光或蓝光波段像素。

图3 Bayer插值模板

以R7位置为例，引入二阶拉普拉斯算子，水平梯度δH2为

δH2=G6-G8+ 2R7-R5-R9,

(12)

式中│ │表示绝对值操作符。垂直梯度δV2为

δV2=G3-G11+ 2R7-R1-R13。

(13)

邻域梯度δHV为

δHV= (G3+G11)/2-(G6+G8)/2+(2×R7+R5+R9)/4-(2×R7+R1+R13)/4 。

(14)

在获得3个梯度基础上，可以利用条件δH2

对绿光波段的R7位置进行更新时，首先进行低频判断，若满足条件，则认为该点处在低频区域，然后通过比较梯度确定插值方向，进行导向插值更新灰度值。

R7位置的绿色灰度更新为

(15)

若低频判断不满足条件，则说明该像素处在非低频区域，按照色差域的中值滤波进行更新，即

G7=R7+med7(G-R)3×3，

(16)

式中med7( )3×3表示3×3窗口中值滤波后位置7处的值；G-R表示绿光波段和红光波段相减得到的色差影像。

绿光波段更新后，可以利用新的绿色空间进一步获得更为准确的新色差影像B-G和R-G。对蓝光波段插值时，需计算图3中的G3，G6和R7这3个位置的像素值。针对蓝光波段的G3位置插值可得

B3=G3+med7(B-G)3×3。

(17)

B6同理于B3。对蓝光波段的R7位置插值时，首先利用求得的B3和B6更新蓝绿色差影像，然后利用新的色差影像的邻域相关性进行方向插值。色差影像的水平梯度δHBG为

δHBG=B6-G6-B8+G8。

(18)

垂直梯度δVBG为

δVBG=B3-G3-B11+G11。

(19)

于是，B7为

(20)

红色更新同理。

综上，本文方法的具体流程如图4所示。

图4 方法流程

首先，通过滤波的方法提取Bayer影像的亮度、色度信号，利用Bayer模型式(8)得到插值重建的初始结果； 然后，在绿色空间中，融合3种梯度进行平滑区域判断，并利用色差域的中值滤波和导向插值分别进行高、低频区域的精化处理； 最后，在更新后的红绿和蓝绿色差空间中，再利用色差域的中值滤波和导向插值更新插值结果，得到全彩色影像。

2 实验结果与分析

2.1 实验数据

为了验证本文所提出的Bayer影像插值重建新方法，分别选取吉林一号视频卫星01星和03星共4组视频的部分帧进行实验。实验中低频区域判断阈值T1和T2的取值为经验值，一般取值10～15之间。视频01星和03星的载荷参数对比如表1所示。

表1 吉林一号视频卫星01星和03星参数对比

对Bayer影像插值重建后得到的全彩色影像如图5所示，其中图5(a)和(b)为01星视频影像，影像大小为2 k×1.5 k； 图5(c)和(d)为03星视频影像，影像大小为4 k×3 k。

从视频中分别截取了8个感兴趣区域，如图6所示，其中(a)—(d)为01星影像，(e)—(h)为03星影像。地物信息和类别丰富，包含了纹理密集和低频平滑区域，在这些区域进行Bayer插值重建时容易产生误差。其中图6(a)为农田，包含了低频区域和细条带边缘区域； 图6(b)的林地和图6(h)的房屋(小面积建筑群)，主要包含了边缘密集区域和周边小面积低频区域； 图6(c)和图6(f)主要面向小面积目标(机动车)的重建； 图6(d)的街道和图6(e)屋顶主要包含了细条带高频边缘和周边的平滑区域； 图6(g)为水体边缘，包含了大范围低频区域和低频边缘的过渡。

(a) 01星农田 (b) 01星林地 (c) 01星机动车 (d) 01星街道

(e) 03星屋顶 (f) 03星机动车(g) 03星水体边缘 (h) 03星房屋

2.2 对比实验与分析

2.2.1 定性分析

因人眼对误差的敏感度较高，尤其对于纹理丰富、边缘拉链或低频区域中的噪声点等区域。因此，在图6各区域中分别截取了8个感兴趣区域(红框范围)，通过视觉观察重建结果的细节，对插值方法作主观视觉评价，如表2所示。通过观察插值细节可以得出，TSD方法结果影像的整体质量较好，地物边缘一般较清晰，尤其是小面积地物类型，如表2 b林地中的树木、c和f中的机动车(小目标)、以及h中的房屋。但某些“长条带”的高频边缘区域显得不够清晰，如a中农田的地块边界和耕地垄沟、d和f中道路边界以及e中的长条状屋顶边缘。同时，TSD方法又存在较明显的拉链和颗粒现象，尤其是边缘附近的低频区域，比如d，f和h中红、蓝房屋顶区域内部的白色拉链现象较突出。产生该结果的主要原因是TSD方法边缘梯度及其方向的判断在一些边缘区域不够准确，在线性插值时误将灰度跳变的方向当作边缘方向，同时在利用其他波段插值时，处在边缘的点和噪声对低频区域产生了一定影响。而g中的河道边缘由于较平滑，并没有明显的模糊表现。LSLCD方法结果中，整体的边缘锐利效果优于TSD方法，地物轮廓更加清晰明显，可区分度和可识别度较高。但在高频边缘容易出现插值误差，比如e中的长条状屋顶边缘，与邻域灰度相比跳变较大，伪彩色的现象严重。此外，LSLCD方法处理结果的噪点现象整体较明显。产生该结果的主要原因是通过标准影像集样本训练得出的滤波器不能完全适合所有情况，尤其是细条带边缘区域及附近的平滑区域频谱混淆严重，使得重建色度信号有所丢失。本文提出的方法与上述2种经典方法相比较，在视觉效果上具有较明显的提升，能够有效消除大量的拉链、颗粒和噪点现象，同时又能保持边缘的锐利。如a和b中农田和林地的边缘清晰锐利，同时减少了平滑区域噪点现象； c和f中机动车轮廓完整明显，可识别度和对比度较高； 道路清晰，尤其是f中道路边缘附近拉链现象较少； d，e和h中建筑物边缘清晰、附近平滑区域几乎无颗粒现象，颜色饱满均匀； d中细条带道路边缘和e中细条带边缘伪彩色和附近拉链现象明显减弱，边缘锐化提升显著； g中水体边缘的区域噪声降低明显，整体更加平滑自然。此外，在实验结果中，空间分辨率小于1 m的视频影像Bayer插值重建效果整体优于空间分辨率为1.1 m的视频影像。

表2 不同方法重建细节对比

2.2.2 定量分析

由于卫星视频的Bayer影像难以获取地面真值影像作为参考，本文采用了一种无参考的影像质量定量评价方法[19]。模糊和噪声是影像质量退化的最重要因子，通过计算影像的模糊比和噪声比能够实现影像的质量评价，同时与主观差异平均判定(difference mean opinion score，DMOS)高度相关[20]。模糊比Blurratio和噪声比Noiseratio可分别表示为

(21)

(22)

式中：Blurcnt和Noisecnt分别表示模糊点和噪声点的总数；Edgeent表示边缘点的总数；M和N分别表示影像的行列数。模糊点、噪声点和边缘点的计算可参见文献[19]，这里不再赘述。

选择图6中4幅Bayer插值重建结果影像进行无参考质量评价，将本文方法与经典TSD和LSLCD方法的评价结果对比如表3所示。

表3 Bayer插值重建的模糊比和噪声比对比

模糊比和噪声比越低，表示图像质量越好。从表3可知，在模糊比方面，01星农田的TSD方法数值最低，本文方法的结果略高，但整体相当； 而在其他影像结果来看，本文方法的数值最低。主要得益于高频的修正和低频判断后的导向插值精处理，拥有最好的模糊比表现。而LSLCD方法在边缘附近的低频区域的训练拟合不佳，影响了边缘插值精度。在噪声比方面，3种方法各有优势，综合来看TSD方法结果最优，但优势不够显著，三者相差无几。总体而言，本文方法在噪声水平相当的前提下，模糊比表现最佳，有效保证了影像边缘的清晰程度，综合表现最好。

3 结论

本研究基于经典三步优化和多路信号滤波法，利用Bayer影像的亮度和色度信号重建全彩色影像初值，进而结合色差域中值滤波、导向插值等方法进行更新优化处理，解决Bayer插值重建局部低频区域效果不佳的问题。提出的方法可应用于视频卫星辐射预处理中的彩色重建环节。得出以下结论：

1)卫星视频低频区域占比大，地物间对比度较低，基于波段间的导向Bayer插值方法在边缘附近的低频区域容易产生噪点、拉链现象。

2)面向高清卫星视频影像的Bayer插值重建时，本文方法能有效提升影像整体质量。空间分辨率越高，插值重建效果越好。

3)本文方法中利用梯度进行低频区域判断并进行相应处理的思路，能够在保持边缘清晰的基础上，有效抑制拉链、伪彩色和颗粒噪声等现象，质量提升显著。