基于残余插值的卷积神经网络去马赛克算法

贾慧秒 李春平 周登文

摘要 在去马赛克问题中，为了精确插值倾斜边缘并提高结果图像的整体质量，提出一种基于残余插值的卷积神经网络去马赛克算法.针对Bayer格式的颜色滤波阵列，插值绿色平面时，对于红蓝通道信息不全的问题，采用同通道邻近像素值近似代替，综合考虑3个通道的梯度，运用倾斜方向的边缘检测算子，将倾斜边缘分为不同方向的边缘分别插值.在插值完成后，利用深度卷积神经网络，进一步训练插值结果.在标准的IMAX数据集上，与目前流行的算法相比，本文算法视觉上更接近原图，具有更高的峰值信噪比和更短的运行时间.关键词去马赛克；Bayer CFA模式；残余插值；边缘检测；卷积神经网络

中图分类号 TP391.41

文献标志码 A

0 引言

单传感器彩色成像在数码相机行业应用广泛.在一个单传感器相机里，传感器表面覆盖一层彩色滤波阵列（CFA，Color Filter Array）.每个像素点仅采样红、绿或蓝色分量之一，要恢复全彩色图像，丢失的2种颜色分量需要估计，这个估计过程，称为去马赛克.

本文针对应用最广泛的Bayer CFA模式[1]（图1），其他形式CFA可参考文献[2-3].在Bayer CFA模式中，绿色像素点按梅花形网格采样，红色和蓝色像素点按矩形网格采样，绿色样本是红色或蓝色样本数目的2倍.

到目前为止，已提出了許多去马赛克算法[4].去马赛克过程是一个图像插值的过程，双线性和双三次等简单的插值方法，在图像平滑区域也有较好的效果.但是它们相当于各向同性的低通滤波，会产生显著的边缘模糊、拉链效应等缺陷.

Hamilton等[5]提出自适应彩色平面插值算法，利用二阶导数检测局部水平和垂直边缘的方向，然后，分别沿着水平和垂直的边缘方向进行插值，改进了双线性等简单插值方法的结果.该算法利用了颜色通道之间的相关性，将红色和蓝色的二阶梯度作为修正因子来计算绿色分量.恢复出绿色分量后，再以绿色分量的二阶梯度作为修正因子来恢复红色和蓝色分量.

由于颜色通道之间具有相关性，如果绿色通道某区域有边缘，那么同区域的红色和蓝色通道上有边缘的概率极大，2个通道的差图像更平滑，插值效果更好.基于此观察，Pekkucuksen等[6]提出了基于梯度的无阈值插值算法（GBTF），利用文献[5]的插值公式对绿色平面方向插值之后，计算水平和垂直方向的颜色差，从上下左右4个方向对颜色差进行混合，得到最终的色差估计，色差估计与CFA中的红色或蓝色分量相加得到插值结果.

沿用色差插值思想，如果在比颜色差更平滑的平面上插值，能更容易恢复图像.Kiku等[7]的实验证明，引导滤波方法[8]生成的估计值与真实像素值的差，即残余，比颜色差更加平滑.他们提出的残余插值（RI）[7]改进了GBTF算法，将GBTF中第1步的方向插值改为残余插值，然后同样计算并混合颜色差得到最后的结果.残余插值恢复出的图像视觉上更接近原图，并且具有更高的峰值信噪比，是目前去马赛克效果最好的算法之一.

本文受残余插值[7]启发，提出基于残余插值的卷积神经网络算法（RICNN）.恢复绿色通道时提出边缘检测算法，能同时检测水平垂直和对角线方向的边缘.实验证明该策略在具有斜边的区域效果显著优于其他算法.恢复出的绿色平面作为红蓝平面的引导图，再次采用残余插值方法恢复红蓝平面.在对残余域线性插值时，本文提出一种类Laplacian插值模板，可以保持边缘信息进而对图像产生锐化效果，得到的去马赛克图像边缘更清晰.

得到残余插值结果后，本文用卷积神经网络（CNN，Convolutional Neural Networks）[9]作为一个修正项进一步改进结果图像.将去马赛克结果作为卷积神经网络的输入，对应的全彩色图像和去马赛克结果之间的残余作为卷积神经网络的标签，经过训练逐步修正卷积神经网络的权重.实验证明，本文算法得到的结果在较小的计算开销内，显著提升了结果图像的质量.

1 基于残余插值的卷积神经网络算法

为了便于介绍本文方法，先简单介绍一下残余插值（图2）.以插值红色平面为例说明算法流程.首先线性插值生成绿色平面，以此绿色平面为引导图，应用引导滤波方法[8]生成红色平面的初步估计值，该初步估计值与原始数据作差得到残余域.在残余域上插值得到的结果再加上初步估计值生成红色平面的插值结果.蓝色和绿色平面插值过程与红色类似，在此不过多赘述.

目前去马赛克的普遍做法是，判断水平或垂直方向的边缘，根据判断结果确定插值方向，但实际中的图像，一般存在各种方向的边.基于此观察，在插值绿色分量时，本文加入倾斜方向的边缘检测算子，采用文献的方法利用局域内颜色差的和判断水平和垂直边缘.如果水平和垂直方向均无边，则判断倾斜方向是否存在边缘，若每个方向均无边，则混合水平和垂直方向的插值结果.

方向.沿4个方向计算梯度，如果4个梯度中的最小值与其平均值之间的比值小于某个阈值，则判定为梯度最小的这个方向有倾斜的边缘，插值沿此方向进行.

在恢复红蓝平面时，以插值过的绿色平面为引导图，同样用残余插值方法.在对残余域线性插值时，与双线性相比，考虑在更大的模板上插值，这样能够更充分地利用图像信息，同时为了更好地保持边缘信息，受Laplacian滤波器启发，本文提出一种类Laplacian滤波器（式（5））.在考虑了更多图像信息的同时，能够产生锐化的效果，使结果图像边缘比双线性更清晰.

文献[9]中的卷积神经网络（CNN）用于解决超分辨率问题，能够将低分辨率图像恢复为分辨率较高的图像.本文受此启发，在去马赛克问题中，将插值结果看作分辨率较低的图像，用卷积神经网络作为一个后处理的步骤，对低分辨率图像进行修正，进而提高插值精度.

1.1 算法介绍

1） 对训练图像去马赛克

插值完的綠色平面作为红色和蓝色平面的引导图帮助恢复红蓝平面，这里同样采用残余插值方法.以插值红色平面为例，蓝色平面与其进行相同处理，先引导滤波生成红色平面的初步估计值，然后在红色采样点处计算估计值和真实像素值之间的残余，对残余线性插值，残余插值结果与估计值相加得到最后的红色平面.对蓝色和绿色采样点处的残余域线性插值采用式（5）中的插值模板.

2 实验结果

本文实验中Bayer格式的图像通过有间隔地从真实图像中采样得到.采用文献[10]中91幅图像作为训练集，随机裁剪为33×33的小块，并用本文的去马赛克方法产生低分辨率样本集，在Caffe上训练模型.选择IMAX数据集[11]作为测试集测试模型.设置权重衰减项为0，动力为0.9，采用随机梯度下降的优化策略.卷积网络的各层参数为n1=64，n2=32，f1=9，f2=5，f3=5.本文实验环境为GeForce GTX TITAN GPU，32 GB内存，ubuntu操作系统和Matlab 16.04（R2016a）平台.

图5是本实验用来测试去马赛克性能的标准的IMAX18[11]数据集.IMAX数据集包含18张尺寸500×500的图像.图6展示了对IMAX数据集中的图像利用RICNN算法去马赛克和其他去马赛克方法在视觉上的比较，其中图6a和6i分别是原图和本文提出的算法，可以看出本文算法在倾斜边缘处明显减少了拉链效应，与现有算法相比在视觉上更接近原图.算法在尺寸为500×500图像上去马赛克运行时间为2.88 s.

在本实验中，选择去马赛克图像和真实图像之间的峰值信噪比（PSNR）作为评价指标.PSNR值越大说明复原的效果越好.将提出的RICNN与目前效果较好的几种算法作对比，包括Hamilton[5]、GBTF[6]、PID[12]、RI[7]、MLRI[13]、FDRI[14]、IRI[15]、LSSC[16]等算法.表1和表2展示了各方法在IMAX 18数据集上的CPSNR和运行的平均时间结果对比，表1中结果最好的算法用黑色加粗字体标出.可以看出，本文方法在IMAX数据集上的峰值信噪比

高达37.14 dB，比IRI和LSSC分别高出0.08和1.09 dB，但是IRI运行时间比本文算法多出1.7倍，而LSSC则多出了157倍，综合考虑去马赛克恢复质量和时间，本文提出的算法具有明显的优势.

3 结论

本文提出基于残余插值的卷积神经网络算法来去马赛克，通过实验证明了插值效果的提升.卷积神经网络在超分辨率问题中表现出众，基于这个观察，考虑将其作为一个去马赛克后续的步骤来对不太完美的图像进一步提升，实验证明，这种提升效果显著.另外还对残余插值进行了改进，一般的去马赛克算法都只在水平和垂直方向检测边缘，本文则考虑了更多方向，从而在斜边上取得了优于现有算法的效果.结果显示本文提出的算法在去马赛克问题上效果显著，接下来的工作将尝试采用其他的基于学习的方法来对图像进行去马赛克.

参考文献

References

[1] Bayer B E.Color imaging array：U.S.Patent 3971065[P].1976-07-20

[2] Hirakawa K，Wolfe P J.Spatio-spectral color filter array design for optimal image recovery[J].IEEE Transactions on Image Processing，2008，17（10）：1876-1890

[3] Condat L.A new color filter array with optimal properties for noiseless and noisy color image acquisition[J].IEEE Transactions on Image Processing，2011，20（8）：2200-2210

[4] Menon D，Calvagno G.Color image demosaicking：An overview[J].Signal Processing Image Communication，2011，26（8）：518-533

[5] Hamilton J F Jr，Adams J E Jr.Adaptive color plan interpolation in single sensor color electronic camera：U.S.Patent 5629734[P].1997-05-13

[6] Pekkucuksen I，Altunbasak Y.Gradient based threshold free color filter array interpolation[C]∥IEEE International Conference on Image Processing，2010：137-140

[7] Kiku D，Monno Y，Tanaka M，et al.Residual interpolation for color image demosaicking[C]∥IEEE International Conference on Image Processing，2013：2304-2308

[8] He K M，Sun J，Tang X O.Guided image filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（6）：1397-1409

[9] Dong C，Loy C C，He K M，et al.Image super-resolution using deep convolutional networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2016，38（2）：295-307

[10] Timofte R，De Smet V，Van Gool L.Anchored neighborhood regression for fast example-based super-resolution[C]∥IEEE International Conference on Computer Vision，2013：1920-1927

[11] Zhang L，Wu X L.Color demosaicking via directional linear minimum mean square-error estimation[J].IEEE Transactions on Image Processing，2005，14（12）：2167-2178

[12] Wu J J，Anisetti M，Wu W，et al.Bayer demosaicking with polynomial interpolation[J].IEEE Transactions on Image Processing，2016，25（11）：5369-5382

[13] Kiku D，Monno Y，Tanaka M，et al.Minimized-Laplacian residual interpolation for color image demosaicking[J].Proceedings of SPIE，2014，9023（1）：2304-2308

[14] Kim Y，Jeong J.Four-direction residual interpolation for demosaicking[J].IEEE Transactions on Circuits and Systems for Video Technology，2016，26（5）：881-890

[15] Ye W，Ma K K.Image demosaicing by using iterative residual interpolation[C]∥IEEE International Conference on Image Processing，2014：1862-1866

[16] Mairal J，Bach F，Ponce J，et al.Non-local sparse models for image restoration[C]∥IEEE International Conference on Computer Vision，2009：2272-2279