采用多方向插值融合的快速铁路货运图像修复

金 星， 俞大海,2， 韩建枫， 李晖晖， 韩军伟

1.西北工业大学自动化学院，西安710072

2.天津光电高斯通信工程技术股份有限公司，天津300211

3.天津商业大学信息工程学院，天津300134

数字图像修复是指利用数字图像处理技术对受到损坏的图像数据进行修复重建或者去除图像中的多余物体，使其达到图像的原始视觉效果.如今，这项技术备受关注，并广泛应用于文物保护、影视特效、虚拟现实、多余物体剔除等领域.目前图像修复方法主要包括基于纹理合成的方法、基于结构(偏微分方程)的方法、基于学习模板合成处理的方法[1].

基于结构的修复方法先建立偏微分方程(partial differential equations,PDE)，再利用迭代方法来求解，其中最具代表性的迭代方法是BSCB算法[2]，它是将沿着等照度线方向上的邻域信息迭代到待修复区域内而产生修复信息.等照度的方向是通过计算修补的轮廓线上各个点的离散梯度并旋转90°而获得的.BSCB算法为图像修复提供了新的处理方式.随后文献[3-4]提出了基于整体变分方法的TV模型和CCD模型.CCD模型是对TV模型的增强和扩展，根据几何曲率估算在等照度方向上的信息，保证了处理较大破损区域和细小边缘的效果.文献[5]提出了基于快速前进方法(fast marching method,FMM)的修复模型，这个模型的算法与BSCB方法非常相似，只是在计算修复信息时引入了Eikonal方程和权重分类，不但取得了与BSCB相似的处理结果，而且优化了运算速度.这类基于PDE的算法适用于区域平滑和小尺度的修复，但因使用偏微分方程而导致计算复杂度太高，且一旦修复区域存在丰富纹理，就会出现修复区域比较模糊的效果，进而影响视觉感受.

基于纹理的修复方法是以待修复区域为圆心，提取其周围的邻域纹理特征，并根据周围纹理的特点规律选择最佳的纹理匹配区域进行替换.最具代表性的是文献[6]提出的算法,它借鉴纹理生成方法定义样本区域并匹配复制，利用定义后的修复块优先级对边缘附近的信息优先进行修复.文献[7]在此基础上进行改进，也取得了较好的效果.基于纹理的算法虽然考虑了纹理结构的连续性和相似性，但没有图像结构，容易造成局部与整体的不自然，且因计算量较大而无法实现实时性.

基于模板合成处理的方法首先对一些前提条件进行学习并设定，然后对待修复区域进行修复.这种方法可使用的学习信息有限，只适用于比较简单的图像内容，并不适合实时图像修复的要求.

以上算法只是部分地利用结构性和纹理性的原则，存在着视觉认知规律的局限性.它们只解决了一些通用的修复目标，而没有考虑特殊的行业环境要求[8]，且计算的复杂度无法达到实时系统的运行要求.

本文针对上述问题，以高清图像，尤其是由线阵高清相机采集到的列车货运顶部图像为研究对象，对非目标前景的高压线进行处理.首先将其去除，然后提出了一种利用多方向插值融合的图像修复算法，将去除部位根据周边的情况进行修复.该算法选择适当的邻域信息并结合经典的插值算法对待处理区域进行准确的修复，使其图像完整，易于展示，并且满足了工程应用的实时性要求.

1 基于多方向插值融合的图像修复算法

1.1 关于插值算法

经典的插值算法包括最近邻插值算法(nearest)、双线性插值算法(bilinear)、双三次插值算法(bicubic)、多项式插值算法、样条插值法等.这些线性算法都是对整幅图像的不同部分进行统一处理，无论待插点映射在灰度平坦区域还是边缘区域，均可以通过计算该点附近某一像素集合的加权平均来确定映射点的灰度值.唯一的区别在于：若采用不同的算法，则映射点周围像素集合的取法不同.这也可理解为所采用的基函数都是低通滤波器，在实现时不可避免地抑制了图像的高频部分，导致插值效果图的图像边缘模糊或者出现阶梯状锯齿现象，不能很好地恢复图像细节.因此，采用此类基函数对于边缘细节和纹理特征十分丰富的图像插值效果并不理想，但适用于一般的光滑图像.

图像的边缘纹理等区域是人眼最敏感的区域，是影响视觉的重要因素，于是文献[9-10]提出了基于图像边缘保持的插值算法.这类算法首先将图像分为平坦区域和边缘区域，在平坦区域采用经典的线性插值算法以减少运算量，在边缘区域采用优化算法以增加图像边缘的锐利程度.优化算法或结合图像的显示边界信息，或结合图像的局部结构特征.还有一些学者致力于研究图像的变换域，如采用小波变换域[12-13]和DCT变换[14-16]等对图像进行高分辨率恢复，但复杂度高，不具有实时性.基于这个问题，考虑将信息融合技术应用到图像的插值算法中，旨在图像的边缘纹理区域获得更好的插值效果.

至今为止，大多数图像插值算法只适用于灰度图像，而直接操作在彩色图像上的插值算法[17-19]较少，其原因可能是彩色图像插值可以通过灰度图像插值算法以逐平面插值的方式实现.也就是说，彩色图像包括红、绿、蓝三个颜色平面，通过灰度插值算法分别在这三个平面进行插值，最后再合成彩色图像便可得到最终的插值结果.但事实上这并不实用，首先R、G、B三基色彼此之间有很强的相关性，改变像素的任一个分量都会导致颜色的偏移；在每一个颜色平面上的插值方向并不总是一致的，导致插值结果存在偏差；最后合成的彩色图像很可能出现色彩失真现象.另外，对于实时性要求较高的场合，对3个颜色分量分别应用相同的插值算法势必产生较大的计算量，这在一定程度上限制了算法的实时性.

针对上述问题，本文提出了一种融合多方向插值技术的新型图像修复算法，并应用于铁路货运检查图像的高压线去除工作.首先对图像待处理区域进行区域判决，将其分为平滑区域和边缘区域.对于平滑区域，选择待插值点7×7邻域内45°、90°、135°三个方向中梯度变化最小的方向进行三次方程插值(cubic)算法，从而得到待插值点的估计值；对于边缘区域，图像相邻像素变化比较剧烈，仅利用单一方向的信息很难准确估计插值点，于是考虑组合三个方向的信息获得比单一方向更准确的信息.设计合适的融合算法，组合多个方向的信息，既保持了算法的实时性，同时又在边缘纹理区域获得了更符合人眼观察的插值效果.仿真实验结果表明，本文提出的插值算法不仅能够取得比经典BSCB算法、FMM算法更好的修复效果，而且时间复杂度较小，能够满足铁路货运检查的实时性要求.最后又将本文算法成功应用到彩色图像的修复中，先对RGB彩色图像进行HSI色彩空间变换，再对HSI色彩空间的各个通道分量分别进行独立处理，从而减少了对RGB彩色图像R、G、B分量进行相同处理所带来的额外计算量，不但在一定程度上保证了算法的实时性，而且避免了对色彩信息较丰富图像处理时存在的色彩失真问题.

1.2 多方向插值融合算法

针对去除高压线这一图像修复问题，主要考虑垂直以及两条对角线上的方向信息.一般插值时沿着平滑的和边界的方向(图像灰度变化较小的方向)进行，这样得到的插值结果更接近于真实情况.因此，对于图像中的平坦区域，采用沿着梯度最小的方向进行插值；对于边缘区域，由于像素的邻域灰度值有较大的变化，仅利用单一方向的信息很难准确估计图像真实的情况，于是将3个方向的信息进行融合，通过融合规则的设计以获得更准确且真实的信息.下面给予详细描述：

步骤1 区域类型判断

计算待估计像素点垂直以及两条对角线方向上梯度变化的平均值Gavg45、Gavg90、Gavg135，设置合适的阈值T.

若Gavg45＜T&&Gavg90＜T&&Gavg135＜T，则认为待估计点处于平坦区域，否则认为待估计点处于边缘区域，使用多方向融合算法进行插值.

步骤2 平坦区域插值

对属于平坦区域的点，采用梯度变化最小的方向进行插值，插值算法采用三次插值算法(cubic interpolation).

步骤3 边缘区域插值

利用三次插值在3个方向上对待估计点s进行插值，得到待估计点s的估计值Is1、Is2、Is3.

待估计点s的灰度值为Is1、Is2、Is3进行数据融合的结果

式中，α1、α2、α3是与图像局部梯度有关的可调参数，并满足α1+α2+α3=1.α1、α2、α3分别反映了区域图像在45°、90°、135°方向上的梯度值大小.

若某方向上的梯度值较小，则图像纹理沿该方向的可能性较大，沿该方向进行插值的结果理应较准确，应该给予一个较大的权值系数.设θ为中间变量，令

式中，δ为可调参数，在插值过程中用以调节融合系数对梯度的敏感程度.v为某方向上梯度的平均值，以待估计点s为中心的7×7邻域内，计算对应45°、90°、135°方向上梯度的平均值v1、v2、v3，并根据式(2)求出θ1、θ2、θ3，再进行归一化得到

将求得的系数代入式(1)，即可得到待估计点s的最终估计值Is.

1.3 HSI色彩空间与RGB色彩空间比较

直接对RGB彩色图像R、G、B三个分量进行相同处理势必带来较大的计算量.由于人眼对视觉亮度的敏感程度远强于对颜色浓淡的敏感程度，若能将图像中的亮度信息与色彩信息分开，并采用不同的算法进行处理，则可以大大减少图像处理的工作量.常用的可以将亮度信息与色彩信息分开的色彩空间有YUV/YCbCr、HSI等.YUV/YCbCr色彩空间广泛应用于数字视频，并利用两个色差分量来描述彩色信息，实现了黑白电视兼容彩色信号.HSI色彩空间是从人的视觉系统出发，用色调(hue)、色饱和度(saturation)、亮度(intensity)来描述色彩，因为对于人类来说，它们看起来更加直观.与RGB色彩空间3个分量相比，色调、色饱和度、亮度3个通道是相互独立的，相关性不大，于是采用基于视觉感知的HSI色彩空间对图像进行处理.

将一幅货车顶部RGB彩色图像进行通道分解并显示，然后将此图片转换到HSI色彩空间进行通道分解并显示，得到的结果分别如图1和2所示.

图1 RGB色彩空间下的各分量子图Figure 1 Channel images in RGB color space

由图1和2可以看出，RGB彩色图像的3个分量具有很强的相关性，且每个分量都包含大量的边缘纹理信息，而HSI彩色图像的3个分量则具有较小的相关性，图像中的边缘纹理信息主要集中在I分量子图中.

如果采用上面提出的高压线去除算法处理RGB彩色图像，为了获得较精确的插值结果，本文采用三次方程算法进行插值，以致在3个分量上进行相同的处理时大大增加了计算量.基于这种考虑以及对HSI彩色分量性质的分析，既然HSI彩色图像的边缘纹理信息主要集中在I分量中，那么对于I分量本文仍采用第1节提出的高压线去除算法进行处理.对于仅包含图像色彩信息的H分量和S分量，为了减少计算量，在进行高压线去除时选择精度相对较低的二维线性插值算法进行插值，于是在处理彩色图像时既保持了较好的修复效果，同时又减少了在RGB三个分量上进行相同处理所带来的额外计算量，保证了算法在处理彩色图像时的高效性，还避免了对色彩信息较丰富图像处理时存在的色彩失真现象，能更好地适应铁路装载状态检测系统由灰度图像向彩色图像的转型.

图2 HSI色彩空间下的各分量子图Figure 2 Channel images in HSI color space

2 本文算法的应用流程

下面详细描述本文算法在实时铁路装载状态检测系统中的应用流程：

1)对于灰度图像，采用第1节提出的高压线去除算法处理图像，并采用三次方程插值(cubic)算法进行插值，以获得较准确的估计结果.

2)对于RGB彩色图像，首先对图像进行HSI彩色空间变换，并提取出H、S、I各个分量子图.

3)对于I分量子图，利用第1节提出的高压线去除算法进行处理，并根据插值算法选用三次方程插值.

4)对于H和S分量子图，仍利用第1节提出的高压线去除算法进行处理，但选用精度相对较低的双线性插值算法进行插值.

5)最后将处理过的HSI彩色图像变换到RGB色彩空间，经合成得到修复完成的彩色图像.

3 系统实验与分析

为验证本文算法的修复效果，以及在实际应用中的适用性和实时性，本文进行了以下三方面的测试:

实验1 针对相同的经典老照片图像，分别采用BSCB算法、FMM算法、本文算法进行修复，并比较修复结果.

实验2 针对实时现场采集的火车货车顶部灰度图像，仍然分别使用BSCB算法、FMM算法、本文算法进行高压线去除和修复的处理，并比较修复的结果.

实验3 针对实时现场采集的货车顶部彩色图像，根据本文算法分别对RGB和HSI色彩空间进行高压线去除和修复处理，并比较修复结果.

需要强调的是，实验2和3是基于实时的铁路装载状态检测系统(RLCI)进行的实验.RLCI是一套基于数字图像的铁路货运安全检查系统，其主要功能是通过图像模式的识别与分析，帮助货检人员跟踪检测铁路货车的货运状态，及时发现问题并报警.针对从铁路现场获得的大量素材，根据本文算法进行高压线去除和修复处理，不但可以实现完全的自动处理，而且能使计算速度也满足现场作业要求.

观察上述实验可以发现：本文算法在平滑区域的图像修复上获得了与传统BSCB算法和FMM算法相似的效果；而在边缘纹理比较复杂的区域，本文算法的修复结果在图像完整性和视觉感受上优于BSCB算法和FMM算法.最为重要的是在运行时间上，本文算法的工作效率远远胜于BSCB算法，并与FMM算法处于相同数量级.

BSCB算法和本文算法均采用VisualC++6.0进行程序开发；而FMM算法采用Opencv得以实现，其实验的环境是基于Intel Core i5-2400,3.10 GHz，3.17G内存的PC机上的.

3.1 旧照片修复实验

为了验证本文算法的可行性及有效性，第1组实验选用BSCB算法原文中使用的旧照片进行实验，并模仿高压线遮挡问题对照片进行处理，然后根据BSCB算法、FMM算法与多方向插值融合算法进行仿真实验.综合考虑修复结果和计算复杂度，将阈值T设为待修复区域7×7邻域平均梯度值的1.5倍，δ设为10.图像大小为360×300.初始位置与高压线宽度分别设置为50、4；150、4，如图3所示.

由图3的实验结果可以看出，对于照片中的平滑区域，如人物皮肤、背景等，本文算法与BSCB算法、FMM算法的修复效果相当，均能较好地去除遮挡；而对于照片中的边缘纹理区域，如图中标志处的人物毛发，BSCB算法、FMM算法均出现较明显的模糊现象和修补痕迹，视觉效果不好.本文算法由于结合了数据融合技术，在边缘纹理区域采用3个方向的信息进行融合的方法，故在人物毛发处获得了良好的修补效果，实现了图像的平滑过渡，恰当地保留了图像的边缘纹理信息.从客观的评价指标PSNR上也可以看出，本文算法优于BSCB算法和FMM算法.

图3 旧照片实验结果图Figure 3 Experimental results of the old photos

3.2 货车顶部灰度图像修复结果

为了验证本文算法在实际应用中的适用性，第2组实验采用货车顶部灰度图像进行实验.实验中所用的实验设备以及参数设置同实验1相同，分别对较平滑的图像和边缘纹理信息较多的图像进行高压线去除实验，如图4和5所示.

由图4和5的实验结果可以看出，对于本文的货车顶部灰度图像，采用BSCB算法与FMM算法修复后的图像虽然去除了高压线，对于较平滑的图像修复痕迹并不明显，但对于边缘较多的图像则存在明显的修复痕迹，视觉效果不好；而本文算法的视觉效果优于BSCB算法和FMM算法，尤其对于较平滑图像，修复效果非常好，在主观视觉上几乎看不出任何修补痕迹.对于边缘较多的图像，本文算法在边缘区域采用3个方向信息进行融合的方法，于是较好地保持了边缘信息，实现了图像的平滑过渡，更符合图像的真实情况.而且本文算法实时性较好，随机选取10幅货车顶部灰度图像进行测试，得到的算法平均运行时间如表1所示.从表1可以看出，本文算法与Opencv中实现的FMM算法处理速度属于同一数量级.平均修复1幅图像的时间约200 ms，而BSCB算法修复一幅图像的时间约10 min，其参数设置如下：A=15,B=2,Δt=0.1 ms,T=1000.

图4 较平滑图像实验结果图Figure 4 Experimental results of smoothness image

图5 边缘较多图像实验结果图Figure 5 Experimental results of the image with more edges

表1 运行时间比较Table 1 Experimental results of processing time

除了主观视觉评价，还选择了峰值信噪比(PSNR)作为评价修复效果的客观评价指标，从货车实时采集的图像中随机选取了10幅无高压线遮挡的图像作为原始标准图，并模仿高压线遮挡问题对图像进行处理；然后用BSCB算法、FMM算法、本文算法进行修复，对修复结果计算PSNR，得到的曲线见图6.从客观评价结果可以看出，本文算法的修复结果在客观评价指标上优于BSCB算法和FMM算法，这与主观视觉评价结果一致.

3.3 货车顶部彩色图像修复结果

为了进一步验证算法对彩色图像的适用性，以及本文提出的对HSI色彩空间的不同分量进行不同算法处理的可行性，第3组实验选取货车顶部的RGB彩色图像进行实验，并且将本文提出的彩色图像处理算法与对RGB三个颜色分量进行相同处理的算法进行对比，即对彩色图像R、G、B三个分量均采用第1节提出的高压线去除算法进行处理.插值算法使用三次方程插值，如图7所示.其中，图像大小为1648×512，初始位置与高压线宽度设置为108、5；145、5；241、5.实验中所使用的实验设备以及参数设置同3.2节中的实验.

图6 PSNR客观评价指标比较结果Figure 6 Comparison results based on PSNR

图7 彩色图像实验结果Figure 7 Experimental results of color image

由图7可以看出，对于色彩信息比较单一的图像，本文算法与在RGB三个颜色分量进行相同处理的算法视觉效果相近，均能较好地实现高压线的去除工作，并且利用HSI色彩空间变换对各分量采用不同的插值算法，在一定程度上减少了算法的计算量.随机选取50幅货车顶部彩色图像进行测试，得到算法的平均运行时间如表2所示，本文算法平均处理一幅图像的时间约350 ms，而对RGB三个颜色分量进行相同处理的方法，平均处理一幅图像的时间约700 ms.

表2 运行时间比较Table 2 Experimental results of processing time

图8 色彩信息较丰富图像实验结果Figure 8 Experimental results of complexity color images

由于RGB颜色分量之间具有很强的相关性，改变像素的任一个分量都会导致颜色的偏移，出现修复结果的色彩失真现象，而利用HSI空间则可以避免这一问题，对于颜色信息比较丰富的图像能够取得更好的修复效果，这也可以从图8的实验结果中看出，图像大小为554×370，初始位置与高压线宽度分别设置为298和4.

4 结语

针对铁路货运检测图像中进行高压线去除和修复工作的环境特点，同时为解决基于传统图像修复模型(如BSCB)算法在修复图像时运算量较大的问题，本文提出了一种基于多方向融合技术的快速图像插值修复算法.对图像的平滑区域和边缘区域分别采用不同的插值方法，通过设计合适的多方向融合算法，在保持图像平滑的基础上实现了对图像中的边缘纹理信息更加真实准确的插值估计，而且计算复杂度相比于经典的BSCB算法大大降低，能够满足铁路货运检查系统的实时性要求.最后采用本文算法分别对HSI色彩空间的各个通道分量进行独立处理，并成功应用于彩色图像的修复处理，不仅避免了对RGB彩色图像R、G、B分量进行相同处理所带来的色彩失真问题，还有效降低了计算量，在一定程度上保证了算法的实时性.

在以后的研究中，我们将继续针对更加复杂的铁路环境图像，利用更多可融合的图像信息改进本文算法并在算法设计上实现加速，以期在保证图像整体视觉质量的基础上，继续提高算法的实时应用效率.

[1]TAUBERZ,LIZ N,DREw M S.Review and preview:disocclusion by inpainting for image-based rendering[J].IEEE Transactions on Systems,Man,and Cybernetics:Part C,2007,37(4):527-540.

[2]BERTALMIO M,SAPIRO G.Image inpainting[C]//Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques,New York,USA,2000:417-424.

[3]CHAN T,SHEN J.Mathematical models for local deterministic inpaintings[R].CAM 00-11,Image Processing Research Group,UCLA,2000.ftp://ftp.math.ucla.edu/pub/camreport/cam00-11.ps.gz

[4]CHAN T,SHEN J.Non-texture inpainting by curvature-driven diffusions(CDD)[J].CAM 00-35,Image Processing Research Group,UCLA,2000.ftp://ftp.math.ucla.edu/pub/camreport/cam00-35.pdf

[5]TELEA A C.An image inpainting technique based on the fast marching method[J].Journal of Graphics Tools,2004,9(1):25-36.

[6]CRIMINISIA,PEREZP,TOYAMAK.Region f illing and object removal by exemplar-based image inpainting[J].IEEE Transactions on Image Processing,2004,13(9):1200-1212.

[7]FENGTang,YINGYiting,WANGJin.A novel texture synthesis based algorithm for object removal in photographs[C]//Proceedings of 9th Asian Computing Science Conference,Thailand,2004:248-258.

[8]BECK J,STEwART C,RADKER J.LiDAR inpainting from a single image[C]//Proceedings on 12th International Conference on Computer Vision Workshops,2009:1441-1448.

[9]党向盈，吴锡生，赵勇.一种新颖基于边缘最大梯度的多方向优化插值算法[J].计算机应用研究，2007,24(9):317-320.

DANG Xiangying,WU Xisheng,ZHAO Yong.Novel multi-direction optimization interpolation based on edge max-gradient algorithm[J].Application Research of Computers,2007,24(9):317-320.(in Chinese)

[10]吴锡生，党向盈，赵勇.一种阈值控制的边缘自适应快速图像插值算法[J].计算机工程，2007,33(22):226-228.

WU Xisheng,DANG Xiangying,ZHAO Yong.Fast self-adptive edge-oriented interpolation based on threshold method[J].Computer Engineering,2007,33(22)226-228.(in Chinese)

[11]ZHANG Xiangjun,WU Xiaolin.Image interpolation by adaptive 2-D autoregressive modeling and softdecision estimation[J].IEEE Transactions on Image Processing,2008,17(4):887-896.

[12]SOLTANE A,ELKHAMYSE.Wavelet-based image interpolation with a least squares algorithm[J].Computer Engineering Conference,2010,10(21):103-106.

[13]ADAMCZYK K.WALCZAK A.Digital images interpolation with wavelet edge extractors[J].Human System Interactions,2010,6(12):399-405.

[14]YAROSLAVSKY L P.DFT and DCT based discrete sinc-interpolation methods for direct fourier tomographic reconstruction[J].Imageand Signal Processing and Analysis,2003,1(12):405-410.

[15]LINT C,TRUONGT K.DCT-based image codec embedded cubic spline interpolation with optimal quantization[J].IEEE Eighth International Symposium,2006,44(2):11-15.

[16]WUZhenyu,YUYongyang,CHENChangwen.A new hybrid DCT-wiener_based interpolation scheme for video intra frame up-sampling[J].IEEE Signal Processing Letters,2010,17(10):827-830.

[17]LUKAC R, PLATANIOTIS N, SMOLKA B,VENESANOPOULOS N.Vector operators for color image zooming [C]//Proceedings of the IEEE International Symposium on Industrial Electronics.Dubrovnik,Croatia:IEEE,2005:1273-1277.

[18]JINL H,LID H,SONGE.Combining vector ordering and spatial information for color image interpolation[J].Image and Vision Computing,2009,27(4):10-416.

[19]CHA Y,KIM S.Edge-forming methods for color image zooming[J].IEEE Transactions on Image Processing,2006,15(8):2315-2323.