一种基于邻域对比的拼接缝消除方法

罗永涛，张红民，王 艳，张见双，陈柏元

(重庆理工大学 a.电气与电子工程学院; b.计算机科学与工程学院， 重庆 400054)

一种基于邻域对比的拼接缝消除方法

罗永涛a，张红民a，王 艳b，张见双a，陈柏元a

(重庆理工大学 a.电气与电子工程学院; b.计算机科学与工程学院， 重庆 400054)

针对图像拼接中寻找拼接缝准确性低、不能有效消除的问题，提出了一种基于邻域对比的拼接缝消除方法。首先，采用一个3×3模板在图像的重叠区域寻找连续数行灰度标准差最大的点，迭代剔除偏差较大的点直至2个，求剩余点均值作为拼接缝的起始点，以后每行的拼接点以上一行拼接点所在列两侧为标准设置阈值来限制候选拼接点区域。然后，将候选点中3×3邻域灰度标准差最大的点作为该行的拼接点。最后，连接每行的拼接点作为最佳拼接缝。实验结果表明：该方法能使得拼接缝两侧灰度差异较小，从而消除拼接缝，使得拼接后的图像效果平滑、自然，较好地实现无缝拼接。

拼接缝消除；灰度标准差；最佳拼接缝；图像拼接

在图像拼接时，由于待拼接图像在获取过程中不可避免地会受到光照等外界因素的影响，使得其在拼接边界上存在灰度差异，从而产生拼接缝[1-4]，这严重影响了拼接图像的质量。如何有效地消除拼接缝是图像融合的关键环节[5-8]。为了获取具有良好视觉效果的拼接图像，对拼接缝进行有效地消除就具有重要的意义。因此，在图像拼接过程中，寻找较为准确的拼接缝是消除拼接缝的一种有效途径，能使得拼接后的图像平滑过渡。

近几年来，许多学者对寻找拼接缝方法进行了大量研究。2014年，郑悦等[9]提出邻域最短距离法，并采用该方法对其进行消除，改善了拼接图像质量，但对图像融合错位现象仍不能完全消除。2015年，孟建良等[10]提出最佳点平滑法寻找最佳拼接缝并对其消除，提高了拼接速率，但在速率和图像质量上仍不能较好地兼顾。2016年，焦婷等[11]提出一种基于颜色相似度的拼接缝消除方法，消除了虚影现象，但仍存在不明显的拼接缝，不能有效地进行消除。

虽然上述方法能消除明显的拼接缝和鬼影现象，但对于一些错位现象及不明显的拼接缝仍不能有效地消除，因此本文提出一种基于邻域对比的拼接缝消除方法。

1 加权平均拼接缝消除方法

加权平均法因其算法计算量小，计算速度快，对于一般的拼接缝消除效果良好，是一种常用的拼接缝消除方法。在图像重叠区域，采用加权平均法对灰度值进行处理，从而在一定程度上减小图像由于灰度变化明显而产生的拼接缝痕迹，其计算公式如下：

(1)

其中w1和w2表示权值，满足w1+w2=1，且0

该算法虽然对重叠区域拼接缝的消除表现出不错的效果，但无法消除待拼接图像间因光照等因素而产生的差异，使得拼接后图像仍存在亮度不均匀等现象。

2 基于邻域对比拼接缝消除方法

为了有效消除待拼接图像间因光照等因素而产生的拼接缝，提出一种基于邻域对比的拼接缝消除方法。

该算法基本思想是：利用图像邻域灰度标准差及梯度，从寻找尽可能准确的拼接缝角度考虑，采用加权平均法对其进行消除处理，使得处理后的拼接图像不但达到了消除拼接缝的目的，同时也消除了拼接图像间因光照因素等差异引起的图像亮度不均衡的现象，从而实现无缝拼接。

邻域对比的拼接缝消除方法实现步骤如下：

1) 先将待拼接彩色图像转化为灰度图像。

2) 由于灰度标准差及梯度容易受噪声影响，故对待拼接的2幅图像进行去噪处理。

3) 对去噪后的灰度图像，在重叠区域，采用一个3×3滑动模板寻找连续n行灰度标准差最大的像素点。为达到较好的拼接缝消除效果，根据实验验证，n值选取范围在3～7之间。为了避免计算时间过长，本文选取n=5进行实验，其灰度标准差值计算公式如下：

(2)

(3)

其中:μ为n个数的平均值;σ为灰度标准差值。灰度标准差值越大，则说明该区域灰度变化幅度越大。

4) 求5行中灰度标准差最大像素点横坐标的均值，将其与已知5个像素点作比较，迭代剔除与均值相差较大的像素点直至2个，求这2个点均值作为拼接缝的起始点。

5) 设定距离阈值H来限制其他行候选拼接点区域，根据经验值，选取H=4。令每行最佳拼接点列位置为j，之后每一行的最佳拼接点都将从其上一行或下一行已确定的列位置j所在列两侧的H个点中选取灰度标准差值最大的像素点。若出现灰度标准差值相等的点，选取以对应像素为中心3×3邻域内梯度和较小的点作为该行的最佳拼接缝位置。梯度计算公式如下：

(4)

其中:Tx为像素点(x，y)在x方向上的梯度;Ty为像素点(x，y)在y方向上的梯度。像素点(x，y)的梯度模值为

(5)

6) 待所有行的最佳拼接点确定后，将其进行连接作为最佳拼接缝位置，并利用线性加权平滑法对其进行消除，最终实现拼接缝的有效消除。

算法流程如图1所示。

图1 算法流程

3 实验结果及分析

为验证本文算法的有效性，选取大小不同的3组图像，如图2所示，其中：图(a)(b)均为网络采集的巴士图像，大小为293×375；图(c)(d)均为图像数据库中轮船的图像，大小为332×271；图(e)(f)均为实景拍摄的学校校门图像，大小为460×499。采用的仿真平台为Matlab R2014a。

图3(a)(c)(e)均为基于加权平均法的拼接缝消除效果图；图3(b)(d)(f)均为基于邻域对比法的拼接缝消除效果图。图3(a)中，其重叠区域存在较明显的拼接缝，即圆圈标注区域；图3(c)中，其重叠区域存在错位现象；图3(e)中，其重叠区域存在不明显的拼接缝。可知拼接效果图3(a)(c)(e)影响了人眼视觉效果；图3(b)(d)(f)在对应的重叠区域，不存在明显的拼接缝与错位现象，并且重叠区域平滑自然，人眼视觉效果较好。从实验结果可以看出：经本文算法处理的拼接图像整体亮度均匀、自然，与单纯的加权平均法相比，拼接缝消除效果有所提升。

图2 待拼接的3组图像

为进一步验证本文算法的有效性，采用信息熵、互信息与平均梯度[12-14]等评价指标对得到的拼接图像进行对比分析。信息熵体现图像包含的信息量多少，信息熵越大，说明图像信息越丰富，拼接缝消除效果越好；互信息值体现拼接图像包含源图像信息量大小，互信息值越大，融合效果越好；平均梯度反映图像细节信息，平均梯度值越大，则说明图像越清晰，即图像质量也越好。

拼接缝消除效果参数对比如表1所示。由表1可知：用本文算法所得的拼接图像的信息熵、互信息与平均梯度值较大，即本文算法的拼接缝消除效果明显，色调过渡平滑、自然，图像较清晰，视觉效果较好，有效地消除了拼接缝，获得了质量较好的拼接图像。

表1 拼接图像客观评价

4 结束语

针对图像拼接时待拼接图像存在灰度差异而导致拼接缝的问题，提出一种基于邻域对比的拼接缝消除方法。实验结果表明：基于本文算法的拼接缝消除效果好于单纯的加权平均法。该算法有效避免了因灰度差异较大而导致的拼接缝现象，融合后的图像视觉效果得到明显改善，对今后图像融合方法的研究具有一定的参考价值。

[1] HAYAT K,PUECH W,GESQUIERE G.Seamless Hetero-geneous Tessellation via Smoothing and Mosaicing in the DWT Domain[C]//Proceeding of SPIE.USA:[s.n.],2010:1-8.

[2] 牛姣蕾,林世忠,陈国强.图像融合与拼接算法在无人机电力巡检系统中的应用[J].电光与控制,2014(3):88-91.

[3] 程红,郑悦,孙文邦.基于局部区域梯度最小点的遥感图像镶嵌算法[J].国土资源遥感,2014(1):31-36.

[4] 曹君,刘正华,洪勇,等.车载鱼眼图像的全景图拼接误差分析[J].测绘科学,2016(7):202-204.

[5] BYUN Y,CHOI J,HAN Y.An area based image fusion scheme for the integration of SAR and optical satellite imagery[J].IEEE Geoscience&Remote Sensing Society ,2013,6(5):2212-2220.

[6] 程红,郑悦,孙文邦.基于相邻像素灰度改正比的遥感图像拼接缝消除[J].电光与控制,2014(5):73-77.

[7] 王民,郑余杰,权宇寰,等.基于斜率改正比的遥感图像拼接缝消除算法[J].计算机工程与应用,2015,18:165-168.

[8] 瞿中,乔高元,林嗣鹏.一种消除图像拼接缝和鬼影的快速拼接算法[J].计算机科学,2015(3):280-283.

[9] 郑悦,程红,孙文邦.邻域最短距离法寻找最佳拼接缝[J].中国图象图形学报,2014,19(2):227-233.

[10]孟建良,王雅继.最佳点平滑法寻找最佳拼接缝[J].计算机工程与科学,2015,37(7):1387-1392.

[11]焦婷，李良福，肖樟树.存在运动目标时的图像镶嵌方法研究[J].计算机应用研究，2016,33(2):607-611.

[12]黄立勤,陈财淦.全景图拼接中图像融合算法的研究[J].电子与信息学报,2014,36(6):1292-1298.

[13]陈立伟,蒋勇.图像融合算法的综合性能评价指标[J].计算机工程,2015,41(2):219-223.

[14]陈天明,王俊琦,张星祥,等.基于特征提取的红外与可见光图像融合[J].激光与红外,2016(3):357-362.

(责任编辑 陈 艳)

Splicing Seam Elimination Method Based on Neighborhood Comparison

LUO Yongtaoa, ZHANG Hongmina,WANG Yanb, ZHANG Jianshuanga, CHEN Boyuana

(a.College of Electrical and Electronic Engineering; b.College of Computer Science and Engineering, Chongqing University of Technology, Chongqing 400054, China)

For finding splicing seam with low accuracy and it can’t eliminate splicing seam effectively in the image splicing, a splicing seam elimination method based on neighborhood comparison is proposed. First of all, use a 3×3 sliding template to find a pixel point whose gray standard deviation value which is the largest in each row of number of rows continuously from the image overlap areas line by line, and to exclude the pixel points with large deviation until after two points in iteration, and to calculate the mean value of the rest of points as the starting splice point of the splicing seam, and to set the threshold value to limit the range of candidate splicing point in turn on the basis of their column position.Then, it selects the points with largest gray standard deviation of the candidate points in the 3×3 neighborhood as the splice point of the row. Finally, it connects the optimal splicing point of each row as the optimal splicing seam. Experimental results show that the method can make the gray difference smaller on both sides of the splicing seam in order to eliminate the splicing seam relatively effectively, and to make the image overlap region smooth and natural, and to realize seamless splicing better.

splicing seam elimination; gray standard deviation; optimal splicing seam; image splicing

2017-05-15 基金项目：重庆市基础与前沿研究计划项目(cstc2015jcyjA40051)

罗永涛(1991—)，女，山西大同人，硕士研究生，主要从事图像分析与处理研究,E-mail:1525991437@qq.com ;通讯作者 张红民(1970—)，男，河南舞阳人，博士，教授，主要从事图像处理与模式识别研究,E-mail:Hmzhang@cqut.edu.cn。

罗永涛，张红民，王艳，等.一种基于邻域对比的拼接缝消除方法[J].重庆理工大学学报(自然科学)，2017(8):140-144.

format：LUO Yongtao, ZHANG Hongmin,WANG Yan,et al.Splicing Seam Elimination Method Based on Neighborhood Comparison[J].Journal of Chongqing University of Technology(Natural Science)，2017(8):140-144.

10.3969/j.issn.1674-8425(z).2017.08.023

TP39

A

1674-8425(2017)08-0140-05