基于纹理合成与最佳缝合线的不同平面数码迷彩拼接方法

李中华， 喻钧， 胡志毅， 康秦瑀， 高守义， 廉志超， 肖锋

(1.西安工业大学 计算机科学与工程学院, 陕西 西安 710021; 2.陆军研究院, 北京 100012)

0 引言

数码迷彩作为近年来发展迅速的一种迷彩样式，在军事伪装领域获得了广泛运用。数码迷彩利用空间混色原理和斑块特性，使得伪装目标与背景之间的边界更为破碎、模糊，伪装效果较传统的迷彩图案更优[1]。通常，根据伪装目标所处的背景环境生成的数码迷彩图案是一幅固定大小的二维图像[2-3]，喷涂于实际的伪装目标上时，各平面之间的衔接处容易因为颜色过渡不连续出现显著的拼接痕迹，以致形成新的目标暴露特征，增加了目标的显著性，进而导致迷彩伪装效果大打折扣[4]。

当前主流的图像拼接算法是基于特征点的拼接[5-10]。该算法依照特征点匹配的结果计算两幅图像的重叠区域，然后获得重叠区域的最佳缝合线[5,7-10]，最后运用图像融合技术完成拼接。基于特征点的图像配准可能导致待拼接图的旋转，并且拼接后的图像尺寸难以确定。而数码迷彩图案对旋转敏感，且拼接尺寸固定，不利于特征点的配准，同时数码迷彩的颜色单一，不利于图像融合。这导致难以直接将传统的拼接算法应用于数码迷彩的拼接上。

由于三维伪装目标的形状各异，文献[11]提出一种基于圆柱体的数码迷彩拼接方案。该方法通过添加多列过渡迷彩，让两幅数码迷彩图案在拼接处能够平滑过渡，但会增加拼接后的图案宽度(或高度)，并且难以在显著接缝处形成过渡自然的区域。

为了增强数码迷彩拼接方法的通用性，本文提出一种结合纹理合成[12-16]与最佳缝合线[5,7-10]的数码迷彩拼接方法。纹理合成是利用给定的样本纹理，生成大范围的纹理图案，使得生成的纹理图案在局部上具有样本的纹理特征，整体上又呈现出一定的随机性。通过寻找最优路径得到的缝合线，能够保证缝合线两侧的像素差异最小，使得拼接处的图案过渡更为自然。

虽然运用纹理合成技术可以得到一幅足够大的二维图案，直接作为拼接图案，但是纹理合成的随机性可能会产生新的显著接缝(因为有一侧的整个图案都是合成出来的，可能和原始图案完全不同；假如说合成出来的部分在拼接图的左边，无法保证整个拼接图的左侧能够和另一个面的图案平滑过渡)。本文运用纹理合成技术，人为创造了数码迷彩图案的伪重叠区域，避免了特征点配准所带来的图像旋转和尺寸变化问题，通过寻找重叠区域的最佳缝合线完成数码迷彩图案的拼接。

1 纹理合成技术

纹理合成技术是可以解决纹理映射中存在的接缝走样等问题。目前纹理合成方法可分为两类：一类为过程纹理合成，另一类为基于样图的纹理合成[12-16]。

1)过程纹理合成通过对物理生成过程的仿真直接在曲面上生成纹理，如毛发、云雾、木纹等，从而避免了纹理映射带来的失真。该方法可以获得非常逼真的纹理，但对每一种新纹理，需要反复调整参数并测试，非常不便，有的甚至无法得到有效的参数。

2)基于样图的纹理合成是在给定的小区域纹理样本中，按照目标表面的几何形状，拼合生成整个曲面的纹理，它在视觉上是相似而连续的。该方法既克服了传统纹理映射的缺点，又可以避免过程纹理合成中调整参数的繁琐，因而受到越来越多的关注，成为计算机图形学、计算机视觉和图像处理领域的研究热点之一。

2 最佳缝合线算法

基于特征点匹配的图像拼接算法在早期通常用加权融合的方式来完成拼接操作[5-6]，但是这种融合方式容易导致拼接图像出现鬼影、重影。为了解决该问题，人们提出了最佳缝合线算法。该算法通过评估和计算重叠区域的差异，找到一条最为相似的分割线，使得分割线两侧的图像在分割线处实现无缝拼接，这条分割线就是所寻找的最佳缝合线[5,7-10]。缝合线算法可以有效地消除图像拼接过程中出现的重影，在图像拼接领域有广泛应用。

一条理想的缝合线应该满足以下两个要求[7-8]:

1)颜色强度上，两幅图像的颜色差异最小。

2)结构强度上，两幅图像的结构差异最小。

缝合线的计算准则[7]为

(1)

通过(1)式可以得到重叠区域的能量评估图：评估值越小，该点的颜色差异和结构差异就越小；评估值越大，则该点的颜色差异和结构差异就越大。

最佳缝合线的搜索就是找到一条路径，这条路径将重叠区域分为左右两个部分，同时路径上各点的评估值之和E最小[5,7-8]。通过寻找E最小的路径，让左右两幅图在缝合线处的局部差异最小，使得拼接效果最好。

最佳缝合线的搜索策略：将评估图中第一行的每一个点作为起始点，将左、左下、下、右下和右等5个方向的最近邻节点作为候选点，每次扩展都选择候选点中评估值最小的点，直至扩展到评估图的最后一行。最后从所有的路径中选择评估值最小的路径作为最佳缝合线。搜索策略如图1所示，其中图1(a)是得到的评估图，图1(b)是节点的5个扩展方向，图1(c)～图1(f)是节点扩展的具体步骤。

图1 缝合线搜索策略Fig.1 Sarch strategy of seam line algorithm

3 数码迷彩拼接算法与评价方法设计

为了解决数码迷彩拼接过程中存在的接缝显著性问题，提出了一种结合纹理合成与最佳缝合线的拼接方法。同时，引入了接缝显著性指标对拼接效果进行定量评价。

3.1 数码迷彩拼接算法设计

数码迷彩实施到三维目标表面的时候，不同平面的边界处必然会存在由于色块的不连续分布而产生的显著接缝[4，11]。考虑到拼接接缝形成的原因和特性，本文提出一种数码迷彩拼接算法来达到以下目的：1)消除接缝处的直线特征；2)避免产生新的暴露特征。

基于特征点的图像拼接通常做法是，首先计算匹配两幅图像的特征点，然后据此计算获得两幅图像的重叠区域，接着计算最佳缝合线，最后用图像融合算法消除缝合线两侧的色差。

数码迷彩图案特征点的配准可能导致图案的旋转，且拼接后的尺寸不固定，不利于数码迷彩的拼接。同时，数码迷彩的待拼接图通常没有严格的重叠区域，这导致迷彩图案的配准效果较差。为了避免旋转和尺寸变化所带来的问题，本文运用纹理合成的方法，制造了过渡自然的扩展区域，以此构造了一个伪重叠区域；接着在该区域内寻找一条最佳缝合线，使缝合线两侧图案能够平滑过渡，实现对数码迷彩图案的拼接。由于图像融合可能会产生新的颜色，不利于数码迷彩的拼接，所以本文算法在拼接时并未进行图像融合。

本文算法的基本流程如图2所示：

步骤1依据目标背景设计数码迷彩图案A.

步骤2以图案A为样本，运用纹理合成技术生成一幅足够大的数码迷彩图案B(B的大小取决于拼接图案的尺寸，本文取拼接图案尺寸的10倍作为B的大小)。

步骤3在数码迷彩图案B中寻找任意两个小尺寸的图案C1和C2作为待拼接图案，并假设C1拼在C2的左边(C1和C2的尺寸相同)。

步骤4运用纹理合成技术，将图案C1向右侧扩展，生成与C1同等高度的图案D1，如图3(a)所示。同理，将图案C2向左侧扩展，得到与C2等高的图案D2，如图3(b)所示。C1中与D2重叠的部分和D2一起构成了伪重叠区域Ω1，图3(c)中的阴影部分表示Ω1. 同理，C2中与D1重叠的部分和D1也是一个伪重叠区域Ω2，如图3(d)所示，其中阴影部分表示Ω2. 图3(c)、图3(d)的重叠区内部曲线为缝合线(本文取D1和D2的宽度为C1或C2宽度的三分之一)。

步骤5分别计算C2和D1，C1和D2的伪重叠区域的最佳缝合线L1和L2，如图3(c)、图3(d)所示。选择评估值之和E较小的缝合线作为最终拼接的最佳缝合线。

步骤6对C1和C2进行缝合线拼接。

图2 拼接算法流程Fig.2 Flow chart of stitching algorithm

图3 拼接图案区域划分图Fig.3 Regionalization of stitched patterns

图3是拼接图案的区域划分示意图，其中：图3(a)和图3(b)中的C1和C2是待拼接的两个图案，D1和D2分别是C1和C2的扩展图案；图3(c)和图3(d)是两个重叠区域的示意图，将C1和C2拼在一起的时候，扩展的图案和拼接图重叠的部分构成了伪重叠区域Ω，用斜线阴影表示；图3(c)和图3(d)中的L1和L2分别是在伪重叠区域Ω1和Ω2内搜索得到的最佳缝合线。

图4 原始背景图像和数码迷彩图案Fig.4 Background image and digital camouflage patterns

3.2 拼接效果评价方法设计

迷彩图案的拼接接缝是一种显著的暴露特征，会直接影响目标伪装效果。为了评价数码迷彩的拼接效果，设计了一种能够描述接缝显著性的技术指标，该指标用[0,1]内的小数表示。算法步骤如下：

步骤1分别截取C1、C2最靠近接缝的一列F1、F2，并创建一个和F1、F2同尺寸的列向量G.

步骤2判断F1(i, 1)、F2(i, 1)的颜色是否一致(i表示该分量在G中的位置)，如果相等，G(i, 1)=0，不相等则G(i, 1)=1，如(2)式所示，

(2)

步骤3去除掉列向量G中长度较短的边界，例如(0, 1, 0)的长度只有1，于是去除掉。

步骤4统计列向量G中数值为1的元素个数n，并依据(7)式计算接缝显著度S，

(3)

式中：length(G)为G的元素个数(整体长度)。

由于n∈[0,length(G)]，所以S∈[0,1]. 当S→0时，n→0，表示直线段边界越短，接缝显著性越低；当S→1时，n→length(G)，表示直线段边界越长，接缝显著性越高，越容易被识别。

4 试验及结果分析

本文对提出的算法进行了拼接试验和同类算法间的对比试验，并通过定性、定量的方法完成了对试验结果的评价。

4.1 拼接试验及结果分析

针对上述设计的数码迷彩拼接算法，在文献[2,11]的基础上，选取某地区背景图像进行了试验验证与分析。在图4中：图4(a)是原始目标背景图像；图4(b)是用文献[2]算法生成的数码迷彩图案A；图4(c)是以图案A为样本，运用纹理合成技术[12-13]生成的更大数码迷彩图案B. 图4(c)中白色方框选中的是待拼接的两幅迷彩图案C1、C2. 为了便于观察，上述C1、C2用图5(a)、图5(d)表示。

分别对数码迷彩图案C1和C2在拼接方向进行扩展，得到D1和D2，如图5(b)、图5(c)所示，其目的是人为构造重叠区域Ω1和Ω2. 分别计算重叠部分Ω1和Ω2的能量评估图，最后在评估图中搜索最佳缝合线，如图5所示。

图5 待拼接图案及其缝合线Fig.5 Stitched pattern and best seam line

直接将C1、C2进行拼接形成图6(a)所示图案，用图5(f)、图5(h)进行拼接形成图6(b)、图6(c)所示图案。

图6 拼接效果及Canny算子检测结果Fig.6 Stitched results and detection results of Canny operator

从图6(a)可以看出，直接拼接的图案在拼接处存在显著的直线段特征。从图6(b)、图6(c)来看，L1和L2缝合线拼接都很好地将这一特征消除了，均难以发现拼接的缝隙。

对上述3个拼接结果分别进行Canny边缘检测后得到图6(d)～图6(f)所示结果。从图6(d)可以发现，Canny算子成功检测到了图6(a)中的拼接缝隙；从图6(e)、图6(f)可以看出，图6(b)、图6(c)的缝隙直接被消除了。

为了确定最优的拼接效果，需要在图6(b)和图6(c)中间选择一个方案。这可以通过比较两种方案的缝合线评估值之和E来确定。图6(b)的EL1=0.982，图6(c)的EL2=0.803，而E越小表示缝合线两侧的局部差异越小，拼接效果就越好，于是选择评估值之和较小的图6(c)作为最优的拼接结果。

4.2 对比试验及分析

将文献[11]的算法用于图5中C1和C2的拼接，得到的结果如图7(a)所示。对图7(a)进行Canny边缘检测，得到图7(b)所示结果。

图7 文献[11]的拼接结果Fig.7 Stitched results in Ref.[11]

从图7可以看出，拼接结果依然能够被Canny算子检测出缝隙处的直线段特征，该算法难以有效地去除接缝的显著性。

由于文献[11]的算法是通过添加一列或多列过渡迷彩来完成数码迷彩的拼接，而过渡迷彩是依据接缝两侧的颜色分布来决定的。在接缝不显著情形下，过渡迷彩可以让拼接处更为模糊，从而消除接缝；在接缝显著情形下，例如图6(a)中接缝左侧存在单一颜色的较大区域，这就会对过渡迷彩的生成造成较大影响，使得过渡迷彩不能很好地消除显著的拼接缝隙。

从图4(c)的纹理合成图案B中随机选择50个样本对区域进行拼接试验，计算其接缝显著度，3种方法的接缝显著度对比结果如图8所示，显著度数据见表1.

图8 接缝显著度试验结果Fig.8 Experimental results of seam saliency

图8对直接拼接，文献[11]的算法和本文算法的接缝显著度结果进行了比较。由图8可以看出：直接进行拼接之后的接缝显著度整体最高；文献[11]的算法能降低拼接后的接缝显著度，但是效果有限；本文算法结果的接缝显著度整体最低，较文献[11]的算法更优。50组接缝显著度试验数据的均值如表2所示。

表1 接缝显著度试验数据

表2 接缝显著度试验数据的均值

由表2可知，对于直接拼接来说，文献[11]的算法可以降低接缝显著度45.7%左右，而本文算法可以降低76.9%左右，同时本文算法较文献[11]的算法，提升了约57.5%的性能。综上所述，本文算法能够更好地应对显著的拼接接缝。

5 结论

本文针对不同平面数码迷彩拼接的接缝显著性问题，提出了一种结合纹理合成与最佳缝合线的拼接算法，并采用接缝显著度指标来描述数码迷彩拼接后的效果。该算法是为仿造数码迷彩的拼接量身定制的，重点在于减少拼接处的显著直线段特征，使伪装目标与背景能够更好地融合。由于变形迷彩的纹理较仿造迷彩更为简单，斑块边缘更为清晰、显著，运用纹理合成难以获得一个效果较好的伪重叠区域，所以本文算法并不适用于变形迷彩。将本文算法与文献[11]的算法做了拼接对比试验。结果表明，本文算法相对于文献[11]的算法，能够更好地消除数码迷彩拼接接缝，从而减少迷彩图案的暴露特征，使迷彩图案在拼接处过渡更为自然。