基于VR技术的大视角成像图像拼接仿真

马 璿，陈 烽

(西藏民族大学信息工程学院，陕西 咸阳 712000)

1 引言

虚拟现实将设备生成的三维立体虚拟环境与体验者之间连接互动，使用户产生身临现实环境的感受和体验，需全面且多角度地描述周围环境，以达到人物合一、人景合一效果，三维全景图技术和VR技术之间的关系非常密切。人类所能获取的信息大部分来自视觉，因此想要高标准应用VR技术，视觉模块的设计最为关键。在此背景下图像拼接技术[1]得以快速发展，到目前为止，这项技术已被广泛应用，包括可视化医学图像分析、天气探测、军事侦察、多媒体视频影像等各个重要领域[2]。

王晓鹏[3]等人提出一种大视差补全法，通过正射效果最优的区域图像来弥补低地物区中，实现正射影像的拼接；徐弘祯[4]等人提出使用柱面投影完成全部坐标的统一，并使用RANSAC算法多次训练迭代，过滤掉冗余特征点，线性加权平滑最终拼接图像。但是上述方法没有考虑到摄像机标定、匹配点选取等多方面因素综合影响，导致大视角成像图像存在盲区盲点、成像不均、畸变等问题。

为此本文提出应用VR技术快速完成大视角成像影片中图像的拼接。通过对每个特征点之间相互的变换联系以及它们之间的匹配度，提取出需要完成拼接图像的特征点，根据特征点之间的匹配度来筛选出匹配度最高甚至是最符合要求的点完成拼接处理，精准定位图像间重叠区域并实现平滑拼接。仿真实验得出，本文方法能在保持图像分辨率的同时，还能够得到大视角、完整清晰的场景图。

2 图像拼接框架及思路

本文提出的图像拼接技术通过借助VR技术将其数字化，以实现拥有重叠地点区域的两幅或几幅图像的拼接，将其组合成一幅能够拥有所有图像信息的大视角图像。

主要步骤如下：

1)输入拥有重叠区域的多幅图像。

2)识别待拼接图像特征点，并提取出所需有效信息，再将待拼接图像中提取出的有效信息与特征点逐一匹配，使相关图像的有效区域能够完成对齐，这个步骤最为关键且必不可少，直接影响到图像拼接最后的效果。

3)对特征点初始匹配后，为优化图像拼接效果，需要校对初始的匹配点，将匹配度较低或者匹配不对称的匹配点精确筛选和排错，此步骤很大程度提高了图像的匹配度和精准度。

4)将已经初步校准对齐后的图像通过最后的平滑过渡拼接，去除较为突出的拼接痕迹，使图像之间能够平滑过渡，最终呈现更完整自然的视觉效果。

3 VR成像下图像拼接方法研究

3.1 图像间重叠特征点提取

待拼接成大视角的相邻两幅或多幅图像中存在相同区域[5]，这部分区域部分特征点互相之间存在着联系，需要将其中的特征点提取出来进行比对，完成特征点初始匹配工作。本文通过函数测算、变换选择特征点和待匹配点来识别图像间相同的特征点，具体的计算过程如下：

在首幅图像中先明确一个准备点，以这个点作为中心选m×n(可选m=n)个像素的灰度集合作为目标区D，灰度矩阵为G(gi，j)(i=1，2，…，m；j=1，2，…，n)，其中m和n为奇数，与矩阵G对应的灰度函数为g(x，y)((x，y)∈D)。通过可视化手段明确相邻前后两幅图像间重叠区域[6]，以前一图像为基础，在后一幅图像中选择任意待匹配点为中心，建立一个k×l(k>m，l>n)个像素的灰度集合作为搜索区域D′，灰度矩阵G′(g′i，j)(i=1，2，…，k；j=1，2，…，l)，其中，k与l也为奇数，与G′对应的灰度函数为g′(x′，y′)((x′，y′)∈D′)；G′中任意一个m行n列的子块(即搜索窗口)记为

G′r，c=(g′i+r，j+c)

(1)

其中，

i=1，2，…，m；j=1，2，…，n；

r=int(m/2)+1，r=int(m/2)+2，…，k-int(m/2)；

c=int(n/2)+1，int(n/2)+2，…，l-int(n/2)

式中，r、c分别表示i、j方向上行、列距离。

g(x，y)与g′(x′，y′)的相关函数定义为

R(p，q)=∬(x，y)∈Dg(x，y)g′(x+p，y+q)dxdy

(2)

那么图像间重叠部分特征点提取结果为

(3)

3.2 校准与初匹配

上述提取出的重叠特征点间势必会存在歧义性或者是匹配度不完全符合的错误情况，为了能够更好地进行特征点的匹配完成图像拼接[7]，进行匹配特征点的精准校对，最终求精、排错，目的是让各个匹配点集都能够一一对应，找出最高匹配度的特征点进行拼接。本文在这里使用计算相似度和匹配度，作为精准校对特征的必要步骤。

将初始匹配定义为(X1，X2)，将X1和X2这两个点分别视为两个中心点，将R视为半径，相邻区域N(X1)和N(X2)。在X1和X2的匹配度和相似度是很高的情况下，那么认为这两个相邻的区域内是存在比较高的匹配(Y1，Y2)，并且Y1和X1与Y2和X2之间互相相对应的位置关系非常相似。若初始相似度低，就无法在其相邻区域内找到匹配度较好的点，或者是只能够找到很少几对匹配度较好的点[8，9]。在这样的情况之下，本文定义(X1，X2)和(Y1，Y2)这两对待匹配点之间的相似度计算公式为

(4)

式中：

(5)

delta(X1，X2：Y1，Y2)=e-δr

ifcor(Y1，Y2)>0.8andr<δ，0others

(6)

其中r是相对的距离差，计算公式为

(7)

δ为距离系数，且δ=0.3。

有些时候，特征点匹配后会有相似度不完全对称的情况出现，即Similarity(X1，X2)≠Similarity(X2，X1)，此时引入一个定义，即匹配度

(8)

式中：M(Y1，Y2)={(Y1，Y3)|，Y1与Y2互为彼此之间最大的相近区域配点，那么Y1∈N(X1)，Y2∈N(X2)}，即对N(X1)和N(X2)中的每一对(Y1，Y2)能够作出分析如下：

取Y1在N(X2)的所有匹配点集合中最为相似的点Y2l，Y2在N(X1)的所有匹配点集合中最为相似的点Ylk。如果Ylk=Y1且Y2l=Y2，那么则将匹配相似度Similarity(X1，X2：Y1，Y2)累加到X1和X2的匹配度Similarity(X1，X2)中。

此时匹配点之间相互保持对称性，就可以消除不对称或是匹配度为零的点。

通过以上方法，可得出每一对匹配点的匹配度，利用匹配度进行进一步的校对筛选，可获得互相间最贴近的匹配，具体过程如下：

1)将old-total-strength和total-strength分别定义为两个变量，用于判断循环条件，并分别重置归零。

2)逐一计算出待拼接图像中重叠区域各对配点的匹配度。

3)计算出各对匹配点的总匹配度，并设定其为多幅待拼接图像的特征点匹配度之和。

4)对目标图像的各个匹配特征点逐一计算出非模糊程度。

(9)

式中：FirsrLargeatStrength(X)为点X的最优匹配度，SecondLargeatStrength(X)为点X的次级匹配度

5)假设计算出的匹配度结果稳定，即total - strength - old - total - strength≤10-6，则退出循环条件并执行第8)步，否则将total - strength赋值给old - total - strength，在进行步骤6)操作。

6)将计算出的全部匹配度以及非模糊度降序排列，并列出序列集合，这里将其定为集合1和集合2。将两个集合的前60%截取留用，形成新的集合1和集合2。比对集合1和集合2，可以看出两个集合中同时出现的匹配点，即视为最相似匹配对。

假设出现与最相似匹配的两个特征点相对应的最大匹配度点互不为彼此，此时则认为该匹配是不正确匹配，应该把它们从这两幅图像的匹配集中去除。

7)这时应回到第2)步重新进行匹配校对；

8)假设出现与最相似匹配的两个特征点，相对应的最大匹配度点互为彼此，就把这组匹配放入数组m-final-cor-ners中，为变换矩阵的计算做出准备，方便图像后期的平滑过渡拼接处理。

3.3 平滑拼接

在图像采集过程中，由于拍摄设备自身存在的参数、采集过程中周围的环境变化以及后期进行匹配时匹配度存在的误差等因素影响，图像互相重叠的部分一般会有光照色差等变化差异，因为存在这些因素的影响，即便是匹配度很高的两张图像，拼接后在图像上仍会存在比较明显的一条拼接缝隙。此时为了更好地展现图像的视觉效果，需要对图像进行平滑过渡以最终完成拼接步骤。

加权平均法是目前最为常用并且操作起来较为简洁实用的平滑策略。在这里改良并精进了传统的加权平均算法，运用了一种变化性加权函数法。由于每幅图像重叠的区域具有不完全规则性，因此考虑加权平均的相对应权值函数时，是随着图像位置的不同来选择变换不同的表达式，这样一来图像不同部位的每个细节部分都能够被很好的照顾到。本文所采用的图像拼接平滑策略如下

I(x，y)=w1(x，y)IL(x，y)+w2(x，y)IR(x，y)

(10)

式中，I(x，y)为新的拼接图像点像素；IL(x，y)为已有拼接图像点像素，IR(x，y)为配准像素点像素。w1(x，y)(i=1，2)为不同图像像素取值的权重值，它们定义如下

1)w1(x，y)+w2(x，y)=1

2)w1(x，y)=1，w2(x，y)=0(x，y)只属于图像IL，w1(x，y)=0，w2(x，y)=1(x，y)只属于图像IR

3)若(x，y)属于图像IL和图像IR的重叠区域，则按照以下的公式来进行计算：

①当采集的图像序列存在上下方向的位置移动但并不明显的时候，对于图像垂直方向上的像素变化不大，此时，只用水平方向上的加权就能够达到预期的效果，这时w1(x，y)=(lw-x)/(x1)，其中lw为IL(x，y)的图像宽度；x为像素点的横坐标；x1为图像重叠部分上一行的长度

②当采集的图像序列存在左右方向的位置移动但不明显的时候，图像在水平方向上的像素变化不会很大，这时只用垂直方向上的加权就能够达到预期的效果，w1(x，y)=(lh-y)/(y1)，其中lh为IL(x，y)的图像宽度，y为像素点的纵坐标；y1为重叠部分上一列的高度。

4 仿真与分析

为验证所提拼接方法的性能，本文涉及仿真，并对仿真结果完成分析，如图1所示的待拼接图像A、B为本次实验对象。

图1 待拼接图像

为快速简洁且避免全局搜索，对搜索区域提出了范围上的限制，在取图时使相邻图像最少重叠30%，从图1能够看出，图像A右侧和图像B左侧都呈现出原型城市区域，图像间横向、纵向都存在错位情况。

实验采用文献[3]提出的大视差补全拼接法、文献[4]提出的线性加权平滑拼接法作为对照组。利用不同方法对图像A和图像B中的特征点进行一对一标记匹配，实验结果如图2～图4。

图2 本文初级匹配结果

图3 大视差补全拼接法初级匹配结果

图4 线性加权平滑拼接法初级匹配结果

研究方法得到的初步匹配点共有10对，如图2所示；大视差补全拼接法得到的初步匹配点共有6对，如图3所示；用线性加权平滑拼接法得到的初步匹配点共有7对，如图4所示；通过对图2、图3、图4进行比较，可以看出在图3所提取特征点较少的情况下，特征点互相之间所能形成的正确配对也相对较少，而图4中提取的特征点数量虽然最多，但特征点之间的互相关性较小，存在不对称甚至是不相关的特征点无法进行匹配，所能得到的正确匹配点也不多，而本文通过特征点的初匹配校准后，虽然匹配点的数量较线性加权平滑拼接法少，但是正确的匹配点个数增加了，同时也消除了一定数量的错误匹配点，实现了匹配点的精准校对。

经过匹配点精准校对后，最终三种方法得到的拼接效果如图5、图6、图7所示。

图5 本文最终拼接结果

图6 大视差补全拼接法最终拼接结果

图7 线性加权平滑拼接法最终拼接结果

通过对比可以看出图5的拼接效果无缝平滑视觉效果更好，而图6和图7均在不同程度上存在一定的错位和不对齐，且有较为明显的接缝。实验证明本文方法具有比较稳定的可行性和较好的可操作性。

5 结论

本文方法利用对特征点的初匹配和互相关匹配校准，有效增加了图像匹配点的正确度，使得正确匹配点的数量增加，同时剔除了错误匹配点以及误差率较大的匹配点，提高了单应性矩阵测算和估量的准确度，可以达到更有效的配准图像效果和较好鲁棒性，使得图像拼接快速简洁有效，通过VR技术使所提方法对拍摄条件和拍摄环境没有特别严苛的要求，能够广泛的应用于现实生活中。从本次实验的结果来看，该拼接方法达到了相对比较理想的预期效果，但同时，也存在一定的局限性，目前对视频及动态图片的拼接的测算还有待进一步的深度研究。