信息背景下AR动态图像轮廓特征匹配拼接仿真

谭建梅，黄 隽

(1. 山西大同大学，山西 大同 037009；2. 中南民族大学，湖北 武汉 430000)

1 引言

图像拼接是计算机视觉领域的重要分支之一为，作为计算机视觉与图像处理的热点，图像拼接[1]就是以不存在明显接缝且留存初始图像信息为目标，对多幅离散图像信息展开空间拼合的技术，因该技术具有广阔的发展前景，在医学、航天、虚拟现实等领域中有诸多应用，所以引发了众多相关学者的热烈探讨。

文献[2]针对显微图像拼接的几何畸变、错位以及正确匹配率较低等问题，构建一种基于区域蛙跳搜索与轮廓匹配的图像拼接算法，该算法拼接精度较高，稳健性较强，匹配策略运算量有所降低，强化了算法时效性；文献[3]为解决SIFT(Scale-invariant feature transform，尺度不变特征变换)图像拼接方法中的错位与缺失问题，以植株图像为处理对象，设计出有效抑制环境影响、避免拼接错误的深度和彩色双信息特征源下Kinect图像拼接方法；而文献[4]提出的位姿信息下小型无人机影像拼接方法，经精化匹配后，实现较为理想的拼接。

上述文献方法均具有一定的有效性，但随着图像处理需求的提升，图像拼接准确性仍有待提升。因此，本文针对受到广泛应用的AR动态图像，提出一种轮廓特征匹配拼接方法，并展开仿真实验。

2 信息背景下AR动态图像轮廓特征匹配拼接

2.1 AR动态图像预处理

AR动态图像在生成、传输与采集过程中易受环境条件影响，导致图像发生非线性变换[5]、噪声污染等导致图像失真的问题，因此为提升图像质量，应对其展开以下预处理操作：

1)滤波处理：假设含噪图像ξ={χij}mn的滤波窗口规格是i′*j′，H是滤波窗口模板[6]，则利用下列表达式对图像实施卷积处理

ψ=H*ξ

(1)

所得图像ψ={ψ′ij}mn即为滤波后图像。为获取可以满足实际应用的滤波效果，先预设小规格邻域窗口，经不断扩展窗口像素，取得与要求相符合的滤波结果。

去噪阶段通过改变图像像素附近灰度值存在较大差异的像素，令其与邻域像素值更加趋近，实现孤立噪声点滤除。

2)平滑与边缘锐化：若输入的AR动态图像为δ()，输出图像为γ()，平滑卷积滤波器为η()，则采用下列表达式改变图像灰度，实现平滑处理

(2)

基于规格为1*2的模板，采用卷积梯度sobel算子[7]垂直锐化输入图像边缘，得到输出图像γ′()，表达式如下所示

γ′(a，b)=|δ(a，b)-δ(a+1，b)|

(3)

3)几何校正：通过下列模型界定公式，对图像进行几何校正

(4)

输入点与输出点间的相关性可采用最小二乘法[8]完成挖掘，表达式如下所示

(5)

结合上列两式推导出下列矩阵表达式

(6)

同理得出下列表达式

(7)

根据上列两式可得动态图像帧之间的仿射变换参数，实现图像几何校正。

2.2 AR动态图像轮廓特征匹配

2.2.1 图像轮廓特征提取

以左边缘图像为例，假设基于N号种子点PN的窗口规格是m*n像素，对像素大小是i*j的点PN邻域中边缘点的存在展开判定，如没有边缘点，则扩大窗口像素规格继续探寻，待搜索出点PN周围的首个边缘点时终止操作，并以此为起始点，采用相同搜寻方式，进一步判定该点的i*j像素邻域中其他边缘点的存在，以此类推，直到找到首个边缘点不间断边缘上的全部轮廓点为止，将所得轮廓点坐标存于矩阵N中，该矩阵与左种子点名字相同。通过循环操作，获取左图像种子点周围的全部待匹配边缘L{N}，同理得到右图像种子点周围的全部待匹配边缘R{N}。

2.2.2 图像轮廓特征匹配

图像种子点周围存在多条的不间断边缘线，所以采用方向性约束明确轮廓候选匹配部分，避免边缘轮廓提取不一致。假设判定AR动态图像左右不间断边缘方向信息的参数是oL、oR，初始值是0，若(XPN，YPN)是种子点PN坐标，则左种子点全部边缘点坐标(xk，yk)与点PN坐标的关系条件式如下所示

(8)

左右种子点全部边缘点遍历完成后取得参数oL与oR终值，以此来降低各像素对方向的影响。根据参数正负值判定边缘与种子点的相对位置，经对比参数终值，判定轮廓点匹配与否，若正负相同则为匹配状态；反之，则终止匹配任务。

若已知基本矩阵F，求取右图像中首个边缘点的极线S，再求解各候选匹配点与极线S的直线距离，由于AR动态图像存在一定误差，因此，待匹配点设定为与极线距离最近的多个匹配点，利用灰度相关性约束对匹配点进行择优筛选，所得最优匹配点目标函数表达式如下所示

(9)

将解得的最优匹配点作为首个边缘点的匹配点后，从候选匹配区域内去除该点，循环往复，完成全部轮廓点的遍历、搜索以及匹配。

2.2.3 图像轮廓特征匹配检验

当待匹配点匹配正确时，将有多个正确匹配对存在于其边缘曲线上，因此，匹配检验通过特征向量信息实现。

利用轮廓L与轮廓R上两点，构成一组匹配完成的轮廓点坐标(Ai，Bi)，经解得任意点AK与点BK分别到边缘L、R上各轮廓点的间距，计算点AK与点BK的特征向量DAK与DBK，其表达式分别如下所示

(10)

(11)

从而推导出两特征向量相关系数ρ(DAK，DBK)的计算公式，如下所示

ρ(DAK，DBK)=DAK*DBK=

(12)

若相关系数ρ大于预设阈值，则两特征向量具有较好的相关性，所得匹配点为最佳，可以实现理想的轮廓特征匹配。

2.3 AR动态图像拼接

根据图像梯度场，引导插值拼接区域，转换图像拼接问题为最小化目标函数问题，通过泊松方程[9]实现计算求解。

假设∂Ω是图像定义域S上任意封闭子集Ω的边界，封闭子集Ω上的未知标量函数为f，子集边界∂Ω上的已知标量函数为f*，则采用图像插值方法[10]解得未知标量函数f，计算公式如下所示

f|∂Ω=f*|∂Ω

(13)

式中，梯度算子是∇。利用下列基于狄利克雷边界条件的拉普拉斯表达式，描述解得的最小化解

Δf=0 (x，y)∈Ω

f|∂Ω=f*|∂Ω

(14)

上式里，拉普拉斯算子为Δ。此时解得的插值图像较为模糊，故引入泊松融合算法[11]改进指导场。

基于图1所示的指导场v，令模插值的未知标量函数与指导场的变化场相同，用式(13)描述最小化指导场，其解值通过狄利克雷边界条件下的泊松方程表示，如下所示

图1 指导场示意图

Δf=divv

f|∂Ω=f*|∂Ω

(15)

式中，v=(u，v)的散度为divv。有限差分离散化处理式(13)，可得出下列表达式

(16)

式中，投影值为vpq，其对应差分解如下所示，设定待拼接图像区域的梯度场为指导场v，通过该泊松融合表达式，即可实现AR动态图像的无缝拼接

(17)

3 AR动态图像拼接仿真

3.1 仿真效果评估指标

从computer vision group in university of granada测试图像库中，任意选取规格为1024*1024的AR动态图像50幅作为实验对象，展开AR动态图像轮廓特征匹配拼接仿真实验。分别从无标准参考与有标准参考两种图像角度，使用不同的评估指标来评价拼接图像质量。

信息熵指标反映图像信息丰富度与细节表现能力，界定公式如下所示

(18)

式中，第c个灰度发生概率为p(c)。

平均梯度指标用于描述图像对微小变化的敏锐反映，评估内容为图像清晰度，通过下列公式解得，解值与图像层次、清晰度呈正相关：

(19)

假设N′次测试中，第i次测试的平面变换向量是Ti，实际目标物的平面变换向量是T0，图像长宽比的较大值为H，则能够全面反映平移、旋转与缩放变化下拼接方法配准性能的指标是指标配准误差RE，计算公式如下所示：

(20)

若经过配准的动态图像重叠部分是F(i，j)与Q(i，j)，拼接部分是J(i，j)，则衡量拼接图像与初始图像交互信息的指标表达式如下所示

MI=MIFJ+MIFQ

(21)

其中，拼接部分与重叠部分的交互信息量分别是MIFJ、MIFQ。

时间复杂度反映拼接方法运行时长，取N′次拼接测试时长均值，作为该指标数值，计算公式如下所示

(22)

当实际拼接过程中能够获取标准参考图像时，评估指标主要采用均方根误差RMSE、峰值信噪比PSNR、结构相似度SSIM。假设拼接图像z的函数是Z(i，j)，标准参考图像R′的函数是R′(i，j)，则用于反映两图像间差异的均方根误差指标界定公式为：

(23)

引入峰值信噪比指标评估图像质量，表达式为

(24)

反映图像结构关联的结构相似度指标可以对图像视觉效果做出直观描述，表达式为

SSIM(R′，Z)=l(R′，Z)*c(R′，Z)*s(R′，Z)

(25)

3.2 AR动态图像拼接效果

以坐标原点为中心旋转测试图像，按照表1中所示的变换参数，对图像进行平移、缩放，验证轮廓特征匹配精度。

表1 图像变换参数统计表

为验证方法的有效性与适用性，分别采用文献[2]、[3]、[4]方法以及所提方法对测试图像展开配准，经数据整合，得出下列实验数据统计表

表2 图像指标配准误差统计表

对比各方法配置误差数据可知，所提方法通过滤波、平滑、边缘锐化以及几何校正等预处理阶段，为轮廓特征匹配提供了相对清晰的动态图像，在一定程度上有助于提升特征匹配精度，经匹配检验阶段，获取了最佳匹配点，实现高效配准，所以，对比其他文献方法的指标配准误差值相对更低，说明配准优势显著。

将测试图像划分为无标准参考图像与有标准参考图像两类，下列各表分别是其他评估指标的实验数据统计结果。

表3 基于无标准参考图像的指标数据统计表

表4 基于有标准参考图像的指标数据统计表

根据上列各指标数据统计表可以看出，采用所提方法得到的拼接图像均方根误差较小，峰值信噪比较大，结构相似度较好。这是由于所提方法划分图像为左边缘与右边缘图像，通过搜索各边缘点不间断边缘上的全部轮廓点，提取图像轮廓特征，采用方向性约束，明确了轮廓候选匹配部分，经灰度相关性约束对匹配点进行择优筛选，取得了最优匹配点，根据图像梯度场，引导插值拼接区域，实现了AR动态图像的无缝拼接，因此，具有相对理想的拼接效果。

4 结论

随着信息技术的飞速发展，AR技术突飞猛进，为此基于当前图像拼接技术背景，提出一种AR动态图像轮廓特征匹配拼接方法。依据仿真实验结果可知，所提方法对AR动态图像轮廓特征匹配拼接的时长较短，拼接配准误差较小，具有一定的实用性。