多图无缝拼接的配准算法

黄大坤，陆冬良，严志明，张秀彬

多图无缝拼接的配准算法

黄大坤，陆冬良，严志明，张秀彬

针对多幅待拼接数字图像所存在的曝光程度差异、图像配准误差、被摄物本身形态变化以及光学成像过程所产生的畸变等原因都会出现明显的拼接缝隙现象，即，在视觉效果上能够明显看得出存在“接缝线”和清晰地分辨出处于“接缝线”两侧存在着明显色差或亮度的原始相邻两幅图像等技术问题，提出一种多图像无缝拼接的智能配准融合算法。通过建立图像非线性畸变矫正数学模型、图像数据坐标转换、图像畸变校正及其求逆运算、寻找相邻两幅图像上的公共特征点、图像配准与融合等过程，能够完善地解决大型宽幅（广角）平面图像自动无缝拼接的技术难题。

图像匹配；无缝拼接；配准融合；畸变矫正；坐标转换；公共特征点

0 引言

图像拼接技术是智能视感学中的重要分支之一。它是将两幅以上的具有部分重叠的图像进行无缝拼接从而得到宽视角的图像。图像拼接在全景图制作、医学影像等领域起到重要作用。图像拼接必须完成图像配准和融合两个关键的过程。通过图像配准运算可以确定图像的旋转和平移等配准参数；通过图像融合运算可以使合成图像实现自然过渡。但是，在实际应用中，由于待拼接数字图像存在曝光程度的差异、图像配准的误差、被摄物本身的形态变化以及光学成像过程产生的畸变等原因都会出现明显的缝合/接缝现象[1]。

图1示出的两幅广角图像均存在不同形式的“接缝缝隙”。其中，上图的 a-b 和 c-d 的灰度与其各自两侧的灰度之差别清晰可辨，而且 a-b 之间的图像还出现了明显的畸变；下图的“接缝线”则更加突出（刺眼），如同书页折缝。

图1 图像拼接不良效果图例

一般来说，图像配准的方法可以分为两种类型：直接匹配和基于特征的匹配。前者使用图像的像素值，通过迭代的方法对图像进行配准[2]。后者从图像中提取出不同类型的特征，例如线特征或点特征，并使用该特征的邻域信息来进行特征匹配[3]。

现有的全景图拼接方法基本仅适用于圆柱形和球形映射图像，而能够有效应用于大型宽幅平面多幅图像拼接的方法较为少见，功能也不完善[4]、[5]、[6]。这些技术在各自特定的领域能够收到一定的效果，但是，提高数字图像自动拼接质量的技术关键在于如何克服图像形变和畸变所造成的影响。就当前的多幅图像拼接技术来看，通常对图片拍摄的焦距做出了限制。一般来说，景物通过长焦距成像出现畸变的概率较小，通过广角即短焦距成像出现畸变的概率最大，因此至今为止，在该技术领域对广角图像进行自动拼接过程希望能够得到最终高质量的宽幅无缝拼接图像仍然存在着较大的技术难度。

换言之，现有技术是通过图像对齐、投影变换、图像拉伸等操作，将一系列在某一固定视点拍摄的图像合成为一幅无缝的球形全景图。此类技术不使用局部和全局优化技术来提高图像对齐精度，而是近似求解图像的旋转角度，并且允许对齐结果存在一定的误差积累。在生成球形全景图时，通过对图像进行分块拉伸的方法弥补旋转角度的误差，以达到无缝的球形拼接。其中，最为突出的不足之处在于：

（1）不具备对图像的形变和畸变的自动纠正功能；

（2）图像经“竖置分块”和“水平分块”后映射至球面坐标，再通过竖直和水平方向的“拉升”，较难实现精确融合和无缝拼接。

1 算法步骤

本文算法包括：图像降噪、图像分割、畸变矫正及其求逆、坐标变换与透视变换、配准、拼接与融合等方法步骤。

其中，图像降噪可以采用基于偏微分方程的各向异性扩散方法来实现。该类方法将异质扩散和迭代平滑的概念引入到图像处理中，其优点在于它可以在去除噪声的同时，保留甚至增强图像中的边缘信息。

图像分割的目的在于准确寻找相邻图像拼接的前/后沿边界，可以采用“彩色梯度及分水岭分割”或“基于区域块的高斯混合模型分割”等方法予以实现。

1.1 矫正图像畸变算法

（1）建立数学模型

对图像非线性畸变忽略其中高次项影响，得矫正数学模型为公式（1）：

由径向畸变参数、切向畸变参数和薄棱镜畸变参数构成畸变向量，具体为公式（2）：

该畸变向量V建立在归一化虚平面上，不因摄像机的位置改变而改变，同时也与摄像机电荷耦合图像传感器（如 CCD）参数无关，当图像的分辨率改变时，内参数将发生变化，但是畸变向量参数不会变化。

（2）图像数据坐标转换

从世界坐标系到摄像机坐标系的转换为公式（3）：

为平移向量，由R 与t构成的矩阵为公式（4）：

称为摄像机的外参数矩阵。

再从摄像机坐标系到归一化虚平面坐标系的转换为公式（5）：

最后，从归一化虚平面坐标系到计算机图像像素坐标系的转换为公式（6）：

根据图像数据坐标变换关系，通过迭代计算来求取畸变向量公式（2）的全部外参数值。

将已经确立的畸变向量V 参数值代入公式（1），通过该数学模型对受畸变影响后的图像点坐标进行求逆运算获得矫正非线性畸变后的真实点坐标进而获得矫正畸变后的整幅真实图像。

1.2 寻找公共特征点

（1）利用基于图像灰度的角点检测方法在图像的重叠区域寻找4～5个角点作为特征点；

（2）将第一幅图像的重叠区域若干角点作为控制点，以每个控制点为中心建立 4～5匹配模板，再分别以每个匹配模板对第二幅图像的重叠区域特征点进行搜寻，当被搜寻区域出现与匹配模板一致或者两者相似度≥95%，而且当前被搜寻区域内仅有一个角点时，即可确认两者的角点为公共特征点；

（3）重复如此搜寻与匹配过程，最终确定两幅图像上的 4～5个公共特征点。

1.3 图像配准

（1）建立两幅图像的透视变换方程为公式（7）：

（2）将所获得的公共特征点通过透视变换方程，将后一幅图像的特征点逐一与前一幅图像的对应特征点重合。

（3）将透视变换扩展至整个后一幅图像，对后一幅图像，从左上角的像素开始直至右下角的像素为止，除了公共特征点以外的所有像素点逐一转换成透视变换后的图像像素坐标图像。

1.4 图像拼接

（1）分别以经过最左边和最右边公共特征点的两根竖直线作为两幅图像待拼接区域的左、右边线，即待拼接区域的左、右列像素。以与代表对应左、右列的行坐标，则可获得待拼接图像拼接区域左、右边线宽度。

（3）在上述分块基础上，第一待拼接图像和第二待拼接图像的拼接区域左边线为 L（ 0），拼接区域每个分块的右边线依次为拼接区域的右边线为被分别称为第一、第二、…第 1-N 拼接线。

（4）第一待拼接图像和第二待拼接图像拼接线处的像素进行合成，即为公式（8）：

其中， I（ i） （ i= 1,2,...,N -1）表示C和D经过上述公式合成后第i条拼接线上的列像素值，像素值包括：黑白图像灰度值和彩色图像红色分量R、绿色分量G和蓝色分量B的亮度值分别代表待拼接区域宽度图像C和D在第i条拼接线上的原列像素值。

1.5 像素融合

图像融合包括：拼接区域左边线与第一拼接线之间、相邻拼接线之间以及第 1-N 拼接线与拼接区域右边线之间的融合。采用基于小波双3次插值搜索方法对图像的拼接处进行融合，即原图像被小波分解成沿水平、垂直和对角3个方向的一系列高频信号带图像与一个低频图像，其中同一方向各高频信号带图像之间具有相似性，小波图像插值就是利用这种相似性，进行高频外推，然后利用小波反变换重构出比原始图像分辨力更高的插值图像。该方法在高频外推上采用双3次曲面拟合方法代替双线性方法做小波分解后高频外推的相似变换，由于双3次重建图像点的值和导数均连续，能够有效地抑制了双线性处理的高频失真。

（1）对第一待拼接图像拼接区域原图C 进行分解第一次对C分解：

小波分解后水平、垂直、对角3个方向的细节图反映了原始图像在这3个方向上的边沿特征，因为边沿特征在同一个方向上的不同频带中的高频细节具有相似性。

（4）重复上述（1）～（3）的过程，对第二待拼接图像拼接区域原图D进行分解，先后获得

第一次对D分解：

重构高分辨率图像D：

（5）根据C和D的插值结果对列像素逐列进行合成为公式（9）：

A Matching Algorithm to Splice Multiple Images Seamlessly

Huang Dakun1, Lu Dongliang2, Yan Zhiming1, Zhang Xiubin1,2
(1 Jiangxi Yuzhou Vocational College of Science and Technology, Yuzhou 338029, China; 2 Shanghai Jiao Tong University, School of Electronic Inf. and Electrical Eng., Shanghai 200240, China)

Because the digital image to be present in splicing differences in the degree of exposure, the image registration error, morphological changes of the subject itself, and the optical distortion produced by the imaging process are obvious reasons such splicing gap phenomenon that the visual effect can obviously see out there "seams" and be clearly distinguished technical problems in the "seams" on both sides of the obvious color or brightness of the original image, so we propose a intelligent matching & fusing algorithm to splice multiple images seamlessly. The algorithm consists of image distortion correction nonlinear mathematical model, the image data coordinate transformation, image distortion correction and its inverse operation, look for the two common feature points on the adjacent images, image matching & fusing process, etc. to solve large-scale improvement width (wide Angle) plane images automatic seamless technical problems.

Image Matching; Seamless Splicing; Matching & Fusing; Distortion Correction; Coordinate Transformation; Common Feature Points

TP391

B

1007-757X(2014)02-0062-04

黄大坤(1979-)男，江西渝州科技职业学院，副教授；研究方向：电子信息工程，新余，338029；陆冬良(1979-)男，上海交通大学电子信息与电气工程学院，工学博士，研究方向：电子信息工程、信息处理与智能检控、图像处理与模式识别，上海，200240；严志明(1962-)男，江西新余人，江西渝州科技职业学院，讲师，研究方向：电子信息与系统工程，新余，338029；张秀彬(1946-)男，上海交通大学电子信息与电气工程学院，教授、博士生导师，江西渝州科技职业学院电子信息工程学科带头人，研究方向：电子信息工程、信息处理与智能检控、图像处理与模式识别，上海，200240