拼接图像的径向畸变矫正技术

王 月，李 阳，金映谷，杨亚宁

(大连民族大学 a.信息与通信工程学院；b.机电工程学院，辽宁 大连 116605)

图像拼接是将多幅有重叠区域的图像拼成一幅高分辨率的全景图像，实际应用中，硬件设备和一些不可控因素使得待拼接图像存在几何畸变。畸变不仅影响视觉效果，更决定拼接任务成功与否。图像拼接应用领域广泛，待拼接图像种类繁多、特征多变，目前尚没有一种方法能够适用于不同领域多款相机的图像拼接[1]。

近年来，随着图像处理技术的快速发展，国内外已有很多科研工作者对图像拼接进行研究。Alomran等[2]通过检测所获取图像的重叠区域，自动对齐和融合图像的拼缝处从而创建全景图像，该方法通过广角镜，垂直和水平旋转采集图像，以及在非固定轴上取图，能够以最小5%的重叠面积正确拼接。Zhu L等[3]提出一种基于改进加速鲁棒特征的快速拼接方法，首先采用机器学习方法构建二分类器，对SURF提取的关键特征点进行识别，剔除非关键特征点，继而使用RELIEF-F算法对改进的SURF进行降维和简化，实现图像配准，提高了配准速度。Zhou A等[4]根据缺陷钢制旋转零件图像特点，提出一种基于倾斜概率测度和RANSAC算法的带特征点SIFT特征跟踪图像拼接方法，该方法利用尺度不变特征变换算法和基于斜率概率测度的伪匹配点对的除去算法以及随机抽样一致算法，求解两个邻接矩阵的配准参数，进而完成零件缺陷图像拼接。Du X等[5]提出一种基于BRISK特征提取的改进ORB图像拼接方法，该方法使用ORB算法描述特征点，使用KNN算法和PROSAC算法纯化匹配点，通过渐进渐出加权平均融合完成拼接。以上研究都取得较好的拼接效果，但尚没有解决适用于多种类型相机的图像拼接问题。针对以上问题，本文提出一种在图像拼接中引入单参数除法模型的方法，省去繁重的标定过程，能够矫正多种类型相机取图产生的径向畸变，实现图像不失真拼接且拼接效果较好，对于先进驾驶辅助系统的升级、天眼监控系统的完善具有一定的帮助。

1 特征点提取

1.1 图像采集与预处理

本文不局限于矫正特定相机取图产生的径向畸变(单次拼接的图像均来自同款相机)，采集到的拼接图像应具有共同区域，重叠区域至少有20%～50%。在图像特征点提取前，为提高实验的精确性，使用中值滤波消除图像的椒盐噪声，保持图像边缘特性。

1.2 特征点检测

由于Harris算子具有较好的检测效果和实用性，且稳定性强、鲁棒性高[6]，本文使用Harris算子进行角点检测。Harris算子的基本思想[7]是假定在某一点周围圈出一个很小的窗口，然后沿着任意方向移动这个窗口，比较移动后与移动前，如果窗口包含的所有像素灰度值的累加值发生明显变化，则说明这点是角点，本文对提取的特征点进行轮廓显示如图1。

图1 特征点提取效果图

2 径向畸变矫正

相机必然存在镜头畸变，其中径向畸变是其主要类型，畸变示意图如图2。图中网格线为畸变趋势线，本文针对待拼接图像中的径向畸变[8]进行研究。在径向畸变模型中，除法模型相对于多项式模型具有更高的精度，对于大多数摄像设备而言，单参数除法模型已具备足够的精度[9-10]，由此，本文提出一种引入单参数除法模型的拼接方法，该方法利用单参数除法模型求解畸变系数，并利用畸变系数矫正径向畸变，使得矫正拼接工作易于部署。

图2 畸变示意图

本文所用模型是在立体匹配的约束条件下得到的，该模型使图像的径向畸变系数同普通透视图像对的对极几何模型相结合，求解畸变系数。设置径向畸变的中心为图像中心，同时假设像素纵横比接近1，偏斜接近0。Xd=(xd,yd,1)表示畸变图像上的点，Xu=(xu,yu,1)对应未失真的点，则：

(1)

(2)

如果需精确保持此模型，式(1)、(2)会隐式假设像素纵横比接近1，偏斜接近0。实际上，几乎大部分工业相机满足零偏角方形像素，且精度很高。

(3)

利用Fitzgibbon提出的将畸变系数与8点算法[12]相结合的方法进行计算，得到：

(4)

式(4)等效为

Xu=Xd+λZd。

(5)

式(3)、(5)联立得：

(6)

(D1+λD2+λ2D3)f=0 ，

(7)

此时畸变系数求解转换为特征值求解问题。

得到特征值后，为提高其精度，采用RANSAC方法通过距离是否大于设定阈值判断是否为外点，从而去除外点，阈值一般取0.04～0.05。到此畸变系数已求出，可以用来矫正径向畸变。

3 仿真验证

选用的四款拍摄设备参数详情见表1，采集不同场景下的图像进行实验。

表1 设备参数及拍摄场景

为更好显示实验效果，通过几何扭曲增强图像畸变，并利用上述方法处理，得到矫正效果如图3。

图3 局部矫正效果图

利用归一化互相关方法进行匹配，采用随机抽样一致算法提高匹配准确率并利用内点数据进行参数估计，计算变换矩阵。为得到更加理想的效果，使用gold_standard算法进一步优化，利用加权融合算法完成图像拼接。主要参数设置见表2。

表2 主要参数设置

选用多款相机拍摄多种场景图片进行拼接实验，拼接效果如图4。

图4 全局拼接矫正结果图

由20名观察者分别对四组拼接矫正结果图像进行主观评价，5%的观察者认为拼接矫正效果极佳，85%的观察者认为效果较好，10%的观察者考虑到拼接分割线认为效果一般。

4 结 语

径向畸变易引发图像拼接失真，本文提出一种在图像拼接过程中引入单参数除法模型的方法，利用单参数除法模型快速部署，解决径向畸变问题，实现图像不失真拼接。该方法还适用于不同领域的多款摄像机，对于天眼监控系统的完善、先进驾驶辅助系统的升级以及机器人视觉领域的研究具有一定的参考价值。