基于坐标变换的快速高精度图像拼接算法

刘凌云，罗 敏，陈志楚，吴岳敏

（湖北汽车工业学院 电气与信息工程学院，十堰 442002）

目前视觉检测技术在工业的各个领域都有着广泛的应用，基于工件影像的几何量测量手段和方法也得到了快速的发展，各种影像测量仪层出不穷[1-5]。但对几何尺寸的视觉测量研究主要集中在微小尺寸的检测和测量方面[6]，对于较大零件几何尺寸的综合检测，则很少采用机器视觉，其主要原因在于当前主流CCD器件像素级相对于测量精度仅在10-3数量级，难以一次获得大视场、高分辨率图像。文献[7]将图像拼接技术应用到大尺寸机械零件的视觉测量中，但所提出的测量方法也仅仅适用于表面具有条形纹理的机械零件。文献[8]中尝试将位姿变换方法应用到图像拼接算法实现图像之间的精确配准，但该算法中序列图像焦平面映射的数学模型较为复杂，映射变换时间开销较大。

本文在文献[8]的基础上，借助改进的摄像机标定方法对摄像机的位姿进行调整找正，提出了一种基于向后映射的图像归一化焦平面重采样算法以实现像素点的等精度映射及消除影像畸变，同时通过合理规划摄像机移位采像的运动轨迹，提出了一种基于坐标变换的快速高精度图像配准算法，用以解决光学测量系统视场大小与测量精度的矛盾问题。

1 基于后向映射的图像归一化焦平面重采样算法

为了保证测量平面上的物面成像清晰且等精度成像，在摄像机采像时要求其光轴与测量平面保持垂直，并且采用与测量平面（Zw=0）平行的归一化焦平面（即无畸变虚拟摄像机的成像平面）作为投影平面，将实际成像平面上的图像映射到投影平面上，如图1所示。

图1 图像无畸变焦平面投影的数学模型Fig.1 Mathematical model of undistorted imagging mapping to focal plane

假设世界坐标系｛W｝的XW/YW轴位于测量平面上，坐标原点OW为摄像机坐标系｛C｝的Z轴与测量平面的交点，则齐次变换矩阵可以用参数θ表示为

由小孔成像数学模型可知：

式中： f、ξ、SX、SY、u0、v0均为摄像机内参；θ、ZC为摄像机外参，θ为坐标系｛W｝与｛C｝对应X轴之间的夹角，ZC为光心在摄像机坐标系｛C｝中Z轴上的投影坐标。

由于虚拟摄像机坐标系｛C′｝与世界坐标系｛W｝姿态相同且与Z轴重合，则测量平面上的坐标点（XW、YW、ZW）与其在虚拟摄像机｛C′｝中的成像坐标（u′、v′）满足关系式：

其中：ZC′为光心在虚拟摄像机坐标系｛C′｝中 Z轴上的投影坐标，由投影平面上所设定的图像分辨力δ确定；u0′、v0′为光学中心在映射图像中的坐标。

由式（2）、式（3）可得从实际成像坐标（u、v）到投影坐标（u′、v′）的映射关系式如下：

式（4）采用从投影平面到成像平面的坐标位置映射关系，建立图像无畸变焦平面向后映射数学模型，这种后向映射法不会产生计算浪费问题且方便采用高精度插值算法来实现。

根据图像平面映射变换所需分辨力δ（单位：m/pixel）按式（5）确定参数 ZC′的值：

其中，Col是宽度为Wid（单位：m）的映射区域在虚拟摄像机中所成图像的列宽（单位：像素）

2 摄像机采像轨迹规划及图像拼接算法

为了保证摄像机相邻2次采集图像经映射变换后的图像能实现无缝拼接，现对摄像机采像路径进行特定规划如下：设任意第 i、j（其中 i=1，2，3……，j=i+1）相邻2次移位采像，摄像机仅作相对于世界坐标系｛W｝的X轴或Y轴单轴向平移，移动量为tj，如图2所示。

图2 摄像机移位采像图像拼接示意Fig.2 Stitching schematic diagram of images acquisited in the process of moving to the camera

在对每次采集图像进行映射变换时，限定光学中心的图像坐标（u0′，v0′）为映射图像的中点，则第 j次投影图像区域大小（高度 Hj′/宽度 Wj′，单位：像素）满足递推关系式：

针对第 j次采集图像，以式（7）确定的参数（u′0j，v′0j）及式（1）确定的外参矩阵，在式（6）所确定的映射区域内按照式（4）进行映射变换，获得图像区域大小为（Hj′，Wj′）的第 j次投影图像，则对第 i、j次投影图像只需简单对接即可实现映射图像的无缝拼接。

3 实验与结果

实验中采用摄像机相对于标准测试板进行移位采像获取图像序列，并利用上述算法进行图像拼接、对完整成像中的特征小孔的孔间距进行检测，以此来验证该算法的有效性。实验硬件平台如图3所示，以小型十字滑台台面为检测平台，摄像机借助于双自由度角度微调装置安装在Z轴滑台上，通过Z轴旋转手柄调整物距；X/Y轴旋转手柄控制滑台台面移动从而实现摄像机的移位采像。

图3 实验硬件平台Fig.3 Experimental hardware platform

3.1 摄像机找正及参数标定

为了确保摄像机光轴垂直于测量平面，并获得摄像机内外参数，采用了如下实验方法及步骤：

1）采用张氏标定算法对视觉测量系统进行标定，获得摄像机的内参矩阵M1/外参矩阵M2；

2）将外参矩阵M2进行欧拉角序列变换，获得绕固定坐标系的X轴、Y轴、Z轴的转角γ、β、α；

3）调整双自由度微调装置，使其俯仰及偏转角依次减小 β、γ；

4）再次对视觉测量系统进行标定，直至所获得的 β、γ均小于阈值 ε（其中 ε＜＜1），则可认为摄像机光轴垂直于测量平面，即找正完成。否则返回步骤2。实验中所获得的摄像机内参如表1所示。

表1 摄像机内参标定结果Tab.1 Camera internal calibration results

平面标靶坐标系相对于摄像机坐标系的变换矩阵为

则：外参 ZC=30.130757+1.5=31.630757 mm，其中1.5 mm为标靶的厚度；

5）沿十字滑台的X轴（即世界坐标系｛W｝的X轴向）适量移动台面，使摄像机先后2次对测量平面上同一特征点进行采像，先后获得特征点图像坐标分别为（ux1，vx1），（ux2，vx2），则坐标系｛W｝与｛C｝对应X轴之间的夹角可由公式得到。

3.2 实验结果

在保证摄像机位姿不变的情况下，使加工中心的滑台依次沿X轴正向、Y轴正向、X轴负向作3次移动，每次移动量15 mm，并依次对测量平面上的标准测试板 （由7行7列个小孔组成，小孔半径0.9375 mm，相邻孔间距3.75 mm）进行局部采像4次，采集的图像序列如图4所示。

图4 摄像机依次移位采集的图像序列Fig.4 Acquisited image sequences during camera moved successively

取完整图像的分辨率 δ=3.42292×10-5m/pixel，初始投影图像区域大小为500×500，则由递推公式（6）、（7）可知，后续2幅投影图像区域大小均为500×500，光学中心的图像坐标为（249.5，249.5）。将上述4幅采集图像按式（4）进行映射变换，并进行无缝拼接得到像素大小为1000×1000的完整图像如图 5（a）所示。

为检测拼接精度，在完整图像中进行子像素轮廓提取，如图5（b）所示，在完整成像的4个不同区域分别获得 9 个小孔圆心 Dij（i=1，2，3，4； j=1，2，…9；i为图幅区域，j为圆点标号）。对其图像坐标进行提取如表2所示。

图5 拼接后的完整图像Fig.5 Final mosaic image

表2 特征点图像坐标测量结果Tab.2 Image coordinates measuring results of feature points 单位：（pixel）

图6为横向或纵向相邻2个图幅区域之间标号相同的2小孔圆心的间距数据图，横坐标X表示圆点标号，纵坐标Y表示孔间距。通过数据分析可知，测量误差约为±0.006 mm。

图6 横向或纵向相邻图幅区域同标号孔的孔间距数据Fig.6 Spacing data graph between the same label holes along the horizontal or vertical adjoining area

4 结语

文中提出的基于坐标变换的完整成像映射方法，采用从投影平面到成像平面的坐标位置映射关系，建立了图像无畸变焦平面向后映射数学模型，这种向后映射法不会产生计算浪费问题且方便采用高精度插值算法来实现。基于2D标定模板位姿检测的摄像机找正方法能精确保证摄像机光轴垂直于检测平台。对摄像机采像时的轨迹合理规划，致使图像映射变换算法中的递推外参矩阵计算简单、累积误差小且精度高；又由于将光学中心坐标限定在映射图像区域的中心位置，保证了序列投影图像均是以光心为中心的小区域，能实现投影图像的等精度拼接。所提出的图像拼接算法解决了视觉系统分辨率与视场之间的矛盾问题，实现了大尺寸机械零件的视觉综合测量。其测量精度基本满足机械零件二维尺寸精密测量的要求。

[1]黄伟琼.基于机器视觉的影像测量系统的研究与设计[D].广州：华南理工大学，2012.

[2]刘一，胡晓东，邓淑娟，等.基于图像拼接的微表面三维测试系统开发[J].电子测量技术，2008，31（9）：100-102.

[3]蔡勇，秦现生，张雪峰，等.多摄像机视觉检测大范围布置方法及其数据拼接[J].中国机械工程，2011（16）：1984-1987.

[4]祁晓玲，赵霞霞，靳伍银.基于机器视觉的轴类零件几何尺寸测量[J].组合机床与自动化加工技术，2013（1）：65-67，73.

[5]杨光.基于机器视觉的精密零件尺寸检测关键技术研究[D].沈阳：沈阳理工大学，2014.

[6]邓小峰.基于机器视觉的零件识别和测量系统研究[D].南京：南京航空航天大学，2014.

[7]何博侠，张志胜，徐孙浩，等.大尺寸机械零件的机器视觉高精度测量方法[J].中国机械工程，2009，20（1）：5-10.

[8]刘凌云，罗敏，方凯.基于图像拼接的尺寸精密检测算法研究[J].制造技术与机床，2012（11）：106-110.

中国工业企业盈利能力呈现分化

一项新的研究发现，受重工业疲软以及国有企业境况不佳的拖累，去年中国工业企业的盈利能力下滑至2003年以来的最低水平，而持续的产能过剩可能给利润率带来持久下行压力。

研究公司牛津经济研究院（Oxford Economics）的亚洲经济负责人高路易（Louis Kuijs）发现，中国官方工业调查的约32.8万家公司——包括所有国企以及年销售额超过2000万人民币的非国有企业的平均利润率，从近年高点——2010年的7.6%下滑至2015年的5.8%。

然而，这一整体数字掩盖了不同类型企业之间的巨大差异。高路易表示，去年，国有企业很可能延续了自2010年以来资产回报率下滑的趋势，而非国有企业的资产回报率似乎保持得较好。

这种差异部分源于这样的现实，即采矿、钢铁、其他金属及化学品等遭受重创的行业——都受到房地产市场疲软的影响——大量集中了中央或地方政府控制的国有企业。

这些资本密集的行业内部，窘境已经显现。例如，钢铁企业的平均利润率已从2010年3.9%的近期高点下滑至去年的0.8%。化工企业的平均利润率从2010年的7.7%下滑至去年的5.3%，“其他金属”企业的平均利润率则从2010年的5.6%下滑至2.7%。

高路易预计，未来这种艰难境况很可能将持续。“在遭受重创的行业，就业岗位已经大幅削减。尽管如此，由于投资水平仍居高位，工业产能扩张依旧太快，这将压低利润前景。”

总的来说，自2014年初至2015年底的两年时间里，工业部门削减了约390万个就业岗位，包括87.3万个煤矿业岗位以及53.3万个钢铁业岗位。

但问题在于，虽然减员数量巨大，产能过剩的情况依然突出。中国欧盟商会 （European Chamber of Commerce in China）最近发布了一份评估报告，认为中国钢铁、铝、水泥、炼油、平板玻璃及造纸等行业的产能利用率在65%至85%之间。该商会估计，自2008年以来，所有这些行业的产能利用率都出现了大幅下滑。

以钢铁业为例。官方计划未来5年削减1亿至1.5亿吨产能。但这一巨大数量仅占当前总产能的10%至15%，这意味着在这项5年目标实现后（如果能实现），很可能还要继续削减更多产能。