利用图像拼接实现微结构的大视场测量

陈至坤　郭蕊　张博伦　曾凯　王福斌

摘要：为实现基于图像的飞秒激光烧蚀硅晶片光斑阵列的完整测量，对采集的多幅光斑阵列图像拼接，得到完整的飞秒激光烧蚀光斑阵列图像。首先，对飞秒激光烧蚀光斑图像进行增强处理，对光斑进行方形拟合提取中心点，获取每两个中心点间的像素值，运用线纹对微视觉测量系统标定，获得像素尺寸与几何尺寸之间的比例系数，根据比例系数对像素尺寸与几何尺寸进行换算，得到对光斑阵列的视觉测量值;最后，用拼接后的光斑阵列进行图像测量，得到测量尺寸与实际尺寸间的误差平均值为3.00%。经实验验证，利用图像拼接对微视觉系统大视场微结构进行图像测量是可行的。

关键词：图像拼接;方形拟合;图像测量;微结构

中图分类号：TN247

文献标志码：A

文章编号：1674–5124（2019）03–0007–05

Large field of view measurement of microstructure using image stitching

CHEN Zhikun， GUO Rui， ZHANG Bolun， ZENG Kai， WANG Fubin（College of Electrical Engineering， North China University of Science and Technology， Tangshan 063210， China）

Abstract： In order to realize the complete measurement of the image-based femtosecond laser ablation spot array， the images of the collected multiple speckle array are spliced together to obtain the complete image of femtosecond laser ablation array. First of all， the image of femtosecond laser ablation spot should be enhanced， and the spot should be square fitted to extract the center point， so as to obtain the pixel value between each two center points. With the line pattern to calibrate the micro vision measurement system， the scale factor between the pixel size and the geometric size are obtained ， and the pixel size and the geometric size are converted according to the scale factor， obtaining the visual measurement value of spot array . Finally， the average error between the measured dimension and the actual size is 3.00% by using the image measurement of the spliced spot array. It is proved by experiments that it is feasible to measure the microstructure of large field of view in micro vision system by using image stitching.

Keywords： image stitching; square fitting; image measurement; microstructure

0 引言

計算机微视觉系统是由远心镜头或显微镜头组成的视觉系统，是由光学显微镜、视觉成像和计算机视觉技术整合在一起的可实现视化检测的测量平台[1]。飞秒激光微加工被不断应用于各类研究和工程领域。利用飞秒激光微加工精度高、质量好以及可实现三维加工等独特优点，被广泛应用于各种材料的加工处理，可对硅晶片、石英玻璃及光纤材料等材料表面或内部进行新颖的微加工[2]。微视觉系统在微观测量、成像等领域有着广泛的应用，使人们对微观世界的研究已进入微米级、亚微米级到纳米级，光学分辨率极限的局限性逐渐显现[3-4]。对单目微视觉系统，利用图像的空间距离与笛卡儿空间距离之间的的比例系数的测量方式，根据图像中的两特征点之间的图像距离，测量出其在笛卡儿空间的距离，余金栋对计算机微视觉的亚微米特征尺寸测量研究[5]，李智对几何量的测试[6]，但他们都不能对微尺寸结构大视场进行准确测量。

为实现对大视场微尺寸结构图像的准确测量，本文对采集的多幅飞秒激光烧蚀的光斑阵列图像进行拼接，对飞秒激光烧蚀光斑图像进行图像取反，将每个光斑进行方形拟合提取中心点，获得每两个中心点间的像素值，用所得的像素值与实际尺寸大小的比值进行换算，得到一个对光斑阵列的测量值，用拼接测量的尺寸与实际尺寸进行误差对比，能较为准确地对大视场微结构图像进行测量。

1 图像拼接

由于加工物体的结构大多为微米或纳米尺度，所以不仅加工尺寸小，而且激光加工系统的视场也有限，因此很难看到斑痕列阵，所以这种飞秒激光的微加工需要后期进行采集与测量。人们对微观世界的研究已进入微米、亚微米和纳米尺度阶段，使微视觉系统已广泛应用于微测量、成像等领域。但由于微视觉系统的市场范围也有限，所以想要得完整的微结构图像，必须要进行图像拼接。高精度远心镜头视场大小为

视场大小=CCD靶面尺寸/光学放大倍率 （1）

CCD相机的靶面尺寸为8.8mm×6.6mm，远心镜头的最大放大倍率为4.5倍，则微视觉系统的最大视场尺寸为1.955mm×1.466mm。

本文在微视觉系统条件下对飞秒激光烧蚀在硅晶片上的斑痕列阵图像采集，该系统包括分辨率为2448×2050的微型视觉相机GC2450和高精度远心镜头NAVITARZ6000，如图1所示。

实验使用的硅晶片上含有3个飞秒激光烧蚀光斑阵列，每个阵列的大小约为1mm×2mm，在每个阵列中含有50个烧蚀光斑，呈现5×10的点阵分布，如图2所示;实验中，将硅晶片水平放置于精密定位载物台中心处，与远心镜头相互垂直，如图3所示。

实现微尺寸结构图像的拼接，并不改变原图像的结构特性，采用Harris算法对图像中的特征点进行检测，对特征点进行ANMS自适应非极大值抑制，使特征点能均匀分布在整个图像，再运用欧氏距离和RANSAC算法对图像进行筛选。并将横向位移采集到的两幅图像进行拼接，再将拼接好的图像再次拼接，如图4所示。图5为拼接后的完整的飞秒激光烧蚀的硅晶片光斑阵列。

2 图像预处理

2.1 图像取反

将图像进行二值化处理[7-8]，将整个图像呈现出明显的黑白效果，通过改变灰度图像中的各个像素的灰度可以达到图像的增强，设原始图像在（x，y）处的灰度为I1（x，y），而改变后的图像在（x，y）处的灰度为I2（x，y），将在（x，y）处的灰度阈值设为g，则对图像增强的方法表述如下式[9]所示：

再将原图像灰度值翻转，原来具有较大灰度的像素在变换后其灰度接近0，而原来较暗的像素变换后成为较亮的像素，如图6所示。

2.2 中心点提取

用迭代法进行选取阈值，初始阈值选取为图像的平均灰度T0，然后用T0将图像的像素点分作两部分，分别计算各部分的平均灰度，将小于T0的部分设为TA，大于T0的部分设为TB，计算出TA和TB的平均值T1，将T1作为新的全局阈值代替T0，进行不断迭代，直至T收敛[10-11]。

利用所产生的图像二值化对飞秒激光烧蚀在硅晶片的有效区域进行正方形拟合，对有效区域进行中心点提取，如图7所示。

3线纹标定

为了获取精确的亚微米特征尺寸，必须对微视觉测量系统进行标定，这是决定测量精度的关键环节[12]。由于亚微米级线条在高精度远心镜头下成像特殊，而且测量视场的大小只有几百个微米，因此计算机微视觉测量系统的标定在技术实现上存在一定的困难。

建立成像系统的投影模型及其参数的过程为图像的标定。主要标定的参数包括显微镜的放大倍数、相机水平和垂直方向上像素的间距[13]。像素当量（pixel representing distance，PRD）就是用像素所代表的实际尺寸可表示标定的这些参数。像素当量标定方法分为标准件法和自主运动标定法。标准件法运用图像处理技术从标准件的显微图像上找到代表己知标准尺寸的像素距离，然后用实际距离除以该像素距离得到PRD。运用间距为10μm的正方形硅条阵对微小视场进行标定。本文所研究的微视觉测量系统的视场只有二、三百个微米，需要采用微米级尺寸的标准件。运用最小刻度为10μm的镜台测微尺的线纹实现对200μm的视场标定。测试标准板具有微米级标准线对，每组图元包括十对相对位置己知的线纹，具备作为标定标准件的条件。但是由于可利用的线纹对数较少，因此需要采用简化的微视觉成像模型进行标定，如图8所示。

将选取的10对线纹的实际距离ds与像素距离dc作比，得到实际距离与像素距离的比例参数为0.160μm/Pixel。

4 图像的测量

计算平面空间上的两个中心点的距离，运用欧氏距离两点间的像素距离计算，欧氏距离的二维空间的公式为

其中，ρ为点（x2，y2）与点（x1，y1）之间的欧氏距离。实验所用的飞秒激光烧蚀的硅晶片光斑阵列每相邻两点之间的加工距离约为100μm，利用奥林巴斯CKX41型生物显微镜对飞秒激光烧蚀的硅晶片光斑阵列进行图像的采集，利用ISCapture软件对采集的飞秒激光烧蚀的硅晶片光斑阵列的图像进行测量，如图9所示;将此测量结果作为实验的原始数据。

在二值化后的提取中心点照片上，根据像素到微米的比例系数，得到每个像素值与實际距离的比例参数，用得到的每两点间的像素距离通过比例参数得到他们之间的实际距离。用获得的中心点提取图像运用欧式距离，得到两个中心点之间的像素距离，然后，用所获得的像素距离根据比例参数得到每两点间的实际距离，如表1所示。

5 与实际图像的测量的对比

本文所测量的飞秒激光烧蚀的硅晶片光斑阵列每相邻两点之间的加工距离约为100μm，用测量的尺寸进行与实际尺寸进行对比。本文采用微视觉系统GC2450的微型视觉相机和NAVITARZ6000高精度远心镜头所测量的结果与实际尺寸进行对比，从而进行误差分析。

在对飞秒激光烧蚀的硅晶片光斑阵列图像进行实际尺寸的测量，如图10所示;表2为测量尺寸与实际尺寸的对比。对比前后测量的平均误差为2.04%。图11为测量数据与标准数据尺寸对比的折线图。

分别测量每列两端光斑中心点的距离，如图12所示;并将测量的结果与标准距离做对比，如表3所示;对比前后的平均误差为2.84%。

分别测量每行中左右两端光斑中心点的距离，如图13所示;并将测量的结果与标准距离做对比，如表4所示;对比前后的平均误差为3.00%。

6 误差分析

在实现对飞秒激光烧蚀硅晶片光斑阵列的完整测量过程中，存在着光学平台的水平性、镜头与测量平台的垂直性、对图像所造成的畸变导致拼接效果不能达到最好等复杂因素，这些因素都会对实验结果造成测量的不精确。若能做到镜头与测量平台的垂直性减小图像畸变，提高图像拼接后的复原程度，能进一步的减小误差。

7 结束语

实现了基于图像的飞秒激光烧蚀硅晶片光斑阵列的完整测量，通过对飞秒激光烧蚀的硅晶片光斑阵列图像拼接后，对飞秒激光烧蚀的光斑阵列图像进行较为准确的测量。对飞秒激光烧蚀光斑进行图像预处理，进行图像取反，将光斑进行方形拟合提去中心点，并选取中心点间的像素距离，用所值的像素值与实际尺寸大小的比值进行实际距离的换算，得到一个对光斑阵列的测量值;用拼接测量的尺寸与实际测量的尺寸进行误差对比，每相邻两点间距离的平均误差为2.04%，每列两端光斑中心点间距离的平均誤差为2.84%，每行两端光斑中心点间距离的平均误差为3.00%。经实验验证，利用图像拼接对微视觉系统大视场微结构进行图像测量是可行的。

参考文献

[1] WANG F B， TU P， WU C， et al. Multi-image mosaic with SIFT and vision measurement for microscale structures processed by femtosecond laser[J]. Optics & Lasers in Engineering， 2018， 100： 124-130.

[2]张五一，赵强松，王东云.机器视觉的现状及发展趋势[J].中原工学院学报，2008，19（1）：9-12.

[3]朱铮涛，黎绍发.视觉测量技术及其在现代制造业中的应用[J].现代制造工程，2004（4）：59-61.

[4]杨晓京，王思琪.基于显微机器视觉的微纳米级构件的精密检测[J].计算机工程与应用，2017，53（5）：227-230.

[5]余金栋，张宪民.用于线纹显微图像的边缘检测算法[J].光学精密工程，2015，23（1）：271-281.

[6]李智，王向军.MEMS中几何量的测试方法[J].微细加工技术，2003（1）：51-56.

[7]吴梅，王瑞，李琦，等.基于总体最小二乘法的表盘图像中心点提取[J].自动化与仪表，2013，28（10）：53-56.

[8]史珂，郑鑫毅，汤春明，等.近红外图像增强与彩色化算法[J].科技与创新，2018（2）：24-27.

[9]李建国.空间长方形平面的拟合计算[J].硅谷，2012（14）：2-3.

[10]赵磊，姜小奇，蒋澎涛，等.基于二值化指纹图像细节点提取的改进算法[J].计算机系统应用，2012，21（3）：232-236.

[11]田敬波.基于模板算子边缘检测的图像二值化算法[J].信息技术与信息化，2017（9）：98-101.

[12]王文强.显微视觉定位系统中的摄像机标定技术研究[D].大连：大连理工大学，2013.

[13]陈开志，胡爱群.基于二值化图像的指纹细节点精确提取方法[J].东南大学学报（自然科学版），2010，40（3）：471-475.

（编辑：徐柳）