一种应用于PCB裸板质量检测的图像拼接算法

裴新权， 周亚丽， 张奇志， 刘 俊

(1. 北京信息科技大学 自动化学院， 北京 100192； 2. 北京昆仑通态自动化软件科技有限公司， 北京 100085)

一种应用于PCB裸板质量检测的图像拼接算法

裴新权1， 周亚丽1， 张奇志1， 刘 俊2

(1. 北京信息科技大学 自动化学院， 北京 100192； 2. 北京昆仑通态自动化软件科技有限公司， 北京 100085)

在印刷电路板(PCB)裸板质量检测中，针对单次拍摄完整PCB裸板无法获取高分辨率、高精度图像的问题，根据机器视觉原理和数字图像处理技术设计并实现了一种针对PCB裸板质检的图像拼接算法。该算法首先利用SURF算子实现图像特征提取，然后在随机抽样一致算法的基础上优化匹配结果，最后采用保留PCB缺陷特征的改进加权融合方法进行图像融合，完成视觉系统中的PCB图像拼接。实验结果表明，该算法可以有效地对PCB裸板图像进行无缝拼接，同时能够将未拼接图像因精度低而漏检的瑕疵部分清晰展现并输出检测结果，以备后续对PCB裸板进行综合质检，可应用在公司实际产品检测中，具有良好的工程实用性。

图像拼接； 印刷电路板质检； SURF特征； 视觉检测

0 引 言

印刷电路板(Printed Circuit Board,PCB)是集成各种电子元器件的信息载体，在工业生产中，PCB板的故障往往是由于板上的一些细微缺陷而造成的，这些细微缺陷如果不能在生产线上及早和准确地发现，可能导致整块成品印制板报废或严重影响其可靠性，从而增加生产成本，降低产品合格率[1]。针对北京昆仑通态自动化软件科技有限公司工厂生产的PCB裸板中个别瑕疵品存在焊盘缺失、虚焊、走线偏移等问题，设计了一套机器视觉检测系统对PCB裸板质量进行检测。为保证检测精度，视觉系统对采集图像的细节要求较高，传统的一次成像方法在检测大幅面或线路微细的PCB板时会丢失很多细节信息。为保证获取高精度图像，需要实现一种可保留缺陷特征的PCB裸板拼接算法。

图像拼接技术是把针对同一场景的相互有部分重叠的一系列图片合成一张大的宽视角的图像，拼接后的图像要求尽可能与原始图像接近、无失真、无明显缝合线，其过程主要包括特征提取、图像配准、图像融合[2]。针对图像特征，国内外学者已经提出了许多成熟的局部特征算法，常用的有Harris角点[3]、SIFT(Scale-invariant Feature Transform)特征点[4]、SURF (Speed-up robust features)特征点[5]。此外，针对图像的配准和拼接也呈现了许多研究成果，赵向阳等[6]提出了一种基于Harris角点的自动稳健拼接算法。王娟等[7]对图像拼接技术进行了综述并对多种算法进行了比较。周剑军等[8]利用引导匹配改进RANSAC(Random Sample Consensus)算法提高了单应性矩阵的估算准确度。2011年,涂春萍等[9]提出基于Harris角点配合Hu矩提高图像拼接算法的鲁棒性。张永宏等[10]验证了SURF算法在图像拼接应用中相比SIFT的速度提升。瞿中等[11]提出了一种利用最佳缝合线算法和改进加权融合算法消除图像拼接接缝和鬼影的方法。权巍等[12]利用SURF算法配合RANSAC算法对图像进行实时跟踪；印度学者Reshma Raj等[13]利用SURF算子提取特征应用于图像篡改检测中；王栋等[14]提出了利用Hough变换对PCB进行自动光学检测的快速配准方法；李卫中等[15]利用图像的特征指标计算权值图实现融合图像的细节保留。

本文在上述成果的基础上，对应用于PCB裸板质量检测中的图像拼接技术展开研究，并构建了实际的实验平台。利用Microsoft Visual Studio 2010平台研究和实现一种满足PCB视觉检测系统要求的软件拼接算法。实验结果表明，该算法可以在保证速度的基础上，获得满足检测需求的拼接图片，在无缝拼接完成的同时，不会改变瑕疵部分的特征，为针对PCB裸板检测提供了一种可行的技术方法。

1 图像拼接算法实现

1.1 图像的获取

PCB裸板图像布线方式复杂，检测的主要目标有焊盘、丝印、走线等，图像具有线条都为直线，焊盘都为圆孔或连通区域的特点。一般PCB图像的目标信息和背景信息区分较为明显，仅存在少量的噪声，目标灰度值与背景灰度值之间差别也比较明显。因此在PCB图像采集中，主要工作是避免不当操作导致的成像相对位置变化、光照不均匀等问题对图像效果产生的负面影响。

1.2 图像配准

图像配准是图像拼接的关键技术，依据相似性度量来决定图像间的变换参数，使从不同传感器、不同视角、不同时间获取的同一场景的两幅或多幅图像，变换到同一坐标系下，在像素层级获得最佳匹配，找出两幅图像间相同或相似度较大的对应特征点进行配准，对参考图像和待拼接图像中的匹配信息进行提取，根据寻找出的最佳匹配，完成图像间的对齐[7]。

SURF算法是在SIFT算法的基础上采用局部特征，通过积分图像和离散小波变换响应相结合，生成SURF描述子，采用Haar特征，引入积分图像简化计算，能够大大降低检测特征点的计算量，并且对图像的平移、旋转、缩放等变化具有良好的不变性。

首先对图像每个像素计算Hessian矩阵以得到对其特征的描述，Hessian矩阵是SURF特征检测的核心，该矩阵测量一个函数的局部曲率，依靠该矩阵行列式的局部最大值来定位特征点的位置。对于空间中的任意一点(x,y)，该像素点的Hessian矩阵定义为：

(1)

(2)

通过Hessian矩阵行列式的计算可以初步得到SURF算法的特征点。为了方便计算与应用，Herbert Bay等[5]提出将盒式滤波器与原始图像的卷积Dxx、Dxy、Dyy作为模板分别替代Lxx、Lxy、Lyy，从而得到近似Hessian矩阵Happrox，并且为了平衡准确值与近似值之间的误差引入权重系数，该权重系数随尺度变化，近似简化后矩阵的行列式：

det(Happrox)=DxxDyy-(wDxy)2

(3)

式中:w为该权重系数，该值通常近似取为0.9。对上式计算所得的值设定一个阈值，只有当det(Happrox)大于该阈值时，才进行极值点的判断，极值判断则在该点的所在层和其上下层中对应的3阶立体邻域来进行非极大值抑制值计算，将27个响应点值中最大值点设为特征点。随后统计特征点邻域内的Haar小波变换，利用Haar小波模板求取x和y两个方向上的Haar小波特征响应总和，对计算得到的响应值按距离赋予高斯权重系数，然后对加权后的响应值进行直方图统计[4]。对在不同角度时的Haar小波响应值相加得到一个新的矢量，选取其中响应值最大的矢量方向作为该特征点的主方向，以确保算法具有不随图像旋转而变化的特性，根据主方向，将特征点的邻域旋转到该角度，完成对特征点的描述[10]。完成特征点描述后，以特征点为中心，将坐标y轴旋转到特征点的主方向，选取以特征点为中心边长为20S(S为该点所在的尺度)的正方形区域，将该区域平均划分为16个子区域，计算每个子区域中每个像素点的Haar小波响应，由于每个特征点存在16个子块，每个子块4个特征矢量，所以要用共64维特征矢量来描述一个特征点[10]。相比SIFT的128维矢量，SURF降低了描述子的维度，也降低了运算量、提高了计算速度。

1.3 图像误匹配剔除

由于在PCB裸板中存在着大量形状一致或相似的焊盘、走线，匹配后的特征点对中有可能还存在着一些误匹配的部分。实际应用中，很难保证通过仅比较特征点描述子就得到完全正确的匹配，因图像特征的不同可能存在部分图像错误匹配相对较少，而部分图像出现大量错误匹配的情况。所以有必要对误匹配的点对进行剔除，从而求取出精确的变换模型。

随机抽样一致(RANSAC)算法，是一种估计数学模型参数的迭代算法，针对所有的粗匹配点，设置一个允许误差值，将第一步匹配的点对分成“内点”和“外点”两部分，进而将错误的匹配点筛选掉，将算法的运行速度和匹配精度进行提升，最后根据“内点”数据来进行参数估计，估算变换矩阵[8]。在一组包含“外点”的观测数据集中，采用不断迭代的方法，寻找最优参数模型，将不符合最优模型的“外点”在迭代中剔除。

此外，RANSAC是一个具有不确定性的算法，它运行后的效果存在一定概率条件下的合理性，为了让其得到的结果更精准，可通过提高迭代次数使其获得更好的结果[12]。采用RANSAC算法寻找一个最佳单应性矩阵H，矩阵大小为3×3，如下式所示：

(4)

式中：(x,y,1)T和(x′,y′,1)T分别表示两图像上对应点的齐次坐标；H为一个具有8个参数的矩阵，通常令h9=1来归一化矩阵。由于单应性矩阵有8个未知参数，至少需要8个线性方程求解，对应到点位置信息上，一组点对可以列出2个方程，则至少包含4组匹配点对。假设进行重复N次随机采样，确定一个恰当的采样次数N，以保证此时采样的4对匹配点均为内点的概率足够高。设以P来表示此概率，一般取95%。设Pa为任何一对匹配点是内点的概率，则，

ε=1-Pa

(5)

为任何一对匹配点为外点的概率。那么采样到N次时，

(1-Pa)N=1-P

(6)

得出需要采样的次数：

(7)

最后根据N次采样利用RANSAC算法找到满足该矩阵的数据点个数最多的最优参数矩阵。

1.4 图像融合

对于配准后的图像，根据其获得的变换矩阵投影到参考图像上即可实现图像的拼接。但是，由于图像采集时所带来不同图像间的光照、视野等差异，直接拼接的图片在相结合的部分会出现可见的拼接缝隙，并且有些情况下会造成图像模糊，导致拼接效果变差[11]。图像融合技术则可以平滑过渡并消除拼接缝隙，从而实现无缝拼接，此外，结合工程实用性，算法实现结果还应尽量保证不因图像融合处理而损失原始图像的信息，即保留PCB裸板原有的细节以备后续质量检测，保证不会因融合图像而丢失缺陷特征。

在融合过程中，非重叠区域的像素仍然可以取原图各自的像素灰度，而重叠区域内像素灰度选取则不能直接使用其中任一幅图像的灰度值。为了消除图像光强或色彩的不连续性，让图像在拼接处的光照强度平滑过渡，需要对两幅图像的对接区域进行灰度调整，使拼接位置附近的图像协调一致。目前使用最广泛的灰度调整算法是渐进渐出处理法，即在重叠部分由前一幅图像的灰度逐渐过渡到后一幅，以实现无缝拼接。

本文采用以渐进渐出方式实现加权平均融合算法，对图像重叠区域的像素值先进行权重分配再叠加平均，使重叠部分缓慢过渡。为两幅图像中重叠部分分别定义一个权值，取为α1和α2，其中α2=1-α1，定义I1(x,y)和I2(x,y)分别代表待拼接的两幅图像，I代表融合后的图像：

(8)

在重叠部分中，权值α1作为渐变因子由1渐渐过渡到0，α2由0渐渐过渡到1，在这个过程中重叠区域的图像就由第1幅图像缓慢过渡到了第2幅图像，即消除了拼接的痕迹，通过这样的渐进变化就使重叠部分的图像进行了渐进融合，大大改善了拼接效果。

2 实 验

2.1 实验平台

图1为实验室自行研制的PCB裸板质量检测系统实验平台装置。实验中采用北京昆仑通态自动化软件科技有限公司生产制造的PCB-A623-37.63V1.1版本的PCB裸板进行试验。

图1 PCB裸板质检系统实验平台

实验系统由60 cm×60 cm×60 cm黑色吸光布摄影棚包裹以减小反光；实验选用24 V供电正面红色环形无频闪发光二极管阵列光源RL-132-20-R进行照明，以突出显示被测物体边缘、获取清晰图像；图像采集装置采用500万像素工业相机配合35 mm镜头拍摄图像，拍摄距离为32.67 cm。拍摄方式采用的嵌入式一体化触摸屏配合可编程逻辑控制器(Programmable Logic Controller，PLC)驱动滚轴丝杆XY滑台平移PCB裸板进行拍摄，单次平移距离为横向6 cm、纵向3.5 cm。

2.2 实验结果

实验计算机的硬件环境为：CPU Intel core i5-3317U，主频1.70 GHz，内存4.00 GB。由于篇幅有限，实验结果部分采用2幅图像间拼接的过程作介绍，完成算法的验证，所选图像为图2右下角2张图像。

(1) 图像获取。图像采集的方式为利用实验平台平移PCB板依次拍摄，所拍摄到的PCB裸板图像如图2所示，6张图片即可覆盖整个PCB裸板，每张图像与其待拼接的图像均有约15%的重叠部分。

图2 实验拍摄的6张PCB裸板图像

(2) 图像配准实验。图3表示两幅图像初步匹配对应的特征点。观察可以发现存在一些误匹配的特征点，需要进一步剔除。

图3 初步提取特征匹配

(3) 误匹配剔除实验。图4表示经过RANSAC算法提纯后的匹配特征点对。从图3和图4的对比实验来看，通过RANSAC算法进行误匹配点剔除后，原有的错误匹配都被消除了，匹配点对由原来的154减少为115。

图4 剔除误匹配后的匹配特征点

(4) 图像融合实验。两幅图像融合后的图片如图5所示，可见拼接效果良好，经过加权平均后拼接的图像消除了拼接缝隙。

图5 融合后的图像

为了进一步展示融合效果，将图5红线框出部分进行放大，图6(a)为未采用加权平均融合拼接的局部放大图像，可以见到明显的拼接痕迹，这会严重影响后续缺陷检测的结果，图6(b)为采用加权平均融合拼接后的局部放大图像，相同位置的拼接缝隙被很好地消除了，证明了算法的可行性和良好的工程实用性。

实验在拼接图像完成后还验证了算法在融合的同时能否保留缺陷特征，如图7(a)为采用一次成像的方式获取的图像，该图像的缺陷由于成像分辨率过低没有被体现出来，而图7(b)为采用6次局部拍摄拼接而成的图像，在拼接之后还能够保留缺陷特征，并可以被检测出来，进一步证明了在PCB裸板检测中图像拼接算法的意义和实用性。

(a)(b)

图6 红框部分局部放大对比普通融合

图7 一次成像与拼接图像缺陷特征对比

3 结 语

本文提出针对PCB裸板质量检测的图像拼接算法能够完成质检所需拼接效果。实验结果表明，采用SURF算法配合RANSAC和加权平均融合进行PCB图像拼接是切实可行的，并且拼接效果良好，能够消除拼接缝隙并保留PCB原有的缺陷特征，可作为解决PCB裸板图像拼接问题的一种参考方法。

[1] 王 栋，解则晓. 基于形态学的PCB缺陷快速检测技术[J]. 计算机科学，2016,43(6):184-186.

[2] Richard S. Image alignment and stitching:A tutorial[J]. Foundations and Trends in Computer Graphics and Vision, 2006, 2(1): 1-104．

[3] Harris C, Stephens M. A combined corner and edge detector[C]//Proceedings of the 4th Alvey Vision Conference． Manchester. UK:SpringerVerlag, 1988: 147-151．

[4] Lowe D. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[5] Herbert B, Tinne T, Luc V. SURF:Speeded up robust features[C]//Proceedings of the 9th European Conference on Computer Vision. Graz, Austria: ECCV,2006:404-417.

[6] 赵向阳，杜利民. 一种全自动稳健的图像拼接融合算法[J]. 中国图象图形学报, 2004, 9(4):417-422.

[7] 王 娟，师军，吴宪祥. 图像拼接技术综述[J]. 计算机应用研究, 2008, 25(7):1940-1947．

[8] 周剑军，欧阳宁，张 彤，等. 基于RANSAC的图像拼接方法[J]. 计算机工程与设计,2009,30(24):5692-5694.

[9] 涂春萍，柴亚辉，李广丽，等. 一种基于Harris角点特征精确匹配的图像拼接方法[J]. 实验室研究与探索, 2011,30(10):40-43.

[10] 张永宏，杨 戈，郝培培，等. 基于SURF特征的PCB图像拼接算法研究[J]. 制造业自动化, 2013,35(4):71-74.

[11] 瞿 中，乔高元，林嗣鹏. 一种消除图像拼接缝和鬼影的快速拼接算法[J]. 计算机科学, 2015,42(3):280-283.

[12] 权 巍，包铁壮，白宝兴，等. SURF与RANSAC算法结合的图像跟踪方法[J].计算机仿真, 2016, 33(9):268-272.

[13] Reshma R, Niya J. Keypoint extraction using SURF algorithm for CMFD[C]//Proceedings of the 6th International Conference On Advances In Computing and Communications. Cochin, India:ICACC,2016:375-381

[14] 王 栋，马纯永，陈 戈. 一种新型的PCB图像快速配准算法[J].计算机科学,2016,43(6):152-155.

[15] 李卫中，易本顺，邱 康，等. 细节保留的多曝光图像融合[J]. 光学精密工程, 2016,24(9):2283-2292.

An Image Stitching Algorithm for Quality Inspection of PCB

PEI Xinquan1, ZHOU Yali1, ZHANG Qizhi1, LIU Jun2

(1. School of Automation, Beijing Information Science & Technology University, Beijing 100192, China;2. Beijing Kunluntongtai Automation Software Technology Corporation, Beijing 100085, China)

For the quality inspection of the bare printed circuit board (PCB), according to the requirements for high resolution and high accuracy of image acquisition, an image stitching algorithm for quality inspection of PCB bare board was designed and implemented. Firstly, the speed-up robust features (SURF) algorithm was used to extract image features. Secondly, the random sample consensus (RANSAC) algorithm was used to eliminate false matching points. Thirdly, the algorithm calculated the transformation relationship between two images. Finally, an improved weighted fusion method for image fusion was used to complete the image stitching. The experimental results show that the algorithm can stitch pictures seamless without missing the bad features in a quick and efficient way for the quality inspection of PCB bare board, and has good engineering practicability.

image stitching; printed circuit board (PCB) inspection; SURF feature; vision detection

2016-11-20

国家自然科学基金资助项目(11672044，11172047)

裴新权(1992-)，男,蒙古族，河北承德人，硕士生，主要从事图像处理与计算机视觉研究。

Tel.:18610994221; E-mail:peixinquan@126.com

周亚丽(1968-)，女，辽宁沈阳人，教授，硕士生导师，主要从事机器人控制及信号处理研究。

Tel.:010-82426920; E-mail:zhouyali@bistu.edu.cn

TP 391.41

A

1006-7167(2017)08-0024-05