吴禄慎,冯秋歌,陈华伟,常参参
(南昌大学 机电工程学院,南昌 330031)
在太阳能电池板的焊接过程中[1-2],工厂普遍采用人工或者机械机构进行摆放,效率不高而且容易损坏电池板。在实现电池板的焊接自动化过程中,由于来料时电池板的摆放位置具有很大的随机性,机械手在抓取电池板的过程中,跟理想位置存在较大偏差,所以单靠机械手很难将电池板放到正确的位置。机器视觉对位技术的发展[3-4],使得太阳能电池板焊接过程中的某些环节已经实现了焊接自动化。但是其中一个焊接环节,在焊接之前需要将一块长约1.58m的电池板按照标准位置摆放,并且误差要控制在±0.5mm以内,按照其他工序一样使用单个相机已经很难解决对位问题。所以本文针对太阳能电池板焊接过程对电池板摆放高精度、高效率、低成本和智能化的需求,设计了基于机器视觉的太阳能电池板对位系统,并且针对电池板尺寸较大,单相机拍摄定位精度差的问题,提出了双相机拍摄的方法提高定位的精度和稳定性,通过康耐视计算机视觉库编写图像处理程序,并且给出了偏差的计算方法。实际结果表明,该系统能够将太阳能电池板准确、稳定、高效的摆放到规定位置。
视觉系统的硬件组成,往往由相机、镜头、光源、工控机以及通讯模块等组成,采集到清晰、高对比度且满足精度和视野要求的图像,对后续的图像处理非常重要,合适的硬件选型可以有利于算法的简化,对提高运行速度和检测的稳定性都有重要的意义。本视觉系统的部分硬件组成如图1所示。
根据此项目的实际需求,选用康耐视500万的工业相机和日本computar系列的百万像素级C接口16mm工业镜头来保证视野、物距和精度的要求。背光源是一种由LED灯珠均匀排布在光源底部的平板式光源,光线经过导光板之后形成均匀的背光,亮度提升明显,特别适合用于外形轮廓检测,所以选用背光最佳。由于最终的数据要通过TCP通讯的方式传送给机械系统,所以选用的工控机配备三个Gigabit Ethernet千兆网口,其中两个用于连接相机,一个用于和PLC进行通讯,工控机系统采用64位Windows操作系统。
图1 视觉定位系统的硬件组成
图2 系统总体流程
视觉对位系统[5-6]的软件开发部分主要利用Cognex开发的VisionPro视觉库和VB.net框架进行软件开发。利用VisionPro中的采集图像、训练模板和定位、找几何形状等工具,结合相机标定和坐标转化算法,同时采用两个相机来提高对位的精度。当机械手吸取工件第一次达到拍照位置后,由CogAcqFifoTool工具触发CCD相机进行第一次拍照,采集到的图像经过GigE接口传送至VisionPro软件,首先运用CalibCheckerboardTool标定工具进行相机的标定,然后将标定完的图像传送给CogPMAlign工具进行模板训练和图像匹配,将匹配到的坐标参数传送给CogFixtureTool进行定位。选用CogFixtureTool图像定位空间,使用CogFindLineTool找线工具找到顶点的两条边,然后使用IntersectLineLineTool找交点工具可以找到这两条线的交点的坐标,即点特征的坐标。最后进行偏差的计算,将结果通过TCP通讯的方式传送给机械手进行校准。系统总体流程如图2所示。
1.2.1 获取图像
使用两个康耐视的五百万像素工业相机,Gigabit Ethernet千兆网口连接CCD相机,设置好网关后,在VisionPro里面添加CogAcqFifoTool取图工具,设置曝光量,调整镜头焦距和光圈大小,保证采集到清晰高对比度的电池板顶角图像,如图3所示。
图3 电池板顶角图像
1.2.2 摄像机标定
(1)镜头畸变的校准:由于镜头的畸变,通常导致拍摄到的图像存在三种常见的扭曲:纵横扭曲、透视扭曲和放射扭曲。采用CalibCheckerboardTool标定工具进行校准。该工具使用棋盘格标定板可以计算线性或者非线性转换[7],光学或者透视扭曲的情况属于非线性转换。如图4a所示,标定工具已记录原始校准空间中标定板的顶点坐标,然后摄像机采集标定板的图像,如图4b所示,获取采集图像的顶点坐标。非线性转换指的是这两组点之间的映射关系,工具计算并且记录这种映射关系,如图4c所示。在程序运行期间,校准工具就可以利用这种映射关系对采集的图像进行校准。接下来的图像处理就可以利用校准好的图像,进行更加精确的计算。
(2)像素坐标转化为空间工件坐标:摄像机拍摄到的图像,要想得到实际的偏移量,首先要将像素坐标系转化到工件坐标系。一般标定板上的块尺寸为1cm×1cm,用块尺寸除以块所占的像素数n,就可以得到图像像素到空间工件实际坐标的比例转化关系,棋盘格校准使用的棋盘格板可以计算像素和真实单位之间的转换。
(a)原始校准空间 (b)标定板图像 (c)映射关系图4 棋盘格校准
1.2.3 定位和寻找点特征
图5 模板匹配过程
电池板的顶角存在肉眼可见的加工误差,导致每块电池板的顶角存在不确定的变形,为了更好的找到太阳能电池板的顶点坐标,提高定位的精度,首先采用PMAlignTool工具中的PatMax[8]功能结合FixtureTool工具进行定位。PatMax是一种基于模板匹配算法[9]的图案位置搜索技术,PatMax图案不依赖于像素格,其特征是表示图像中不同区域之间界限的轮郭线,基于特征的表现可以比像素格栅表现更快捷和准确。其功能可以实现测量图案的位置,相对于原来训练图案的尺寸,以及相对于原来训练图案的角度等等。然后把PMAlignTool模板匹配工具的特征位置变化信息Results.Item[0].GetPose()传送给FixtureTool工具,实现了定位功能。模板匹配工具的使用过程如图5所示。
图6 组合工具效果图
使用两个FindLineTool找线工具可以找到过顶点的两条边,实际上该工具利用投影算法,计算出线上的一些点,然后拟合出一条线。使用IntersectLineLineTool找交点工具可以找到这两条线的交点,同时可以得到交点的坐标,即顶点坐标。组合工具的效果如图6所示。
1.2.4 坐标转换
由于工件尺寸大,为了提高测量的精度,所以采用双相机拍摄。双相机拍摄带来两个相机像素空间坐标不统一的问题,这样两个相机采集到的数据就相互独立,不容易计算出工件的摆放角度,所以首先要将两个相机的坐标转化到同一个坐标系下。不同平面直角坐标系之间的坐标转换公式:
(1)单纯移动
设两个直角坐标系是Oxy和O′x′y′,有相同的坐标轴方向,坐标原点O′在坐标系Oxy中的坐标为(x0,y0)。点M在Oxy和O′x′y′坐标系下的坐标分别用(x,y)和(x′,y′)表示。在单纯移动情况下,坐标转换公式是:
(1)
(2)单纯转动
设两坐标系有同一原点O,Ox和Ox′之间的夹角是t。在单纯转动情况下,坐标转换公式是:
(2)
(3)移动和转动
设两个坐标系为Oxy和O′x′y′,坐标原点O′在坐标系Oxy中的坐标为(x0,y0),x轴和x′轴之间的夹角是t。在同时存在移动和转动的情况下,坐标转换公式是:
(3)
两个相机平行安装的方法:利用VisionPro软件里面的浮动显示图像的功能,随时可以观察工件上任一点的像素坐标,调整相机使工件和两个相机x方向都平行之后固定,如图7所示。利用该方法可以使用公式(1)来简化计算。
图7 安装效果图
则O′在O内的横坐标为:
x0=x1+L-x2′
纵坐标为:y0=y1-y2′
(4)
1.2.5 位置偏差结果计算
进行位置偏差的计算,需要建立一个标准位置,将一个电池板放置在标准位置,机械手利用气动吸嘴将工件吸起,沿y方向平移到拍照点,在移动的过程中,保证工件的x坐标不发生变化,以此位置的电路板为标准位置,记录此时电路板的左侧顶点坐标(xd,yd),以此坐标作为标准位置。先后进行两次拍照,第一次拍照计算角度偏差,机械手校正完角度偏差之后进行第二次拍照,进行平移偏差的计算,校正完平移偏差之后,机械手将工件放到指定的摆放位置。
第一次拍照,进行角度偏差计算,如图8所示。
图8 角度偏差计算
利用转换公式将坐标系2的顶点(x2′,y2′)转化为坐标系1中的坐标(x2,y2):
即
(5)
设电池板的偏移角度为t,
(6)
第二次拍照进行平移偏差计算,如图9所示。
(7)
图9 平移偏差计算
机械手吸取6块电池板,经过视觉系统校正后,放到同一个坐标位置,重复进行10组测试来测试系统的
稳定性,通过观察法对存在较大偏差的电池板间隙用游标卡尺进行测量。通过测试可以明确得出,在10组测试中,电池板与标准位置几乎重合,足以满足项目对±0.5mm误差的要求。实际上,通过人眼很难分辨偏差的大小,比人工摆放更精确。最终通过本系统校正的电池板整齐的摆放到规定的位置,效果图见图10。
图10 对位效果图
该视觉对位系统采用双相机获取图像,利用VisionPro机器视觉库里面的工具寻找特征,并且给出了偏差的计算方法,基于VB.Net框架开发了一种基于机器视觉的太阳能电池板自动对位系统。实际证明,该系统达到了很高的检测速度和定位精度,实现了电池板准确的摆放,满足实际的生产需求。本系统的设计,提高了太阳能电池板的焊接自动化程度,对发展绿色能源具有重要意义。
[参考文献]
[1] 高志良.太阳能电池片自动焊接中视觉检测关键技术的研究[D].天津:河北工业大学,2013.
[2] 李晨曦,袁红兵. 基于VisionPro的太阳能电池片定位与缺陷检测系统[J]. 机电一体化,2014(12):50-54.
[3] Zhang W. Development of Machine Vision and Its Industrial Applications[J]. Infrared, 2006,27(2):11-17.
[4] 张建业,潘丰. 基于视觉的机器人抓取电梯门板定位系统设计[J]. 江南大学学报(自然科学版),2015,14(6):769-775.
[5] 陈伟华,马琼雄,陈月军. 基于VisionPro的工业机器人视觉定位系统[J]. 组合机床与自动化加工技术,2012(2):81-83,87.
[6] Chen W H, Qiong-Xiong M A, Chen Y J. Vision Positioning System of Industrial Robot Based On The VisionPro[J]. Modular Machine Tool & Automatic Manufacturing Technique, 2012.
[7] Guo C, Hong Y. Fully automatic method for camera calibration based on checkerboard target[J]. Computer Engineering & Applications, 2016,52(12):176-179.
[8] Zhi-Qiang H E, Ding T, Er-Qiang X U, et al. Application of PatMax and PatQuick in Smart Electricity Meter′s LCD Detection[J]. Automation & Instrumentation, 2012(5):54-56.
[9]周丽莎.基于模板匹配的视觉定位技术研究与应用[D].大连:大连理工大学,2012.