一种基于VisionMaster的机器视觉纠偏定位系统应用实现

蔡振浩，宋 勇

（上海思客琦自动化工程有限公司智能制造先进技术研究院，上海 201206）

0 引言

中国是一个制造大国，随着经济飞速发展，传统制造业进行自动化、信息化、智能化的结构调整和转型升级已成为行业发展共识[1-2]。只有机器设备具备了主动感知环境、产品工艺、操作者水平的变化，主动调整软件和程序，自动适应周围的变化，并根据这些变化不断地学习和优化自己的控制性能才是智能化。机器视觉是让机器设备具备外界感知能力的一种实现方式。将机器视觉、人工智能、5G物联网通信等先进技术引入传统制造业，提高新能源汽车动力电池生产效率，并和MES有机结合，从而有效控制并降低各类误差和生产制造缺陷，推动和促进新能源生产制造领域的智能制造水平[3-4]。

机器视觉技术，就是采用机器代替人眼来做测量和判断，在工业应用领域的主要应用有测量、引导、检测、识别等，涉及通信、计算机、信号处理、人工智能、模式识别等诸多领域学科的交叉[5]。机器视觉系统优点有：（1）具有非接触性；（2）接收光谱范围较宽，扩展了人眼的视觉范围；（3）可以长时间不间断地稳定工作。典型的工业机器视觉应用系统包括：光源、光学系统、图像捕捉系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械执行模块，实际中用计算机来模拟人的视觉功能从客观事物的图像中提取信息，进行智能后处理，进行决策辅助。助力工业生产柔性化，使生产线更容易适应产品的变化。目前机器视觉技术在工业自动化领域常见应用于测量、引导、检测、识别等[6]。刘景泰等[7]将机器视觉应用于自动装配系统，解决了某小型产品装配中的关键问题。刘明周等[8]设计了基于机器视觉的机械产品装配系统，用于适应不同的装配任务。

在黑灯工厂、无人工厂的自动化产线中，大量采用基于先进机器视觉算法及机器人技术的全自动协作系统，实现无人值守机器自主搬运、分拣、托举、存储等功能，该技术被广泛应用于物流仓储、工厂制造等场景，其涉及到的关键技术有相机标定和纠偏对位算法[10]。

相机标定方法包括以张正友标定法为代表的传统相机标定法、主动视觉相机标定法，以及相机自标定法等，如表1所示。

表1 标定方法分类

值得注意的是：（1）Tsai两步法速度较快，但仅考虑径向畸变，当相机畸变严重时，该方法不适用[11]；（2）分层逐步标定法是先对图像的序列做射影重建，在重建的基础上进行放射标定和欧式标定，通过非线性优化算法求得相机内外参数，优化算法收敛性不确定，在实际中并不常用。

在先进的自动化产线中，大量装配有高精度高性能机器人，具备高度精准的空间运动控制能力。在实际生产中通过主动系统控制相机做特定运动，利用控制平台控制相机发生特定的移动拍摄多组图像，依据图像信息和已知位移变化来求解相机内外参数。本文将主要基于N点标定法的主动式视觉标定方法。

1 定位纠偏应用设计

根据机器人（也指：多关节多自由度机械臂）运动学的知识，机械臂通过多个旋转电机驱动，实现机器人末端的可控制定位驱动。机器人自身是没有传感器的，人为在机器人上或旁安装相机，通过使用相机获得目标坐标，从而让机器人根据相机得到的图像对目标进行操作的方式叫做机器人视觉。为了使得相机（亦即机器人的眼）与机器人（亦即机器人的手）坐标系之间建立关系，就必须要对机器人与相机坐标系进行标定，该标定过程也就叫做手眼标定[12-13]，如图1所示。

图1 手眼标定示意图

通常机器人手眼关系分为：eye-in-hand以及eye-to-hand两种。其中eye-in-hand也就是眼在手上，机器人的视觉系统随着机械臂末端运动；eye-to-hand也就是眼在手旁，机器人的视觉系统与机器人基座固定，不会在世界坐标系内运动。对于eye-in-hand情况，机器人手眼标定即标定得到机器人末端与相机之间的坐标变换关系；对于eye-to-hand情况，机器人手眼标定即标定得到机器人基座与相机之间的坐标变换关系。两种标定方法都将机器人以及相机之间的不变量确定了下来，从而建立了两者的转换矩阵。实际中，常用9点/12点标定法，亦即使用相机和机械臂获得空间中的多组相同点坐标值，建立起机械臂与相机间的坐标变换关系[14]。

2 机器视觉软件系统设计

采用机器视觉系统精确匹配电池模组安装工件上的特征点与转角，用来计算来料工件的偏移量，进行校正。选用海康威视公司生产的MV-CE120-10GMGC面阵工业相机，支持GigE Vision千兆以太网传输接口、黑白成像、分辨率4 024×3 036，传输帧率9.6 fps。视觉处理软件采用的是海康威视VisionMaster机器视觉软件进行项目开发。VisionMaster是海康威视自主研发的视觉开发平台，集成机器视觉多种算法组件，可快速组合算法，实践各种视觉应用方案。实现对工件或被测物的查找、测量、缺陷检测等。功能丰富，用户界面友好。

2.1 标定流程

标定主要用于确定相机坐标系和机械臂世界坐标系之间的转换关系。N点标定是通过N点像素坐标和物理坐标，实现相机坐标系和执行机构物理坐标系之间的转换，并生成标定文件，要求N≥4。

在标定转换模块中加载该标定文件后，可实现对被测物体的像素到物理坐标的转换。通常选取9点，即9点标定法。标定时，当机构旋转轴与图像定位不共轴时需要设置旋转次数，一般是在9个标定点的基础上加上3个旋转点，即为12点标定。Δx、Δy是N点标定法中，围绕旋转中心分别沿着x方向和y方向移动的位移，实际中可以保准特征提取点在相机视野范围的基础上，根据实际情况进行设置。N点标定法图例如图2所示。

图2 N点标定法图例

基于VisionMaster算法平台搭建的处理流程如图3所示。

图3 VisionMaster搭建N点标定法处理流程

执行步骤如表2所示。

表2 VM平台实现相机N点标定流程

点标定完成后，点击按钮生成标定文件。标定误差即重投影误差（标定板上的物理点经过标定矩阵投影回图像中，与实际图像坐标的距离），单位为像素。通常标定误差应小于1，对于比较精确的标定板，标定误差可以达到0.1左右。标定旋转误差单位为度，越小越好，通常应小于1。

2.2 生产流程纠偏定位

完成相机标定流程后，会产生得到标定文件。在后继生产中，可以导入使用该标定结果，相机视觉测量新的来料的匹配点的坐标值与角度，进行纠偏。搭建定位纠偏生产流程如图4所示。

图4 VisionMaster定位纠偏生产流程设计

其主要步骤如表3所示。

表3 VM平台实现相机纠偏引导流程

单相机纠偏定位引导中，相机一般倒装并固定在机台上，通过视觉定位引导机器人纠正来料位置的波动，确保对每个来料进行精组装。设计中使用“单点对位”是因为该模块考虑了机器人末端有延展轴，使得操纵点不是法兰中心导致的不共轴。

3 结束语

引入机器视觉、图像处理等先进技术，提高制造行业的自动化、信息化、智能化水平，提升生产效率，已成为行业的一种发展趋势。本文针对新能源汽车动力电池生产过程中频繁常用的引导安装工序，设计了视觉定位纠偏的视觉处理系统。基于VisionMaster软件平台，开发了自动安装机器视觉软件系统，以提高新能源汽车锂电池的自动化产线的自动化、智能化程度，极大提高了生产效率。