基于机器视觉的十轴协作教学贴标机研究与设计*

魏鸿磊，刘乘昊，王 晶，杨祎宁，马晓光，赵建帮

（1.大连工业大学机械工程与自动化学院，辽宁大连 116034；2.大连船舶重工集团有限公司，辽宁大连 116021）

0 引言

随着全球科技创新持续发展，智能社会正在向我们走来，世界大国把制造业作为促进经济发展的战略选择，各大国家提出不同的有关制造业的计划，中国提出了《中国制造2025》[1]计划，致力于实现从工业大国向工业强国转变，针对人才缺乏问题，2017年教育部批准成立“智能制造工程”专业[2]，2018年苏州大学开设了智能制造新工科专业，新专业涉及新技术，实践性强，为紧跟国家发展，提供专业建设要求，提升学生创新实践能力，亟需教学平台供学生学习[3-4]。

光、机、电一体化技术已成为当前社会发展大势所趋，提高工业上工作效率，在智能制造中有绝对的优势[5-7]，本文提出集光机电于一体的贴标机控制系统，涉及知识广、内容丰富、实践性强，易于激发学生的学习兴趣，培养学生拓展能力、提升创新能力。但在目前国内贴标机产业中大部分用途为工业生产。马博文等[8]提出一种基于CarSim、Isight及MATLAB仿真平台的前悬架K&C特性参数的优化方法；Márcio Mendona[9]基于神经网络学习相机标定，提出了一种神经校准方法；于凯旋等[10]运用系统图像处理算法提高芯片检测效率；李瑞丹等[11]提出了一种工业化的紧凑型桌面贴片机。

为紧跟智能制造发展，抓住社会发展趋势，解决光机电一体化设备教学应用设备较少的问题，本文提出一种基于机器视觉的十轴协作贴标机控制系统，使学生充分了解智能制造的优势，培养学生兴趣、实践能力和创新能力。

1 硬件设计

1.1 机械结构设计

本研究贴标机组成如图1所示，由视觉系统、上位机、控制系统、执行系统组成。其中视觉系统包括工业相机、镜头、光源，控制系统包括运动控制卡、接线盒、传感器、气动装置，执行系统由伺服/步进电机、末端执行器等组成。

图1 贴标机系统组成

本设计优势在于增加了视觉系统，为保证图像捕捉的精准度，除了机台底盘要求极其稳定以外，还需要相机抓取图像快速、稳定、清晰。工业相机采用海康威视工业相机系列产品，海康在2016 Vision China中展现出其面阵、线阵相机强大的缺陷检测、定位引导等功能[12]，大大提升了图像处理的效率，使运行程序更加稳定，并且可以让学生学习到丰富的视觉内容，培养学生在视觉领域的兴趣。

1.2 平台组成

贴标机实训平台实物如图2所示，本实验平台需满足结构紧凑，设计简单，响应灵敏等设计特点，所以选择步进电机作为驱动电机。该平台包括两套伺服电机、八套步进电机；一套雷赛DMC3C00控制卡和ACC-XC00驱动器；一套气动末端执行器；一台上位机，一台HIKROBOT-CE系列相机等。上位机提供人机交互接口，控制贴标机自动运行完成自动贴标作业，并对机台实时运动状态进行监控。

图2 贴标机原型系统

2 软件设计

贴标机软件系统主要为上位机程序编写，上位机主要实现贴标机的自动运行、点位示教、相机引导、IO控制、协作抓取5大实验功能，由C#语言编写，主要由主控制界面、系统设置界面、产品设置界面以及接口程序组成。在点位示教实验块中，操作人员可以在操作界面上通过修改点位参数、输出脉冲从而控制轴运动的机械坐标以及运动速度，在示教结束后按下主界面上的“复位”按钮，电机驱动轴回到预设初始值，实现贴标机整体复位。在相机引导模块中，操作人员通过抓取图片，框处ROI区域，获取图像模板，通过图像处理算法提取图像特征，来匹配后续图片。为培养学生灵活思维能力、创新创造能力，IO控制、协作抓取、自动运行模块设计成半开放性实验，由操作人员操作IO口的输入、输出从而控制吸盘完成抓取实验，可自主设置点位、IO开闭来控制多个轴在不同位置抓取的多样性。C#编写时设置多个接口，学生可自主在接口下编写代码，开发思维，丰富贴标机系统。操作人员自主设计好点位并保存到工程文件下，即可实现自动运行，并在协作抓取界面直观地监视抓取匹配的成功率。

3 算法设计

3.1 视觉示教控制变量算法

本设计由上位机控制相机抓取图像，进行图像处理提取特征值并匹配目标物料的操作。由上位机初始化系统数据，每个物料的特征是不同的，但机台坐标和相机坐标之间的转换关系是相同的，提取新物料特征之前要先确认系统设置是否已经载入。不同环境中光线变量难以控制，通过控制预处理中图像对比度以及曝光时间，使得最终处理图像的清晰度处在模板算子阈值内，从而得到稳定的模板特征值，完成示教。视觉示教控制变量流程如图3所示。

图3 视觉示教程序流程

3.2 工件特征模板生产及定位

不同的工件都有其独特的特征，特征提取生成模块用于匹配不同工件文件，创建一个特征模板ID。程序运行时对采集到的工件进行图像特征提取，与模板ID匹配，根据匹配结果确定是否为需要进行操作的工件及工件种类。

特征提取和模板匹配是机器视觉系统中极为重要的一环。Halcon提供的模板匹配方式主要非为两种：基于灰度值匹配和基于形状匹配。形状匹配可以做到即便是在恶劣的环境、混乱或非线性的光线、部分遮挡的情况下也能有极高的辨识度；灰度值匹配则是匹配在整个ROI区域内的所有特征，即便光线发生线性变化也能进行识别，但匹配的分值相对较低[13]。由于系统需要稳定性较高的工作环境，故采用基于行形状的模板匹配方法。提取工件特征模板及定位流程分为以下3步：（1）图像预处理。工业相机采集到的图像具有一定噪声，故需要对其进行降噪处理。使用scale_image和emphasize算子调整图像对比度并进行增强；调用gauss_image对图像进行高斯平滑处理，对邻域内像素进行平均，给予不用位置像素不同值，消除高斯噪声。（2）生成特征模板。调用Halcon的create_shape_model算子输入金字塔层数、允许旋转角度等参数，生成一个特征ID。（3）视觉定位工件坐标信息是整个贴标机系统的核心，获取图像平面坐标转化为机械坐标信息，从而控制精准抓取工件。调用Halcon的find_shape_model算子配合特征模板ID生成Score，通过Score与预设分数判断是否存在与模板相似的工件。得到工件坐标信息通过视觉比例尺转换成机械坐标，最后发送给控制卡进行贴标校准运动。

3.3 二维仿射变换求转角算法

在基于机器视觉的十轴协作贴标机系统中，比较目标物料相对模板物料转角是不可或缺的一步，传统的提取物料最大外接矩形，并根据矩形边角四点求出中心点坐标，对比求出转角的方法需要图像有良好的清晰度，由于算法本身缺陷，迭代出最终结果飘忽不定，导致匹配失败，往往达不到想要的效果[14]。

本设计采用二维放射变换的方法，能够在一定程度上减小图像清晰度带来的影响，可以更准确地得到物料相对偏移角度。创建初始目标函数为：

定义一个二维坐标：

转换其次变换矩阵：

为了能实现旋转我们规定在二维坐标基础上补充一个1，即：

式（3）中x、y、1分别代表的二维坐标的x坐标，y坐标以及规定的其次变换矩阵。

经过极坐标转换得：

逆时针旋转α后带入（3）得最终旋转公式

式中：α为旋转角度。

旋转角度识别与定位具体步骤如下：

（1）从视觉摄像头获取图像模板数据，提取其中图像中心横纵坐标x、y，作为输入数据；

（2）将待测物料移动到视觉捕捉范围内，获取图像数据、提取待测物料中心横纵坐标x0、y0，作为输入数据；

（3）将（1）与（2）中的输入数据代入公式，通过计算机计算得旋转角度。

4 实验功能测试

4.1 视觉引导测试实验

视觉引导测试实验数据如图4所示，学生可通过更换不同焦距摄像头抓拍不同距离图像，来进行标定与图像处理。还可选择Canny、SGBM以及SSD等算法来识别目标物料中心点坐标，反馈给控制卡，来引导贴标机精准抓取目标物料。

图4 视觉引导实验

4.2 点位测试实验

点位测试实验如图5所示，通过点击不同方向轴位按钮，控制贴标机驱动到想要到达的点位。本系统速度示教设置分为快速移动与慢速移动。快速移动：轴以较高的速度移动；慢速移动：轴以较低速度移动。本系统移动示教设置分为点动与定长。点动：点击轴位方向按钮，得到脉冲驱动轴运动，反之则停止运动；定长：可给轴位移动设置指定距离，从而使轴运动到指定位置。也可通过点击“复位”按钮让贴标机还原动作程序，回复初始点位。

图5 点位测试实验

5 结束语

为解决光机电智能制造、机器视觉等新专业实验装置短缺、学生自主创新实践能力亟待提升等问题，本文完成了基于机器视觉的十轴协作教学贴标机机械结构设计、硬件设计、上位机软件开发。为提高视觉采集精度，提出了控制变量法提高图像清晰度、二维仿射变换算法使目标物旋转角度的计算更加准确。基于机器视觉的贴标机控制平台贴近工程实际，学生既可以自己动手设计、无限想象、学习编程，同时也是一个了解多门理论知识、浅学工业流程的一个平台。由于在贴标机设计过程中，学生参与了整个任务的实施过程，动手操作，互相协作，认真学习，扩展思维，因此对整个过程产生了极大的兴趣，取得了不错的成绩。非常适合在新专业自主创新实践教学中推广应用。