视觉机器人教学实验平台在毕业设计中的应用探索

林冬梅，陈晓雷，杨富龙，马玉润

（兰州理工大学 电气工程与信息工程学院，甘肃 兰州；甘肃省电子信息省级实验教学示范中心，甘肃 兰州；甘肃省工业过程先进控制重点实验室，甘肃 兰州；兰州理工大学电气与控制工程国家级实验教学示范中心，甘肃 兰州）

一 引言

机器视觉技术是一项涉及视觉传感器、光源照明、光学成像、数字图像处理、模拟与数字视频、计算机软硬件和自动控制等的综合技术。机器视觉主要用计算机模拟人的视觉功能，从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制[1]。机器视觉系统由硬件系统和组态软件组成，主要包括图像获取部分、图像处理与分析部分和判决执行部分。机器视觉技术具有速度快、精度高、信息量大、功能多等特点。随着机器视觉技术的发展，其在生产生活等各行各业中发挥着重要作用，在人工智能的发展历程中扮演着越来越重要的地位[2]。研究报告显示，2020 年全球机器视觉市场规模为107 亿美元，预计到2025 年将增长至127 亿美元[3]。

随着工业智能化的发展，机器视觉技术在工业领域有着非常广泛的应用，科技成果层出不穷[4]。机器视觉技术被应用在部件装配、产品特征检测、缺陷检测、非接触测量、数控机床加工等多个生产环节。以汽车制造业为例，涉及汽车产品装配加工、3D 四轮定位、整车与零部件自动检测、车身特定位置缺陷检测等[5]。

在农业领域，机器视觉技术涉及农业生产的各个环节。在农业生产前期，进行土壤检测、种子精选及质量检测、精密播种等；农业生产中期，有植物生长信息监测、田间杂草识别、病虫害检测、农药精量喷洒等；在农业生产后期，主要体现在农产品采摘、品质检测与分级、包装等。其中，还涉及到各种农业机械的研制与控制，主要有自动采摘机械、除草机械、喷药机械、产品分级机械等。机器视觉技术能有效提升农业生产的自动化与机械化水平，促进农业快速现代化的进程[6-8]。

在医疗领域，机器视觉技术主要运用在辅助诊断及手术方面。如X 射线成像增强，CT、MRI 的标记、渲染、融合等，得到准确、清晰且包含更多信息的图像，便于医生和专家进行综合诊断；甚至能给出诊断结果，供专家参考。再者，基于机器视觉技术，手术机器人能精准地实施手术[9]。此外，还可以应用在药用玻璃瓶缺陷检测、药剂杂质检测以及对药品外包装泄露的检测等，能够充分保障药物的质量安全[6]。

交通领域同样离不开机器视觉技术，它在车牌识别系统、视频检测系统、安全保障系统及无人驾驶、车联网等复杂任务中发挥着举足轻重的作用，推进了智能交通的快速发展。

基于机器视觉技术的机器人分拣系统被广泛地应用于零件、农产品、食品、药品、纸币、快递等的分拣工作中，不仅提高了分拣效率，而且大大降低了误拣、漏拣的概率，逐渐替代人工分拣及传统机器分拣方法[10-12]。

随着机器视觉技术的发展，还涉及安防监控、侦查追踪、网络信息安全、机器人、航空航天、天气预测、防疫抗灾等众多领域。

我国机器视觉技术的发展正处于上升期，国家对机器视觉技术的研究投入不断加大，机器视觉已逐渐成为国内的热门行业。因此，高校应积极响应国家需求，重视培养机器视觉技术行业人才。

二 本校在机器视觉技术方向的毕业设计现状

2013 年，兰州理工大学电子信息科学与技术专业培养方案中，将《图像处理和分析》课程修订为《机器视觉技术》课程。在后续的授课中，采用示范性项目式、案例式教学方法进行课程建设[13]。虽然课程进行了改革，但机器视觉技术方面的毕业设计题目，大部分实质上仍是纯图像处理算法研究的毕业论文，存在不少弊端。一方面，由于偏向理论算法研究，存在选题单一或类似现象，深度不够，且创新性不足。另一方面，没有将《机器视觉技术》课程所学的知识很好地综合应用到毕业设计中，很难跟实际工程联系起来，综合应用能力得不到有效提高，学生的实践技能滞后于现代技术，不能满足工程实际的需要。因此，在这方面的毕业设计亟需改革。

三 视觉机器人教学实验平台在毕业设计中的应用实践

2018 年，兰州理工大学启动了机器视觉实验室建设，并于2019 年9 月完成了建设。机器视觉实验室以视觉机器人教学实验平台为主要设备。为了改变电子信息科学与技术专业在机器视觉技术方面的毕业设计脱离工程实际的现状，引入视觉机器人教学实验平台是改革毕业设计的一条有效途径。首先，可以实现机器视觉方向的毕业设计从论文研究型向综合设计型转变。其次，可以提高学生的学习兴趣和综合实践能力，为将来从事机器视觉技术相关工作奠定基础。最后，它可以促进视觉机器人教学实验平台的应用推广，为社会培养专门人才。因此，在2020 及2021 届电子信息科学与技术专业学生的毕业设计中，探索了视觉机器人教学实验平台的应用，以更好地锻炼学生的工程思维、动手能力及分析和解决实际工程问题的能力。

（一） 实验平台介绍

西安交通大学研制的视觉机器人教学实验平台（XVS-1600），由硬件系统和组态软件组成，硬件配置及软件功能达到国内领先水平。

1.硬件系统

硬件系统主要由视觉机器人、末端执行器和气泵组成，如图1 所示。视觉机器人具有4 个自由度，关节材料采用铝合金，控制电机重复精度≤0.2mm，机械臂伸展范围8~18cm，机械臂伸展速度1~4cm/s，最大旋转角范围±110°；配有摄像头2 个，视觉感知图像分辨率≥100 万像素。末端执行器有开合夹抓和吸盘两种，采用铝合金与 PLA 材料。气泵用于控制末端执行器的开合，采用SW 电驱接口及SP 通信控制插口。

图1 视觉机器人教学实验平台（XVS-1600）硬件系统

2.组态软件

组态软件名称为机器视觉智能组态软件（Xavis），它拥有包括图像采集、处理、测量、定位、识别、教学机器人控制通信等260 多个算法库函数；有70 多个人工智能教学创新实验案例，包括图像处理、图像测量、目标检测、模式识别、目标跟踪、机器人多工件自主智能装配与拆卸、麻将抓取识别等[14-15]。该软件的最大特色是可视化组态编程，简单易学；界面上分布有图像区、参数区、值显区和代码区，如图2 所示。

图2 机器视觉智能组态软件（Xavis）

3.功能及特点

实验平台基于机器视觉智能组态软件，集工件图像采集、图像处理、模式识别和教学机器人控制等多项视觉测控以及教学机器人编程功能于一体，用其可开设电子信息、自动化、人工智能、机器人、机械工程、计算机、机电一体化及测控仪器等专业的教学、创新及科研实验；具有教学机器人编程、机器视觉算法库、智能组态编程、教学基本实验、实验扩展等功能。使得《机器视觉技术》等课程实验能够较高水平开设，同时也能够丰富综合训练、课程设计、创新训练及科研实验的实践内容。

综上所述，将视觉机器人教学实验平台用于毕业设计，能很好地培养学生的动手能力以及创新能力，可以满足机器视觉技术复杂工程问题的实践需求。

（二） 毕业设计案例

兰州理工大学2020 及2021 届电子信息科学与技术专业学生，尝试了基于视觉机器人教学实验平台的毕业设计，完成了棋子识别系统设计、麻将抓取识别系统设计、物品分拣系统设计、物品装载系统设计等题目。下面以物品分拣系统设计及物品装载系统设计为例，展示实验平台的应用情况。

1.物品分拣系统设计

基于Xavis 组态软件，用程序控制并移动视觉机器人的末端摄像头，实时采集物品图像；采用图像灰度化、形态学运算、滤波、二值化、融合、分割、边缘检测、圆检测、直线检测等图像处理方法，最终提取物品的形状特征，并找到物品中心实现物品的定位；利用特征，进行物品分类；控制机器人，用其末端执行器将不同特征的物品抓取并放置到指定位置，实现物品的分拣。该设计实现了长方形麻将、圆形象棋、三角形模具3 类形状物品的分拣，模拟生产生活中的机器人分拣系统。

图3 物品分拣系统工作情况

2.物品装载系统设计

物品装载系统由五个模块组成，分别是参数设置模块、扫描模块、图像处理模块、识别定位模块、装载模块。参数设置模块需要完成机械臂初始化、静态参数和动态参数设置、摄像头编号设置、角度偏移量和抓取偏移量设置等。扫描模块负责循环扫描物品和放置目标区域位置。图像处理模块涉及到的图像处理方法有图像灰度化、形态学运算、面积滤波、二值化、连通区域标记、分割、边缘检测等。识别定位模块包括找到物品中心及目标位置中心，实现物品及目标位置的定位。装载模块实现物品抓取并按要求放置到指定位置。

该系统可以自动扫描并确定目标位置和需要装载的物品，自动定位抓取物品并进行装载，可以获取实时图像并显示装载进程，能够循环执行直至所有物品装载完成。本设计实现了将8 个麻将整齐装载到具有四个分格的纸盒中，模拟生产线上产品的自动装载。

图4 物品装载系统流程图

图5 物品装载系统工作情况

（三） 应用效果

上述两个毕业设计，在文献资料查阅阶段，学生能充分了解机器视觉技术在物品分拣及装载领域的应用现状；通过设计过程，学生充分理解物品分拣及装载的方法和流程，熟练掌握机器人分拣及装载系统中涉及到图像获取方法、图像处理方法、机器人控制方法等相关知识，并能编程实现及灵活运用。整个设计能很好地锻炼学生的综合能力。

《机器视觉技术》课程的实践性较强，采用纯粹的理论算法研究型的毕业论文，无法综合应用该课程的知识，不能达到预期效果。通过基于视觉机器人教学实验平台的毕业设计，学生对机器视觉系统组成、机器视觉方法和实现、机器视觉技术应用等一系列相关内容有了更深的理解，并能综合运用课程所学知识来解决实际工程问题，锻炼了工程思维，提高了专业能力。

四 结语

通过应用视觉机器人教学实验平台，毕业设计质量有了明显改善，学生的工程思想得到了充分锻炼，这为学生将来从事机器视觉技术领域的工作打下了良好的实践基础，也为学生将来继续从事机器视觉方向的研究奠定理论基础。同时，基于视觉机器人教学实验平台的毕业设计又为《机器视觉技术》课程的项目式教学提供了大量素材，有望促进《机器视觉技术》课程教学质量的提高。今后继续将视觉机器人教学实验平台应用于本科毕业设计中，提高毕业设计质量，加深学生对机器视觉技术的认识和理解，增强实践能力，培养机器视觉技术行业人才。