视觉引导的机器人条烟分拣系统设计与实现

葛新锋，孙书情，秦涛，李瑞华

视觉引导的机器人条烟分拣系统设计与实现

葛新锋1，孙书情2，秦涛1，李瑞华1

（1.许昌学院 电气与机械工程学院（工程训练中心），河南 许昌 461000；2.河南中烟工业有限责任公司许昌卷烟厂，河南 许昌 461000）

为了实现对多品种条烟高效率分拣，开发基于视觉的工业机器人条烟分拣系统平台。系统采用LABVIEW图像采集及处理双进程执行系统，并基于LABVIEW进行二次开发的图像模板匹配算法。模板匹配算法得到的数据，通过与工业机器人之间的数据库对比来实现对条烟的识别和分拣，拓展机器人的应用范围。4种任意放置条烟进行分拣，识别时间在100 ms之内，条烟识别准确率为100%，条烟分拣速度根据传送带设置为0～4 m/s可调。视觉引导的机器人条烟分拣系统软硬件设计正确，条烟识别准确，条烟分拣效率高。

视觉引导；机器人；图像识别；条烟分类；个人计算机

烟草行业作为国家税收的重要来源之一，在国民经济中起着举足轻重的作用[1]。由于工艺和效率的要求，条烟生产和包装自动化程度都很高[2-6]，烟草从卷烟生产到盒烟包装整个过程都实现了大批量自动化生产。对于条烟分销、拆箱分类、定量重组，人工参与程度高，效率低下。在现有部分机械分类设备中，灵活度低、成本高，不适应灵活多样的客户需求，因此设计开发一套高灵活性低成本的条烟分拣系统就显得尤为重要。

为了解决条烟分拣过程人工成本高、效率低和准确率低的问题，越来越多的烟草物流分销公司开始研究开发自动化的条烟识别分拣系统[7-9]。涂勇涛等[10]为提高烟草物流中心自动化分拣效率，提出了一种与高速自动化条烟分拣线相匹配的快速条烟识别算法，能够快速识别条烟的种类，但成本较高，操作烦琐，不利于推广。翁迅等[11]开发了一种基于条码的条烟识别系统，但在识别过程中要求条码方向固定，条码放置不能超过固定方向30°范围，因此使用受到很大限制，识别准确率和效率都比较低。卢振利等[12]也开发了一种基于条码的条烟识别系统，并设计了机械手进行抓取，专用机械手限制了系统的柔性。冯春等[13]开发了一种基于特征距离的识别分拣系统，但是分拣效率较低。曹冬梅等[14]利用图像处理方式对条烟进行准确识别和精确定位，但系统实施起来成本高、难度大。随着机器人技术的成熟和广泛应用，以及机器人成本的下降，机器人集成技术的研究逐渐成为研究的热点[15-17]，尤其是采用机器人和视觉结合的集成应用更是研究关注的焦点[18-20]。由于机器人操作比较复杂、成本比较高、控制比较烦琐，导致实际应用还比较少。文中利用LABVIEW自带的图像处理模块对条烟进行快速准确识别，识别得到的信息通过上位机传给机器人，机器人得到指令产生动作，对条烟进行抓取分类码垛。

1 条烟分拣系统结构

分拣平台包含条烟输送系统、视觉识别系统、工业机器人、控制系统及PC机等部分组成，见图1。

图1 条烟分拣系统

条烟输送系统，待分拣的条烟通过输送系统至相机扫描区域，相机扫描以后等待机器人抓取。视觉识别系统，采用Camera Link面扫描相机对待分拣的条烟进行扫描，通过对条烟进行扫描得到条烟图像特征数据，得到的图像特征数据与存有条烟图像特征数据的数据库进行匹配，产生匹配数据。图像采集卡，相机扫描的图像经过图像采集卡采集图像信号，并以数据文件形式保存于硬盘设备。六自由度工业机器人循环连接上位机，读取上位机图像处理识别结果数据，并准备下一步动作。机器人分析处理所读取数据内容，判断目标对象有无。当有目标对象存在时，转换目标对象的世界坐标相对值，执行抓取和分类码垛动作程序。分类码垛平台，条烟种类有很多，分类后所需要码垛的位置也同样需要很多，码垛之后以便于进行后续集中包装。PC机，装有WIN7系统的工业计算机，其硬件配置要求4 G内存、500 G硬盘和普通网卡。

2 分拣平台软件结构

2.1 LABVIEW软件架构及图像采集处理

LABVIEW图像处理双进程执行系统是分拣系统的主要软件架构，整个编程过程是基于LABVIEW软件实现的，主要原理有图像采集及处理匹配进程、影射机器人坐标及通信进程，流程原理见图2。

图2 双进程执行系统流程

LABVIEW系统中有完整的软件包及图像处理函数，使得图像采集即读取相机数据无需从写驱动程序开始，软件已经把可以使用的相机数据罗列排队，从对话框中直接选择相机即可。多种复杂的图像处理算法，已经封装成了命令块。利用拖动即可快速实现数据处理功能，图形化编程。通过双击“Vision Acquistion”控件，设置图像源，可以选择来自文件或者硬件驱动器即相机，快速实现相机连接及图像采集（见图3）。

图3 LABVIEW图像采集

2.2 图像模板匹配算法

基于LABVIEW二次开发的图像模板匹配算法，在使用过程中，虽然不具有尺寸不变的特性，但是针对多数应用，特别是多品种条烟识别系统刚好可以满足应用要求。通过0～360°设置识别方向，能在功能和实时要求之间自我选择，可配置“识别目标数量”“目标种类”这些设置项目，是其他算法不具有的优良特性。图像匹配子Ⅵ为“IVB Match Pattern Exec.vi”，子Ⅵ“IVB Match Pattern Exec.vi”中利用了LABVIEW标准图像匹配控件“IMAQ Match Pattern 4”。

2.3 映射机器人坐标

模板匹配算法得到的数据主要包含像素量和角度。通过与工业机器人之间数据库比对，采用同一个原点坐标系，完成像素量和毫米量转换。利用LABVIEW软件进行数据分析后，输出到工业机器人系统中，以完成匹配数据到工业机器人的坐标映射。

分拣平台主要动作是条烟输送系统运行、工业机器人抓取和工业机器人码垛。待分拣的条烟在输送机上依次运行是一个持续性动作，机器人的抓取和码垛则需要机器人对上位机图像处理数据进行读取，进而获得所需要的毫米量和角度，以及位置偏移量等数据，结合LABVIEW软件视觉系统输出的匹配信号，完成对不同目标对象进行抓取和分类码垛程序。其主要工作流程见图4。

3 分拣试验

通过分拣系统对条烟进行分类码垛，工作过程为：条烟输送系统将条烟通过传送带输送到面扫描相机扫描区域，面扫描相机将扫描得到的图像运用LABVIEW软件进行分析处理，得到所需要的偏移量、像素量等数据，并转化为机器人所能识别的毫米量、角度等数据。同时将扫描得到的图像和标准图像库对比，得到是否匹配的数据。2种数据同时传送到工业机器人系统中，工业机器人根据数据对比结果完成对条烟的正确抓取和分类码垛。

3.1 首次使用参数设置

1）把待识别对象放入到相机视野中，移动待识别对象靠近视野矩形框左下位置。

2）从目标对象图像上选取识别区域，识别区域选取原则是能反应目标的独特性，如特有图形、文字、颜色；选取区域尺寸无具体要求，结合实际应用情况确定。

3）保存识别区域到指定文件位置。

4）运行识别执行程序，此时应在识别对象监视图像上叠加显示识别结果信息，如角度、坐标、坐标。

5）把识别结果信息写入基础参数设置输入框中，完成基础坐标设置项。

6）移动待识别对象靠近视野矩形框右下位置，并测量移动直线位移量写入到距离参数设置项中。

7）把识别结果的对应信息写入到最大设置输入框中，完成最大坐标设置项。

8）移动待识别对象靠近视野矩形框左上位置，并测量移动直线位移量写入到距离参数设置项中。

9）把识别结果的对应信息写入到最大设置输入框中，完成最大坐标设置项。

10）如果机器人的抓取位置就是识别区域的中心，则中心偏量全部为0，否则写入偏移量参数中。

至此完成全部首次初始化参数设定操作。

图4 条烟分拣工作流程

3.2 参数设置程序实现

1）打开LABVIEW执行程序，从图形界面内设置基础参数。

2）从条烟上选择图像匹配区域，并把区域复制到模板文件；图像格式为PNG，文件名分别为05683603、62267207、05683604、62267208，文件的保存路径为Configuration Files。

3）设置匹配区域的当前值为基准点坐标、坐标，目标方向最大值、方向最大值；对应方向距离单位毫米值、对应方向距离单位毫米值；中心偏移距离，中心偏移距离。具体程序为：

基准点X坐标：BasePixelX；基准点Y坐标：BasePixelY

目标X方向最大值：MaxPixel；目标Y方向最大值：MaxPixelY

相对标准单位毫米最大值X：MaxMm；相对标准单位毫米最大值Y：MaxMmY

目标中心偏移距离X：CentreOffsetX；目标中心偏移距离Y：CentreOffsetY

计算单位像素毫米单位距离为：PixelToMmX= MaxMmX/(MaxPixelX-BasePixelX)；PixelToMmY= MaxMmY/(MaxPixelY-BasePixelY)

目标对象角度值：MuBiaoJiaoDu；目标X方向坐标：MuBiaoX；目标方向坐标：MuBiaoY；相对位移量：

X:OffsetX=(MuBiaoX-BasePixelX)*PixelToMmX+ CentreOffsetX*COS(MuBiaoJiaoDu)；

Y:OffsetY=(MuBiaoY-BasePixelY)*PixelToMmY+ CentreOffsetX*SIN(MuBiaoJiaoDu)

4）以上设置仅为首次执行软件时设置，以后在条烟位置没有相对变化时不需要重新设置这些参数。

3.3 系统使用操作步骤

1）打开PC机。

2）点击运行YHSibie.exe应用程序。

3）开启机器人电源，启动机器人应用程序。

4）打开机器人自动运行开关，进入全自动运行状态。

5）在相机视野之内如果有目标对象识别成功，识别结果以设置的数据结构格式通过端口方式或TCP/IP通信方式向机器人发送识别结果。

6）机器人接收到识别结果数据，在确定开关开启状态下，计算机器人夹具的空间坐标位置，执行定位运动。旋转夹具方向与目标对象保持一致，开启夹具执行夹紧目标对象动作。解析目标对象类别指令数据，计算目标堆放区位置、堆放区当前空间坐标与方向，开启多层多方向多区域条烟堆放程序。

3.4 分拣结果

根据搭建的分拣平台（见图5），条烟目标对象种类为任意4种，在一个周期内可识别目标数量为4个。条烟目标对象在平面内方向为0～360°，烟条识别处理时间控制在100 ms以内。数据传输为一次性传输全部识别结果，即全部成功识别目标对象标识、角度、坐标、坐标。机器人按优先级抓取，然后逐一完成全部目标抓取并分区码垛，传送带传输速度为0～4 m/s可调。根据运行结果，4种条烟识别准确率为100%。

图5 条烟分拣试验

4 结语

针对不同种类条烟采用视觉进行引导，获得条烟相关信息数据，通过上位机把相关数据传给工业机器人，通过分析后机器人对条烟进行分类码垛的方式，开发出视觉引导的机器人条烟分拣系统。该系统利用LABVIEW本身自带的图像识别算法和图像处理双进程执行系统，开发图像模板匹配算法，图像数据传送给机器人进行匹配分析，机器人根据分析结果执行定位、抓取和码垛程序，完成条烟分拣。相较于人工分拣，整个过程用时短、效率高、准确率高、人工参与度低。视觉的引入提升了机器人应用智能化水平，拓展了机器人的应用范围，也提高了条烟分拣效率，同时也为视觉与机器人结合在工业生产过程中其他应用提供了参考。

[1] 卢子奎, 郭天文, 罗旺春, 等. 卷烟工业企业自动化物流系统效能优化[J]. 烟草科技, 2008, 41(6): 26-28.

LU Zi-kui, GUO Tian-wen, LUO Wang-chun, et al. Optimization of Automatic Logistic System in Cigarette Industry Enterprises[J]. Tobacco Science & Technology, 2008, 41(6): 26-28.

[2] 李穗明, 朱滇, 董建英, 等. 卷烟厂自动物流系统分析与实施[J]. 烟草科技, 1998, 31(4): 15-17.

LI Sui-ming, ZHU Dian, DONG Jian-ying, et al. Analysis and Implementation of Automatic Logistic System in Cigarette Industry Enterprise[J]. Tobacco Science & Technology, 1998, 31(4): 15-17.

[3] CHAUMETTE F, HUTCHINSON S. Visual Servo Control[J]. IEEE Robotics & Automation Magazine, 2007(14): 109-117.

[4] 赵鹏, 薛峰, 柯美福, 等. 安康烟区烘烤自动化加煤技术应用效果试验[J]. 农学学报, 2018, 8(10): 76-79.

ZHAO Peng, XUE Feng, KE Mei-fu, et al. Automatic Coal-Adding Technology: Application Effect in Ankang Tobacco Areas[J]. Journal of Agriculture, 2018, 8(10): 76-79.

[5] KHACHATRYAN M, MCGINNIS L F. Picker Travel Time Model for an Order Picking System with Buffers[J]. IIE Transactions, 2014, 46(9): 894-904.

[6] 王彬. 基于光电技术的异型烟分拣系统研究与设计[J]. 西安文理学院学报(自然科学版), 2019, 22(6): 27-30.

WANG Bin. Research and Design of Special-Shaped Cigarettes Sorting System Based on Photoelectric Technology[J]. Journal of Xi'an University (Natural Science Edition), 2019, 22(6): 27-30.

[7] 邱天月. 条烟高速分拣线的设计与仿真[D]. 武汉: 湖北工业大学, 2015: 8-25.

QIU Tian-yue. Design and Simulation of High-Speed Cigarette Sorting Line[D]. Wuhan: Hubei University of Technology, 2015: 8-25.

[8] 潘东彪. 烟叶自动分拣关键技术研究及设计[D]. 贵阳: 贵州大学, 2016: 8-18.

PAN Dong-biao. Research and Design on Key Technology of Tobacco Automatic Sorting[D]. Guiyang: Guizhou University, 2016: 8-18.

[9] 杨艳. 卷烟配送中心分拣系统的规划设计研究[D]. 昆明: 昆明理工大学, 2013: 35-38.

YANG Yan. Research on the Planning and Design of Sorting System of Cigarette Distribution Center[D]. Kunming: Kunming University of Science and Technology, 2013: 35-38.

[10] 涂勇涛, 张莹, 邵豪, 等. 基于AGAST角点域特征的条烟快速识别算法[J]. 烟草科技, 2017, 50(5): 79-86.

TU Yong-tao, ZHANG Ying, SHAO Hao, et al. Rapid Recognition Algorithm for Cigarette Cartons Based on Feature of AGAST Corner Domain[J]. Tobacco Science & Technology, 2017, 50(5): 79-86.

[11] 翁迅, 孙壮志. 基于形态学处理算法的条烟复核技术[J]. 烟草科技, 2015, 48(9): 88-93.

WENG Xun, SUN Zhuang-zhi. Cigarette Carton Check System Based on Morphological Processing Algorithm[J]. Tobacco Science & Technology, 2015, 48(9): 88-93.

[12] 冯春, 陈柏. 半自动分拣线上运动条烟的在线识别[J]. 烟草科技, 2015, 48(1): 90-95.

FENG Chun, CHEN Bai. Online Recognition of Moving Cigarette Cartons on Semi-Automatic Sorting Line[J]. Tobacco Science & Technology, 2015, 48(1): 90-95.

[13] 卢振利, 谢亚飞, 周立志, 等. 基于机器视觉的机器人辨识及分拣盒装香烟的系统[J]. 高技术通讯, 2016, 26(6): 585-592.

LU Zhen-li, XIE Ya-fei, ZHOU Li-zhi, et al. Design and Implementation of a System for Identifying and Sorting Cigarettes in Case Based on Machine Vision[J]. Chinese High Technology Letters, 2016, 26(6): 585-592.

[14] 曹冬梅, 郭壮, 李东波. 基于机器视觉的条烟分类识别与定位研究[J]. 机械设计与制造工程, 2018, 47(9): 71-74.

CAO Dong-mei, GUO Zhuang, LI Dong-bo. Research on the Classification and Location of Cigarette Based on Halcon[J]. Machine Design and Manufacturing Engineering, 2018, 47(9): 71-74.

[15] 徐崔超. 随动式外骨骼康复机器人系统设计与集成[D]. 合肥: 中国科学技术大学, 2020: 13-31.

XU Cui-chao. Design and Integration of Follow-Up Exoskeleton Robot for Rehabilitation[D]. Hefei: University of Science and Technology of China, 2020: 13-31.

[16] 常瑜, 刘宝顺. 面向FAHP-熵权理论的装配机器人造型设计优化研究[J]. 包装工程, 2021, 42(2): 91-96.

CHANG Yu, LIU Bao-shun. Optimization of Assembly Robot Modeling Design Based on FAHP and Entropy Weight Method[J]. Packaging Engineering, 2021, 42(2): 91-96.

[17] 陈东青, 姚超友. 基于多传感器的机器人夹取系统设计[J]. 包装工程, 2020, 41(15): 200-205.

CHEN Dong-qing, YAO Chao-you. Design of Robot Clip System Based on Multi-Sensor[J]. Packaging Engineering, 2020, 41(15): 200-205.

[18] 段青娜, 刘天元. 基于分拣机和机器人技术的卷烟成品入库系统[J]. 微处理机, 2014, 35(3): 89-91.

DUAN Qing-na, LIU Tian-yuan. Design of Cigarette Storing System Based on Sorting Machine and Palletizing Robot[J]. Microprocessors, 2014, 35(3): 89-91.

[19] 王诗宇, 林浒, 孙一兰, 等. 基于机器视觉的机器人分拣系统的设计与实现[J]. 组合机床与自动化加工技术, 2017(3): 125-129.

WANG Shi-yu, LIN Hu, SUN Yi-lan, et al. The Research of Industrial Robots Sorting Technology Based on Robot Vision[J]. Modular Machine Tool & Automatic Manufacturing Technique, 2017(3): 125-129.

[20] 倪鹤鹏, 刘亚男, 张承瑞, 等. 基于机器视觉的Delta机器人分拣系统算法[J]. 机器人, 2016, 38(1): 49-55.

NI He-peng, LIU Ya-nan, ZHANG Cheng-rui, et al. Sorting System Algorithms Based on Machine Vision for Delta Robot[J]. Robot, 2016, 38(1): 49-55.

Design and Implementation of Robot Cigarette Sorting System Based on Vision

GE Xin-feng1, SUN Shu-qing2, QIN Tao1, LI Rui-hua1

(1.School of Electrical and Mechanical Engineering, Xuchang University, Henan Xuchang 461000, China; 2.Xuchang Cigarette Factory, China Tobacco Henan Industrial Co., LTD., Henan Xuchang 461000, China)

The work aims to develop an industrial robot cigarette sorting system platform based on vision to sort various kinds of cigarettes efficiently. The double process execution system of LABVIEW image acquisition and processing was adopted. The image template matching algorithm of the second development was conducted based on LABVIEW. The data obtained from the template matching algorithm can be compared to the database of industrial robots to realize the recognition and sorting of cigarettes, which expanded the application scope of robots. Four kinds of cigarettes were randomly placed for sorting, the recognition time was within 100 ms, and the recognition accuracy was 100%, the cigarette sorting speed can be adjusted according to the conveyor belt setting of 0-4 m/s. The practice shows that the software and hardware design of the system is correct, the cigarette identification is accurate, and the cigarette sorting efficiency is high.

vision guidance; robot; image identification; cigarette classification; personal computer

TB486

A

1001-3563(2022)07-0238-06

10.19554/j.cnki.1001-3563.2022.07.031

2021-06-02

河南省科技攻关项目（182102210508）

葛新锋（1978—），男，硕士，许昌学院副教授，主要研究方向为机器人应用技术开发、先进制造技术。

责任编辑：曾钰婵