基于机器视觉的机器人辨识及分拣盒装香烟的系统①

卢振利 谢亚飞 周立志 单长考 波罗瓦茨·布朗尼斯拉夫 李 斌

(*常熟理工学院电气与自动化工程学院 常熟 215500) (**中国科学院沈阳自动化研究所机器人学国家重点实验室 沈阳 110014) (***中国矿业大学信息与电气工程学院 徐州 221116) (****诺维萨德大学技术科学学院 诺维萨德 21000， 塞尔维亚)



基于机器视觉的机器人辨识及分拣盒装香烟的系统①

卢振利②***谢亚飞****周立志*单长考*波罗瓦茨·布朗尼斯拉夫****李 斌**

(*常熟理工学院电气与自动化工程学院 常熟 215500) (**中国科学院沈阳自动化研究所机器人学国家重点实验室 沈阳 110014) (***中国矿业大学信息与电气工程学院 徐州 221116) (****诺维萨德大学技术科学学院 诺维萨德 21000， 塞尔维亚)

运用机器视觉技术和机器人技术设计并实现了一种识别、分拣盒装香烟的系统，以提高识别准确率和分拣效率。该系统通过USB摄像头采集烟盒图像信息，从烟盒的特征检测入手，利用Matlab工具对香烟条形码、烟盒颜色和字迹字符三个方面进行处理分析，识别出真伪香烟，并随即通过控制机器人手爪对识别出的香烟进行分拣。

USB摄像头， Matlab， 香烟真伪识别， 机器人手爪

0 引 言

机器视觉技术和机器人技术的出现，为设计能取代工业制造中高成本人工操作的机器人系统提供了可能。本研究联系香烟生产的实际，设计了一种基于机器视觉的自动辨识和分栋拿装香烟的机器人系统。该系统从香烟盒的特征检测入手，对香烟条形码、烟盒颜色和字迹字符三个方面进行处理，识别出真伪香烟，随后通过控制机器人手爪来对识别出的香烟进行分拣操作。机器人能从烟盒上找到辨别伪劣香烟的基本办法，从而帮助企业提高生产效率，提升产品质量，减少劣质品流入市场，进一步增强企业的竞争力[1-6]。

1 系统架构设计

系统架构包括硬件和软件两部分：硬件由USB光源视频展台和机器人手爪组成；软件部分采用Matlab工具对采集的图像进行处理分析[7-9]。USB视频展台、机器人手爪分别如图1(a)、(b)所示，系统整体框架如图2所示。

(a) USB视频展台

(b) 机器人手爪

图2 系统整体框架

2 盒装香烟图像不同特征识别

本文主要对烟盒的条形码、颜色和字迹字符三个特征进行识别处理。

2.1 一维条形码识别

烟盒上条形码是13个数字组成的一维条形码，又叫EAN-13条形码。它是一组根据不同厚度的空间的黑白线，以及一定排列规则的平行线图形号码[10-12]。

对于一个条码图像我们先要对其进行一定的处理才能达到正确译码的目的。而要对其进行处理，首先是要将其读入并灰度化。由于有噪声的存在，必须对其进行滤波，也可以人为地加入一定类型的噪声仿真，然后用合适的滤波方法进行滤波，这样有助于理解各种滤波方法所针对的噪声类型。本文滤波方法采用中值滤波，能克服采集图像模糊问题和滤除噪声。最后就是要二值化，得到二值图像。条码图像预处理流程图如图3所示。

图3 条码图像预处理流程图

以最常见的“黄鹤楼”香烟条形码为例，预处理后的结果见下面几幅图。

灰度化图如图4所示。

图4 灰度化图

添加噪声图如图5所示。

图5 添加噪声

中值滤波图如图6所示。

图6 中值滤波

二值化图如图7所示。

图7 二值化图

实验结果：

对条形码图像作相应的图像预处理之后,结合条形码译码原理和判别方法,在Matlab软件环境下编写了相应的软件程序。如图8所示，(a)、(b)分别是香烟“黄鹤楼”条码图像及其识别结果实例。

图8 条码图像及识别结果

通过识别结果的分析判断，发送指令给机器人手抓，从而执行相应的分拣动作。

2.2 颜色识别

众所周知，各种颜色都是由红(R)、绿(G)、蓝(B)三个颜色调配而成。一幅彩色图像的数据非常庞大，图像中的一个像素点由R、G、B三种颜色按照不同比例组成。

2.2.1 图像RGB分量分解

如果一幅图像的底色不均匀或者底色与字迹的色差不是很明显的话，它的信噪比太低导致RGB分量数值相差不大，会给识别带来很大困难，因此我们选择黄鹤楼香烟作为识别的对象，并在图像上截取一部分比较明显的区域，如图9所示。

图9 待识别的图片区域

通过程序处理得出这幅图RGB分量的灰度直方图。其中红色分量、绿色分量、蓝色分量的灰度直方图分别如图10(a)、(b)、(c)所示。

2.2.2 颜色识别结果及判断

纯黄色图像的R、G、B分量分别是1、1、0，因此当图像的红色和绿色分量远大于蓝色分量时，我们便认为这幅图为黄色，实际识别的过程中会分别设定一定的阈值以便区分。一般都要将图像从RGB转换到HSV空间(rgb2hsv)，避免普通RGB空间易于受到亮度影响判定结果的弊端。采用像素点统计的方法来识别是哪种颜色，当某个颜色像素点数量最多时我们便默认其为该图像的颜色。颜色识别处理流程如图11所示。

(a) 红色分量灰度直方图

(b) 绿色分量灰度直方图

(c) 蓝色分量灰度直方图

图11 颜色识别处理流程

统计结果及识别结果如图12所示。

图12 统计结果及识别结果

从统计结果可以看出，黄色像素点的数量远远大于其他像素点的数量，也符合我们感官看到的结果。

2.3 字符字迹辨识

根据营销和外观设计的需要，不同品牌的香烟烟盒上的字体有很大区别，很多并不是正楷或者比较常见和规范的字体，甚至是草体的英文，这就给识别带来非常大的困难，因此我们选择有常见字体的烟盒进行字迹特征的检测。采集烟盒图像如图13所示。

字符识别具体流程如图14所示。

2.3.1 英文字符识别

实验选取英文截取图像如图15所示。图像经过预处理后呈现出的图像如图16(a)、(b)所示。

在采集图像过程中，由于文档纸张摆放不正等原因，很容易出现采集到的图像发生程度较小的倾斜现象，图像倾斜必然会造成其中的字符倾斜，这会给后续的字符分割、识别等带来带来困难，因此，要对图像进一步分析前对其倾斜进行检测与校正。因此实验过程中采用霍夫变换来校正倾斜图像，倾斜校正后图像如图17所示。

进行字符分割过程，行字切分结果和生成字符模板分别如图18、图19所示。

经过模板匹配识别，最终的识别结果如图20所示。

2.3.2 中文字符识别

中文字符的识别和英文字符的识别虽然程序的实现上有很多差异，但在原理依据、方法等方面大同小异。实验中选取要处理的中文字符图像如图21所示。

字符预处理过程中产生的图像如图22所示。

一些基本的形态学变换后，对图像字符进行5次切割分离过程如图23所示。

图14 字符识别流程

图15 待识别英文字符

图16 英文预处理图像

图17 倾斜校正图像

图18 行字切分结果

图19 生成的字符模板

图20 识别结果

图21 待辨识中文字符图像

图22 预处理图像

汉字切分结果如图24所示。

最终，经模板匹配后的识别结果如图25所示。

从最终识别结果的文字信息我们可以看到，经过多次复杂的调试，程序的实现上能基本上识别出图像中文字的结果。

图23 五次分割后图像

图24 汉字切分结果

图25 识别结果

3 机器人手爪抓取实验

在上面的机器视觉系统中，我们通过数字图像处理实现了真品香烟的识别以及真假香烟的对比辨别，在机器人控制的系统中，我们通过舵机控制板规划了机器人的运动步骤和各关节机械臂的运动位置及机械手抓的开闭，通过Matlab软件向串口发送数据指令实现其对机器人的直接操作。

实验中我们设定了两个位置，分别用黄色胶带和红色胶带做标记，黄色胶带处为真品放置处，红色胶带处为伪品放置处。

真品抓取实验序列如图26所示。

图26 真品分拣过程

香烟被反面放置，烟盒背面做了相应处理，识别结果为假。伪品实验序列如图27所示。

图27 伪品分拣过程

4 结 论

本研究设计了通过从香烟条形码、烟盒颜色和字迹字符三个方面进行真伪判别的香烟真伪辨识及分拣系统。通过实验分析，验证了此系统的可行性。虽然在系统辨识过程中会有其它因素的干扰，可能造成识别不精确，但系统的整体识别稳定度较高，基本能分拣出真伪产品，为香烟真伪的辨识提供了设计经验。

[1] 薛红. 条码技术及商业自动化系统-条码技术. 北京：中国轻工业出版社， 2008. 67-69

[2] 何红庄. 基于图像识别模式的条码译码系统的研究:[硕士论文]. 南京：河海大学机电工程学院, 2003.15-21

[3] 范永法，郭艳萍. 条码图像处理及识别的软件开发. 计算机应用研究，2003, 20(2):86-87

[4] 于娓等. 一维条码引入图书馆应用的可行性初探. 开封教育学院学报，2005，12：22-24

[5] Mallat S G. A theory for multiresolution signal decomposition：the wavelet representation.IEEETransactionsonPatternAnalysis&MachineIntelligence, 2010, 11(7):674-693

[6] 王雅静. 基于图像处理的EAN-13条码识别算法. 山东理工大学学报(自然科学版)，2005,19(4)：3-5

[7] 杨淑莹. 图像处理与项目实践——VC++、MATLAB技术实现. 北京：电子工业出版社，2014. 5

[8] 王晓红,赵荣椿. 图像规格化的一种新方法. 计算机应用与软件, 2002,19(3):51-53

[9] 刘志海. 条形码技术及程序设计. 重庆：重庆大学出版社，1991. 41-48

[10] 赵素霞. 基于数字图像处理方式的EAN-13条码识读算法研究:[硕士论文]. 济南：山东大学信息科学与工程学院, 2005. 48-60

[11] 中国自动识别技术协会. 条码技术基础. 武汉：武汉大学出版社，2008. 15-16

[12] 邹永星. 条码国家标准汇编. 北京：中国标准出版社，2004. 12-21

Design and implementation of a system for identifying and sorting cigarettes in case based on machine vision

Lu Zhenli***, Xie Yafei****, Zhou Lizhi*, Shan Changkao*, Borovac Branislav****, Li Bin**

(*School of Electrical Engineering and Automation, Changshu Institute of Technology, Changshu 215500) (**State Key Laboratory of Robotics, Shenyang Institute of Automation, CAS, Shenyang 110014) (***China University of Mining and Technology, Xuzhou 221116) (****Faculty of Technical Sciences, University of Novi Sad, Novi Sad 21000, Serbia)

A system for identifying and sorting of cigarettes in case was designed and implemented by using the machine vision technique and the application of robot to improve the identification accuracy and the sorting efficiency. The system collects cigarette cases’ image information by using the USB camera, then, starting from detection of the characteristics of the cigarette cases, uses the Matlab tool to analyze and deal with the three features of barcode, color and handwriting to identify the authenticity, and finally controls the gripper to do cigarette sorting.

USB camera, Matlab, authenticity recognition, gripper

10.3772/j.issn.1002-0470.2016.06.009

①国家自然科学基金(61473283)，机器人学国家重点实验室开放基金(2014-O08)，校新引进教师科研启动项目(XZ1306)和中国-塞尔维亚政府间科技合作委员会第三届例会项目(国科外字[2015]266号3-1)资助。

2015-08-24)

②男，1974年生，博士，硕士生导师；研究方向：机器人智能控制；联系人，E-mail: zhenlilu@cslg.cn