基于机器视觉的药片表面缺陷识别与分拣系统设计

许江淳， 岳秋燕， 任向阳， 王 晴

(昆明理工大学 信息工程与自动化学院，云南 昆明 650000)

基于机器视觉的药片表面缺陷识别与分拣系统设计

许江淳， 岳秋燕， 任向阳， 王 晴

(昆明理工大学 信息工程与自动化学院，云南 昆明 650000)

针对制药企业采用人眼识别药片表面缺陷受光线强度及视觉疲劳影响，存在漏检和低效等问题，利用机器视觉技术，进行了药片图像预处理，设计了药片缺陷检测及分类、异色处理算法并处理；在此基础上，利用反问题的最小二乘解算法确定缺陷药片的物理位置，控制3自由度 Delta机器人实现缺陷药片的分拣。经过测试，系统分拣成功率高，且易于实施，达到了设计要求。

缺陷药片； 缺陷分类； Delta机器人； 识别分拣系统

0 引 言

目前，很多药厂生产线仍在使用人工肉眼观察的方法识别出有缺陷的药片。药片在其生产加工过程当中，不可避免会产生各种各样的瑕痴缺陷，例如断裂、漏印、异色及长短不一等等[1]。由于工作人员的视觉疲劳以及人眼对细微部分的识别极限，往往会有漏检而且速度较慢。如何高效检测并能在检测过程中保持较高的检测合格率，这是目前各制药企业面临的困难。为了保障企业的生产效率，以机械检测分拣方式代替人工检测及分拣方式已迫不及待[2]。基于以上背景，本文研制一种药片表面缺陷自动识别和分拣系统，对药片的缺陷能够在线识别，减少识别过程中产生的误差，并根据结果分拣出质量合格的药片，提高药片出厂的质量等级[3]。

1 系统设计

1.1 系统原理与工作流程

药片缺陷识别与分拣系统原理框图如图1所示。电荷藕合器件(charge coupled device,CCD)摄像机拍摄的药片检测场景图像送入计算机，实时图像经过缺陷检测、异色检测和缺陷药片定位后，发出控制命令控制Delta机器人，实现缺陷药片的分拣剔除。

图1 药片缺陷识别与分拣系统原理框图

1.2 系统的硬件组成

硬件主要是自主设计组建的Delta机器人，计算机、 Arduino单片机、相机、镜头及气泵组成。其中相机和计算机是用传输线连接在一起，Arduino单片机和计算机通过RS—232相连。Arduino单片机和delta机器人实物如图2所示。

CCD摄像机，具有体积小、重量轻、耗电小、寿命长、灵敏度高、动态范围大、抗振动冲击性、没有几何畸变及对光响应高度线性的等特点[4]，在工业中得到广泛的应用。本系统选用维视公司型号为MV—VD030SM/SC的摄像机，其具体参数如表1所示。

图2 Arduino单片机和 Delta机器人实物

表1 MV—VD030SM/SC摄像机参数表

选用Arduino单片机控制机器人运动。Arduino是一种便捷灵活、方便上手的开源电子原型平台[5]，包含硬件(各种型号的Arduino板)和软件(Arduino IDE)。

设计组装的Delta机器人由静止的平台(上平台)、移动的平台(下平台),3根主动臂及3个平行四边形从动杆组成[6]。运动平台的运动特性由这3个运动杆决定[7]。动平台不能旋转，但是它可以在空间的x,y,z坐标系内平移移动，即3空间平移自由度。

2 药片表面缺陷识别

药片缺陷识别主要是基于图像处理技术和图像的模式识别。机器视觉系统中, 视觉信息的处理主要是图像处理，它包括图像增强、平滑、边缘锐化、分割、特征抽取、图像识别与理解等内容[8]。经过处理后, 输出图像的质量得到相当程度的改善,便于计算机对图像进行分析、处理和识别。

2.1 图像预处理

图像预处理通常包括图像的旋转定位、去除噪声、二值化及图像边缘检测几个方面。

1)去除噪声：采用了中值滤波的方法，去除由于灯光、环境等因素所产生的噪声，中值滤波法较好地保留了图像的边缘, 使其轮廓比较清晰，为后面的图像识别做好了准备[9]。

2)边缘检测和阈值分割：采用最优的阶梯型边缘检测算法(Canny边缘检测)[10]。确定瑕疵的灰度阈值，超过阈值的判断为存在瑕疵的区域[11]。Canny边缘检测算法：用高斯滤波器平滑图像；用一阶偏导的有限差分来计算梯度的幅值和方向；对梯度幅值进行非极大值抑制；用双阈值算法检测和连接边缘。能有效地抑制噪声并尽量精确确定边缘的位置；根据对信噪比与定位乘积进行测度，得到最优化逼近算子。

2.2 缺陷的检测算法

缺陷的图像识别采取的算法为支持向量机(SVM)的方法[12]，该算法先获取流水线上合格产品的图像，构造出模板，再采集待检测产品的图像，将标准模板图像与实际采集的产品图像进行匹配和相减操作，之后把图像划分成子块，提取灰度直方图作为特征向量输入SVM，事先训练SVM，由SVM进行分类。

2.2.1 缺陷特征计提取

药片表面缺陷的具有断裂、漏印、异色及长短不一等特点，并且缺陷大小是随机的，需要特征不随尺寸大小变化而变化，这里选择灰度特征、形状特征、几何特征来建立特征数据库，作为模式分类系统的输入特征向量，提取的特征量及计算公式如表2所示。其中WMER和LMER分为MER(最小外接矩形)的短边和长边，(x0，y0)和(x1，y1)是一条长边上的两个点，A0和AMER为缺陷和MER的面积，f(i，j)是缺陷在像素点(i，j)的灰度值[13]。

表2 特征量计算公式

2.2.2 识别计算

采用处理算法结合多个二分类器，完成对缺陷的分类识别。x为n维特征向量，w为类别标签，都满足判别函数w·x+b=0。为了最大化间隔，不发生重叠[14]，定义两平行的超平面w·x+b=1，w·x+b=-1，当xi满足

wi(w·x+b)≥1

(1)

时SVM进入训练模式。

优化运算过程，根据拉格朗日原理，得到最大化间隔的判别式

(2)

其中,超平面的距离为2/‖w‖，w为类别标签，即分类越少，识别的准确率越高。

因为在线识别药品缺陷为非线性可分的问题[15]，运用非线性核函数代替线性支持向量分类器的点积，即k(xi,xj)=Φ(xi)·Φ(xj)可得判别函数(3)如下

(3)

以200组药片表面缺陷作为训练样本，采用SVM方法训练样本得到缺陷分类器，其中非线性核函数为Sig-moid函数，并对50组测试样本进行分类[16]。

2.2.3 检测流程与通信

与分拣系统进行通信，通过输出控制信号来控制分拣部分进行自动分拣，检测核心流程如图3所示。

图3 检测核心算法流程

2.3 异色缺陷检测识别结果展示

毛泽东作为一位出色的政治家诗人，其诗词作品始终洋溢着乐观的革命精神，饱含着深厚的人民情怀，蕴藏着巨大的精神力量。在他的众多诗词作品中，《菩萨蛮·大柏地》一词尤其引起笔者关注。一是因为这首词在一定的程度上反映了毛泽东领导工农红军开辟、创建和巩固中央红色政权的历史过程；二是因为笔者好奇，是什么样的力量能让毛泽东在逆境中始终昂扬着乐观豪迈的革命精神，从而抒写出恢弘大气的壮丽诗篇？古人云：诗言志。意谓诗词的创作是诗人理想抱负、感情意志的自然流露，最能反映诗人的内心世界。下面，笔者试着联系这首词背后的历史细节来探究毛泽东的革命情怀。

1)预处理结果

对异色药片进行模板匹配和特征提取之前，为了减少干扰进行的预处理的结果如图4和图5所示。

图4 异色缺陷预处理图

图5 HSV颜色空间直方图

2)异色检测结果

图6分别展示的是在异色缺陷检测中根据图像处理结果中灰度值的不同检验出的不同颜色的药片。

图6 异色识别

3 工业机器人的分拣

3.1 优化的反问题的最小二乘解

坐标转换是世界坐标转换成像素坐标。已知特征点的图像坐标和世界坐标，由矩阵反问题的最小二乘逼近解的方法得到投影矩阵H[17]。投影矩阵H的精确度跟药片数量正相关。H的解与相机参数无关，系统搭建灵活[18]。

证明存在与世界坐标对应的像素坐标。E为单位矩阵，EH为单位矩阵的共轭转置，G为行满秩矩阵，Cn×n为复数矩阵空间。设E∈Cn×n，∀G∈HCn×n，根据不等式

(4)

(5)

(6)

可得惟一的最优解

表3为求单应性矩阵时使用的数据，世界坐标和图像的像素坐标的对应，求出单应性矩阵。

表3 坐标对应关系

求出的单应性矩阵H为

(7)

由于此次的设计原因，相机不能够垂直于物体平面，所以,在求出的单应性矩阵有一定的误差，但是也能满足药品分拣的要求。表4为仿真结果。

表4 测试结果 mm

由表4可以看出结果误差小于等于1 mm，当选取的点达到一定数量时，得到的结果误差最小，可以很好地实现药品的分拣工作。

3.2 机器人控制程序软件实现

机器人控制程序软件流程如图7所示，其工作流程可描述为: 首先相机对传送带上的药片进行图像采集，然后进行缺陷识别定位，确定图像坐标进行转换，机器人通过Arduino单片机控制进行分拣动作。

图7 机器人控制程序软件流程图

4 系统运行测试

在机器人前方的传送带上随意放置药片，分拣作业要求将缺陷药片放置在玻璃容器中，启动机器人分拣系统后，机器人末端执行器立刻运动到X方向像素坐标最小的缺陷上方3 mm处→真空吸盘吸附缺陷药片→机器人末端执行器运动到玻璃容器上方2 cm处→电磁真空吸盘缺陷药片放入到玻璃容器中→机器人末端执行器运行到下一颗缺陷药片上方3 mm处，并重复上述过程。机器人重复上述过程缺陷药片全部放入另一个玻璃容器中。实验结果表明，该分拣系统识别并分拣的正确率达到约100 %，所使用的方法简单有效，实验效果如图8所示。

图8 实验效果

5 结束语

以制药企业的缺陷药片识别分拣为研究对象，设计了缺陷药片识别分拣系统的软硬件平台，进行了基于缺陷药片检测分类算法及识别的方法研究。在此基础上，运用反问题的最小二乘法确定了缺陷药片的物理位置。系统能在检测过程中保持较高的检测合格率以及较低的错误分拣率，该系统方案能为制药企业的缺陷药片自动识别和分拣提供解决思路。由于机器人的高效作业替代了繁重的体力劳动，提高了自动化水平和作业质量[19]，机器人自动分拣将会越来越广泛地应用于生产领域。

[1] 志 江,孙立宁,富历新.医疗机器人发展概况综述[J].机器人,2013,25(2):182-187.

[2] RaoA C.Topological characteristics of linkage mechanisms[J].Mech Mach Thewy,1995,30(1):33-42.

[3] 李树军,杜立群,张国忠.运动链和机构的拓扑特性及其性能评价[J].东北大学学报:自然科学版,1997,18(6):671-675.

[4] 杜高峰,刘辛军.五自由度五轴并联虚拟轴机床:中国,ZL00100193_0.[P]2000—07—05.

[5] 吕传毅,朱 均,曹惟庆.齿轮连杆机构结构拓扑特征和自动生成方法探讨[J].西安交通大学学报,1997,31(10):78-82.

[6] Rosheim M E.Robotic manipulator:US,6,105,455[P].2000—08—22.

[7] Merlet J P.Jacobian,manipulability,condition number, and accuracy of parallel robots[J].Journal of Mechanical Design,2006,128(1):199-206.

[8] Tsai L W,Walsh G C,Stamper R E.Kinematics of a novel three DOF translational platform[C]∥Proceedings of 1996 IEEE International Conference on Robotics and Automation,IEEE,1996:3446-3451.

[9] 张利敏,梅江平,赵学满.Delta机械手动力尺度综合[J].机械工程学报，2010,46(3):1-6.

[10] Qiu H,Lin C J,Li Z Y,et al.An universal optimal approach to cam curve design and its applications[J].Mechanism and Machine Theory,2005,40(6):669-692.

[11] Nabat V,Company O,Krut S,et al.Very high speed parallel robot for pick-and-place[C]∥Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems,NewYork:IEEE,2009:202-207.

[12] Huang T,Mei J,Li Z,et al.A method for estimating servomotor parameters of a parallel robot for rapid pick-and-place operation-s[J].Journal of Mechanical Design,2015,127(4):596-601.

[13] 张利敏,梅江平,赵学满,等.Delta机械手动力尺度综合[J].机械工程学报,2010(3):1-7.

[14] 张利敏.基于动力学指标的Delta高速并联机械手集成优化设计方法研究[D].天津:天津大学,2011.

[15] Pierrot F.Company O.H4:A new family of 4-DOF parallel robot-s[C]∥1999.Proceedings of 1999 IEEE/ASME International Conference on Advanced Intelligent Mechatronics,IEEE,1999:508-513.

[16] 阮晓钢,李亚磊,朱晓庆.两轮机器人在坡面上的运动平衡控制[J].传感器与微系统,2014,33(3):44-47.

[17] 张广军.视觉测量[M].北京:科学出版社,2008:33.

[18] Li Ge.Cache architecture for high-speed multidimensional packet processing[C]∥The 6th International Conference on Internet Computing for Science and Engineering,2012:60-65.

[19] 陈 庚,李 擎,时佳斌,等.未知环境中机器人可行区域的认知研究[J].传感器与微系统,2015,34(1):66-68，72.

Design of tablet form merohedral stuffing identification and sorting system based on machine vision

XU Jiang-chun, YUE Qiu-yan，REN Xiang-yang,WANG Qing

(College of Information Engineering and Automation,Kunming University of Science and Technology,Kunming 650000,China)

Aiming at problem that pharmaceutical companies use human eye to identify tablet surface defects which cause visual fatigue affected by light intensity,undetected and inefficient problems exist,use machine vision technology for tablet image pre-processing,tablet defect detection and classification of different color processing algorithms and processing;on this basis,the least squares solution of inverse problems for the use of algorithms to determine the physical location of the defect tablets,3 DOF Delta robot control pills sort of defect.By testing,the system has high sorting success rate,and easy to implement,and meet design requirements.

defect pills; defect classification; Delta robots; identifying sorting system

2016—06—02

10.13873/J.1000—9787(2017)06—0090—04

TP 311

A

1000—9787(2017)06—0090—04

许江淳(1962-)，男，副教授，硕士生导师，从事嵌入式系统技术及应用，SOC及FPGA系统技术应用等研究工作。