基于视觉胶囊药板检测系统的关键技术应用

于玲 杜向军

1.天津轻工职业技术学院；2.天津工业大学

药品安全一直是人们非常关心的问题，且药品的质量检测也是药品生产过程中的重要环节，从而可以保证药品的安全生产与使用。同时，药品的外观检测也是重要环节之一，由于药品的需求量大，质量检测要求很高，人力检测具有不确定性，缺乏准确度。因此，采用机器视觉技术应用于药品的外观检测既克服人工检测的弊端，又提高了其准确度与工作效率，同时也能降低企业的成本，是药品检测发展的趋势。而随着药品检测标准的提高，以及胶囊药物越来越大的检测量，传统的人工检法已经难以满足胶囊生产厂家的需求。使用计算机视觉检测技术来代替人工已经是一种趋势，机器视觉作为一种无损、非接触式的检测手段，能在提高胶囊生产效率的同时，保证胶囊的整体质量。

本文提出基于机器视觉的胶囊板缺陷检测系统，是由光源模块、摄像头采集模块、输送带检测模块、计算机处理模块、输出控制以及报警显示等模块组成。采用了摄像头视频采集，对视频文件进行去噪、去雾、滤波增强，在HSV 空间提取出胶囊的信息，利用开闭运算、图像重建、连通域识别获取胶囊的位置及其外接矩形的大小[1]。对胶囊位置进行矩阵式重排列，并利用模板对待检测的胶囊位置进行位置校正、对胶囊的外接矩形大小进行校正；利用校正后的胶囊位置和外接矩形将每一个胶囊从原始图像和中间二值图像中截取出来原始胶囊图集和二值胶囊图集；对二值胶囊图集中的每一个胶囊进行面积检测，通过判断面积占比来检测漏装胶囊、胶囊泄漏内部药粉、胶囊被挤压变形这三种缺陷；对原始胶囊图集中的每一个胶囊进行RGB 检测，通过计算RGB 三个通道的直方图相似性获取每一张图片相互比对后的相似性系数矩阵，分析矩阵来检测胶囊放置在错误位置的这种缺陷；最后将正确的胶囊标绿色方框，错误的胶囊标红色方框[2]。

1 检测装置组成及工作原理

胶囊生产过程中难免出现缺失、漏粉、磨损、外观变形等问题，在检测过程中可能因为人为因素、机器故障、堆压等因素致使胶囊出现了破损和表面磨损。按照破损和磨损程度的不同，系统必须把那些破损或磨损较大的胶囊剔除出来，从而提高产品质量。因此，需要对在线的胶囊进行图像处理与识别，从而实现对胶囊生产的在线检测[3]。在整个图像处理过程中，首先要通过CCD 图像传感器获取图像，并将图像转换为计算机或微处理器能够识别且运行的数字信号，并传送给专用的图像处理系统。获取到图像后对胶囊药板进行滤波、图像增强等预处理，并根据像素分布和亮度、颜色等信息，转变成数字化信号，图像处理系统对这些信号进行各种运算来抽取目算法分析；找到所有胶囊的位置，正确的胶囊标绿色的方框，错误的胶囊标红色。错误的胶囊存在如下缺陷：漏装胶囊、胶囊放置在错误的位置、胶囊泄漏内部药粉、胶囊被挤压变形等。

如图1 所示，分别代表四种不同的缺陷：（a）为漏装胶囊；（b）为错误的位置；（c）为胶囊漏药粉；（d）为胶囊变形对应的实物图。系统首先识别出胶囊板的位置，将其进行定位并从背景中提取分离出来。再次识别出每一个胶囊的位置，对其进行定位并从胶囊板背景中准确提取出来。提取后，对每一个胶囊进行缺陷检测，并将正确的胶囊标绿色方框，错误的胶囊标记红色方框，从而实现自动识别功能[4]。

图1 四种不同的缺陷Fig.1 Four different defects

2 检测系统的硬件构成

2.1 机器视觉检测系统的构成

胶囊缺陷检测系统的硬件架构主要包括机器视觉光学系统、传送带及传感触发装置、基于PC 的图像处理平台、剔除装置及上下料硬件控制模块。其中机器视觉光学系统由三台工业相机配上光学镜头及适配的光源组成[5]。图像处理平台包括工控上位机、扩展图像采集卡(本系统为千兆网卡)和串口卡。传送带与传感触发装置有序地传送胶囊进入相机视野，胶囊借助底板摩擦滚动，满足了360°拍摄需要。工控机与外部硬件控制模块的交互由串口协议通信完成，包括硬件系统中振动槽的振动、排序轮的转动、传送带的启停及状态监测的报警等。系统设计如图2 所示。

图2 系统组成Fig.2 System composition

2.2 机器视觉检测系统的工作原理

正常工作状态下，药物在传送带上向前传递，工业相机采集图像信息，并传递给计算机。计算机经过检测算法，可以检测出正常胶囊板和缺陷胶囊板并做好标记。当系统检测出缺陷胶囊后，计算机发出信号给PLC 控制器，控制器即刻启动剔除装置，拨走缺陷胶囊板入次品收集器，并通过显示模块在控制平台上显示出来[6]。

3 软胶囊药板机器视觉检测软件系统的研究

进行图像预处理的目的是为了去除干扰、噪声和差异，将原始彩色图像变成适合于计算机进行特征提取的形式，以便为特征提取做好必要的准备。图像预处理的质量直接影响到整个系统的识别准确率。

3.1 胶囊板位置获取

为了提高分辨精度与速度，背景选用对比较强的黑色背板，有利于分离，读入后的原图因为是彩色图像，为了加快运算速度，转后为灰度图[7]。形态学的开闭运算可以有效地实现图像的运算提取，膨胀与腐蚀运算是一对反动作，可以控制区域内的亮度范围，再利用开闭运算和连通域识别来获取胶囊板的位置，具体流程如图3所示，运行结果如图4 所示。

图3 二值化运算Fig.3 Binarization operation

图4 胶囊板定位结果Fig.4 Capsule plate positioning results

3.2 去雾算法增强对比度

对于提取完毕的胶囊板，胶囊板的背景各有不同，彩色胶囊的背景相对复杂，同时伴有不同程度的反光，从而无法使用RGB 阈值将胶囊从背景中提取出来。并且胶囊板透明的塑料类似于雾，并且对提取精度产生了干扰，本文采用去雾算法来提高胶囊与背景之间的对比度。运行结果如图5 所示，去雾后的图像可以清晰呈现胶囊状态，如图6 所示，有助于后面的胶囊提取。

图5 去雾及其图像重构Fig.5 Defogging and image reconstructio

图6 去雾后效果Fig.6 Effect of defogging

去雾后的图片，由于RGB 颜色阈值难以分辨，且无法提取不同颜色的胶囊，经过HSV 转换（HSV 分别是色彩、深度、明暗），按着图中方向的变化，其对应的颜色也会改变，所以利用不同的取值范围设定合理的阈值可以有效地用于胶囊提取，转换后的图形，并对胶囊成分进行滤波、图像重建、二值化处理，从而得到待定位的胶囊图片，如图7 所示。

图7 胶囊颗粒与背景分离结果Fig.7 Capsule particles and results of background separation

3.3 胶囊位置获取

经过对处理后图像的研究，发现胶囊二值化后的图像上存在很多离散的点，为了获得一个个邻域连通的胶囊，只有这样才能使用连通域识别函数对每一个胶囊进行定位，然后再次利用开闭运算、图像重建、连通域识别获取胶囊的位置及其外接矩形的大小,如图8 所示。

图8 胶囊重定构流程Fig.8 Capsule restructuring process

3.4 胶囊位置校正

本文采用模板标记，通过对模板标记获取胶囊的位置以及外接矩尺寸，并将数据作为模板来校正待检测胶囊位置及其外接矩尺寸。

为了模板匹配和待检测胶囊位置匹配，对胶囊位置进行矩阵式重排列，找出待测胶囊的中心点坐标，再找出同一行的其他胶囊位置，并将这组胶囊中心坐标另存为一组，数据表按照列坐标由大到小排列，然后将这组胶囊的坐标设为原始坐标，其余胶囊重新排列，得到矩阵式重排列后位置。使用模板的位置信息为参考值，以偏移里量为阈值，判断标记待检测胶囊的位置是否在中心位置，如果不在，中心坐标替换模中心坐标，同时不在此区间的图片外接矩形替换为模板中外接矩形数据，完成数据的处理变换。通过上述步骤就可以将胶囊的位置进行校正，如图9 所示。

图9 胶囊定位校准流程Fig.9 Capsule positioning calibration process

3.5 基于二值图像面积占比的检测胶囊缺陷

获得每个胶囊的图片，再利用校正后的位置和外接矩形，截取出来二值胶囊图集，并将每个胶囊从图片中提取，从而得到原始胶囊图集。接着通过二值图像集中每张胶囊图片统计白色点数，在整张图片像素比例来判断胶囊是否完整，但是在图像运算的过程中会出现胶囊信息的丢失。如图10 所示，白色点数占比达不到阈值，会判定为缺陷。本文引入基于灰度强度差权重来分离背景，由此可以得到背景点数集，再计算面积占比，当每一个胶囊的面积占比低于0.45 时，判定为缺陷胶囊。经过计算校正后的胶囊位置，以及外接矩形出来的二值胶囊图集和原始胶囊图集，经过统计，计算每张子图片中的白色点数，并且计算截图中每张图片的灰度强度差权重，从而分离背景，然后统计每张子图片中背景点数，并计算面积占比，如果胶囊的面积占比不大于0.45 时，判定此图为缺陷胶囊。

图10 胶囊信息丢失Fig.10 Capsule information lost

3.6 基于RGB 直方图相似性的胶囊缺陷检测

对原始图形进行RGB 直方图相似性判断，对于在每一行胶囊，进行相似性比对，并对每个胶囊与同行胶囊进行RGB 直方图相似性计算，获得相似性矩阵。

选取该表中相似性系数最大的值为参考值，并以(max-0.2,0]U(0.4,0]为阈值区间判断相似性，可以得到相似性矩阵，当某一列“1”的个数比行数少1 时，判断该列对应的胶即为缺陷胶囊。再将面积缺陷检测和RGB直方图缺陷检测的结果进行或运算，从而得到最终的缺陷检测结果，并将判定的结果在原始图片中标记，绿色代表正常胶囊，红色代表缺陷胶囊，如图11 所示。

图11 验证结果标识Fig.11 Verification result identification

4 实验和结果分析

为了验证胶囊自动检测系统的测试效果，选用了22板不同程度的胶囊，其中的胶囊分别有漏装15 颗、错位20 颗、漏药20 颗、变形15 颗的胶囊，经过五次实验检测，结果如表1 所示，正确率95.63%，识别速度达1400粒/秒，具有一定的实际应用价值。

表1 自动检测系统的测试效果Tab.1 Testing effectiveness of automatic detection systems

5 结语

本文提出基于机器视觉的胶囊板缺陷检测系统，通过摄像头视频采集，对视频文件进行去噪、去雾、滤波增强，利用HSV 提取胶囊并进行图像处理运算形成二值图像，再对二值图像进行计算，检测出漏装、漏药以及变形三种缺陷，利用RGB 通道相似矩阵检测出错放缺陷，具有95.63%正确率，1400 粒/秒的运行速度，同时还具有低成本、高效率、维护简单、实用性高的特点，拥有一定的实用价值。