胡佳丽, 郭天太, 吴聿聪, 李沫霖, 刘维
(中国计量学院,杭州310018)
药用胶囊在实际生活中有着大量使用。据统计,中国的胶囊使用量大约是1000亿粒/a[1]。空心胶囊是包裹药剂的外包装,用于保护药物成分。空心胶囊的质量好坏决定了药性的发挥程度,劣质的空心胶囊不利于药物的质量保证,甚至会引起人体疾病,因此胶囊的检测非常重要。随着自动化技术的不断发展,空心胶囊的检测技术由传统的人工检测向自动化检测技术发展。其中,对于胶囊外形的检测是一项关键技术。对于胶囊检测技术,国内外一直在进行不断的研究和更新。
国外对于胶囊检测的技术较之国内起步得更早,因此也较为成熟。其研制的检测仪器精度高,对胶囊的检测种类丰富且更市场化。
H.B.Kekre等[2]通过对多种胶囊检测技术的研究,发现基于单个区域的胶囊检测技术能够在缺陷识别中达到更好的效果。在找到胶囊的单个区域后,在此区域生成特征向量。通过将样本缺陷图像和查询图像进行对比,识别有缺陷的胶囊。通过计算查询图像与各个缺陷样品和无缺陷样品之间的欧氏距离。如查询图像与无缺陷样品图像之间的欧氏距离相同,则接受胶囊为合格,否则拒绝。
胶囊缺陷中有一种是胶囊的颜色差异,在一般的图像处理检测技术中,此类胶囊不能被很好地识别与剔除。为了实现对彩色胶囊进行在线检测,LIU Feng等[3]设计了基于RGB颜色空间和HSV色差公式的检测方法。该技术将图像的原始RGB格式胶囊图像转换到HSV颜色空间进行准确的检测。为了保证在线检测效率,颜色空间转换和色差的计算并不在一个像素级。该技术由灰度直方图来表示R、G、B分量值,通过转换得到相应的H、S、V值,计算得到色差值。通过将得到的色差值与给定的色差阈值进行比较,接受在阈值内的胶囊,剔除不在色差阈值内的彩色胶囊,从而实现对有色胶囊的检测。
计算机视觉系统通过数码相机获得的数字图像通常有24位彩色图像。这对于图像处理而言运算较为复杂且耗时长。在实际应用中对于胶囊的检测需要能够快速完成,因此必须减少图像存储量。该技术采用图像灰度处理获取更易于管理的二进制映象图,同时保留所有必要的胶囊原始图像特征。M.Ahmadi等[4]提出了基于边缘检测的胶囊检测技术。该技术基于边缘检测获取原始图像中高亮值的数据点,通过剔除一些与胶囊检测内容不相关的信息点来获取胶囊轮廓边缘的重要结构信息,大大减少实际所用数据量。在边缘检测的基础上进行缺陷识别,能够在保证判别率的同时提高检测速度。
M.J.Islam等[5-6]发现,自动检测与生产线上的人工检测相比可以克服物理极限以及主观判断的缺陷。为了实现灵活便捷的胶囊检测,他们开发了基于USB 2.0接口相机以及小型硬件相配合的检测技术。该技术自定义的USB相机由一个3像素CMOS图像传感器、一个赛灵思500K系统的FPGA和一个USB 2.0的微控制器组成。在图像处理方面,该技术使用边界跟踪接近胶囊并围绕胶囊旋转了一圈,用以进行检查。通过定制系统控制器接受和拒绝,并将胶囊传递到相应的容器内。
国外的胶囊检测技术不仅能够通过图像处理技术对胶囊的外形缺陷进行检测,还能够通过称重系统对胶囊的重量进行检测。如英国的SADE SP胶囊分拣机,产自CI公司,其对胶囊的称重精度已经精确到l mg。美国的高速胶囊在线称重及分拣系统,能同时检测胶囊的外形缺陷和胶囊的重量误差[7-8]。
国内对于胶囊检测的起步较晚,但随着研究的深入,目前的胶囊检测技术水平也有了显著的提升。同时,检测的方式也向多元化和自动化发展。
将图像处理技术运用于胶囊的检测,可以大大提高胶囊检测的速度。对于胶囊的图像处理首先是将胶囊拍照,从而获取其图像,对图像进行去噪滤波等预处理后,利用工控机将获取得到的图像与缺陷数据库比对,识别胶囊的缺陷类型。吴德等[9-11]通过对传统的滤波算法进行分析,发现这些算法在滤波的同时容易丢失胶囊的边缘以及缺陷特征,不能很好地适用于检测,因此提出一种基于平均曲率流的滤波算法,从而实现了在去噪的同时保存必要的胶囊边缘缺陷特征。对于胶囊图像的提取和分割,该检测方法基于线扫描将原本的检测区域增长,从而解决了胶囊图像多区域非均匀的问题。该技术提出了一整套用于胶囊检测的图像处理算法,同时配备了包含图像采集、自动剔除装置的硬件系统。这一技术可以大批量、高效地识别胶囊的多种缺陷,其检测速度可以到达7.5万粒/h。
基于红外图像的胶囊缺陷检测技术利用红外线进行照射,考虑到红外线具有极强的穿透力,在无需对胶囊进行机械翻转的情况下,可以直接对胶囊的正面和背面进行检测,这既简化了机械结构,也减少了胶囊的漏检情况[12]。同时,该技术采用BP神经网络中的反向传播神经网络对胶囊缺陷进行分类识别。其检测过程分为两步:1)对胶囊的初步检测。BP神经网络由输入、人工神经细胞体、输出三部分组成。该技术首先将胶囊的外形、纹理特征相结合,再利用PCA进行降低维度,以此得到特征向量作为输入,初步实现对缺陷胶囊的识别。2)对胶囊的精确检测。对于第一步检测合格的胶囊根据其边缘轮廓和组合距离进行边缘检测,对不符合要求的缺陷胶囊进行识别。该技术对缺陷胶囊的识别率为95%及以上,其错误判别率仅为1.6%。
该技术采用双通道设计,分别为近红外通道和可见光通道。近红外通道由黑白相机完成图像采集,背光源实现照明,主要检测胶囊黑点、油污、开裂、残缺等内部残损等缺陷。可见光通道由彩色相机和条形光源配合完成图像采集,主要检测胶囊超长、超短、形变、瘪壳等外形尺寸缺陷[13]。对于胶囊检测的算法,通过滤波算法,进行对图像的预处理;通过图像分割算法得到胶囊轮廓,并采用方形滑块分割算法和形态学算法,对胶囊结合部位实现准确有效的提取,并以此为依据分离成三部分;通过边缘检测算法,提取胶囊特征值;设计孔洞填充算法识别胶囊的缺陷并对胶囊彩色部分亮度较高的地方进行补偿。该胶囊检测技术的检测速度达到8.4万粒/h,识别准确率高达99%,并能够对胶囊采用120°旋转实现完整检测。
数字信号处理技术(DSP)在信息技术和集成电路的发展下不断成熟,使得数字信号处理器的优势逐渐显现。数字信号处理是将所获得的信号通过数字方式表示并进行处理的理论和技术。基于DSP的破损胶囊多通道检测,将图像处理技术与具有强大运算能力的数字信号处理器结合,从而对胶囊图像处理高效精确地进行检测。
该技术使用CCD图像传感器,能够同时对胶囊的4个表面进行图像采集,配合4路编解码器实现检测胶囊的4个表面是否存在缺陷,从而大大提高了检测速度,减少了检测时间。更大的优势是该技术在利用多个CCD的情况下可以同时检测多个胶囊[14-16]。
在软件编程方面,该技术选择均值滤波和中值滤波来对图像进行预处理。在图像检测时,先用边沿检测识别并确定每个胶囊的边界信息,再分别对每一个胶囊进行4个表面的破损缺陷检测。利用双阈值分割法对胶囊进行分割,实现对完整胶囊的全方位检测。该技术的另一个创新之处是利用反色与图像合成的方法来对胶囊图像进行处理,这大大减少了DSP的运算工作量。最后,在缺陷检测方面,通过计算胶囊图像存在的破损面积和对显现的灰度直方图进行分析,来对胶囊的实际缺陷进行判断。
FPGA是专用集成电路(ASIC)领域中的一种半定制电路,是一种现场可编程门阵列,克服了定制电路不足和原有可编程器件门电路数有限这两个缺陷。在利用图像处理技术实现胶囊检测的过程中,要保证检测速度以及效率,需要进行数据的高速交换,在DSP高速处理器平台上加上FPGA,将图像的预处理部分在FPGA中进行,则可以大大减小DSP的工作量,从而保证检测过程的高速完成。
FPGA可以连接硬件系统的一些数据线以及控制线,也可以将大量的逻辑控制集成到内部。这可以极大地简化电路设计,满足电路易于调试的要求,也可以使得整个系统更加集成化和小型化。另一方面,FPGA可以控制FIFO的缓存容量,保证图像数据的交换更加顺利。
该技术可对胶囊表面不同的磨损程度进行检测。研究者建立图像的HSI颜色模型,通过对胶囊图像进行处理,从而获取胶囊彩色图像的色度和饱和度。从胶囊图像的H分量和S分量直方图的区别中,可以判断胶囊不同部位的磨损程度[17]。
近年来,图像处理技术在医学医药领域的广泛应用加快了胶囊检测技术的发展。在理论研究方面,基于图像处理的胶囊检测技术已经取得了不少成果。但实际应用于生产的胶囊检测系统目前尚不成熟。国外的胶囊检测系统较为完善,但价格较高不能被国内市场广泛接受。而国内的胶囊检测系统目前普遍适用于小样本检测。因此,胶囊检测技术仍有较大的研究空间。
[1] 冯珊珊,陈树越.基于图像分析的真假药胶囊颗粒识别方法研究[J].传感器与微系统,2008,27(8):54-56.
[2] KEKRE H B,MISHRA D,VARUN D.Detection of defective pharmaceutical capsules and its types of defect using image processing techniques [C]//Proc. of 2014 International Conference on Circuit,Power and ComputingTechnologies(ICCPCT),2014:1190-1195.
[3] LIU Feng,LIU Xiaoyu,CHEN Yi.An efficient detection method for rare colored capsule based on RGB and HSV color space[C]//Proc.of 2014 IEEE International Conference on Granular Computing(GrC),2014:175-178.
[4] ISLAM M J,AHMADI M,SID-AHMED M A.Image processing techniques forquality inspection ofgelatin capsules in pharmaceutical applications [C]//Proc. of International Conference on Control,Automation,Robotics and Vision,2008:862-867.
[5] KARLOFF A C,SCOTT N E,MUSCEDERE R.A flexible design for a cost effective,high throughput inspection system for pharmaceuticalcapsules [C]//Proc.ofIEEE International Conference on Industrial Technology,2008:1-4.
[6] ISLAM M J,BASALAMAH S,AHMADI M,et al.Capsule image segmentation in pharmaceutical applications using edge-based techniques[C]//Proc.of IEEE International Conference on Electro/Information Technology(EIT),2011:1-5.
[7] WANG Huanhuan,LIU Xiaoyu,CHEN Yi.Detection of capsule foreign matter defect based on BP neural network[C]//Proc.of 2014 IEEE International Conference on Granular Computing(GrC),2014:325-328.
[8] 陈汗青,万艳玲,王国刚.数字图像处理技术研究进展[J].工业控制计算机,2013,26(1):72-74.
[9] 程巧玲.图像处理技术近期发展及应用[J].信息与电脑(理论版),2013(6):203-204.
[10] 吴德.基于图像处理的胶囊检测系统的研究[D].广州:广东工业大学,2011.
[11] ZHU Zhengtao,YU Xiongyi,HUANG Liuqian,et al.Fast Capsule Image Segmentation Based on Linear Region Growing[J].Computer Science and Automation Engineering(CSAE),2011:99-103.
[12] 王娟,周永霞,徐冰俏,等.图像处理在胶囊外形缺陷检测中的应用[J].中国计量学院学报,2012,23(3):239-245.
[13] 王道档,赵超杰,孔明,等.基于图像处理的胶囊外形快速检测系统设计[J].电视技术,2014,38(19):216-220.
[14] 吴宏杰,季剑兰,朱音,等.一种胶囊缺陷检测系统的设计与研究[J].电脑知识与技术,2010,6(28):8093~8094,8100.
[15] 李莲,闫志洋.破损胶囊检测的图像处理分析与研究[J].仪器仪表学报,2011,32(12):322-324.
[16] 杨娟宁,王映卓,张永元.基于DSP的图像处理技术在制药工业在线检测中的应用[J].物联网技术,2011,1(8):60-62.
[17] 王军海.残损胶囊图像检测系统的研究与设计[D].武汉:武汉理工大学,2008.