基于比例特征的区域分割算法在药板缺陷检测中的研究

颜培鑫，黄海龙*，冷奎，杨泽宇

基于比例特征的区域分割算法在药板缺陷检测中的研究

颜培鑫1，黄海龙1*，冷奎2，杨泽宇1

（1.辽宁工业大学 机械工程与自动化学院，辽宁 锦州 121000； 2.锦州矿山机械集团有限公司，辽宁 锦州 121000）

为解决铝塑泡罩药板图像ROI区域定位慢、精度差等问题，本文提出一种基于比例特征的泡罩区域分割算法，该算法可以快速定位并分割泡罩ROI区域，结合图像相关性特征算法对铝塑泡罩药板进行缺陷检测。首先通过工业相机采集药品包装生产线上的药板原始图像，接着使用Blob分析从原始图片中分离出铝塑泡罩主体部分，然后通过仿射变换将图像放置在中心区域，并使用比例特征分割算法对泡罩区域进行分割，最后通过金字塔加速的NCC算法完成缺陷检测。实验结果表明，基于比例特征分割后的图像平均NCC匹配时间为9 ms，在缺陷样本占比20%的实验中误检率为0.167%，漏检率为0.556%。通过比例特征分割出精准的泡罩ROI区域结合改进的NCC算法，在拥有较高准确率的同时大幅减少了缺陷检测时图像匹配的时间，能较好地完成铝塑泡罩药板的缺陷检测任务。

铝塑泡罩药板；比例特征；缺陷检测；归一化互相关

铝塑泡罩包装是当前药企主流的一种药品包装方式[1]，其具有安全可靠、携带轻便、低生产成本等诸多优势。在药企自动化生产过程中难免存在漏装、药品破裂、泡罩破损等[2]生产缺陷产生，所以在药品出厂前对封装好的铝塑泡罩药板的质量检测是现在药品包装企业重要的一步[3]。随着机器视觉在工业应用的普及，效率低、成本高、漏检率居高不下的人工质检[4]逐步被工业机器视觉质检取代。在药品包装检测方面，机器视觉正在发挥越来越重要的作用。在铝塑泡罩缺陷检测领域有很多学者进行了研究。为解决铝塑泡罩打光时光照反射产生复杂的干扰，张中然等[5]提出了一种在一般光照条件下采用机器视觉设计的一套铝塑泡罩的检测方法。为解决药板人工检测的效率低等缺点，方文星等[6]提出一种SURF、BOW以及单分类支持向量机组成的铝塑泡罩缺陷检测算法，该算法有效提高了机器视觉在包装检测中的准确性和稳定性。王俊等[7]提出一种基于改进NCC算法，该算法在铝塑泡罩板包装缺陷检测中具有较好的速度与准确率。赵宝水等[8]针对胶囊类型的药品提出了一种分块Otsu的方法对胶囊进行分割，在去噪后通过判断灰度值与面积特征分辨药品好坏的检测方法。杨欣等[9]提出了基于U-Net的神经网络架构的铝塑泡罩的检测方法，缺陷检测分类种类较多，准确率高。现在大多方法都是基于模板匹配的缺陷检测，存在计算量大，实时性差的缺点；而基于深度学习的缺陷检测需要大量的样本数据，在实际药企生产中很难获得大量缺陷样本数据。在药板的缺陷检测中，非泡罩区域占据了整个药板50%左右的面积，因此精准分割出泡罩区域是检测任务中重要的一步。本文提出一种基于图像比例特征的泡罩区域分割算法可以快速定位分割泡罩区域，在进行下一阶段的缺陷检测任务前，减少了检测区域接近一半的面积，使得计算时间大幅减少。完成区域分割后，结合图像金字塔加速[10]的NCC匹配算法，在保证准确率的同时进一步减少了匹配时间。实验表明本方法适用于存在光照变化、位置放置不严格的铝塑泡罩药板的检测现场。

1 基于比例特征的ROI区域分割

在进行铝塑泡罩缺陷检测前分割出感兴趣区域（Region of Interest, ROI）是关键的一步。选择一个适合的ROI区域可以大幅减少算法的运行时间。一般铝塑泡罩药板的ROI区域分割有阈值分割[11]与模板匹配2种。阈值分割方法具有运行稳定、响应速度快等优点，不过其受光线的变换的影响较大，对噪声比较敏感，一般很难完成准确分割的要求。模板匹配分割ROI区域，对光线的变换不敏感，但其计算量较大，很难满足工业现场实时性的要求。本文提出一种全新的铝塑泡罩分割方法——基于比例特征的ROI区域分割算法。同一批次的铝塑泡罩药板中泡罩通常是按照一定的排列方式，在药板上按照一定比例均匀分布，这些分布特征包含着泡罩在药板上的分布规律。本算法的核心思路就是将实际药板包含的比例特征信息映射到工业相机采集的图像上从而实现泡罩区域的分割。本文提出的区域分割算法适用于不同大小的铝塑装泡罩药板（胶囊）的分割，药板特征信息以变量表示，不针对特定型号，具有普适性。本部分实现方法如图1a所示。

1.1 Blob分析

Blob（Binary Large Object）指图像中具有相似特征所构成的一块连通区域，Blob分析是图像处理领域一种常见的技术[12]，广泛适用于各种情况下的二值图像连通区域的分割与计算。本文将工业相机采集的原始图像以PNG格式读入计算机，然后对原始图像进行高斯滤波，增强图像平滑性。考虑到灰度图像保留了图像全部信息且降低了图像维度可以很大程度提高程序的运行速度，因此本文对高斯滤波后的图像进行灰度化处理。

在灰度化处理后对其进行Blob分析找出泡罩主体区域。如图1中Blob分析部分所示，首先通过全局阈值分割找出背景板上的较亮区域；然后将连通区域分割，对每一个独立的连通区域先做膨胀处理再填充，选取出其中的最大的区域即药板的区域；再通过形状将药板转换为凸性区域；最后通过区域信息提取算子得出药板面积、中心点等信息。

1.2 仿射变换

仿射变换，又称仿射映射。在图像领域，图像就相当于一个二维向量空间，对图像做仿射变换就是对一个向量空间首先进行线性变换再接上一次平移，变换为另一个向量空间[13]。仿射变换公式如下：

图1 实现流程

Fig.1 Implementation flowchart

图2 灰度化处理后的铝塑泡罩药板图像

式中：、为原始向量的坐标；'、'是仿射变换后的向量坐标；11、12、21、22为线性变换矩阵的系数；t、t为平移向量的坐标。

通过仿射变换可以将缺陷检测现场没有严格整齐摆放的铝塑泡罩药板变换到图像的中心区域，保证了泡罩区域分割的规范性。对处理完的图像进行仿射变换得到图3的效果。

1.3 区域分割

1.3.1 定位泡罩区域中心

为了将实际药板包含的比例特征信息映射到工业相机采集的图像，首先需要确定一个映射的基点，药板图像的其他点的坐标都将由基点来确定。考虑到铝塑泡罩药板类矩形具有中心对称和轴对称的特点，本算法将12个泡罩所构成的矩形区域定义为泡罩区域（非某单个泡罩），将该区域的中心点作为实际药板的基点，将图像中心点作为图像的基点，两者构成映射的基点。

通过Blob分析与仿射变换可以得到仿射后图像的信息，包括面积大小、长边距离、短边距离、图像中心的坐标。但在药企生产时由于印刷相关信息的需要，药板上下两边的空白区域是不等长的，这就导致泡罩区域中心与药板中心存在一定的误差。所以本算法需要通过药板的信息计算出泡罩区域的中心点坐标。本小节的算法思路是将药板长边的印字区域部分构成的误差补偿给泡罩区域的中心，本文给出如下计算公式。

图3 图像的仿射变换

式中：1为矩形药板区域对应长边的像素长度；2为药板长边的实际长度；、为泡罩区域中心的坐标、坐标；1、1为药板图像中心坐标、坐标；为药板印字区域边缘到其最近泡罩的垂直距离；为药板非印字区域边缘到其最近泡罩的垂直距离。

1.3.2 定位胶囊中心

在确定映射基点后，需要确定胶囊的中心点。以图2为例，已知泡罩区域中心点坐标，计算左起第3行第1列的胶囊中心坐标，需对泡罩区域中心点坐标进行转换再乘以相应的倍率。第3行第1列的胶囊中心坐标计算式如下：

式中：为2个泡罩中心纵向的实际距离；1为矩形药板区域对应短边的像素长度；2为药板短边的实际长度。

为方便计算其他胶囊的坐标，本文定义：

结合式（4）、式（5）可知，各个胶囊的中心坐标可以表示为：

通过R和C的排列组合即可计算各个胶囊的中心点坐标。

1.3.3 生成区域选择框

胶囊包装铝塑泡罩的二维映射类似矩形，且已知胶囊中心点坐标，采用矩形框作为选择框是本算法的最优解。在本算法中将胶囊中心作为选择框的中心后，只需确定矩阵的长宽即可确定矩形选择框在图像中的位置，按照比例特征的算法思路给出矩形选择框的长与宽，见式（10）～（11）。

式中：为单个泡罩长边的实际长度；为单个泡罩短边的实际长度。

通过以上基于药板比例特征的区域分割方法可以得到如图4所示的分割效果。

图4 泡罩区域分割

2 基于图像相关性特征的缺陷检测

在完成胶囊泡罩区域的分割任务后，本节提出一种基于图像相关性的泡罩区域缺陷的检测方法。该方法拥有较高的准确性与较快的检测速度。本部分实现方法如图1b所示。

2.1 NCC匹配

模板匹配算法是一种常用的图像处理算法，它通过提取创建的模板的特征，用这些特征在目标图像中查找目标模板的位置。简单来说，该算法会将模板区域/图像与目标区域/图像进行一系列的对比，从而找到目标区域/图像中与模板最相似的部分，最后输出该区域的一些信息。模板匹配有基于相关性、相似性、梯度方向直方图以及特征点的几类，他们在不同场合都有着良好的应用。其中基于图像相关性的NCC（Normalized Cross-Correlation）是模板匹配中效果较好的图像互相关计算方法。NCC算法公式如下：

式中：(,)为原图像；(,)为模板图像；为模板中像素的个数。

NCC算法可以适应图像的尺寸和灰度（一般受光照影响）发生变换的场合[14]，因为它将目标图像和模板都进行了归一化处理，使得他们的均值一直为0，标准差为1，所以NCC算法不受图像尺寸的影响，对不同光线照射产生的灰度值变换不敏感。此外，由式（12）可见NCC算法实现容易，但涉及方差的计算，因此计算的复杂度较高，计算成本较大，不适合大规模的图像进行匹配使用。前文提出的基于比例特征的ROI区域分割算法，有效减少了匹配过程中图像的规模，避免了NCC算法的缺陷。

2.2 金字塔加速

为进一步提升模板匹配的速度，本文引入金字塔加速的方法，如图5所示。图片下采样可以提取图像的特征使图像的尺寸变小，经过多次下采样操作可以得到一组逐渐变小的图像，从而形成类型金字塔形态的图像金字塔。本方法，可以对分辨率最小的图像进行模板匹配，从而确定出现相似性区域的大致方位，再从小到大逐层精确，从而极大提高匹配效率。经历一次下采样，图像的长宽都减少了50%，面积就变为之前的四分之一[15]。但下采样的次数越多，丢失的信息就越多，选取合适的金字塔层数可以有效减少模板匹配时间。经过实验发现，本文所研究的铝塑泡罩药板选择4层金字塔的加速效果最佳。

图5 金字塔搜索示意图

本文将12粒装铝塑泡罩分割成12个大小均匀的ROI区域，以完整无缺的泡罩区域作为模板进行逐一匹配得出匹配分值。分值范围为0～1，分值越高表明与模板图像相关性越。

3 实验结果

本实验在Window10操作系统下进行，处理器为Intel(R) Xeon(R) CPU E5-2680 v3 @ 2.50 GHz（2个处理器）。采用工业相机采集胶囊泡罩的原始图片，其型号为MV-U130RC，30万像素三彩，最大分辨率为1 280×960，最快可达22帧/s。打光采用白色LED环形光源，考虑到铝塑药板镜面反射效果明显，光源在采集的时候调整得较暗。

本实验共采集600张同种铝塑泡罩药板样本图片，其中无缺陷无瑕疵样本480张，有缺陷瑕疵样本120张。为获得较为准确的检测率，本实验将600张图片通过旋转、平移等操作将图像进行扩充到1 800张，其中包括1 440张完好的药板图片，140张缺粒图像，150张破损程度不同的胶囊图像，30张凹陷缺陷的图像，40张人为涂鸦（模拟污染）的图像。

为衡量本文算法的准确性，针对1 800张样本图片中缺粒、破损、凹陷等情况，采用2个指标——误检率、漏检率进行评价。评价分值设置为0.85与0.87，获得如表1、2、3所示的实验结果。为评价算法对匹配速度的改进，采用匹配时间作为速度评价指标，与现有算法进行对比获得表4的实验结果。

对本文中检测结果进行显示时，不对漏粒、挤压、漏粉等具体缺陷做逐一特别标注，统一视为缺陷样本。部分缺陷样本显示结果如图6所示。

图6 部分缺陷样本

表1 评价分值为0.85时实验结果

Tab.1 Experimental results with an evaluation score of 0.85

表2 评价分值为0.87时实验结果

Tab.2 Experimental results with an evaluation score of 0.87

表3 检测结果汇总

Tab.3 Summary of detection results

表4 模板匹配时间

Tab.4 Template matching time

实验结果表明，不同的评价分值影响正常样本的误检率与缺陷样本的漏检率。当设置NCC匹配分值为0.85时，误检率为0.111%，漏检率为0.944%；当评价分值为0.87时，误检率为0.167%，漏检率为0.556%。考虑到药企生成过程中缺陷样本的漏检危害比正常样品的误检更严重，本文最终选取NCC评价分值为0.87。

4 结果分析

通过实验数据可以发现胶囊在泡罩的位置不同（泡罩区域略大于胶囊体积会造成胶囊在泡罩的位置不同）对检测结果无影响，因此本方法拥有较高的准确性。分析发现本实验正常样本误检是由于样本采集时蓝色胶囊壳反光过多造成的蓝色区域出现过多白斑，导致算法给此区域的评分较低，研究发现可以通过降低光照有效降低此类误检。根据实验漏检样本的研究发现NCC算法对微小缺陷的检测能力较弱，即使提高评价分值也导致了150个损坏样本中有6个微小缺陷出现了漏检。分析发现较小的损坏所引起的图像相关性变化不大，因此评价分值设置较小时会将微小的损坏缺陷当作正常样本处理。同时实验还发现凹陷出现在水平于药板方向时，导致图像灰度特征很难有过大的改变；当人工制作的污染区域出现在蓝色胶囊壳时，灰度的变化也不明显，本算法也很难准确检测出。

匹配实验结果表明，采用比例特征提取后的区域进行模板匹配所消耗的时间大大减少，本方法匹配时间计算方法如下：一个泡罩的匹配时间为0.7～0.8 ms，本样品共12个泡罩，取每个泡罩匹配的时间均值为0.75 ms，故整个药板的匹配时间为9 ms。对同一尺寸的图像，本方法的匹配时间相较传统NCC算法有巨大的提升。文献[7]对1 920×1 200图像的匹配时间为21 ms，本方法对1 280×960图像的匹配时间为9 ms，通过匹配面积折算可知，本方法相较文献[7]的算法速度提升了19.64%，具有较大的速度优势。

5 结语

本文提出一种基于比例特征的ROI区域分割算法，该算法计算量小、性能优异，可以快速精准定位泡罩区域，为铝塑泡罩药板ROI区域分割提供了新的解决方案，并结合金字塔加速的NCC算法完成了一套对铝塑泡罩药板缺陷检测的方案。实验结果显示，本方法在评价分值为0.87时，在缺陷样本占比20%的实验中误检率为0.167%，漏检率为0.556%。考虑到此缺陷样本占比远高于实际药企包装生产现场的缺陷样本，故检测现场漏检率会远低于实验数据，因此，本检测方法精度满足在线检测精度要求。本方法对1 280×960图像匹配的平均时间为9 ms，满足生产线速度要求。但本方法对微小缺陷的检测效果较差，还需进一步提升其准确率。

[1] 陈轶楠, 葛斌, 王俊, 等. 基于集成分类器的泡罩包装药品缺陷识别[J]. 包装工程, 2021, 42(1): 250-259.

CHEN Y N, GE B, WANG J, et al. Defect Identification of Blister Packaging Medicine Based on Integrated Classifier[J]. Packaging Engineering, 2021, 42(1): 250-259.

[2] 疏义桂. 基于机器视觉的铝塑泡罩包装药品缺陷检测[D]. 武汉: 华中科技大学, 2013: 1-6.

SHU Y G. Defect Detection of Aluminum-Plastic Blister Packaging Drugs Based on Machine Vision[D]. Wuhan: Huazhong University of Science and Technology, 2013: 1-6.

[3] 谷紫颖. 铝塑泡罩药品缺陷检测技术的研究[D]. 济南: 山东大学, 2020: 1-3.

GU Z Y. Research on Defect Detection Technology of Aluminum-Plastic Blister Drugs[D]. Jinan: Shandong University, 2020: 1-3.

[4] LI J L, WU S Q, CHANG K, et al. Research on Registration Accuracy Detection Method Based on Machine Vision[J]. Journal of Physics Conference Series, 2023, 2437(1): 012113.

[5] 张中然, 焦波, 孙志勇, 等. 一般光照条件下铝塑泡罩药品包装检测系统[J]. 哈尔滨理工大学学报, 2017, 22(5): 65-69.

ZHANG Z R, JIAO B, SUN Z Y, et al. Detecting System for Pharmaceutical Aluminum-Plastic Blister Packaging under Common Lighting Conditions[J]. Journal of Harbin University of Science and Technology, 2017, 22(5): 65-69.

[6] 方文星, 王野. 一种铝塑泡罩药品包装缺陷检测方法[J]. 包装工程, 2019, 40(1): 133-139.

FANG W X, WANG Y. Defect Detection Method for Drug Packaging with Aluminum Plastic Bubble Cap[J]. Packaging Engineering, 2019, 40(1): 133-139.

[7] 王俊, 葛斌, 陈轶楠, 等. 改进NCC算法在铝塑药板包装缺陷检测中的应用[J]. 包装工程, 2020, 41(17): 196-201.

WANG J, GE B, CHEN Y N, et al. Application of Improved NCC Matching Algorithm in the Detection of Packaging Defects of Aluminum Plastic Blisters[J]. Packaging Engineering, 2020, 41(17): 196-201.

[8] 赵宝水. 基于机器视觉的药品包装检测关键技术的研究[D]. 锦州: 辽宁工业大学, 2021: 1-2.

ZHAO B S. Research on Key Technologies of Drug Packaging Inspection Based on Machine Vision[D]. Jinzhou: Liaoning University of Technology, 2021: 1-2.

[9] 杨欣, 宁茜, 李贴, 等. 药品泡罩包装缺陷智能检测系统[J]. 国外电子测量技术, 2022, 41(8): 174-180.

YANG X, NING Q, LI T, et al. Intelligent Detection System for Drug Blister Packaging Defects[J]. Foreign Electronic Measurement Technology, 2022, 41(8): 174-180.

[10] JING J F, REN H H. Defect Detection of Printed Fabric Based on RGBAAM and Image Pyramid[J]. Autex Research Journal, 2020, 21(2): 135-141.

[11] LI J W, LIAO G P, JIN J, et al. Method of Potato External Defects Detection Based on Fast Gray Intercept Threshold Segmentation Algorithm and Ten-Color Mode[J]. Journal of Agricultural Engineering, 2010, 26(10): 236-242.

[12] ADAL K M, SIDIBÉ D, ALI S, et al. Automated Detection of Microaneurysms Using Scale-Adapted Blob Analysis and Semi-Supervised Learning[J]. Computer Methods and Programs in Biomedicine, 2014, 114(1): 1-10.

[13] 曾文锋, 李树山, 王江安. 基于仿射变换模型的图像配准中的平移、旋转和缩放[J]. 红外与激光工程, 2001, 30(1): 18-20.

ZENG W F, LI S S, WANG J A. Translation, Rotation and Scaling Changes in Image Registration Based Affine Transformation Model[J]. Infrared and Laser Engineering, 2001, 30(1): 18-20.

[14] FAN J Y, HE Y, WANG P H, et al. Interplane Bulk Motion Analysis and Removal Based on Normalized Cross-Correlation in Optical Coherence Tomography Angiography[J]. Journal of Biophotonics, 2020, 13(7): 202000046.

[15] 张一梵. 基于灰度相关的快速模板匹配算法研究[D]. 广州: 广州大学, 2022: 17-22.

ZHANG Y F. Research on Fast Template Matching Algorithm Based on Grayscale Correlation[D]. Guangzhou: Guangzhou University, 2022: 17-22.

Region Segmentation Algorithm Based on Proportional Features for Defect Detection of Aluminum Plastic Blister Medicine Plates

YAN Peixin1, HUANG Hailong1*, LENG Kui2, YANG Zeyu1

(1. School of Mechanical Engineering and Automation, Liaoning University of Technology, Liaoning Jinzhou 121000, China; 2. Jinzhou Mining Machinery Group Co., Ltd., Liaoning Jinzhou 121000, China)

The work aims to propose a blister area segmentation algorithm based on proportional features to quickly locate and segment the blister ROI, and detect defects in aluminum plastic blister medicine plates in combination with the image correlation feature algorithm, so as to solve the problems of slow localization and poor accuracy of ROI in images of aluminum plastic blister medicine plates. Firstly, original images of medicine plates in the packaging production line were collected through an industrial camera. Then, Blob analysis was used to separate the main part of the aluminum plastic blister from the original image. Then, the image was placed in the center area through affine changes and the blister area was segmented according to the proportional feature segmentation algorithm. Finally, defect detection was completed according to the pyramid accelerated NCC algorithm. The experimental results showed that the average NCC matching time of the image based on proportional feature segmentation was 9 ms. In the experiment with 20% defect samples, the false detection rate was 0.167% and the missed detection rate was 0.556%. By the segmenting precise blister ROI through proportional features and combining them with an improved NCC algorithm, the image matching time during defect detection is significantly reduced, which can effectively complete the defect detection task of aluminum plastic blister medicine plates.

aluminum plastic blister medicine plates; proportional characteristics; defect detection; normalized cross correlation (NCC)

TB487

A

1001-3563(2024)01-0208-07

10.19554/j.cnki.1001-3563.2024.01.024

2023-05-15

辽宁省“揭榜挂帅”科技计划重点项目（2021JH1/10400074）