基于形态学处理算法的条烟复核技术

翁 迅，孙壮志

1．北京邮电大学自动化学院，北京市海淀区西土城路10号 100876

2．北京烟草物流中心，北京市通州区九棵树西路198号 101121

基于形态学处理算法的条烟复核技术

翁 迅1，孙壮志2

1．北京邮电大学自动化学院，北京市海淀区西土城路10号 100876

2．北京烟草物流中心，北京市通州区九棵树西路198号 101121

为解决传统人工条烟复核方法与现有高速自动卷烟分拣系统不匹配等问题，基于形态学处理算法，利用条烟条码唯一性，提出了一种条烟图像自动识别方法。采用正方形自适应结构元素形态学算法处理二值化图像，减少条码内部条空区域对连通域的干扰，得到多个候选子连通域；采用子区域筛选方法定位条码区域，通过投影法定位可识别的字符并分割数字，完成条烟信息识别。以不同姿态不同品种的条烟图片在Matlab中进行仿真实验，测试条码定位分割算法的鲁棒性。结果表明：①该方法能够有效避免条烟表面字符、图形信息及光照噪声带来的干扰。②投影法可将供人识别字符与条空区域快速分割开，实现数字的有效定位，对于条码倾斜、低像素图像的数字分割效果良好。③加权模板匹配法结合模糊判别准则的数字识别算法，对于低品质数字以及易混淆数字均具有较好的识别效果。④在现场测试条件下，系统识别效率可达2 686次/h，准确率达95．2%。在满足系统要求下，采用该方法能够大幅提升条烟图像识别效率和准确性。

条烟识别；条码；形态学处理；子区域筛选；投影法

Keywords：Cigarette carton recognition;Bar code;Morphological processing;Subrange filtering; Projection method

随着我国卷烟物流中心自动化水平的不断提升，目前主流的卷烟高速自动分拣线的分拣效率可以达到1.5万条/h或2万条/h［1-2］。条烟复核是检验卷烟分拣系统正确性的重要环节之一，现有的人工复核方式效率低、工作量大，导致条烟复核环节已成为整个条烟分拣自动化系统的瓶颈。随着模式识别技术的飞速发展，利用图像处理技术解决烟草行业的实际问题是当前的研究热点之一。冯春等［3］利用获取的图像特征建立图像特征数据库，通过图像最小特征距离准则进行图像识别；赵维一等［4］利用CCD（Charge-coupled Device）数字图像处理测量叶丝的宽度，通过图像分割、去噪、二值化、矩阵翻转等完成叶丝宽度测量；魏泽鼎等［5］利用CCD图像传感器检测片烟的面积，通过统计各个面积段的片烟比例，为打叶工序工艺参数的调整提供了依据；李飞等［6］采用基于机器视觉的方法研制了卷烟纸罗纹深度测量仪，具有较好的测量效果和较高的稳定性。孙东等［7］利用能量特征对条烟的种类进行识别。曾弈［8］采用主元素分析法与Fisher线性判别相结合的方法提取条烟图像特征。刘镇等［9］提出了一种基于HALCON（德国MV Tec Software公司开发的一套标准的机器视觉算法包）与SURF（SpeedUp Robust Feature）的多特征融合条烟识别方法，利用新的条烟图像特征描述法，将条烟的长度、颜色、纹理（复杂度）、模板等特征进行了组合。

由于条烟品种的多样性，在实际应用中需要调用庞大的模板库进行特征匹配，因此难以提高图像特征的提取效率及准确性。此外，传统的特征匹配图像方式每次都需要定制化开发，无法满足条烟包装及品种不断更新的需求。目前也有学者针对二维条码的快速识别进行研究，利用二维条码的编码和快速定位技术实现对大量目标的识别，并采用关键帧和预估第4对匹配点的方法实现对场景的快速跟踪［10］。但在卷烟销售环节，二维条码目前尚未得到推广，对其识别暂时不具备代表性。由于条烟所采用的一维条码具有唯一性和通用性，通过识别条码数字可获取条烟品牌、产地、生产商等信息，且条码识别方式不会受卷烟产品更新换代的影响，与其他将条烟图像转换到HSV（Hue，Saturation，Value）颜色空间方法相比更具备实用性。为此，利用条烟条码的唯一性，通过提取一维条码的数字特征自动识别条烟种类，以期有效提高条烟图像特征匹配效率和准确性。

1 总体技术路线

基于一维条码的条烟复核技术主要包括两个方面：条码区域的提取以及对条码中数字的分割与识别，见图1。其中：①条码区域的提取先通过彩色图像灰度化、自适应双峰法阈值分割，对输入的条烟图像进行预处理；再利用自适应形态学处理得到连通的候选子区域，通过填充子区域并进行子区域筛选，最终提取出条码区域。②条码中数字分割与识别则先用自适应阈值法对条码区域灰度图像进行阈值分割，得到二值化图像；再通过投影法对其中的数字部分进行定位与分割，利用加权模板匹配与模糊判别准则相结合的方法实现数字识别。

图1 基于一维条码的条烟复核技术路线图

本研究中对传统的条码区域定位算法及条码数字分割算法进行了改进，主要包括：①条码区域定位算法采用正方形自适应结构元素的形态学算法来处理二值化的条烟图像，通过减少条码内部条空区域对连通域的干扰，得到多个候选子连通域，并利用设置面积和长宽比阈值筛选出条码区域。②条码数字分割算法首先在二值化的条码图像中定位前置码，利用前置码的上下边界定位数字的上下边界，从而分割出供人识别的字符部分；根据其投影极小值定位各数字，并利用数字间固定间隔对数字位置进行校验，最终实现条码数字的精确定位和分割。

2 形态学处理算法的实现

在常规的数字图像的形态学处理中，往往将数字形态学作为工具从图像中提取对于表达和描绘区域形状有用的图像分量，例如将形态学用于彩色图像的边缘检测和图像提取［11-13］。本文中则重点研究了形态学处理二值化图像的算法在条烟一维条码识别中的应用。

2.1 基于自适应形态学处理及子区域筛选的条码定位算法

条烟图像拍摄条件：摄像头固定，条烟与摄像头距离一定。通过对拍摄到的条烟样本图像进行分析，得出条码区域特点：底色为白色，条码部分为黑色（部分情况底色为红色，条码部分为黑色）；各个条码区域面积相差不大，均在同一数量级；形状为矩形，长宽比近似为13∶7。根据这些特点并结合图像二值化和形态学处理方法，可实现条码定位并将其从背景中提取出来。

2.1.1 基于正方形自适应结构元素的形态学处理与子区域筛选定位条码

在实际卷烟自动分拣线上，拍摄时不可避免地存在光照变化、条烟倾斜等干扰，而这些干扰因素对形态学处理的结构元素影响较大。文献［14］利用线性自适应结构元素对车牌进行形态学处理以实现车牌定位。但在条烟条码定位过程中，条空区域包含的大量线段无法被线性元素过滤出，因此本研究中采用基于正方形自适应结构元素的条码定位算法，将条码区域从背景中分割出来。处理过程为：首先将原始的彩色图像灰度化，然后对灰度图像采用自适应双峰法进行阈值分割［15］，效果见图2。

图2 采用自适应双峰法阈值定位条码区域效果图

分析图2可知，虽然实现了条码区域与背景分割，但仍保留了少量条烟表面的字符、图形信息以及光照不匀产生的噪声，这些噪声都会对条码区域的定位造成干扰。因此，采用形态学处理图像后，还需通过子区域筛选方式去除无效区域，最终保留条码区域。

图3 采用自适应形态学结构元素处理定位条码区域算法流程图

选取正方形（square）作为结构元素的形状（shape），从小到大变换正方形的长度作为结构元素的参数（parameters），对二值化图像进行形态学闭运算操作，见图3。采用图形分析函数得到区域属性结构体变量“STATS”，其中Area表示各个子区域面积，BoundingBox表示相应区域的最小矩形，BoundingBox以［x_w idth，y_w idth］形式给出矩形长宽。对标记的BoundingBox进行面积筛选，检测其长宽比，若长宽比近似为13∶7则认为已找到条码区域。

由于条烟的二值化图像中存在一些条烟表面的字符、汉字及图形等噪声干扰，其面积与条码区域面积并不在一个数量级上，因此可根据面积筛选方式进行剔除。而光照产生的噪声反映在二值化图像中通常为圆形、椭圆形或长条形，采用长宽比筛选方式可有效剔除。利用自适应形态学处理与子区域筛选进行条码区域定位效果见图4。

图4 采用自适应形态学处理与子区域筛选定位条码区域效果图

2.1.2 与线性自适应结构元素形态学算法的定位效果对比

采用线性和正方形两种形态学自适应结构元素处理方法进行条码定位，结果对比见图5。可见，本文中方法能有效保留条码区域，去除条烟表面信息及光照的干扰。根据条码定位图像即可从原灰度图像中提取出条码部分，进行条码数字定位及分割。

图5 两种形态学结构元素的条码定位效果对比

2.2 基于投影法的条码数字定位及分割

一般情况下，条烟条码均为EAN-13码，包括条空区域以及供人识别的数字字符。传统方法对于图像有倾斜及图像分辨率不高的条码识别效果不佳。本文中采用识别条烟条码中供人识别的数字字符方法，即对条码中供人识别的数字字符进行定位，分割出每个数字并进行数字识别。提取出的条码图像上方为条空区域，这些信息在投影中会产生较大干扰，因此如何将数字部分与条空区域分割开是本方法的关键。通过对条码结构和二值化图像投影进行研究，确定对供人识别字符部分的定位与分割步骤，见图6。

（1）对条码定位后的条码图像进行标准自适应阈值的二值化处理，得到二值化图像BW。水平扫描二值化图像BW，剔除条码左右边缘空白部分，得到有效部分起止位置横坐标ms，md；同理，垂直扫描得到有效部分起止位置纵坐标ns，nd。分割出有效部分B Wv。

（2）根据垂直投影定位前置码的纵坐标，分割出前置码部分BWf。水平扫描前置码部分BWf，定位出前置码的起止横坐标（即供人识别字符的起止横坐标）m_rs，m_rd，由此从条码图片中分割出供人识别字符图像BWr。

（3）研究BWr的垂直投影可知，每个数字区域集中了大量的白色像素点，其中也包含了一部分条码分隔符。根据垂直投影图上极小值的位置将BWr分割成单个字符，得到字符集BWr_seg，其条码分隔符的像素点集中在条码图像上方。因此，通过检验各个字符水平投影可以去除条码分隔符的干扰，得到单个数字图像集合BWr_seg*=｛PIN0，PIN1，…，PIN12｝，计算PINk的个数K，如果不是13，则表示数字分割失败。

图6 采用投影法进行数字定位与分割

（4）考虑到拍摄距离与角度不同，所拍摄的条码图片大小尺寸不等，所以进行投影分割后的PINi大小也不同。为了提高数字的识别率，将分割的数字图像大小归一化为分辨率为26 Pixel×16 Pixel的图像，便于后续与10个0～9数字模板匹配，有利于实现数字识别。

3 条烟识别实验结果与分析

3.1 实验设计

为了测试加入形态学滤波及子区域筛选后条码定位分割算法的鲁棒性，在北京烟草物流中心的装箱复核现场，通过摄像头采集不同姿态、不同品种的条烟图片，在Matlab中进行识别准确性和识别效率的测试实验。目前卷烟物流中心采用2万条/h条烟高速分拣线，每条分拣系统需要配置2台装箱机，在“一号工程”打码完毕后，对每5条进行叠烟部分批处理，因此每台装箱机识别批次数不少于2 000次/h。倾斜及低品质图像的识别效果见图7，条烟识别系统不同步骤的准确率及平均耗时见表1。

表1 条烟识别结果统计

3.2 结果分析

实验结果表明，投影法对于条码倾斜不大、低像素图像的数字分割适应性良好，见图7a。加权模板匹配法结合模糊判别准则的数字识别算法，对于有连接、断裂等情况的低品质数字以及易混淆数字（图7a中的3和8，1和7）均具有较好的识别效果。由表1可知，系统单次识别整体条码的耗时1.34 s/次，系统识别效率达3 600（s·h-1）/1.34（s·次-1）=2 686（次·h-1），正确率达95.2%。单个叠烟机构能够识别的效率折合5条烟的识别效率为13 430条/h，可以满足实际使用要求。

图7 特殊图像条码识别效果

为提高系统的运行效率，有学者在识别阶段采取行扫描和列扫描的方法对识别区域进行快速粗定位，并通过Hough变换对需要识别的图像进行校正处理等方法，以提高处理速度［16-17］。也有研究采用将条烟图像转换到HSV颜色空间识别条烟汉字字符方法，识别效率可达到300ms/次（折合12 000条/h），但其准确性仅为70%～75%［9］。可见，在满足系统要求情况下，采用本方法能够大幅提升条烟识别效率和准确性。

4 结语

基于形态学处理算法设计了一种条烟复核系统，利用自适应形态学结构元素和子区域筛选进行条码区域定位与提取，能够有效剔除条烟表面字符、图形信息、光照噪声带来的干扰。通过投影法实现条码数字定位及分割，可以将供人识别字符与条空区域快速分割开，实现数字的有效定位。实验结果表明，整个系统识别效率可达2 686次/h，正确率达95.2%，明显优于HSV颜色空间识别条烟汉字字符和Hough变换等方法。但是对于条码区域与背景区域颜色相近情况，条码区域分割效果不够理想，影响了条码区域定位的准确性。因此，还需进一步对鲁棒性更强的特征提取方法进行探索和研究。

［1］冉文学，宋志兰，刘森，等.超高速卷烟分拣设备及技术［J］.物流技术与应用，2009（10）：109-111.

［2］孙壮志，张雨佳.订单结构对卷烟自动分拣线分拣效率的影响［J］.计算机应用，2010，30（z1）：315-316，336.

［3］冯春，陈柏.半自动分拣线上运动条烟的在线识别［J］.烟草科技，2015，48（1）：90-95.

［4］赵维一，温若愚，曾建，等.基于线阵CCD数字图像处理技术的叶丝宽度测量装置［J］.烟草科技，2013（10）：12-16.

［5］魏泽鼎，王儒慧.基于CCD的片烟规格测量装置的设计应用［J］.烟草科技，2008（12）：19-21.

［6］李飞，董浩，张龙，等.基于机器视觉的卷烟纸罗纹深度测量仪的设计［J］.烟草科技，2013（10）：27-30.

［7］孙东，明军，臧小溪.利用能量特征进行条烟识别［J］.计算机技术与发展，2006（4）：131-134.

［8］曾弈.条烟图像识别系统的设计与实现［D］.北京：北京邮电大学.2010.

［9］刘镇，张敏.基于HALCON与SURF的多特征融合条烟识别系统［J］.电子设计工程，2015，2（23）：44-47.

［10］桂振文，王涌天，刘越幻，等.二维码在移动增强现实中的应用研究［J］.计算机辅助设计与图形学学报，2014，1（26）：34-39.

［11］刘艳莉，桂志国.基于形态学的可变权值匹配自适应图像增强算法［J］.电子与信息学报，2014，36（6）：1285-1291.

［12］朱晓临，陈嫚，李雪艳，等.结合形态学变形虫和复合颜色空间的彩色图像边缘检测模型［J］.计算机辅助设计与图形学学报，2014，26（7）：1060-1066.

［13］陈嫚，朱晓临，李雪艳，等.改进的模糊形态学彩色图像边缘检测算法［J］.合肥工业大学学报：自然科学版，2014，37（8）：922-927.

［14］方兴林.一种基于自适应形态学结构元素的车牌定位算法［J］.计算机工程与应用，2013（23）：149-152.

［15］王磊，段会川.Otsu方法在多阈值图像分割中的应用［J］.计算机工程与设计，2008，29（11）：2844-2845，2872.

［16］陈若珠，宋承云.基于网络的人脸识别系统的设计［J］.工业仪表与自动化装置，2013（6）：43-45.

［17］张海宁，李彬，陈超波，等.基于OpenCV的车牌识别系统研究［J］.工业仪表与自动化装置，2012（6）：78-80，85.

责任编辑 曹娟

Cigarette Carton Check System Based on Morphological Processing A lgorithm

WENG Xun1and SUN Zhuangzhi2
1.School of Automation,Beijing University of Posts and Telecommunications,Beijing 100876,China
2.Beijing Tobacco Logistics Center,Beijing 101121,China

To match a carton check system with the throughput of the high-speed automatic cigarette sorting system,an automatic carton image recognizing method based on morphological processing algorithm was proposed onthe basis of unique carton bar code.The binarized images were processed by the square self-adaptive structure element morphological algorithm to m inim ize the interference of b lank zones in a barcode on connected domain and obtain several candidate connected subdomains.By subrange filtering method to position barcode range,by projection method to positionthe discernible characters, segment figures and complete the recognition of carton information,the simulation experiment was conducted with pictures of cigarette cartons of different brands and random ly placed in Matlab to test the robustness o f barcode positioning and segmentation algorithm.The resu lts showed that：1)The method effectively avoided the interferences brought about by character,image information and illum inating noises from carton surface.2)Projection method segmented visible characters from blank zones in barcode quick ly,imp lemented effective figure positioning and performed well in figure segmentation for ob lique barcode,lowpixel image.3)Lowquality or indistinguishable figures were well recognized by weighted matching algorithm combined with fuzzy criterion number recognition algorithm.4)On-site testing showed that the recognition efficiency of the system reached 2 686 times per hour with the accuracy of 95.2%.

TP315

B

1002-0861（2015）09-0088-06

10.16135/j.issn1002-0861.20150915

2015-02-09

2015-06-09

翁迅（1979—），博士，讲师，主要从事物流技术与装备、物流系统工程研究。E-mail：wengxun@bupt.edu.cn

翁迅，孙壮志.基于形态学处理算法的条烟复核技术［J］.烟草科技，2015，48（9）：88-93.

WENG Xun,SUN Zhuangzhi.Cigarette carton check system based on morphological processing algorithm［J］. Tobacco Science&Technology，2015，48（9）：88-93.