基于OCR 技术的烟包出库信息比对系统开发

甘子卿，李 强，张佰明，李家祁，韩佳起，陆海宁

（江苏中烟工业有限责任公司徐州卷烟厂，江苏徐州 221000）

0 引言

目前卷烟厂制丝原料常以烟包的形式由原产地运输至加工部门。原料部门接收烟包后，通过核对原产地烟包标签的信息，人工生成入库条码并张贴在原产地烟包上，这个过程中易出现人工打错字、贴错标的情况，使得出库的烟包与实际配方不符，存在质量隐患。

若在出库之前对烟包标签信息和入库条码信息进行比对，一旦发现二者信息不符便剔除问题烟包，可降低烟包出错的概率，减少质量事故发生的风险。基于现状，本文主要介绍OpenCV 图像处理结合OCR（Optical Character Recognition，光学字符识别）技术在烟草行业片烟出库环节的创新应用情况，提供一种基于OCR技术的烟包出库信息比对系统的开发思路。

1 数据与方法

1.1 技术背景及系统介绍

1.1.1 OpenCV

OpenCV 是开源计算机视觉库，可实现图像处理和计算机视觉方面的很多通用算法，兼容Window、IOS、Android、Linux 等多个系统平台，广泛运用于人机交互、图像识别、人脸识别、机器视觉等领域[1-3]，具有丰富的开放接口。本文主要利用OpenCV 结合深度学习模型进行样本训练[4]，对图像进行预处理，达到标签提取和正畸的目的[5]。

1.1.2 OCR

OCR 是指印刷体字符，通过检测文字的明暗确定形状，继而用字符识别将形状翻译成文字[6]，具有成熟的技术研究和广泛的应用场景，如文档电子化、身份认证、数字金融系统和车辆牌照识别等[7]。此外，在工厂中，通过自动提取产品的文本信息，可以更方便地管理产品[8]。OCR 系统的识别效率和识别准确率，是衡量OCR系统质量的主要标准。

1.1.3 PP-OCR

在实际应用领域，通常需要处理海量的图片资源，因此高计算效率成为设计OCR 系统的重要标准[9]。本文采用的超轻量级OCR 系统，称为PP-OCR，由文本检测、检测框校正和文本识别三部分组成，模型大小仅0.5 MB，可识别6000 余个汉字和63 个英文及字符。

1.1.4 深度学习

深度学习算法的应用使检索过程更加智能化，具备理解，学习，推理认知能力[10-12]，实现更智能的人机互动，帮助人们做出更佳的辅助决策[13-14]。本文基于现有烟包文字信息库，将深度学习算法融入识别程序中，大大提高了识别效率。

1.1.5 系统简述

设计一套基于深度学习的文本检测比对系统，通过对工业相机拍摄到的烟包标签数据进行处理，获取标签粗略位置，深度学习对片烟烟包图片中的文字进行自动识别，通过逻辑匹配判断两个标签数据是否一致。并在信息比对不一致时触发烟包剔除的指令，使烟包通过T 形跑道自动移送至待检区，等待人工核对。实现数据标签检查的自动化，降低检测人员的劳动强度，提高生产线的自动化水平。

1.2 数据样本

本文用于模型训练的数据样本为313 张原产地烟包标签照片（A 类标签）以及313 张物流部门生成的入库条码（B 类条码）。

1.3 仪器

本文的数据采集仪器为海康威视MV-CS050-10GM500 型万像素工业相机。

1.4 模型建立

在核对标签信息的工作中，识别标签A 类和条码B类的信息是核心主体，但人工的复核效率低，自动化水平不足，因此本系统配备了一套基于计算机视觉的自动文本检测识别及标签匹配系统，其模型结构如图1 所示。

图1 系统流程

1.4.1 数据采集

将海康威视MV-CS050-10GM500 型万像素工业相机架设于T 形烟包跑道上方，拍取原产地烟包上的信息标签和物流入库条码标签（图2）。

图2 实拍标签图例

1.4.2 标签定位正畸

由于烟包上的标签存在横向与竖向两个位置，并在整幅图像中的尺度较小，将对后续基于深度学习的系统造成文字识别障碍。为定位标签具体位置，并将其中的文字统一旋转为横向，采用OpenCV 对烟包进行预处理，将标签所在的大致位置筛选出来，再将该位置进行正畸和放大，以便后续检测。

使用cv2 中的cv2.cvtColor 函数对图片进行灰度化处理，使用cv2.threshold 对遍历的轮廓进行二值化处理，筛选出图中白色的部位，为了去除多余的噪点干扰，使用高斯滤波对图像进行处理后，采用9×9 大小的核对图像进行腐蚀膨胀操作（图3），即可得到标签的大致像素区域，对该区域进行轮廓检测，检测其最大的包围框，将包围框所在区域的图像单独保存下来，判断包围框宽度和高度，若包围框宽度小于高度，则将保存的图片顺时针旋转90°，否则不做操作，矫正位置后的图片图像如图4 所示。其中，图4a）为原产地烟包上的原信息标签，图4b）为物流部门人工打码粘贴的条码。对比信息主要为图4a）表中A 类信息和图4b）B 类信息下方的小字。

图3 腐蚀膨胀结果

图4 正畸后提取的标签

1.4.3 文本检测识别模型PP-OCR 及其优化

（1）文本检测。文本检测的目标是定位出图像中的文字区域，将检测结果分字段读取。PP-OCR 采用的是基于分割的DB 文本检测算法。如图5 所示，基于分字段文本检测方法，可以得到文本的紧致包围盒。此外，DB 的后处理比较简单，方便实际应用。

图5 DB 文本检测器架构

为进一步提升文本检测器的效果和效率，PP-OCR采用以下6 个策略：超轻量骨干网络选择、头部轻量化、SE 模块的舍弃、余弦学习率、预热学习率以及使用FPGM 模型裁剪器。最终将PP-OCR 内文本检测模型缩小至1.4 MB。

（2）检测框校准。为提升检测框中的文字识别效果，保持文字的一致性，一般都希望待识别的文本框是正的水平方向。由于DB 的文本检测结果是多边形4 点表示，所以很容易将检测结果经过仿射变换成水平方向。如果变换后的图像是竖直方向，则旋转90°后变为水平方向。但是变为水平方向后，存在文本颠倒的问题。使用文本方向分类器判断文本是否颠倒，如果是颠倒的文本则转正后再识别。训练一个文本方向分类器作为一个基本的图像分类任务，为进一步提升文本方向分类器的效果和效率，PP-OCR 采用超轻量骨干网络选择，数据增强，增大输入分辨率和PACT int8 量化等4项措施，将PP-OCR 内文本分类器模型缩小至500 kB。

（3）文本识别。文本识别的目标是将文本和图像转换为文本。PP-OCR 采用的是文本识别常用的方法CRNN。CRNN 文本识别主要融合了卷积特征和序列特征，采用CTC 损失函数解决预测标签和真值标签不一致的问题，PP-OCR 采用超轻量骨干网络选择数据增强、余弦学习率、增大特征图分辨率、正则化参数、预热学习率、头部轻量化、预训练大模型和PACT int8 量化等9个策略，进一步提升文本识别的效果和效率。

1.6 模型评估

与传统的tesseractOCR 识别相比，本模型使用的PP-OCR 模型体积更小、运算速度更快、能耗更低。且在PP-OCR 识别前、识别中均加入cv2 函数对图形进行预处理、轮廓提取和矫正。避免了传统PPOCR 模型只在训练前对图片进行预处理，导致截取轮廓不全、倾斜的现象，大大提升了识别的准确率。

引入混淆矩阵如表1 所示，由混淆矩阵可定义文字识别的评价指标，即：

表1 混淆矩阵

式（1）中，P 为查准率，表示识别正确与全部识别结果的比值；式（2）中，R 为召回率，表示剔除正确与全部不一致结果的比值；式（3）中，Fβ为查准率和召回率的调和指标，当β 取值为1 时，表示二者影响程度相等。

2 结果与分析

2.1 模型训练结果

根据深度学习算法的训练，从训练集中提取了626 张训练集，共计1503 个训练样本。其中某A 类样本结果图如图6 所示。A 类图片313 张，共计17 841字，识别错误63 字，去除污迹、手写字体，识别错误13 字。B 类图片313 张，共计37 873 字，识别错误237 字，若保证图片中无污迹和手写字体，准确率可达到99.85%。实际生产中存在污迹、手写字体，识别错误69 字，总识别率达99.46%。

图6 A 类样本识别结果

将CTPN+CRNN 识别结果及本文深度学习后的PP-OCR 算法结果进行对比分析，采用采集的数据集再进行训练，采集数据集进行验证，得到验证结果如表2 所示。

表2 模型评价指标结果

可以看出，传统OCR 算法的效果相对较差，各项指标均明显低于深度学习的PP-OCR 模型指标，而基于深度学习的PP-OCR 算法结合模型算法效果查准率提高5.59%，召回率提高6.40%，得分提高了5.99%。

综上，深度学习的PP-OCR 模型算法全面提升了对标签信息识别的精度，验证了该模型方法的有效性。

2.2 实际应用效果

在实际的应用中，本文通过算法将A 类标签中“江苏中烟有限责任公司”“年份”“产地”“类型”“监打人员”等不包含关键信息的文本结果剔除，只保留“2018”“云南楚雄”“云烟87”等关键字信息，与B 类条码中的文字进行对比，共对比了307 对标签训练集（每对训练集中含有22 个样本标签），经对比测试，准确率达99.97%。

3 结束语

为降低烟草检测人员的劳动强度，提高产线的自动化水平，本文将OCR 引入烟包文本信息识别，利用工业相机摄像头获取实时环境的烟包文本信息图像，将图像数据输入深度学习算法系统中，通过深度学习算法对图像中的数字进行识别、分类，避免了复杂的预处理以及人工提取特征的过程，使数字识别更接近实用，经检验本文开发的OCR 系统准确率可达99.97%。

受制于时间原因，一些工作未能继续开展，如将识别结果对比分析与产线机器人相结合，实现自动化的烟包分类识别；将OCR 系统应用到更多类型的烟草包装；以结构化本文的方式，编写数据库系统以存储识别结果等。