应用网络摄像头的二维码动态识别技术

李琪 江齐 叶武剑 刘怡俊 陈穗霞 吕月圆 刘峰

摘要：伴随着二维码在现代生产、生活中的广泛应用，高效、准确地识别二维码变得愈发重要，但是传统技术仅限于识别特定位置的二维码，而且对图像画质有着较高要求。应用网络摄像头的二维码动态识别系统可以解决以上问题，系统包括四个模块；网络摄像头视频处理、图像增强、图像粗粒度定位与分割、二维码识别与信息获取。相比直接调用二维码识别算法获取二维码信息，拥有以上四个模块的系统漏检率更低，并且可以识别实时拍摄的视频中的二维码。

关键词：网络摄像头；动态识别；图像增强；二值化；轮廓检测

中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2019）04-0166-03

Abstract：With the wide application of two-dimensional code in modern production and life， it has become increasingly important to identify two-dimensional code efficiently and accurately.However， traditional technology is limited to the identification of two-dimensional code in specific locations，and it has high requirements on image quality.The dynamic identification system of two-dimensional code can solve the above problems，including four modules； network camera video processing，image enhancement，coarse-grained image localization and segmentation，and two-dimensional code recognition and information acquisition.Compared with direct use of two-dimensional code recognition algorithm to obtain two-dimensional code information，the system with the above four modules has a lower miss rate and can identify the two-dimensional code in real-time filmed video.

Key words： webcams； dynamic identification； image enhancement； binarization； contour detection

1引言

隨着二维码技术的完善及智能手机的普及，越来越多的领域开始采用该技术实现信息传递。二维码就是通过二进制编码，把数字、字母、汉字等字符转换成黑白方块的图案，由一个矩阵图形和一个二维码号，以及下方的说明文字组成。二维码具有储存量大、保密性高、追踪性高、成本便宜等特性。

二维码作为一种新的技术在人们生活中有着广泛的应用，例如票据识别、网上购物、手机支付、图书借阅、身份识别等。能在不同应用场景下对二维码进行快速可靠地定位与识别也是目前研究的热点，然而传统的二维码识别技术只限于识别静态场景中的二维码，仅限于某一区域或者特定位置，不具备实时、动态等特点。本文提出了一套具备现实生产意义的，可部署于生产现场投入使用的系统来解决以上问题，针对动态视频中的二维码进行识别。目前已在志高工业园3号厂区开展多次测试运作，已基本具备记录货物出入库信息，并与志高后台大数据库协同工作的能力。

2相关工作

二维码作为信息的主要载体之一，针对它的定位和识别技术已经被大量研究和开发，常用的定位检测技术是结合图像匹配的二维码扫描算法的方法。

Zhao-lai Liao[2]等人提出了三点定位二维码的有效方法，对二维码的三个顶点的矩形块进行图像检测，快速定位二维码然后利用Hough transform（霍夫变换）得到二维码倾斜角度，降低因角度导致识别产生的误差。Tribak H[8]等人提出了一种基于HOG和SVM分类器的远程二维码识别方法。Yuji Katoh、Daisuke Deguchi[4]等人采用super resolution（超分辨率）技术从多个低分辨率图像中生成高分辨率图像，达到识别模糊图像中二维码的目的。Cheng X M， Hao Q， Zhang C[6]等人提出了一种针对失真图像中的二维码识别方法，利用固定区域内像素的方差和灰度值，求出区域内方差最小的位置，从而得到黑白数据块，准确还原二维码二值图像。

以上这些方法仅限于识别特定位置的二维码，不具备动态、实时等特性，而应用网络摄像头的二维码动态识别系统可以识别不同摄像头所拍摄视频中的二维码，应用场景更加广阔。

3二维码定位与识别关键技术

本系统首先应用网络摄像头动态拍摄视频，再调用网络摄像头接口和算法对视频进行处理，将视频转化为复数的图像输入到后台计算机，随后进行图像增强处理，下一步对增强处理后的图像进行粗粒度定位分割；其中包括背景分离，二值化，腐蚀滤波，轮廓检测、图像分割等一系列步骤，最后调用二维码识别算法完成对粗粒度处理后得到二维码图像块进行识别，读取二维码信息，流程如图1所示：

我们利用OpenCV来完成对视频图像的处理。 OpenCV是一个基于BSD（伯克利软件套件）许可（开源）发行的跨平台计算机视觉库，可以在Linux、Windows、Android和Mac OS的操作系统上运行。OpenCV提供的图像处理算法非常丰富，包含我们要用到的：轮廓检测函数、返回外部矩形边界函数、图像二值化函数等。

3.1网络摄像头视频处理

本系统可以同时驱动多个摄像头，并以编码后的格式将二维码数据发送到数据库，同时控制二维码扫描系统的控制端也能实现状态查询，启动停止等控制功能。图2、3是在实验室环境测试系统的示意图，图中二维码距离摄像头距离约2.5米，且在黑暗背光条件下的测试。由测试图可看出，本系统识别率较高，环境适应能力较强，能适应各种不同环境的生产现场，提高各个行业领域的生产效率。

在进入下一模块处理之前，首先调用网络摄像头端口和函数对视频进行帧处理，利用软件工具开发包SDK中的函数进行抓图，捕获实时流，将实时流解码成YV12格式，然后转换成RGB图像。将图像数据传输到后台计算机，为接下来的模块处理做准备。

3.2图像增强

本模块是为了应对网络摄像头拍摄过程中出现的图像不清晰，亮度过低等问题，避免遗漏部分二维码，降低漏检率。这里本文使用OpenCV的常用图像增强算法。

3.2.1对数图像增强算法

3.3图像粗粒度定位与分割

本系统创新性地将二维码识别重点放在“白纸”上，即我们选取的视频图像的特点是二维码和背景有着较大的色差，也就是我们常说的“白底黑码”。通过检测图像中出现的矩形白色区域，实现二维码的粗粒度定位。具体有以下几个步骤：

3.3.1背景分离

本系统使用网络摄像头来记录场景中的二维码图片和大背景，我们需要从视频图像中提取前景。使用常见的高斯模型去除背景法。本方法的基准是判断像素点变化率，把变化慢的学习为背景，变化快的视为前景，从而完成背景分离。

3.3.2二值化

3.3.3滤波与腐蚀

经过上一步处理后得到的二值图像中大体能够显示出二维码区域。但是不可避免地会出现不连通和多噪点的瑕疵，会影响接下一步的轮廓检测，因此我们对二值图像进行滤波去除图像中的噪点，并进行腐蚀处理来解决内部不连通的问题。这一系列的形态学处理有助于分割出独立的图像元素，在图像中连接相邻的元素，可以降低漏检率。

3.3.4轮廓检测与图像分割

继续上一步骤，我们要做的工作是将二维码区域从原图中分割出来，得到复数个矩形图像块，在OpenCV中调用轮廓检测函数获得二维码区域轮廓，该函数可以对输入的二值图像进行改变，将轮廓绘制出来。随后调用返回外部矩形边界函数；该函数可以随机生成一些点计算并包围轮廓图像的最小矩形。最后根据轮廓检测的坐标，对原本图像进行图像分割，得到相应坐标位置的矩形块。

3.4二维码识别与信息获取

应用二维码识别算法，调用函数库和接口对粗粒度处理得到的复数图像块进行扫描，并获取其中的信息，获得的二维码信息可以通过后台的计算机显示。

4实验结果及其分析

各个模块的实验结果如下所示：

经过图像增强模块处理后效果如图4所示。（a）为增强前，（b）为增强后，可以明显看出图像清晰度得到了提高。

经过模块粗粒度定位与分割模块后的效果如图5所示，（a）为处理前，（b）为处理后。经过该模块的处理，系统已经定位出的二维码部分的矩形。

利用二维码识别算法扫描后的最終实验结果如图6所示，其中各项参数分别为：流水号、摄像机ID、mac地址、二维码内容。我们已经成功识别了图中的二维码。并且将复数个二维码的详细信息在后台计算机上显示，至此整个识别流程结束。

5总结

本文着重介绍了一种应用网络摄像头的二维码动态识别技术，系统包括四个模块：网络摄像头视频处理、图像增强、图像粗粒度定位与分割、二维码识别与信息获取。拥有漏检率低、能够实时动态地识别视频中的二维码的优点。本系统有着广泛的应用前景，可在生产线上设置摄像头采集二维码所包含的信息，并发给远方的接收端，批量识别二维码，不同场景下二维码识别技术的应用是今后工业化生产发展的必然方向。

参考文献：

[1] Hogpracha W， Vongpradhip S. Recognition system for QR code on moving car[C]//International Conference on Computer Science & Education. IEEE， 2015：14-18.

[2] Liao Z L， Huang T L， Wang R， et al. A method of image analysis for QR code recognition[C]// International Conference on Intelligent Computing and Integrated Systems. IEEE， 2010：250-253.

[3] Chen J， Wu B. A Otsu Threshold Segmentation Method Based on Rebuilding and Dimension Reduction of the Two-Dimensional Histogram[J]. Journal of Graphics， 2015.

[4] Kato Y， Deguchi D， Takahashi T， et al. Low Resolution QR-Code Recognition by Applying Super-Resolution Using the Property of QR-Codes[C]// International Conference on Document Analysis and Recognition. IEEE Computer Society， 2011：992-996.

[5] Jtc1/Sc I. Information technology -- Automatic identification and data capture techniques -- QR Code 2005 bar code symbology specification[J]. 2006.

[6] Cheng X M， Hao Q， Zhang C， et al. Distortion Correction of a Quick Response Code Image[J]. Applied Mechanics & Materials， 2013， 431：312-317.

[7] Qian K， Yu Y， Wang D， et al. Design for two-dimensional barcode dynamic recognition system in the environment of large-scale logistics[C]// Advanced Information Technology， Electronic and Automation Control Conference. IEEE， 2016：878-882.

[8] Tribak H， Moughyt S， Zaz Y， et al. Remote QR code recognition based on HOG and SVM classifiers[C]//International Conference on Informatics and Computing. IEEE， 2017：137-141.

[9]Qian K， Yu Y， Wang D， et al. Design for two-dimensional barcode dynamic recognition system in the environment of large-scale logistics[C]//Advanced Information Technology， Electronic and Automation Control Conference. IEEE， 2016：878-882.

[10]Sun H， Ma Y， Wu H， et al. An improved OTSU's method for CT image boundary contour extraction[C]// IEEE International Conference on Imaging Systems and Techniques. IEEE， 2016：493-497.

【通聯编辑：唐一东】