基于磁性纤维的加密纸张图像采集与识别研究

张开生 王 泽

（陕西科技大学电气与控制工程学院，陕西西安，710021）

基于磁性纤维的加密纸张是在纸张抄造的过程中将磁性纤维以一定的排布规律嵌入在纸张内部的一种纸张防伪技术。目前已有学者提出纸张加密和识别的方法，如利用点阵编码器促使纸浆中的磁性纤维聚集从而形成磁性加密图案以及采用改进的ORB（Oriented FAST and Rotated BRIEF）算法识别加密纸张图像的方法[1-2]，但其识别对象是建模的加密纸张，且识别方法为传统模板匹配算法，准确识别率有待提高。磁性纤维加密图案无法从纸张外表进行观测，如何获取纸张加密图案成为待解决的问题，因此有必要对磁性纤维加密纸张的图像采集与识别建立一种通用的方法。

本课题研究的基于磁性纤维的加密纸张以字母和数字的随机组合作为加密图案，因此纸张加密图像识别方法可借鉴字符识别方法。字符识别方法主要有基于图像处理和机器学习两种方法。传统图像处理算法包含模板匹配、字符结构特征方法等，其不需要训练模型，具有简单及快速的优势，但对图像噪声比较敏感，鲁棒性不佳。基于机器学习的方法包括人工神经网络、支持向量机（Support Vector Machine，SVM）和K-近邻等算法，其中SVM 和人工神经网络算法因具有较好的识别结果逐渐成为主流[3]。李鹏松等人[4]提出一种阈值分割与卷积神经网络AlexNet 相结合的图像识别算法，通过均值迭代阈值分割区分图像目标和背景以减少AlexNet 训练的数据量和参数量，最后达到较高的准确率。钟鹏程等人[5]将SURF（Speeded Up Robust Features）与ORB 算法结合以使图像具有旋转尺度不变性，最后结合K-近邻快速搜索算法提高工件图像的特征点匹配速度。车牌识别也是字符识别的一种特殊应用场景，贺智龙等人[6]提出一种轻量级车牌识别网络，在车牌定位和识别阶段采用不同深度的CNN（Convolutional Neural Networks）网络实现对字符的识别；Li 等人[7]通过分割普通文本中的字符信息并将其送入CNN 模型训练，利用训练的字符模型实现了车牌字符识别。研究发现卷积神经网络在字符识别领域展现出巨大优势，但还没有研究将卷积神经网络应用在磁性纤维加密纸张的识别方面。

为了获取磁性纤维加密纸张中的加密图案，提出一种加密图案的采集方法。磁性纤维具有互相吸引的特性，通过采集装置拍摄到的加密图案存在噪点、图案粘连以及边缘模糊等问题。首先采用改进的机器视觉方法对磁性纤维加密图像预处理，然后将预处理后的加密图像作为卷积循环神经网络（Convolutional Recurrent Neural Network，CRNN）[8]输入，从而识别出纸张中的加密字符。

1 磁性纤维加密图案采集方法

磁性纤维加密纸张与普通纸张的不同之处在于其在纸张内部加入了少量磁性纤维[9]，且通过磁性纤维的聚集能够形成不同的图案，从而使纸张具有防伪特性。利用磁性纤维加密纸张特性，设计磁性纤维加密图案的采集装置如图1所示。

图1 磁性纤维加密图案采集装置Fig.1 Magnetic fiber encryption pattern acquisition device

由图1 可知，磁性纤维加密图案采集装置由2 个光源、CCD 相机、磁粉喷洒装置、磁化装置、磁轭、旋转支杆、磁粉收集装置组成。旋转支杆上设置平台用于放置和固定加密纸张，在平台的上方设置磁化装置。磁化装置由多匝磁化线圈构成，能够产生磁力线并通过磁轭传输磁力线以增强加密纸张中磁性纤维的磁性，从而促使磁粉更好地吸附在磁性纤维加密纸张上面。喷洒装置和CCD 相机置于加密纸张的正上方，喷洒装置中放置磁粉，可通过喷洒装置将磁粉均匀喷洒在加密纸张上。2 个光源置于磁化装置两旁以使CCD 相机能够拍摄到更为清楚的图像[10]。磁性纤维加密图案采集装置的工作原理是纸张内部磁性纤维的磁性受磁化线圈产生的磁力线影响而得到增强，通过喷洒装置将磁粉喷洒在加密纸张上，磁粉受纸张内部磁性纤维产生磁场的影响从而聚集在相对应加密图案的位置上，将纸张内部的加密图案显现出来。CCD 相机拍照获取加密图像照片后，对磁化装置断电以减小磁性纤维的磁性，然后旋转支杆进行旋转，从而将纸张上的磁粉倒入磁粉收集装置中，以便回收磁粉。磁性纤维加密图案图像采集的具体流程如图2所示。

图2 磁性纤维加密图像采集流程图Fig.2 Flow chart of magnetic fiber encryption image acquisition

通过磁性纤维加密图案采集装置拍摄到的部分加密图像照片如图3所示。

图3 磁性纤维加密图像照片Fig.3 Encrypted image photo of magnetic fiber

2 加密图像预处理

由磁性纤维加密图案采集装置获取到的磁性纤维加密图像可以看出大部分磁粉聚集在磁性纤维加密图案的位置，显示出了加密图案的轮廓，但也存在少部分磁粉处于没有加密图案的位置，干扰识别加密图案的准确性。图像预处理能够改善磁性纤维加密图像的质量，减少图像噪声和对后续字符识别的影响。图像预处理的技术路线：首先对图像进行高斯滤波以及灰度化处理，其次采用Sobel 边缘检测算法突出磁粉覆盖区域[11]，对Sobel 卷积操作处理后的图像应用改进的OTSU 算法进行二值化处理，最后利用形态学特征定位出加密图案的区域。

（1）二值化

二值化过程能够将图像的背景和前景区分，最大类间方差法（OTSU）适用于背景和前景灰度值差距较大的场景，而磁性纤维加密图像采集装置采集的图像背景色为白纸，前景为黑色的磁粉，因此选择OTSU 算法。OTSU 算法的关键在于阈值T的确定，最优阈值T应使得划分出的前景和背景两类满足类间方差最大，类内方差最小[12]。OTSU 是一种全局最优阈值法，即整体灰度平均将0 和255 等边缘像素纳入计算，而当前景和背景的灰度分布只占灰度直方图的一部分时，全局最优阈值法会影响二值化计算效率，同时当背景和前景灰度值存在重合时重复计算灰度均值和概率会影响二值分割质量，因此改进OTSU 全局最优阈值为局部最优阈值以提高分割质量和效率。

OTSU算法的计算如式(1)所示。

式中，a 表示前景，b 表示背景，μa和μb表示前景和背景的灰度均值；σ2(T)表示阈值为T时的类间方差；μ代表整体灰度均值；ωa和ωb表示前景和背景的概率分布，具体计算如式(2)所示。

式中，N表示图像的像素点总和；令g(i，j)、ga(i，j)、gb(i，j)表示原始图像、前景和背景在(i，j)坐标下的像素值，则计算见式(4)。

将式(2)～式(4)带入式(1)中，消掉背景b 的计算部分，从而得到改进后的OTSU算法如式(5)所示。

改进的OTSU 算法主要改进两方面内容：一方面改进OTSU 最大类间方差的计算为式(5)；另一方面在计算灰度均值时不考虑灰度直方图中灰度为0 和255的边缘像素，因此求取的是磁性纤维加密图像的局部最优阈值。

在纸张中以磁性纤维加密图案为“SUST”为例，通过磁性纤维加密图案采集装置采集图像，并利用图像预处理技术进行预处理得到的结果如图4所示。

由图4 可以看出，改进后的OTSU 算法相比传统OTSU 算法处理的结果更好，改进后的OTSU 算法能够一定程度将不处于磁性纤维加密图案上的多余磁粉滤除，得到高质量的二值化图像，进而提高磁性纤维加密字符的识别准确率。

图4 磁性纤维加密图案预处理过程Fig.4 Magnetic fiber encryption pattern preprocessing process

为了进一步说明改进OTSU 算法的优良性能，利用磁性纤维加密采集装置采集图像，并分别采用传统OTSU 算法与改进的OTSU 算法进行时间性能上的测试，两种方法的对比结果如图5 所示。由图5 可知，改进的OTSU 算法拥有更短的运行时间，其处理图像的平均速度为0.23 s/副，而传统OTSU 算法的平均速度为0.32 s/副。从二值化效果和运行时间性能上综合对比结果来说，改进的OTSU算法更具优势。

图5 处理时间对比结果图Fig.5 Comparison of processing time results

（2）加密字符区域定位

通过改进的OTSU 算法处理图像后，接着对加密字符区域进行形态学处理，先膨胀2 次，再腐蚀2次，之后根据形态特征找出加密图案区域的最小外接矩形，部分磁性纤维加密纸张图像定位到加密图案如图6所示。

图6 加密图案区域定位图Fig.6 Location map of encrypted pattern area

3 基于CRNN的加密图案识别

3.1 CRNN网络结构

在纸张中采用磁性纤维进行加密，形成的加密图案长度和字符个数以及字符之间的间距是不固定的，而由于磁场的相互作用，加密图像可能存在字符粘连问题。传统的字符识别方法需要将字符序列分割成单个字符，处理流程较为复杂且识别效果不佳。为了促使构建的磁性纤维加密图案识别模型更具备普适性，考虑采用CRNN 深度神经网络和循环神经网络组合的混合网络识别纸张加密字符图像。CRNN 网络最早应用于自然场景中的文本识别，是一种端到端的字符识别算法[13]，不需要将图片中的字符序列切割成单个字符，能够避免传统字符识别算法在分割字符序列过程中产生的误差。

CRNN 网络由卷积层、循环层和转录层构成[14]，CNN 和RNN（Recurrent Neural Network）的组合模型对输入图像的长度没有固定的要求，仅规定高度为32 的倍数，相比CNN 卷积神经网络模型能够提取更多的字符序列信息，用于解决图像中不定长文本识别问题。CRNN网络识别方法首先将图像输入CNN层提取特征图[15]，其次将提取的特征图输入RNN 循环层对特征向量的每一部分进行预测获得预测序列，最后经过CTC（Connectionist Temporal Classification）转录层将序列转化为预测字符标签序列。CRNN 网络结构图如图7所示。

图7 CRNN算法结构图Fig.7 CRNN algorithm structure diagram

（1）卷积神经网络部分

CRNN 网络结构中的CNN 卷积层采用VGG16 网络结构，由于磁性纤维加密字符图像具有长度较长而宽度较小的特点，因此为了获取到足够多的横向字符信息，将VGG16 网络中第3 和第4 个池化层的核大小由2×2 改为1×2。输入的磁性纤维加密图像经过一系列卷积、池化和全连接层获得特征序列，利用卷积和池化层提取加密图像的特征图，由于卷积和池化是在局部范围内进行操作，因此每列特征图与原始图像的矩阵区域相对应。卷积神经网络的激活函数作用是对输入特征进行非线性映射，选择Relu（Rectified Linear Unit）函数作为CNN的激活函数[16]。

（2）循环神经网络部分

将CNN 得到的特征图转换为特征序列输入RNN层，RNN 网络采用两层双向长短时记忆网络（Long Short-term Memory，LSTM）架构。LSTM 是RNN 的一种改进算法，由输入层、输出层、输入门、遗忘门、输出门组成，其能够充分挖掘字符序列的前向信息和后向信息以得到更为准确的预测结果[17-18]。LSTM通过设置的遗忘单元的权值选择学习或者丢弃的内容，从而实现遗忘或者记忆的功能。令xt为t时刻的输入特征向量，σ为激活函数，特征序列ht-1，则ft遗忘门表示见式(6)。

式中，Wf为遗忘权重矩阵；bf为遗忘门偏置；同理，输入门it、候选门、输出门οt的工作表达式分别如式(7)～式(9)所示。

式中，Wi表示输入门权重矩阵，bi表示输入门偏置；Wc为细胞权重矩阵，bc为隐层偏置；Wo为输出权重矩阵，bo为输出门偏置。线性组合后的特征记忆Ct由遗忘门过滤后的部分记忆ft·Ct-1和新增加的特征信息组合而成，具体表达式如式(10)所示。

则输出门传递给下一时刻的特征序列表达式如式(11)所示。

最后输出的序列为所有时刻特征序列的组合。

（3）转录层

经过卷积神经网络和循环神经网络提取序列特征进行字符识别后，将循环神经网络层的输出接入转录层进行翻译。CTC层的功能为将循环神经网络的预测转换为最终的字符序列，忽略字符在图像中的位置信息，与Softmax 分类器相比引入了空白占位符，解决了不定长文本对齐的解码问题。如通过映射函数将“-S-U-SST”映射为“SUST”完成对齐。

磁性纤维加密图案为数字和字符的组合，定义L={A，B，C，...，X，Y，Z，0，1，2，...，8，9}为26 个大写英文字符和10 个数字字符的集合。针对循环神经网络输出的序列，序列的某些位置可能没有字符，对没有字符的位置插入空白，定义插入空白的字符集合为L'。定义变换如式(12)所示，T为循环神经网络输出的序列长度。

在循环神经网络输出序列x=x1，x2，…，xT给定的情况下，CTC层输出为l的概率如式(13)所示。

其中，π ∈β-1(l)为所有经过β变换后的路径π，则CTC的损失函数如式(14)所示。

式中，S为训练集，p(l|x)为当给定输入序列x，则输出序列为l的概率。损失函数可理解为：给定输入字符样本后输出正确字符标签概率乘积的负对数。在损失函数中加入负号，通过最小化损失函数，而使输出正确标签的概率最大化[19]。

3.2 磁性纤维加密纸张图像识别

3.2.1数据集

数据集是使用磁性纤维加密采集装置拍摄的600张图像，其中包括纯数字加密图像200张、纯字母加密图像200 张、字母和数字混合的加密图像200 张。在数据集中将3 种类别的图像各随机抽取150 张作为训练集，共计450 张图片。测试集为拍摄的600 张图像中不包含训练集的图片集合。训练集和测试集的比例为3∶1。

3.2.2实验环境

系统的硬件处理器是Intelxeon Silver 4110，其主频2.60 GHz，内存为32 G，显卡为NVIDIA Quadro P4000，操作系统为Ubantu Linux 16.04。采用python 3.6编程语言以及深度学习开发框架TensorFlow-gpu环境进行程序的编写。

3.2.3实验细节

预处理环节的最后一步是定位磁粉作用的磁性纤维加密图像，定位后的尺寸存在大小不一的情况，需要对定位的图像进行归一化处理，而CRNN 网络的输入图像规定了图像高度为32的倍数，长度不作要求，因此将定位后的磁性纤维加密图像统一归一化为128×32，送入CNN网络进行特征提取。

CRNN 网络使用随机梯度下降（Stochastic Gradient Descent，SGD）对模型进行优化，动量参数设置为0.9，初始学习率设置为0.001。CRNN 具体网络结构如表1 所示。表1 中，k为卷积核大小；s为卷积或池化的步长；p为填充圈数。

表1 CRNN的网络结构Table 1 Network structure of CRNN

3.2.4实验结果

实验将包含训练集和测试集的600 张磁性纤维加密图像首先采用改进的预处理方法进行图像分割以得到加密字符区域，然后采用CRNN 模型识别加密字符。在加密字符检测环节，成功提取595张，成功提取率为99.17%。

加密字符识别环节训练和测试的准确率以及损失值的变化如图8 所示。准确率在迭代100 次后逐步收敛，最终训练集准确率达到98.61%，测试集准确率达到98.37%。训练集和测试集的损失值最终稳定在0.2左右。

图8 准确率及损失值变化曲线Fig.8 Accuracy and loss value change curve

本课题的CRNN 模型中循环神经网络层采用双向LSTM 结构，该结构能够更好地提取磁性纤维加密图像的序列信息。为了说明CRNN 模型的优势，在循环神经网络层分别采用单层和双层的RNN、GRU（Gated Recurrent Unit）、LSTM 网络结构进行对比实验，对比结果如表2所示。

表2 不同网络变体的预测准确率Table 2 Forecast accuracy of different network variants

基于双向双层LSTM 的CRNN 模型识别加密字符的准确率达到98.37%，优于其他循环神经网络层的变体结构。RNN、GRU、LSTM 双向双层网络结构的预测结果均优于单向单层的网络结构，其原因在于双向双层网络结构能够获取到更多的特征信息，而缺点是比单向单层结构更复杂，运行时间更长。

4 结语

通过搭建基于磁性纤维加密纸张的图像采集、预处理以及识别模型，解决了磁性纤维加密字符的提取和识别问题。首先通过磁性纤维加密图像采集装置获取加密纸张的原始图像；其次通过组合高斯滤波、Sobel 边缘检测、改进的最大类间方差（OTSU）等算法实现加密字符的检测；最后应用卷积循环神经网络（CRNN）网络建立加密字符识别模型，最终模型识别加密字符的准确率达到98.37%。本课题将机器视觉算法与CRNN 模型相结合开发纸张加密字符识别模型，探索出解决磁性纤维加密纸张图像采集、分割与识别的一个可行路径，模型具有较高的识别率和鲁棒性，实验结果表明提出的方法具有很大的实际应用潜力。