基于多流卷积神经网络的中文笔迹鉴别研究①

毛颖裕 张怡龙 王海霞③

(*浙江工业大学计算机科学与技术学院 杭州 310023)

(**浙江工业大学信息工程学院 杭州 310023)

0 引言

笔迹鉴别是通过手写字体信息来鉴别书写人身份的一种文件分析技术。它是一个典型的模式识别问题,在历史文献分析[1]和司法鉴定[2]中有着广泛的实际应用。根据笔迹样本的获取方式,可以将笔迹鉴别分成离线笔迹鉴别[3-4]与在线笔迹鉴别[5-7]2种。在线笔迹鉴别要比离线笔迹鉴别相对容易,因为在线书写的过程中可以收集到更多的作者书写习惯信息,包括笔尖压力[8]、书写速度[9]、笔画顺序等,而这些动态信息在离线笔迹鉴别过程中无法获取。离线笔迹样本的获取,需要书写者使用书写工具(钢笔、铅笔等)在纸上书写完成后进行扫描或者拍摄。其相对于在线笔迹样本具有更强的通用性和易获取性,因此离线笔迹鉴别的应用范围更广、实用性更高。在数字时代,手写活动大幅减少,这就带来了基于少量可用文本来识别作者的需求。与英文字体相比,中文字体的形态结构通常更复杂,这意味着中文字体在单个单词中比英文字体包含更多的判别信息,并且有可能用更少的文字被识别。本文研究的就是基于单个手写中文字体的离线笔迹鉴别问题。

离线笔迹鉴别受到多种因素的影响,譬如,书写人在书写时的现实物理环境、所使用笔的材料等。这对建模书写人的书写风格提出了挑战。基于局部数据特征提取[10-12]和基于全局数据特征提取[13-15]是离线笔记鉴别中常用的2 类方法。为更好地对中文字体进行签别,本文将结合基于局部数据的特征提取与基于全局数据的特征提取为中文笔迹签别服务。然而现有的结合方法,即FragNet 网络是应用在英文笔迹签别中,在中文笔迹签别应用中存在一定不足。FragNet 是一个双流的卷积神经网络,它的支流1 输入是整张手写字体图片,负责提取整张图片的全局特征,形成图像金字塔;支流2 的输入是原图片的切片,负责提取局部细节特征。两个支流在整个提取特征的过程中进行了多尺度的特征融合,最后采用SoftMax 函数作为网络输出。该模型在中文笔迹签别使用中存在以下问题:(1)特征利用不充分。该结构只考虑了细节和全局特征在过程中的融合,并没有将支流1 提取到的高级全局特征直接参与网络输出的决策;(2)原有的图片分割方式在中文手写字体中使用是不恰当的,导致其在中文数据集下细节特征获取的来源不够充分。因为中文和英文的书写习惯不同,所以英文数据集下采用的分割方式并不能直接用于中文数据集。

综上所述,本文基于FragNet 神经网络,提出基于3 条支流结构的卷积神经网络,采用了局部特征和全局特征融合的思想,1 条支流是对整张图片进行全局特征提取,另2 条支流以不同的方式对图片进行分割然后进行局部特征的提取。并且在提取的过程中,3 种特征进行了多尺度的融合。本文改进了网络中图片的分割方式,增加了第3 条网络支流,使得整个网络中的细节特征的来源更加充分。并且让全局特征提取支流最终提取到的高级特征直接参与了网络最终输出的决策,使得特征融合得更加充分。实验结果表明,本文提出的策略可以有效提升网络模型最终的性能。

本文的主要贡献点有以下2 点:(1)提出了一种多流卷积神经网络模型,该模型将基于局部数据的特征提取与基于全局数据的特征提取融合的方法引入到中文笔记鉴别问题中,并取得了不错的效果;(2)本文的网路结构采用2 条支流对局部数据进行特征提取,可以提取出更多的细节特征,更充分地融合局部特征和全局特征,有效地提升了模型的性能。

1 相关研究

一般来说,离线笔记鉴别方法[16-18]可以大致分为两大类:基于传统特征的方法[19-21]和基于神经网络特征的方法[10,13-14,22-23]。基于传统特征的方法主要采用人为定义的特征作为鉴别的依据。比如文献[19]将英文手写字体看成是一种纹理,使用Gabor和XGabor 共同提取手写体样式的特征。文献[16]使用二维Gabor 滤波提取特征,将笔记鉴别视为纹理识别。文献[20,21]更注重拐角特征,提取手写字体的形态信息,如笔画与墨水的宽度和曲率等。文献[24]提出了基于混合码本与因子分析的文本独立笔迹鉴别算法,该方法采用加权的方向指数直方图法和距离变换法对每个书写模式进行双因子方差分析,并在英文数据集上取得了不错的成绩。文献[17]提出了一种结合小波变换和广义高斯模型的中文手写体文档识别方法,取得了良好的效果。使用传统算法进行特征提取的过程中,识别特征的选择或多或少会受到研究者主观意识的干扰,这将对最终的结果产生直接的影响。

采用神经网路算法可以很好地避免这一问题。当前,神经网络算法在笔迹鉴别中的应用大致可以归为2 类:基于全局数据的特征提取方法[13-15]和基于局部数据的特征提取方法[10-12],这两者最大的区别就是在网络的输入部分。基于全局数据的特征提取方法将整张图片作为输入进行特征提取,是目前的主流方法。文献[13]提出了一种双流多任务的卷积神经网络模型提取显式信息和隐式信息,采用的是将整张图片作为网络的输入。文献[15]通过对传统VGG-16 卷积神经网络模型进行改进,提出了一种CC-VGG 网络模型,利用复合卷积层替换部分卷积层,实现了手写体英文笔迹的自动鉴别,提升了网络性能。文献[25]提出在对整图进行特征提取时,对输入的中文字体图片中的字体笔画进行了随机抹除的预处理方法,这既能对训练数据进行增强也提升了模型的泛化能力。基于局部数据的特征提取方法则是在原有的图片上进行分割,形成不同的切片,然后将切片送入神经网络进行局部特征提取。如文献[11]提出的基于行分割方式并结合CaffeNet (convolutional architecture for fast feature embedding)提取局部特征的方法,然后通过取均值的编码方式将每张笔迹材料的局部特征编码为全局特征。该方法在CVL[26]和ICDAR 2011[27]数据集上取得了较好的成绩。文献[28]提出了将全局数据与局部数据进行特征提取与融合得到新的综合特征的FragNet 网络模型,证明特征融合之后的模型具有更好的泛化能力。文献[10]提出了利用双输入网络对局部数据进行特征提取的算法,并且这2 条支路以网络共享参数的方式来减少网络训练时的参数。为了可以使得不同局部数据的位置信息也参与网络的训练和预测,文献[12] 提出了GR-RNN(global-context residual recurrent neural network)网络,对不同局部数据中蕴含的作者的书写特征进行提取,进一步提升了网络在英文数据集上的识别率。

2 模型的网络结构

本文研究的是中文手写字体的离线笔记鉴别问题。本节主要从以下3 个方面展开。(1)局部数据获取方式分析说明。对本文为什么要采取切片分割的方式进行以及本文在原有方式的改进进行分析说明。(2)网络结构介绍。对本文提出的网络基本构成与功能进行剖析介绍。(3)网络训练。对本文采用的实验环境与网络训练进行说明。

2.1 局部数据分割方式分析

基于局部数据的特征提取已被证明了其在笔迹签别中的作用。本节针对中文字体的形态结构,对局部数据的分割方式进行分析与设计,并对其理论依据进行论述。

本文将手写字体信息分为2 类:字体基本结构单元和字体基本结构单元之间的连接,称为“连笔”。英文单词的基本构成单元为26 个英文字母,中文字体的基本构成单元为32 种基本笔画。如图1所示,图中列举了一些中英文字体及其特征信息,其中具有丰富书写人特征信息的连笔部分占据了比较大的比重。在网络特征提取过程中,这些特征有较大概率会被网络判别为“spotting region” (网络的有效感受野),即注意区域。

图1 字体特征信息示例(箭头指向处表示手写字体中具有丰富书写人特征信息的细节点)

文献[29]仅仅使用了书写时笔的活动坐标、落笔的位置以及最后提笔的位置这3 项坐标数据序列,然后从中进行采样后送入循环神经网络(recurrent neural network,RNN)进行训练,该方法在中文公开数据集上可以获得99.46%的准确率,在英文公开数据集上可获得100%的准确率。文中通过逆向工程发现,使用少量采样笔画坐标序列就可以获得高准确率的笔画序列往往是笔画间或者单个字体间的连笔部分。这说明了连笔部分中包含了丰富的书写者的身份信息。虽然这是线上笔迹鉴别问题所采用的方法,但是,更偏向于使用字体笔画进行建模的离线笔迹鉴别问题想要达到这样高的准确度存在较大难度。因此,如何更好地引导网络关注“spotting region”是本文注重的问题。

采用对图片进行切片的方式送入网络可以使网络学习到的深层特征比从整张手写字体图像中学习到的深层特征更有效。这点在提出FragNet 的论文中已经得到了证明。其根本原因是网络在经过分割后局部数据块中可以更好地提取到更多的“spotting region”,得到更多的细节特征。中英文字体的展现形式不同,如图2 所示,英文单词的书写顺序都是从左往右写,而中文字体的书写却没有这样的规律,从左往右、自上而下或者是两者结合的书写顺序都是存在的。原网络在英文数据中仅采用垂直分割方式,如图3(a)所示,因为英文单词从左往右的书写习惯确定了连笔只能发生在左右之间差不多高度的位置。但这在中文数据集中直接采用是不合适的,中文字体中可能同时存在自左而右、自上而下的写法,笔画间的连笔等特征信息可能发生在左右之间也有可能发生在上下之间,并且字体中其他形状也包含对作者识别有用的书写风格信息。因此,充分地结合它们蕴含的信息是可以提高网络性能的。在FragNet 的网络框架下,本文进一步探索对输入手写字体图像中所有形状信息使用不同的局部切片进行特征提取与集成。如图4 所示,聚合局部块会在输入图像中产生多个“spotting region”,从而使分类证据更加稳健。基于这一观点,本文提出的了采用水平和垂直分割方式对输入图像进行分割切片,以迫使网络学习手写风格信息或在每个片段中找到定位区域。结合这些片段的结果使网络具有多个定位区域,避免了对输入图像中某些特定部分的过度拟合,从而提高了网络性能。

图2 中英文字体的书写方向差异(箭头代表字体的书写方向)

图3 中英文字体中采用的分割方式的对比

图4 分割切片与整图输入进行特征提取的差异

根据文中之前的分析,本文在图3(b)垂直切片的基础上,新增滑动窗口进行水平切片,然后进行特征提取。同时采用水平切片和垂直切片的方式来增加送入网络的局部图像块的形式,迫使网络可以在不同的局部图像块上产生不同的“spotting region”,即提取到更加充分的作者身份信息,减低网络过拟合的风险,提升网络的泛化能力。这样做的目的就是为了拓宽网络细节特征获取的来源,使得网络更好适应目标字体变化带来的变化。

2.2 网络结构分析

本文以FragNet 作为基本结构,提出了局部数据特征提取与全局数据特征提取相结合的多流卷积神经网络结构,如图5 所示,神经网络由P1、P2、P3 3 条支流组成。P2 支流结构的输入是一整张手写字体图片,它负责提取整张图片的全局特征,形成图像金字塔。P1 与P3 支流的输入是原始图片的横向与纵向切片图,负责从局部图像块中提取出更多的“spotting region”。P1、P2 和P3 支流在整个提取特征的过程中进行了多尺度的特征融合。最终3 条支流都通过一个自适应平均池化层生成512 维的向量,将这3 个向量以直接相加的形式进行融合后送入全连接层进行结果预测,最后通过SoftMax 函数输出。

图5 多流卷积神经网络结构

组成这3 条支流的基本结构单位是相似的,都由池化层和2 个卷积层组成的卷积组构成。3 条支流在第1 次提取特征后都没有使用池化层,这是为了避免在初级特征阶段丢失过多的信息。而后P1、P3 与P2 支流结构在池化层作用的位置上发生了变化。因为P1、P3都进行特征图的级联,所以在级联之后需要进一步地特征提取,故将池化层放在卷积组之后。而P2 支流没有这一步操作,所以直接进行了池化操作。P2 支流在每一阶段提取的全局特征图,通过滑动窗口分割得到水平切片Sh和垂直切片Sv。特征图切片Sh和Sv分别与P1、P3 支流的同级特征级联。需要注意的是,因为网络中有池化层的存在,所得到的特征图的尺寸不断地以2 的倍数方式在减小。因此,生成Sv与Sh的分割参数是不断变换的。在分割时,所使用的滑动窗口的尺寸以及采用的步长也都将以2 的倍数方式进行减小,以保证所得到的全局特征图的切片与局部特征图具有相同的尺寸进行融合。还需要注意的是,P1 和P3 支流结构的卷积组不会改变输入特征图的通道数,即当输入特征图的尺寸为H×W×C(高×宽×通道数),输出特征图的尺寸依旧为H×W×C。而P2 支流则会对输入特征图的通道数进行翻倍,即输入特征图的尺寸为H×W×C,输出特征图的尺寸为H×W×2C。换句话说,P2 支流中卷积通道数的增加是通过自身增加卷积核的数目来完成的,而P1 和P3支流则是通过特征图的级联来完成的。

本文网络的改进包含2 个部分。首先,增加P1支流从而丰富网络提取细节特征(“spotting region”)的来源。本文采用水平分割和垂直分割2 种图片切片方式来增加网络获取细节特征的渠道,确保P1 和P3 支流可以提取到足够多不同的细节特征与P2 中提取的全局特征进行多尺度融合,形成更具综合性的高级新特征,增强网络的泛化能力。其次,在P2 支流中,增加M模块,从而让P2 支流中提取到的全局高级特征能直接参与网络的最终决策,更加充分地利用P2 所提取的高级特征信息。

2.3 网络训练与环境

本文最终所采用的分割方式如图6 所示,P1 支流采用横向滑动窗口的水平分割方式,高为64,宽为112,移动步长为16,自上向下滑动。它更专注于提取水平方向的连笔细节。P3 支流采用纵向滑动窗口的垂直分割方式,高为112,宽为64,移动步长为16,自左向右滑动。它更专注于提取垂直方向的连笔细节。

图6 本文所采用的图片分割方式

本文实验硬件环境包含CPU 处理器Intel i9-10900X,显卡NIVIDA RTX2080Ti,显存11 GB。软件环境包含Python3.7,Pytorch 深度学习框架。本文提出的网络模型训练时初始学习率设为0.000 08,在第20 轮除以4,第25 轮除以3,第30 轮设为0.000 003,一共进行40 轮训练。本文网络本质上一个分类任务,故采用交叉熵作为损失函数,采用Adam[30]进行模型优化:

其中n表示数据集中一共含有的作者数目,p表示网络的输出结果,q表示对应图片的标签。

3 实验结果分析

本节将对实验的结果进行对比分析。本节内容分为3 个部分:第1 部分对本文所用的公开数据集进行说明;第2 部分对网络进行消融实验对比,证明网络设计的有效性;第3 部分将本文提出的网络模型的性能与其他网络模型的性能进行对比。

3.1 数据集说明

本文使用的数据集HWDB1.1[31]是中国科学院自动化研究所收集并发布的中文手写字体数据集。它包含由300 位不同作者编写的1 172 907 张中文字体图像。每个作者大约有3755 个不同的汉字,它们以8 位灰度图像的形式存储。为了节省训练的时间,本文对HWDB1.1 数据集进行了采样,每个作者随机抽取300 个词。因此,形成了一个由300 位作者和90 000 张图像组成的子数据集HWDB1.1-Sub。将这90 000 张图像随机分成3 等份,2 份用于训练,剩下的1 份用于测试。如图7 所示,本文随机挑选了其中的3 位作者书写的5 个字,很明显,它们拥有各自的书写风格。

图7 HWDB1.1 数据集中不同作者书写的相同汉字的示例

3.2 实验结果与分析

本节对所提的网络结构进行消融实验,并结合实验数据进行分析。本节共进行了5 组实验,如表1所示,具体包括P2-M+P3(FragNet)、P2 +P3、P1 +P2、P1 +P3 以及P1 +P2 +P3。并分成3 部分进行分析,分别为对加入M模块有效性的证明、对加入P1 支流结构有效性的证明以及对全局特征在笔迹鉴别问题中的不可或缺性的验证。本文采用top-1(前1)准确率和top-5(前5)准确率这2 个指标来对模型的性能进行评估。top-1 准确率是指将网络输出中概率最大的一个作为网络的最终预测结果,并且与标签是一致,则认为模型预测正确。top-5 准确率是指网络输出中概率最大的5 类别中包含有标签对应类别,则认为模型预测正确。除此之外,为了能够更细致地分析模型性能间的差异,本文还对每个模型中每一位作者的top-1 准确率进行了统计,然后将需要对比的2 个模型的数据绘制成散点图进行作者级别的准确率变化分析。

表1 网络模型结构消融实验结果

首先是对增加M模块有效性的证明,即本文提出原本网络中全局特征与局部特征融合的不够充分,对P2 支流提取到的高级特征没有充分利用的问题而提出增加M模块的有效性的证明。根据表1中第1、2 组实验结果可知,未加入M模块以前网络的top-1 准确率仅为85.06%,top-5 准确率为97.53%。当加入了M模块之后,也就是整个P2 +P3 支流组成的网络,它的top-1 准确率提升到了87.91%,相比原来增长了2.85%。top-5 准确率也增长了近0.4%。这充分说明了将P2 支流提取到的高级全局特征融合入网络参与网络最终决策是十分有效的,原来网络确实存在融合不充分,没有充分利用已提取到的高级特征的问题。此外,为进一步分析M模块的加入对网络性能的影响,本文对每一位作者在加入M模块前后的准确率进行了统计分析。如图8 所示,图中的每个点都代表一个作者,共300 个点。横坐标代表P2-M+P3(FragNet)支流结果中每位作者的准确率,纵坐标代表P2 +P3 支流结果中每位作者的准确率。横纵坐标的表示范围都是0～1。从图中不难发现,大多数点都是位于图中虚对角线的上方,说明这些作者的字在加入M模块之后其鉴别的准确率都得到了提升。特别是在0.6～0.8 范围内,其中的各位作者的准确率相较于原来得到了较大的提升。

图8 P2 +P3 与FragNet 网络中每位作者top-1准确率情况对比

其次是对于加入P1 支流结构有效性的证明,即对增加分割方式,拓宽细节特征来源有效性的证明。对于这部分的实验,本文分2 步进行证明。第1 步需要证明新增加的采用水平分割方式的P1 支流具有与原本存在的垂直分割方式的P3 支流具有相近的特征提取能力。根据表中的第2、3 组实验结果可知,P2 +P3 支流网络top-1 准确率与P1 +P2 支流网络的top-1 准确率仅相差0.17%,top-5 的准确率几乎相等。这2 组实验证明了新增加的采用水平分割方式的P1 支流具有与采用垂直方式的P3 支流相近的特征提取能力(P3 支流略高于P1 支流)。第2 步需要证明同时采用水平分割方式和垂直分割方式进行特征提取能否增加网络获取细节特征来源,提升网络性能的问题。根据表中第2、3 和5 组实验结果可知,第2 组和第3 组分别单独采用了垂直分割(P2 +P3)和水平分割方式(P1 +P2),而第5组实验是两者的结合(P1 +P2 +P3)。其中P1 +P2+P3 网络结构的top-1 和top-5 准确率都是最高的,分别达到了88.18%和98.07%。虽然最终的结果比采用单个支流的结果最多仅高出了大约0.44%(top-1)和0.17%(top-5)。但这依然可以说明增加采用水平分割方式的P1 支流确实拓宽了网络获取细节特征的能力,提升了网络的性能。最终结果之所以没有拉开很大的差距,可能是原本采用单个分割方式的网络已经具有了很强的特征提取能力了,增加不同分割方式的支流进入网络所能提供新的特征信息对于整个网络性能提升的帮助有限。同样,本文也进一步分析了它们在每个作者准确率上的差异,如图9 和10 所示。从图9 展示的结果来看,300位作者的准确率分布在对角线两边大致是均匀的,没有发生很明显的偏向,这与总的准确率结果是一致的。图10 中将采用单一分割方式与采用2 种分割方式的每位作者的准确率进行了对比,总的来说是在对角线上半部分的点多些,但是因为它们的总体的准确率差距不是很大,图中表现得并不明显。可能的原因在前面的分析中已经提过。

图9 水平分割与垂直分割方法中每位作者top-1准确率情况对比

图10 只采用单一分割方式和两种分割方式的方法中每位作者top-1 准确率情况对比

最后是对全局特征在笔迹鉴别问题过程中的不可替代性的验证。表1 中的第4 组实验没有采用中间的P2 支流结构,只有P1 和P3 支流结构。根据第2～4 组实验结果的对比可以发现,在没有全局特征的参与下,仅有P1 和P3 支流结构组成的网络性能明显低于任何一个有全局特征参与的网络结构。这也进一步验证了全局特征在笔迹鉴别问题中是不可或缺的。而在之前的分析中同样也证明了细节特征在笔迹鉴别中的重要性。因此,可以得出结论:在笔迹鉴别问题中,手写字体的细节特征和全局特征都是需要的,单独依靠某一个特征无法取得很好的效果,提取2 种特征进行融合处理才能获得更好的效果。这3 个网络模型的作者准确率变动情况如图11所示。可以直观地发现,有全局特征参与,无论是对于水平分割还是垂直分割方式来说,都可以很好地提升作者被识别的准确率。图11 中2 幅图都存在明显的点向下偏移的情况。

图11 有无全局特征参与的方法中每位作者top-1 准确率情况对比

3.3 与其他算法的性能对比

本节在HWDB1.1 数据集上与其他网络模型方法进行性能比较。研究中文字体笔迹鉴别的论文比研究英文字体的要少。本文关注的是基于单一手写字体的离线笔记鉴别问题,相应的论文更少。由于使用相应数据集进行比较的论文很少,因此本文进行了2 方面的对比。

首先使用了研究单一手写英文字体笔迹鉴别的网络来进行比较。本文使用ResNet18[32]、研究英文笔迹鉴别的FragNet[28]和Deep Adaptive[13]进行比较。对于ResNet18、FragNet 和Deep Adaptive 网络,为了消除不同图片大小带来的影响,将输入图像的大小设置为112 ×112,并使用HWDB1.1-Sub 进行训练和测试。实验使用60 000张的样本进行训练,30 000 样本进行测试。采用top-1 准确率和top-5 准确率这2 个指标来对模型的性能进行评估。其结果如表2 中前4 行所示。在top-1 和top-5 的这2 个准确率指标上,本文提出的方法都是最佳的。

表2 本文方法与其他算法的性能对比

其次,本文与使用相同了数据集的Deep Writer[7]算法进行对比。Deep Writer 的结果选自文献[7],由于它使用HWDB1.1 全部的数据集进行划分训练,本文也按照它使用的划分方法重新对数据集进行了划分与训练。使用了大约780 000 张样本进行训练,大约260 000 样本进行测试。实验结果如表2最后2 行所示,本文提出的方法在top-1 准确率上比Deep Writer 高了4.32%。

除此之外,本文还用了torchstat 工具对网络实际的计算复杂度和参数量进行了分析比较。从整体上来看,虽然无论是与目标字体为英文字体的网络还是目标文字为中文字体的Deep Writer 网络相比,本文提出的模型性能都是最佳的,但本文提出的网络在参数量、计算训练的时间等3 个指标上表现较弱。如何在不特别影响性能的前提下减少网络中的参数和计算量是今后可以进一步研究的方向。

本节也对表2 中各个网络模型中每位作者的准确率情况做了统计,如图12 所示。需要说明的是,由于本文直接采用了Deep Writer 论文中的数据,而不是进行重新训练得到的数据,因此无法对其结果中的作者准确率进行统计。对于FragNet 来说,较低准确率的作者在本文方法中提升的幅度很大,随着准确率的提高这一效果变得越来越弱。而对于其他2 个网络来说没有这一现象,主要原因就是它们整体的识别率相较于本文方法来说差距大,因而使得几乎所有的点都位于对角线上方且偏离的幅度很大。可见本文提出的方法对于特征提取的能力都优于其他3 种方法。

图12 本文提出方法与其他方法中每位作者top-1 准确率情况对比

4 结论

针对现有局部特征与全局特征融合网络在特征使用不充分、提取到的全局高级特征没有直接参与网络最终决策的问题,本文提出了在原来的网络结构上增加卷积模块与全连接层来保证提取到的高级特征能得到充分利用;针对原网络中分割方式不适用中文字体,导致在中文数据集下细节特征获取的来源不够充分的问题,本文以增加水平分割的方式来拓宽细节特征来源。通过消融实验数据的对比分析,证明了本文方法的有效性,促使网络整体的性能得到了明显提升。同时,本文还验证了细节特征和全局特征对于笔迹鉴别问题具有同等的重要性,两者的结合能获得更好的识别结果。最后,本文提出的模型在与其他模型的对比中也取得了最好的成绩。

本文提出的方法虽然采用了水平分割和垂直分割的方式对手写字体图片进行分割,但对于切片序列之间的空间关系建模、增强切片局部特征的识别能力没有涉及。针对该问题,未来考虑在切片序列空间关系建模算法方面展开研究工作。