优化视觉聚焦点的手背静脉识别方法

(北方工业大学 信息与通信工程学院，北京 100144)

0 引言

人类视觉感知与记忆、注意和其他视觉感知通道紧密交互，形成人类视觉感知神经机制[1]。人类的视觉注意力是指在观察场景时，通过全局观察，将注意力集中在重点想要关注的区域，对这一区域进行更多的视觉感知处理，得到所需要关注的细节信息，不重要的信息不做细节观察。模拟人类的视觉感知机制搭建神经网络模型，在图像分类、物体检测、语音识别等领域有重要研究意义。

以往视觉注意力的研究一般基于低级的图像特征和自底向上的过程[2]，应用生成显著图像算法，对一幅输入图像提取颜色、亮度、方向等特征，然后在每个特征上生成关注图，最终融合这些关注图为显著图[3]。基于显著图的方法会对图像的每一个像素点设置显著值，从而对显著值高的点更加关注，抑制显著值低的点。该方法在图像发生旋转，平移或者尺度等变化时，显著图也随之改变，因此在旋转、平移变化下没有很好的鲁棒性。

本文将人类视觉注意力处理过程当成一个策略控制任务，经过循环神经网络无监督训练，不断的寻求聚集点，动态输出全部的局部ROI图像，基于这些ROI图像进行特征提取并分类输出。基于注意力机制循环神经网络模型的手背静脉识别方法，在每一时刻依次输入不同的聚焦点的局部ROI手背静脉图像，同时以该区域为中心，截取不同尺度的手背静脉区域，完成从局部到整体的手背静脉信息表达。应用强化学习中的策略学习机制[4]对网络进行训练。循环神经网络中每一时刻的输入不仅与当前输入的局部区域有关，也与上一时刻输出有关，保证了手背静脉纹理的关联性。该方法下的手背静脉特征识别，有效抑制图像对旋转、平移、尺度敏感问题，实验验证该方法下的手背静脉身份研究在旋转、平移变化下有很好的鲁棒性。

1 基于注意力的循环神经网络模型

1.1 手背静脉图像采集设备及多形态手背静脉数据库的搭建

本文采用近红外手背静脉图像采集设备，由光源部分，采集部分以及外围部分组成，其中，光源部分由近红外滤光片，LED阵列和均光片等组成，外观及内部结构图如图1所示。本文研究在旋转、平移变化下的手背静脉识别，允许被采集者在采集过程中手背有轻微的移动变化，对被采集者的采集姿势，采集角度和采集区域不做约束，所采集到的图像与正常的手背静脉图像相比，会产生尺度、平移、旋转等差异。在该条件下，本文建立了多形态变化的手背静脉数据库。50位受采集者，分别在不同的时间段采集手背静脉图像，采集时允许有旋转，平移等变化，同时在不同时间进行采集，光照，对比度也会产生细微差异，在该情况下，本文建立弱约束多形态的手背静脉数据库，采集的手背静脉原始图像如图2(a)所示。对该原始数据进行预处理及纹理分割，建立了多形态的手背静脉图像数据库，如图2(b)所示。

1.2 循环神经网络模型

本文以时间序列输入不同聚焦点的手背静脉局部ROI区域，并增量地组合以往的局部关注信息，建立整个手背图像的动态内部表示，最终完成序列化的手背局部区域表达[5]。不同时刻的ROI区域由循环神经网络隐藏层决策，根据当前隐藏层的状态产生概率分布，为下一时刻提供决策，同时该隐藏层循环作为下一时刻隐藏层的输入，最后隐藏层的输出经过softmax概率计算，分类输出。训练过程中对当前的决策给出相应的奖励，使用反向传播算法优化神经网络的参数，用强化学习中的策略梯度寻求使奖励值最高的策略，模型结构如图3所示。

图3 循环注意力网络模型

该模型包含局部ROI的生成模块，注意力传感器网络模块，循环神经网络模块，聚焦点决策模块，奖励机制模块。具体过程如下。

步骤1：局部ROI的生成。该模块以聚焦点坐标为中心，以不同的带宽采集子图，得到多尺度的手背静脉区域图像[6]，通过下采样对尺度归一化处理，获得相同尺度的局部手背静脉图像，生成一组的观测区域图像ρ(xt,lt)，如图4所示。其中初始位置坐标(l0)通过ROI区域质心法选取，坐标为ROI区域中心位置，下一时刻位置lt由网络循环决策产生。

图4 生成局部ROI图像

图5 注意力传感器网络的特征提取过程

步骤3：循环神经网络。该模型的输入由注意力传感器网络输出的特征向量fg(θg)和上一时刻隐藏层的输出ht-1共同决定，对图像及聚焦点位置特征进行提取。隐藏单元通过式(1)对网络进行迭代更新，θh为隐藏层ht的线性回归计算。在t时刻对隐藏层节点ht进行强化学习策略决策，同时作为下一时刻的输入，传递给循环神经网络的隐藏单元，结构图如6所示。

ht=fh(ht-1,fg(t-1);θh)

(1)

图6 循环神经网络模型

步骤4：聚焦点决策过程。循环神经网络在t时刻，将隐藏层的输出ht向图像坐标空间映射，得到ht与位置坐标lt的线性回归模型fl(ht;θlt)，在该模型条件下，对位置进行采样，lt服从l～p(l|fl(ht;θlt))的条件分布，输出最大概率的即为t+1时刻的位置lt+1，如图7所示。

图7 位置决策过程

步骤5：奖励机制。为强化学习的训练过程，循环注意力网络寻找到最后时刻的位置后，网络输出层进行概率计算，输出分类结果，同时将预测结果与真实值进行计算，得到一个奖励信号rt。在时刻t，当分类正确则奖励值加1，分类的最终目标就是使奖励信号的总和最大化，公式如(2)所示。本文的循环注意力网络是马尔可夫决策的过程，通过对位置和动作在时间序列上的策略学习，将历史时刻与环境交互的过程映射成关于当前位置决策的概率分布，通过反向传播算法，结合策略梯度下降算法进行参数更新，使网络更新的方向更加接近正向的奖励。

(2)

2 局部关注图像的生成

2.1 聚焦点的决策

聚焦点的位置决定了局部手背静脉图像的截取位置，因此聚焦点的选取集中在手背静脉ROI区域，聚焦到ROI区域外会降低识别率[7]。

由于条件分布决策下的聚焦点没有考虑到样本的随机性，不同位置的局部手背静脉图像差异明显，所以本文针对手背静脉图像对聚焦点决策过程进行优化，通过增加正态分布的噪声对决策位置lt+1进行调整，以决策位置lt+1为初始值，噪声服从均值μ=0，标准差参数σ2的高斯分布，采样结果为噪声微调后的决策位置lt+1，公式如(3)所示。

(3)

2.2 聚焦点的个数

循环神经网络的每次循环会决策出下一时刻的聚焦点，该聚焦点作为下一时刻的输入进行网络的循环。因此，循环神经网络的循环次数决定了网络的聚焦点个数[8]。聚集点过少不能完全的显示手背静脉的ROI区域，聚焦点过多，网络训练会产生过拟合现象。因此，本文通过实验对聚焦点的个数进行选取，结果见3.2小节。

2.3 局部图像多尺度的选择

在确定聚焦点后，以聚焦点为中心，截取多尺度的局部ROI区域，将该区域作为循环神经网络的输入进行训练。截取的ROI区域应该包含不同尺度下的手背静脉的局部纹理信息[9]。在手背静脉图像中，截取三个不同尺度的ROI区域。第一个尺度为小尺度，该尺度下截取的为局部细节纹理区域，对细节特征进行描述。第二个尺度进行21放大，对关联的局部纹理信息进行描述。第三个尺度进行22放大，描述更多的局部纹理信息。通过三个尺度截取的ROI区域，循环神经网络训练不同聚焦点的局部ROI区域之间的序列关联性，完成了手背静脉从局部细节到整体图像的ROI区域描述。

2.4 梯度更新算法

本文中的循环注意力网络对t时刻隐藏层的输出进行奖励值计算，根据奖励值进行网络参数更新，反向传播时对位置决策进行梯度更新，而位置决策的过程不可导，找到目标函数无法进行求导，所以引入了强化学习对位置决策的过程进行梯度计算，样本的梯度逼近如下(4)所示。

(4)

其中:p(s1:T;θ)为当前环境状态下决策序列s1:T的分布，R为奖励值函数。

为使奖励值R最大化，需要找到最优参数θ，使得样本梯度J(θ)最大化。样本梯度函数▽(J(θ))含有连续的决策序列s1:T，本文采用强化学习样本近似的方法来逼近梯度，如式(5)所示。

(5)

通过反向传播算法计算网络梯度，调整网络的参数θ，使得能够提升奖励值的决策概率变大。

本文的手背静脉身份识别属于分类识别任务，神经网络的输出层采用softmax激活函数，输出概率最大值为当前分类结果的预测值。采用交叉熵损失函数对预测值进行误差估计。在本文中我们不仅将真实值与网络预测值进行误差计算，同时将网络决策的位置和奖励值进行误差计算，式(6)为网络优化的交叉熵损失函数。

C=-∑i(yilnαi+Rilnli)

(6)

式中,yi表示分类的真实值，αi为网络的预测值；Ri为网络决策下的累积奖励值，li为网络的位置决策。

C′=-∑i(yilnai+(Ri-b)lnli)

(7)

本文采用最优化的交叉熵损失函数进行反向传播算法，优化循环神经网络和局部图像特征提取网络的参数，网络决策寻求聚焦点的过程由式(5)所示的强化学习梯度更新策略。

3 实验过程与结果

3.1 聚焦点的决策

在循环神经网络中，每一时刻输入一个位置，该位置为注意力机制中的聚焦点。本文通过增加正态分布的噪声对位置进行调整，正态分布服从均值μ=0，标准差为σ2。本文在迭代次数为370的情况下，对不加噪声和加正态分布噪声进行实验，将不同实验决策的聚焦点作为循环神经网络的输入，进行训练分类，得到的奖励值的实验结果如表1所示。

表1 不同标准差的手背静脉奖励值(均值μ=0)

由实验结果可知，当聚焦点不加噪声时，不同时刻的聚焦点之间的距离差异不明显，不能聚焦到完全的手背静脉图像，所以奖励值较低，结果为0.89；加入标准差后，奖励值增大。当标准差为0.20时，奖励值最大，为0.95。当标准差大于0.22时，各聚焦点之间的距离过大，导致最后的聚焦点溢出手背静脉图像，从而导致奖励值下降。因此本文的聚焦点服从均值μ=0，标准差为0.20的正态分布，该参数下的网络奖励值达到0.95。

3.2 聚焦点的个数

我们在不同时刻寻找不同的注意力聚焦点，聚焦点的个数由网络循环的层数决定。网络每一时刻的循环会决策出下一时刻的聚焦点，因此，网络循环的层数就是注意力机制中聚焦点的个数。本文在加均值μ=0，标准差为0.20正态分布噪声的情况下，对网络层数进行设定，不同层数的实验结果如表2所示。

表2 不同聚焦点个数的手背静脉奖励值

由实验可知，随着隐藏层层数增加，网络的奖励值增大。当隐藏层层数小于6时，网络决策的聚焦点减少，过少的聚焦点不能完全的显示出手背静脉的整体信息。当隐藏层层数为6时，奖励值最大，为0.97。当隐藏层数大于6时，网络决策的聚焦点过多，各聚焦点之间的差异不明显，不能很好的学习到局部手背静脉图像之间的纹理联系。文本选择在隐藏层层数为6的情况下，对聚焦点进行决策，网络决策出6个完整描述手背静脉局部纹理的聚焦点。

3.3 局部图像多尺度的选择

本文以当前时刻的聚焦点为中心，按不同尺度截取3个矩形区域。定义第一个区域的图像大小为ω*ω，第K(1

表3 不同尺度下的手背静脉奖励值

由实验结果可知，当网络决策到聚焦点位置后，以该位置进行局部区域的截取。当截取的区域小时，提取到的信息不足，降低了网络的奖励值。当截取的区域过大或者包含全部手背静脉图像时，截取不同区域的图像差别不大，循环神经网络训练的序列关联性较小，因此代价值不稳定。因此，本文选定区域大小为24*24,48*48,96*96，该情况下，奖励值最大，因此选择该组带宽截取局部区域图像。

3.4 交叉熵损失函数更新

文本从每类数据中选择1500张作为训练数据集，300张作为测试数据集进行实验。手背静脉图像大小为128*128，.jpg格式的灰度图像。

本文设定初始学习率为0.001，指数型衰减学习率。采用Adam优化器对网络的损失函数衰减优化，将本文定义的交叉熵损失函数C和最优化交叉熵损失函数进行对比，不同迭代次数epoch和代价值cost的关系如图8所示。

图8 不同迭代次数下的代价值

如图8可知，最优化的交叉熵损失函数下，代价值收敛较快，当迭代次数为370时，网络的代价值平缓且趋于0，因此本文实验选择最优化的交叉熵损失函数，迭代次数确定为370，进行训练。

3.5 对比实验

本文在选取6个聚焦点，并服从均值，标准差为0.20正态分布噪声，局部ROI区域的三个尺度分别为24*24,48*48,96*96的情况下在测试集进行验证，并且与传统算子进行对比，如LBP算子，SIFT特征描述子，识别率如表4所示。

表4 不同算法的手背静脉识别率

传统LBP算子用来描述图像局部纹理特征，具有旋转不变性。但当图像发生平移变化时，局部纹理发生改变。对各局部纹理特征之间的关系没有描述，因此该方法下的识别率不高。SIFT特征描述子描述的是图像的局部特征，对图像上的每个像素进行提取，增加了计算的复杂度和工作量[10]。并且提取的特征不具有平移不变性，在手背静脉旋转平移的情况下没有很好的鲁棒性。

在旋转、平移变化的情况下，对手背静脉的局部纹理特征进行提取。应用强化学习的方法不断的寻求聚焦点，以聚焦点为中心提取图像的局部纹理信息。应用循环神经网络训练各局部区域之间的序列关系，决策下一时刻的聚焦点。该方法下的手背静脉识别方法，各局部信息的纹理和位置关系具有不变性，因此在发生旋转和平移变化时，要优于传统局部特征的提取算法，在多形态数据集下验证，手背静脉图像的识别率高达99.3%。

4 总结

本文针对手背静脉图像对旋转和平移变换识别率不高的问题，提出了基于循环神经网络的注意力模型。该模型下，手背静脉图像作为序列化的输入送入循环神经网络中，以时间序列输入不同聚焦点的局部手背静脉ROI图像，循环神经网络对不同时刻的局部特征进行训练，从而完成从局部到整体的手背静脉特征描述。在聚焦点的选取中，本文加入了正太分布的噪声，使得聚焦点的选取更加完整的描述手背静脉图像。对循环神经网络的层数进行了参数确定，从而确定了决策聚焦点的个数。在局部ROI区域截取时，对局部区域进行了三种尺度的约束，从而完成了从局部到整体的局部ROI区域的描述。应用强化学习中的策略梯度下降法和最优化的无偏估计交叉熵损失函数对网络进行训练，使得该方法下的网络代价值下降最快，并且趋于稳定。该方法下的手背静脉身份识别，在图像发生旋转和平移变化时，聚焦点提取的局部纹理信息不会随之改变，并且通过循环神经网络训练各局部图像之间的序列关系，对旋转、平移变化不敏感。本文提出的基于循环神经网络的注意力模型，在多形态手背静脉数据集上进行实验，识别率高达99.3%，验证了本文方法对手背静脉图像的旋转和平移变化具有很好的鲁棒性。