基于轻量级3DUnet 神经网络的OCT 皮下汗腺提取研究①

王海霞 王如欣 张怡龙 陈朋 蒋莉③

（∗浙江工业大学计算机科学与技术学院 杭州310000）

（∗∗浙江工业大学信息工程学院 杭州310000）

0 引言

生物特征识别是一种利用人体生理特征或行为特征进行身份识别的技术。目前被广泛应用的生物特征有指纹、人脸、掌纹和步态等。由于指纹的易采集性、唯一性和永久性[1],指纹识别技术的应用最广泛、技术也最成熟。指纹特征可以分为3 个层次:一级特征包含脊线流等指纹的全局特征;二级特征包含脊分叉和末端等宏观细节特征,是目前指纹识别中主要采集的特征;三级特征包含脊线宽窄、疤痕和汗孔等微观细节特征[2-3]。汗孔作为一种稳定、高度可识别的三级特征,比其他指纹特征更难以损坏和模仿。汗孔已经被证明是有效的指纹识别信息[4],被应用于指纹脊线重建[5]、指纹高精识别[6]以及指纹活性检测[7]等。

目前汗孔的发展主要受到采集性能的限制。首先指尖皮肤老化或磨损时,采集到的指纹残缺或者指纹纹路模糊,导致该位置的汗孔缺失;其次部分指纹采集仪器的分辨率较低,汗孔采集分辨率至少需要1000 dpi[8-9];最后,汗孔的出汗与否影响采集到的汗孔状态。近年来,光学相干层析成像（optical coherence tomography,OCT）作为一种新型的指尖扫描技术获得广泛的关注和研究兴趣。OCT 是一种无损、高分辨率、非侵入性的成像技术[10],可以采集到皮下0～3 mm 的皮下组织体数据,其中包含角质层、汗腺以及活性表皮层。当指尖皮肤出汗或者磨损时,OCT 仍然可以精确、完整地采集到汗腺,且OCT 的汗腺分布具有很高的安全性[11]。传统意义上的汗孔是汗腺在表皮层的出口。为了区分皮上和皮下组织,本文将汗腺称为皮下汗腺,传统汗孔称为表皮汗孔,皮下汗腺截面产生的汗孔称为皮下汗孔。

表皮汗孔检测算法已经取得很大进展,可分为基于各向同性特征算法[12-14]、基于各向异性特征算法[15-16]和深度学习算法[9,17-19]等。基于各向同性特征算法[12-14]使用方向、大小一样的表皮汗孔模型检测汗孔位置,例如高斯差分（difference of Gaussian,DOG）模型等。此类检测算法并没有考虑表皮汗孔的形状、大小和开闭状态。基于各向异性特征算法[15-16]根据表皮汗孔的具体状态使用不同方向、大小的表皮汗孔模型检测汗孔位置,例如自适应孔隙模型（dynamic anisotropic pore model,DAPM）等。此类检测算法虽然能适应表皮汗孔的方向和大小,但面对各种表皮汗孔的未知状态仍存在许多不足。深度学习算法[9,17-19]使用卷积神经网络检测表皮汗孔位置并取得比较好的效果。表皮汗孔检测算法已经发展比较成熟,皮下汗腺的研究却没有很大进展。相比于表皮汗孔,OCT 采集到的皮下汗腺更加清晰、稳定且皮下汗腺更不容易被伪造。Sun 和Guo[20]提出用Frangi 滤波器检测皮下汗腺位置,并设置阈值二值化得到皮下汗腺。该算法受噪声和其他皮下组织影响比较大,容易检测出假阳性皮下汗腺。Ding 等人[21]利用皮下组织的三维空间关系,在Unet 神经网络的基础上提出BCL-U 网络用于提取指纹和皮下汗腺。BCL-U 网络并不专注于提取皮下汗腺,网络结构较为复杂,具有较大的参数量和计算量,不适合应用在小型指纹设备上。

指纹识别应用最有前景的是将指纹识别技术同智能芯片相结合设计出各种产品,比如具有指纹识别功能的手机、门禁等[22]。指纹识别设备实现小型化是主要趋势。为了将来能将皮下汗腺提取算法应用在计算能力有限的小型指纹设备上,本文采用网络结构相对简单、在医学图像领域应用广泛的3DUnet 神经网络[23]。3DUnet 神经网络可以直接提取皮下组织的三维特征,且保证体数据内图像与图像之间的空间连续性。由于OCT 仪器采集到的皮下组织数据量比较庞大,3DUnet 神经网络提取皮下汗腺依旧有较大的参数量和计算量。本文提出一种基于三维深度可分离卷积的轻量级3DUnet 神经网络来提取皮下汗腺。相比于已有的皮下汗腺提取算法,本文提出的算法具有以下2 个创新点:（1）本文提出的轻量级3DUnet 神经网络是目前唯一专注于皮下汗腺提取的神经网络算法,能很好地避免噪声和其他皮下组织影响;（2）本文将深度可分离卷积扩展到三维空间,实现3DUnet 神经网络轻量化,保证网络性能的同时参数量和计算量大幅度减少。

1 算法总体设计

本文提出基于三维深度可分离卷积的轻量级3DUnet 神经网络从高分辨率的OCT 体数据中提取皮下汗腺。本文算法分为3 个部分:（1）数据预处理,包括B-scan 图像去噪、数据感兴趣区块提取及数据扩增;（2）基于轻量级3DUnet 神经网络的皮下汗腺提取;（3）皮下汗腺到二维汗孔的映射。

1.1 OCT 数据介绍与预处理

OCT 仪器可以采集到皮下0～3 mm 的皮下组织体数据。如图1（a）所示,OCT 每次A-scan 都会沿Z 方向采集一列皮下组织数据,包含500 像素。每张B-scan 图由1800 次A-scan 组成,一个完整的皮下组织体数据需要连续扫描1400 张B-scan 图,体数据共包含1800 ×1400 ×500 像素。

图1 皮下组织数据

指尖的局部皮下组织结构如图1（b）所示,OCT能比较清晰地采集到皮下汗腺,皮下汗腺是位于表皮层内部的管状腺体。皮下汗腺在表皮层的出口就是表皮汗孔的位置。OCT 采集到的B-Scan 图中含有大量的散斑噪声,这部分噪声对皮下汗腺体提取有较大的影响,本文采用BM3D（block-matching and 3D filtering）算法[24]对B-Scan 图进行去噪处理。图2（a）、（b）展示去噪前后的局部B-scan 图。

在完整的皮下组织体数据中,皮下汗腺尺寸较小,有用信息在整个体数据中占比较低。此类数据既不利于神经网络训练效果,同时也增加神经网络训练时产生的计算量。为了高效地提取皮下汗腺区域的体数据,同时减少硬件的计算负担,本文首先对完整的皮下组织体数据进行感兴趣区块提取,得到一系列80 ×80 ×80 的皮下组织数据块。每个数据块包含坐标（x∗,y∗,z∗） 到坐标（x∗+79,y∗+79,z∗+79） 之间的数据,其中滑块起始顶角坐标x∗与y∗计算公式为

其中,I（x,y,z） 为体数据I位于坐标（x,y,z） 的像素灰度值,G（x,y,z） 为对应的灰度值梯度。

由于角质层轮廓处于灰度值梯度最大的位置,在梯度矩阵G中,将每个（x,y） 那一列梯度最大值所在的坐标（x,y,z） 作为角质层轮廓位置。为了避免个别角质层轮廓不准确所带来的不良影响,增强算法抗干扰能力,滑块起始顶角的z∗坐标等于（x,y）、（x,y +1）、（x,y +2） 及（x,y +3） 对应的4 个角质层轮廓z坐标的均值。图2（c）展示z轴方向上的切块示意图,感兴趣区块的顶角位于角质层轮廓上。本文采用图像旋转、图像翻转等扩增样本量,更好地避免神经网络过拟合的问题,进而提高神经网络的分割效果。

图2 预处理步骤

1.2 轻量级3DUnet 神经网络

标准3DUnet 神经网络[23]是一个端对端的三维神经网络,在三维医学图像分割领域有着广泛的应用。3DUnet 神经网络在提取特征时能保证图片之间的空间连续性,因而适用于皮下汗腺的分割。由于3DUnet 神经网络提取皮下汗腺会有比较大的参数量和计算量,不利于应用到小型指纹设备。因此本文提出基于三维深度可分离卷积的轻量级3DUnet 神经网络提取皮下汗腺,在保证神经网络预测精度的情况下,减少模型参数和计算量。

1.2.1 三维深度可分离卷积

为了减少3DUnet 神经网络的参数量和计算量,实现3DUnet 神经网络轻量化,本文在Xception[25]模型的深度可分离卷积思想基础上,提出利用三维深度可分离卷积代替标准三维卷积核实现3DUnet 神经网络轻量化的方法。

三维深度可分离卷积可以分解成2 个过程:三维深度卷积和三维逐点卷积。如图3 所示,在三维深度卷积过程中,输入特征图H × W × D的通道数为m。本文采用m个不同的k×k×k卷积核分别对这m个输入通道进行卷积运算,即一个k × k × k卷积核对应1 个输入通道,各通道完成卷积运算后级联成通道数为m的输出特征图。在三维逐点卷积过程中,输入特征图H × W × D的通道数为m,采用1 ×1 ×1 的卷积核将m个通道的特征图加权结合成1 个通道的特征图H ×W ×D,则n个1 ×1 ×1 卷积核卷积运算之后,得到通道数为n的输出特征图H× W × D。整个三维深度可分离卷积模块的特征提取效果相当于3Dunet 神经网络[23]中标准k × k × k卷积提取效果。

图3 三维深度可分离卷积

整个三维深度可分离卷积运算的参数量和计算量为

其中,C1表示三维深度可分离卷积运算的参数量,J1表示三维深度可分离卷积运算的计算量。卷积运算的步长为1,输入特征图的通道数为m,大小为H×W×D,输出特征图的通道数为n,大小仍为H×W× D。

为了到达同样的特征提取效果,如果只采用标准k ×k ×k卷积运算的过程需要如下的参数量和计算量。

其中,C2表示标准三维卷积运算的参数量,J2表示标准三维卷积运算的计算量。

相比于只采用标准k × k × k卷积运算,采用三维深度可分离卷积运算的参数量和计算量只有:

本文采用3 ×3 ×3 大小的卷积核,n采用32、64或128,参数量和计算量减少14～23 倍。

1.2.2 基于三维深度可分离卷积的轻量级3DUnet网络框架

3DUnet 神经网络是一种端对端的三维分割神经网络,采用三维卷积提取图像的三维特征,其三维特征的空间连续性对于提取皮下汗腺较为重要。此外3DUnet 神经网络采用跳跃连接的方式将特征提取阶段的特征图和还原阶段的特征图级联到一起,提高分割的准确率。为了使皮下汗腺检测算法更容易实现在小型指纹设备上,本文提出基于三维深度可分离卷积的轻量级3DUnet 神经网络,减少3DUnet 神经网络提取皮下汗腺时产生的参数量和计算量。

本文的轻量级3DUnet 神经网络使用三维深度可分离卷积模块代替3DUnet 神经网络中所有的标准卷积模块。图4 对比标准卷积模块和三维深度可分离卷积模块,如图4（a）所示,标准卷积模块由一个标准的卷积层、批归一化层 （batch normalization） 和线性整流函数（ReLU） 组成。如图4（b）所示,三维深度可分离卷积模块由3 ×3 ×3 的深度卷积和1 ×1 ×1 的点卷积组成,在每个卷积层之后跟随批归一化层和线性整流函数。

图4 标准卷积模块与三维深度可分离卷积模块对比

图5 展示完整的端对端的轻量级3DUnet 网络结构和模型参数。由于皮下汗腺体的尺寸较小,过多的池化层会导致皮下汗腺的信息丢失,本文轻量级3DUnet 神经网络仅用三层深度。轻量级3DUnet神经网络分为图像特征提取阶段和特征还原阶段。在特征提取阶段,包含2 个不同深度的特征提取单元,每个单元各包含2 个三维深度可分离卷积模块和1 个池化层。每个单元特征提取之后图像通道数加倍,尺寸减半。经过特征提取阶段和特征还原阶段之间的2 个三维深度可分离卷积模块提取特征之后,在特征还原阶段实现三维特征图像尺寸还原。在特征还原阶段,包含2 个不同深度的特征还原单元,每个单元各包含2 个三维深度可分离卷积模块和1 个上采样层。每个单元特征还原之后图像通道数减半,尺寸加倍。为了帮助还原皮下汗腺的细节信息,本文继续采用长跳跃连接将编码阶段相同深度下的特征图级联到一起,用1 ×1 ×1 卷积缩减特征图像通道数,并用sigmoid 函数将网络决策结果压缩为概率,值为0～1 之间。

图5 基于三维深度可分离卷积的轻量级3DUnet 神经网络结构

1.2.3 网络训练

网络训练时采用Adam 优化作为参数优化器,损失函数采用Dice 系数差异函数DiceLoss[26]。DiceLoss 把一个类别的所有像素作为一个整体去计算损失函数值。DiceLoss 直接把分割效果评估指标作为损失函数去监督网络,并且计算交并比时忽略大量背景像素,进而解决正负样本不均衡的问题,所以收敛速度很快。DiceLoss 计算公式为

其中,N表示三维图像像素个数,pi表示预测后像素点i为皮下汗腺的概率,值为0～1。gi表示像素点i真实为皮下汗腺的概率,值为1 或0。

1.2.4 网络测试及后处理

神经网络测试时,将去噪后的80 ×80 ×80 三位体数据输入轻量级3DUnet 神经网络,预测输出大小为80 ×80 ×80 的皮下汗腺概率图P。根据最大间类阈值法[27]确定阈值thr。对皮下汗腺概率图P进行二值化操作,得到皮下汗腺区域图M,表达式如式（10）所示。

因为OCT 采集过程中产生的噪声的灰度值非常接近皮下汗腺的灰度值,且皮下汗腺与背景的灰度值对比度不高,神经网络不能很好地区分出噪声和皮下汗腺,所以二值化后的皮下汗腺区域图M中存在部分假阳性皮下汗腺。其中皮下汗腺的体积是相近的,由噪声引起的假阳性皮下汗腺的体积普遍较小,因此本文将皮下汗腺区域图M中体积小于120 的皮下汗腺判定为假阳性,并去除假阳性皮下汗腺区域。

1.3 皮下汗腺映射

目前在指纹识别领域,表皮汗孔应用算法已经取得很大的进展[5-7],皮下汗腺还没有成熟的应用算法。为了将神经网络提取到的皮下汗腺结合表皮指纹应用在已有的汗孔算法上,本文将皮下汗腺垂直映射到表皮指纹,获得映射汗孔。图6 展示皮下汗腺映射示意图。

图6 皮下汗腺映射示意图

首先需要获得每个皮下汗腺的质心坐标P（x′,y′,z′）,本文采用计算皮下汗腺所有像素点坐标的平均值作为质心坐标,计算过程为

其中,lp表示某个皮下汗腺,i是该皮下汗腺上的像素点,（xi,yi,zi） 是像素点i的坐标,n是该皮下汗腺的像素点个数。

其次,如图1（a）所示,在接触式OCT 仪器采集到皮下组织体数据中,绝大部分表皮指纹面都是水平的,进而OCT 三维皮下指纹的表皮层在坐标系中几乎平行于XOY平面,因此将皮下汗腺的质心坐标P（x′,y′,z′） 映射到二维表皮指纹图像上得到的映射汗孔P′的坐标为（x′,y′）。

2 实验结果分析

本节对皮下汗腺提取的结果进行分析。2.1 节介绍实验数据集;2.2 节讨论小样本量情况下,3DUnet 和轻量级3DUnet 的皮下汗腺轮廓提取精度的对比;2.3 节讨论大样本量的情况下,在垂直映射之后,两种神经网络算法的皮下汗腺提取准确率的对比;2.4 节对比两种神经网络算法的模型参数量和计算量。

2.1 数据集与实验环境

本文实验数据均采集自OCT 指纹采集仪器[28],实验数据集总共包含36 个手指,分为D1 和D2 两部分。

数据集D1 包含6 组不同手指的三维OCT 体数据。为了得到更好的训练效果,每组OCT 体数据选用中间的连续200 张质量较好的B-scan 图像。每张B-scan 图像都手工标注皮下汗腺。在2.2 节用D1的标注数据进行皮下汗腺轮廓提取精确度的评估。

数据集D2 包含30 组不同手指的三维OCT 体数据。每组三维OCT 体数据有1400 张连续的Bscan 图像,大小为1800 ×1400 ×500,用于提取皮下汗腺。由于OCT 体数据缺少对应的表皮汗孔图,而表皮汗孔是皮下汗腺在表皮层的出口,皮下汗孔是皮下汗腺的截面,本文将皮下汗腺映射到皮下汗腺截面图获得映射汗孔,进而进行大样本量的皮下汗腺提取准确率评估。每个体数据在不同深度截取3张皮下汗腺截面图,截面图尺寸为1800 ×1400。图7展示由某一深度截取出来的皮下汗腺截面图。本文将皮下汗腺截面图中的汗孔称为皮下汗孔。对皮下汗腺截面图中的汗孔进行标注,用于皮下汗腺提取准确率评估。手工标注需要尽可能将皮下汗腺截面图中所有的皮下汗孔标注出来,并且确保标注的皮下汗孔是真实存在的。手工标注皮下汗孔时综合观测该手指3 张不同深度的皮下汗腺截面图以及对应体数据信息,将比较明显的皮下汗孔标注出来。以手工标注的皮下汗孔作依据,判断提取的皮下汗腺的真假。在2.3 节根据真假皮下汗腺比例用来比较不同方法的皮下汗腺提取准确率。

图7 某一深度的皮下汗腺截面图

本文实验硬件环境包含CPU 处理器Intel i9-10900X,显卡NIVIDA RTX2080Ti,显存11 GB。软件环境包含Python 3.6.10,神经网络库Keras 2.2.4,Cuda 10.1.105,cuDNN 7.6.5。

2.2 皮下汗腺轮廓提取精确度对比

皮下汗腺轮廓提取精度对比实验采用数据集D1,分别使用基于三维深度可分离的轻量级3DUnet神经网络和深度相同的3DUnet 神经网络提取皮下汗腺。为了合理地评估皮下汗腺轮廓的提取精度,本文采用三重交叉验证策略,即每次将数据集D1分为2 部分,其中4 个手指数据用于训练神经网络,另外2 个手指数据用神经网络提取皮下汗腺,与手工标注的皮下汗腺进行轮廓提取精度验证。为了定量地评估皮下汗腺轮廓提取精度,本文采用交并比（intersection-over-union,IOU）和Dice 分数,计算公式如下所示。

其中,S表示手工标注的皮下汗腺区域,S′表示神经网络提取出的皮下汗腺区域,S∩S′表示手工标注的皮下汗腺与神经网络提取出的皮下汗腺的交集,代表神经网络提取的皮下汗腺中真实属于皮下汗腺的区域,S∪S′表示手工标注的皮下汗腺与神经网络提取出的汗腺的并集,|∗|表示该区域体积即该区域皮下汗腺的像素个数。两个指标都是越高表示皮下汗腺轮廓提取精度越高。表1 给出了分割精度对比结果。

表1 展示本文提出的神经网络与3DUnet 神经网络的对比结果。实验结果表明,不论是IOU 还是Dice 指标,本文提出的轻量级3DUnet 神经网络都与3DUnet 神经网络性能基本一致甚至略好。在IOU 指标上,轻量级3DUnet 网络比标准3DUnet 高出1.8%,在Dice 指标上,轻量级3DUnet 神经网络比标准3DUnet 高出1.4%。结果表明三维深度可分离卷积块相比于标准卷积并没有降低皮下汗腺轮廓提取精度,甚至效果略有优势。图8 显示轻量级3DUnet 神经网络和3DUnet 神经网络的皮下汗腺提取效果。从图8 中可以看出,大多数情况下,轻量级3DUnet 神经网络和3DUnet 神经网络结果基本一致;少数皮下汗腺区域在轻量级3DUnet 神经网络能提取到,而在3DUnet 神经网络并没有提取到。总体而言,三维深度可分离卷积和标准卷积对皮下汗腺的特征提取效果基本一致。

图8 不同方法皮下汗腺提取结果

表1 不同方法在皮下汗腺分割精度对比

2.3 皮下汗腺提取准确率对比

在2.2 节讨论的皮下汗腺轮廓提取精度实验需要人工标注三维数据,想要获得大样本量的标注数据是极其困难的。为了进行大样本数据对比,本节对比实验采用数据集D2。在对比皮下汗腺提取准确率之前,本文先将三维皮下汗腺映射到皮下汗腺截面图,映射得到的汗孔称为映射汗孔。图9 给出了皮下汗腺的映射结果。

图9 皮下汗腺映射汗腺截面图

在皮下汗腺映射得到的映射汗孔的正确性判断中,本文采用脊线宽度一半作为距离阈值[17]。当映射汗孔与最近的真实汗孔的欧氏距离小于等于阈值时,判断该映射汗孔为正确检测到;当映射汗孔与最近的真实汗孔的欧氏距离大于阈值时,判断该映射汗孔为错误检测到。根据本次对比实验30 个指纹的平均脊线宽度,本文距离阈值采用9.8989 像素。

本文采用正确检测率（RT）和错误检测率（RF）指标定量评估轻量级3DUnet 和3DUnet 的皮下汗腺提取准确率。正确检测率（RT）是正确检测到的映射汗孔个数与标注的真实皮下汗孔总数所占比例,错误检测率（RF）是错误检测到的映射汗孔个数与神经网络检测到的汗孔总数所占比例。表2 给出了皮下汗腺提取准确率对比结果。

表2 皮下汗腺提取准确率对比

表2 展示了基于三维深度可分离卷积的轻量级3DUnet 和3DUnet 神经网络的皮下汗腺提取准确率。实验结果表明,轻量级3DUnet 神经网络的正确检测率（RT）比3DUnet 神经网络高出2.5%,但轻量级3DUnet 神经网络的错误检测率（RF）也比3DUnet 神经网络高出2.1%。神经网络轻量化后,模型参数有所下降,模型性能也有所影响,但事实证明,深度可分离卷积相比于标准卷积仅仅只是参数量减少,整体性能基本一致。

2.4 模型性能对比

本节为了全面对比轻量级3DUnet 和3DUnet 神经网络模型的性能表现,一方面记录损失函数Loss与准确率Accuracy 随训练轮次的变化趋势,另一方面采用模型参数量、空间复杂度和时间复杂度作为模型对比指标。

准确率Accuracy 表示提取出的真阳性皮下汗腺和真阳性背景体积之和在三维体数据中的占比。准确率越高表示模型训练得越好。准确率计算公式如式（14）所示。

其中,TP表示提取正确的真阳性皮下汗腺区域,TN表示提取正确的真阳性背景区域,FP表示漏提取的皮下汗腺区域,FN表示误提取的背景区域。

图10 展示了神经网络训练时损失函数及准确率随轮次的变化趋势。对比Loss 和Accuracy 训练变化曲线可知,轻量级3DUnet 神经网络的收敛速度较快。对比两种模型的Loss 和Accuracy 最终稳定值,轻量级3DUnet 略差但二者相差不大,并且轻量级3DUnet 神经网络稳定阶段变化波动较小,稳定性更高。结果证明,三维深度可分离卷积模块可减少模型参数量会对神经网络训练造成一定影响,但二者变化趋势基本一致。

图10 损失函数Loss 及准确率Accuracy 变化趋势图

空间复杂度,即神经网络模型进行一次完整的前向传播所发生的内存交换总量。空间复杂度包含模型参数的内存占用与每层输入特征图的内存占用之和。轻量级3DUnet 神经网络的空间复杂度计算公式如式（15）。

其中,变量D表示神经网络所具有的卷积层数,Hl×Wl ×Dl表示第l层卷积层的特征图像尺寸,k表示卷积核尺寸,ml表示第l层卷积层的输入图像的通道数,nl表示第l层卷积层的输出图像的通道数。

3DUnet 神经网络的空间复杂度计算公式为

时间复杂度,即模型进行一次完整的前向传播所发生的浮点运算次数。轻量级3DUnet 神经网络的时间复杂度计算公式为

3DUnet 神经网络的时间复杂度计算公式如下:

表3 展示了轻量级3DUnet 和3DUnet 神经网络在皮下汗腺提取工作中的性能对比。对同一数据集进行训练与测试,轻量级3DUnet 神经网络更容易在计算能力有限的小型指纹设备上实现。综合2.2节、2.3 节和2.4 节的实验结果,在不降低皮下汗腺轮廓提取精确度和皮下汗腺提取准确率情况下,轻量级3DUnet 神经网络的参数量只有3DUnet 神经网络的5.1%,空间复杂度也有一定降低但降低幅度不大,原因是空间复杂度中的特征图像内存占用数量级比参数内存占用数量级高1 ×102～1 ×104倍,而特征图像内存占用在两个神经网络上是一样的,故参数量减少的优势在空间复杂度上体现并不明显。总体而言轻量级3DUnet 神经网络进行一次完整的前向传播所发生的内存交换总量是有所减少的。轻量级3DUnet 神经网络的时间复杂度只有3DUnet 神经网络的6.2%,表明轻量级3DUnet 神经网络进行一次完整的前向传播所发生的浮点运算次数只有3DUnet 神经网络的6.2%,大幅减少了计算量。实验结果证明,轻量级3DUnet 神经网络在训练时损失函数和准确率变化趋势与3DUnet 基本一致,但不论是计算量还是内存占用量都有明显减少,为移植到小型指纹仪器上提供了可行性。

表3 模型性能对比

2.5 皮下汗腺映射验证

为了验证皮下汗腺可以解决表皮汗孔采集困难的问题,本文将皮下汗腺映射到表皮指纹上。图11给出了映射结果。

图11 皮下汗腺映射表皮指纹

由实验结果可知,以指纹上比较清晰的表皮汗孔为依据,三维皮下汗腺映射到表皮指纹得到的映射汗孔能比较准确地还原真实表皮汗孔的位置。在指纹有褶皱、疤痕的位置,表皮汗孔已经不明显,但皮下汗腺依旧能精确提取到,并通过皮下汗腺映射获得皮下汗孔的位置。结果证明,皮下汗腺提取与映射得到的映射汗孔位置并不受指纹疤痕等状态的影响,提取效果更加稳定。

3 结论

针对指尖皮肤磨损或出汗导致表皮层汗孔采集困难的问题,本文提出基于三维深度可分离卷积的轻量级3DUnet 神经网络提取皮下汗腺。首先,将深度可分离卷积扩展到三维空间,使用三维深度可分离卷积实现3DUnet 神经网络轻量化。其次,采用皮下汗腺映射的方式获得对应表皮汗孔位置。实验结果表明,相比于3DUnet 神经网络,轻量级3DUnet 神经网络在不降低皮下汗腺轮廓提取精确度和皮下汗腺提取准确率的情况下,参数量和时间复杂度分别仅有3DUnet 的5.1%和6.2%,空间复杂度也有所下降。不论是计算量还是内存占用量,轻量级3DUnet 神经网络都更适用于小型指纹设备。同时映射验证实验也表明,在表皮指纹有疤痕的情况下,皮下汗腺映射到表皮指纹能很好地展示表皮汗孔的位置。

本文提出轻量级3DUnet 神经网络提取皮下汗腺之后,需要将皮下汗腺应用到指纹匹配中,提高指纹匹配准确率。目前还没有皮下汗腺应用在指纹匹配中的相关算法。针对该问题,本课题组未来将在皮下汗腺应用算法方面展开研究工作。