基于深度学习的帕金森病诊断

谭言丹，赵阳洋，赵光财

(1.中国科学院海西研究院 泉州装备制造研究所，福建 泉州 362200； 2.中北大学 电气与控制工程学院，山西 太原 038507；3.厦门理工学院 光电与 通信工程学院，福建 厦门 361024；4.中国科学院大学 计算机与控制学院，北京 100049)

0 引 言

研究表明，帕金森病(Parkinson’s disease，PD)患者会在早期呈现一定程度的书写障碍[1]。Pereira等提供了包含74例PD患者以及18例健康对照组的Spiral和Meander两种手绘数据集[2]，且该研究仅呈现了约67%的精度。然而，由于涉及丰富的样本类别，因此该数据集是目前最流行的基于手绘图诊断PD的数据集。Senatore等基于该数据集提出利用笛卡尔遗传规划来诊断PD，精度提升到76%[3]。Ali等报道由于该数据集不平衡，因此之前的研究无法获得优越的性能[4]。因而，Ali等基于该数据集开发了随机欠采样的方案来平衡AdaBoost训练过程，然而精度并未得到明显改善(Acc=76.44%)。总得来说，这些机器学习算法未能实现良好的分类性能。刘峰等采用卷积神经网络(convolutional neural network，CNN)来实现基于手绘图的自动PD诊断[5]，精度提升到82.68%。可以发现，深度学习在手绘图诊断PD的研究中取得了突破性的精度。然而遗憾的是，该研究[5]对图像进行了二值化处理，以至于图像的颜色深浅信息被丢失，这会导致模型无法学习手绘图的笔触压力和笔划时间等信息。因此为了应对挑战，本研究采用基于色彩信息保留的图像预处理和深度学习的方式来实现基于手绘图的PD诊断。

1 基于深度学习的诊断方法

1.1 PD手绘图数据集

在本研究中，我们采用博图卡图医学院采集的手绘图数据集[2]，每个患者或健康人提供4张手绘Spiral和4张手绘Meander。该数据集总共包含74例PD患者(59名男性，15名女性)的手绘图样本和18例健康对照组(12名女性，6名男性)的样本。其中，患者组包含69例右撇子和5例左撇子，平均年龄(58.75±7.51)，健康组包括16例右撇子和2例左撇子，平均年龄(44.22±16.53)岁。因此可以发现所获得的数据集是具有足够丰富的样本且没有年龄偏差。

1.2 图像预处理技术

为了尽可能保留图像的手绘特征信息，我们基于仅去除背景的方式以保留色彩信息用于后续的模型诊断。首先采用阈值分割的方法去除背景噪声和模板线条，方法如下

(1)

图1 图像预处理过程

然后，可以发现剩余较多白色杂边以及部分白点背景，这类似于椒盐噪声。中值滤波是一种非线性平滑技术，对和图像具有较大阈值差异的椒盐噪声具有较好的处理效果。考虑到噪声所占图片比例的变化，我们对图像进行两次中值滤波。第一、第二次分别设置3*3和7*7的滤波器。

1.3 构建卷积神经网络

相比于传统的神经网络，CNN能实现以局部感受视野的方式对图像自动卷积感兴趣特征域。然后，该模型可基于权值共享实现快速对相似特征的学习，最后CNN对图像进行池化操作以保留轮廓或者背景信息。在基于Meander和Spiral图的PD诊断研究中，我们为CNN设置了7层网络，如图2所示。

图2 基于PD手绘图的CNN模型结构

首先，我们设计一层具有80个10*10的二维卷积核的卷积层Conv1来初步学习手绘图的局部特征。由于所采用的手绘图是彩色图，因此所设置的通道为3。值得注意的是，进行分类的图片包含大量的背景，因此我们将图像传递到至下采样层Maxpooling1进行最大池化操作以保留图像的轮廓特征。在该模型中，我们为卷积和池化的步长分别设置为1和3。考虑到图像经过第一层的卷积和池化操作后图像变小，因此我们设置了具有40个5*5的卷积层Conv2来进一步进行特征抽象。同样地，最大池化MaxPooling2被采用来保留图像的轮廓信息。

进一步地，为了习得图像和标签之间的更多非线性关系，我们设置了两层全连接层F1和F2来捕捉这种关系。其间，Flatten层被设置来衔接卷积操作和全连接操作。值得注意的，tanh激活函数被报道有利于CNN收敛和实现更高精度[5]，因此tanh被用于每层CNN网络的激活。

1.4 构建胶囊神经网络

事实上，尽管具有快速感知兴趣特征域的能力，然而CNN的池化操作容易导致大量的信息丢失[7]，且由于标量化的特征学习方式以至于CNN无法对图像的方位整体结构特征进行学习。因此为了解决该问题，Sabour等提出具有矢量特征处理能力的CapsNet来动态路由特征与标签之间的关系[7]，在他们的研究中，CapsNet被报道具有优越的性能来识别Mnist手写数据。因此，为了捕捉本研究中Spiral和Meander图涵盖区分PD和健康人的结构差异特征，我们设计了基于两种手绘图的CapsNet诊断方案。

在我们的研究中，我们为CapsNet设置了4层网络。首先，我们设置了一层具有30个10*10的传统卷积层L1实现对图像特征的初步提取，tanh依旧作为激活函数。然后，我们设计了一层初级胶囊层L2实现对特征的进一步提取，该层分为两部分。第一部分为传统的二维卷积层，我们使用具有24*5的卷积核对图像的特征进行进一步抽象。然而这样获得的特征依旧为标量特征，为了保留图像的矢量信息，我们设置了第二个胶囊模块，其目标是将二维卷积层的输出转化为一个作为后续胶囊层的输入序列，具体而言是将卷积操作的输出转化为二维特征。然后，对于第i个胶囊，squashing函数被用来激活矢量输出

(2)

其中，φi表示第i个胶囊的输出，且公式的前一部分表示向量ψi的缩放比例。值得注意的是，该激活函数使用向量的方式对特征进行存储，这样即保留了矢量特征也将模长缩为[0,1)。模长表示胶囊表示的实体存在于当前输入的概率，0表示不会出来该类，1则反之。与传统神经网络网相比，初级胶囊层以矢量的方式标记了特征兴趣域，执行过程过图3所示。

图3 初级胶囊网络层执行的特征转化过程

如CNN一样，为了捕获特征与标签之间更多的非线性关系，我们设置了全连接胶囊层L3来衔接初级胶囊层和最后的分类层。不同于普通的全连接网络，我们使用squashing激活函数对学习后的信息进行矢量激活以进一步保留特征的矢量信息。最后，为了实现最终的PD诊断，我们设计了具有2个胶囊的数字胶囊层。在该层中，属于不同类别的概率将由不同胶囊进行编码，且其连接方式如图传统全连接层。不同的是一种动态路由协议被实施以路由L3与L4之间的信息，该路由过程将增强高度一致或者删除最弱的连接来捕获胶囊元之间的关系，图4展示了L3和L4之间的路由过程，其中i,j分别表示L3和L4的下标。

图4 CapsNet的动态路由过程

由图4可发现，一个耦合系数c被添加来实现增强或者删除层与层之间的连接。基于耦合系数，对于L4中第j个胶囊元的第k个输入获得方式如下

(3)

(4)

(5)

(6)

当s类的样本不存在时，Ts=0，否则Ts=1。此外，设置边界β+= 0.9和β-= 0.1来确保φj∈[0,>1]。α= 0.5被设置为正则化参数，以减少不存在对应类别的活动向量的影响。

1.5 基于Adam的神经网络训练

传统的梯度下降优化方法容易局限于鞍点使得模型无法实现最优性能。为了应对该问题，Adam优化器结合一阶、二阶动量加速梯度下降以进行值校正[8]，并结合RMSprop来自适应调整学习率使得模型获得鲁棒的分类性能，更新方式如下

(7)

2 实验结果及分析

在本章节中，我们展示和分析了研究结果以及评估模型性能的指标。为了呈现更加客观公正的结果，我们使用10次5折交叉验证[9]的平均结果来呈现最终结果。

2.1 实验结果呈现指标

在本研究中，所设计的问题是二分类问题，即诊断是否患有PD。基于该问题，首先精度(Acc)是一个重要的衡量指标，它通常由正确分类的样本数量与进行诊断的所有样本数量的百分比表示。此外，对于疾病的诊断而言，漏检往往比误判导致更大的代价，因而查全率(recall score，RS)也是该类分类模型的性能重要评估指标，它被定义为患有PD的样本被预测成PD的概率。此外，AUC(area under curve)作为一项模型性能评估指标通常用来衡量模型的泛化能力，它由ROC曲线下的面积计算获得[10]，其含义见表1。

表1 基于AUC的分类器性能评估[10]

事实上，深度学习的稳定性一直是值得担忧的问题，因为不同的初始化或者梯度下降的方向都会导致不一样的评估结果。因此我们引入标准差(STD)来呈现所开发的深度学习方案的Acc稳定性性能，计算如下

(8)

其中，m、k分别代表进行的实验次数和交叉验证实验的折数。此外，较低计算复杂度也是研究学者追求的性能之一，本文使用Time指标来表示获得最优模型的程序处理时间。

2.2 基于Spiral手绘图的诊断结果

基于Spiral数据集，我们提供CNN和CapsNet的诊断方案，图5显示了两者模型训练过程的Acc和Loss变化情况。首先就整体来看，CapsNet的Acc和Loss都分别呈现了平稳上升和平稳下降的趋势。就收敛快慢来看，CNN优于CapsNet，然而CNN在迭代5-15次之间Acc和Loss和都存在震荡，这表明该网络具备一定的不稳定性以至于模型存在过拟合风险。

图5 基于Spiral手绘图的训练Acc和Loss变化

进一步地，我们对模型的Acc、AUC、RS以及STD进行了对比，如图6所示。由图可知CapsNet就Acc、AUC和RS的性能而言均优于CNN，而STD未呈现明显的优势。表2呈现了进一步的数值化结果对比，可以发现除Time之外的指标，CapsNet都实现了更加优越的性能。值得注意的是相比CNN，CapsNet的AUC明显优于CNN，这体现了CapsNet能实现更加鲁棒的诊断性能。然而由于CapsNet相比CNN涉及到动态路由和矢量的特征处理方式，因此CapsNet需要花费更多的Time来获得最优模型。但总的来说，CapsNet实现了基于Spiral手绘图诊断PD的综合最优性能。

图6 基于Spiral的训练和测试的交叉验证性能对比

表2 基于Spiral的CNN和CapsNet数值结果对比

2.3 基于Meander手绘图的诊断结果

基于Meander图，我们依旧提供了两种模型的性能对比。图7展示了CNN和CapsNet的训练测试结果对比，可以发现CapsNet的Acc和Loss依旧呈现稳定的上升或者下降趋势，且训练过程的曲线几乎靠近测试曲线。而对于CNN而言，测试的Acc明显低于其训练的结果，且测试的Loss却呈现上升的趋势，这验证了CNN的训练阶段具有一定的过拟合风险。

图7 基于Meander手绘图的训练Acc和Loss变化

图8进一步展示了10次5折交叉验证的结果，可以发现就所有性能指标而言，CNN和CapsNet并未呈现明显的差异。进一步地，表3展示了两者模型的数值结果对比，可以发现，CNN就Acc、AUC、RS均只呈现了微弱的优势，且STD指标无差异。然而Time指标如同Spiral的实验结果一样，CapsNet花费了多于CNN约5倍的时间获得最优模型。因此，综合实验结果来看，CNN在基于Meander手绘图中实现了相对优越且花费更少时间代价的性能。

图8 基于Meander的交叉验证性能对比

表3 基于Meander的CNN和CapsNet数值结果对比

2.4 实验结果分析

基于2.2和2.3所呈现的实验结果来看，CapsNet实现了在耗费更多时间代价的情况下基于Spiral手绘图的最优整体分类性能，且这种性能优越性明显高于CNN，因此所牺牲的时间代价是值得的。而CNN仅呈现了相比CapsNet微弱的优势来基于Meander手绘图诊断PD，且时间代价低于CapsNet。此外值得注意的是，基于Meander实现的模型性能均低于基于Spiral对应的结果，且基于Spiral的CapsNet实现了基于手绘图的最优性能(Acc=95.7%)，这明显优于其它诊断方案。因此研究呈现两个结论：①相比Meander，Spiral手绘图能呈现更多差异来区分PD患者与健康对照组；②相比Meander，Spiral手绘图能具备更多的相对位置差异。在Spiral手绘图中，不同位置出错的情况具有更多差异性，而在Meander中，出错情况因位置的改变而呈现明显差异的概率相对较小。如图1所示，患者绘制的Spiral手绘图在不同位置呈现更多差异，比如随着曲线的移动逐渐大于或者小于弧形轨迹，而在Meander中不同位置的手绘错误呈现类似差异，大部分为溢出锯齿偏差。

总的来说，CapsNet和CNN分别是基于Spiral和Meander图诊断PD的推荐方案。然而综合而言，基于CapsNet的Spiral是基于手绘图诊断PD的最优方案。

3 结束语

PD的准确便捷诊断一直是关注的难题。在本研究中，我们提出了基于手绘图早期诊断PD的方案，其中患者只需提供自己手绘Spiral或者Meander的图既可以诊断是否患有PD，这对于远程、长期、便捷且低代价监测PD具有重大意义。本研究的主要贡献如下：

(1)研究表明Spiral具备相比Meander更多的差异来区分PD患者和健康人，且CapsNet是基于Spiral的最佳诊断方案。

(2)研究表明保留色彩信息的图像能实现基于手绘图诊断PD的更优性能，这能使得模型能学习笔划压力、空间、速度等特征，所实现的结果(Acc=95.7%)优于先前最优报道(Acc=82.7%)[5]。

总的来说，本研究实现了基于深度学习的PD诊断方案，并取得了一定的研究成果。为了辅助医生诊断PD，可进一步将所提出的方案开发成实时在线学习系统以学习最新采集的数据从而提升模型对新数据的泛化能力。此外，除书写障碍以外，PD患者还会在早期呈现一定的语音障碍，因此我们可以进一步结合多种信号提升PD诊断的精度。