融合先验分布的多表征眼底稀有病症识别

窦全胜,刘 欢,李丙春,刘 静,姜 平

(1.喀什大学 计算机科学与技术学院,新疆维吾尔自治区 喀什 844008；2.山东工商学院 计算机科学与技术学院,山东 烟台 264005)

0 引 言

依托于海量标注数据,深度学习在图像识别领域取得了巨大成功。近年来,相关领域研究者提出运用深度学习技术[1-2]处理医学图像,实现病变自动筛查。然而由于医学影像涉及病人隐私,标注效率低,代价高,多数医学应用场景缺乏足够的标注数据,例如糖尿病视网膜病变(DR：Diabetic Retinopathy),存在部分稀有病症图像样本较少,难以充分训练深度网络模型,进而导致网络模型在预测时会忽略这些稀有病症,使此类模型在眼底病症自动筛查的应用中仍存在瓶颈。

为满足深度网络模型对样本数量的要求,一些方法使用图像增强技术,如拉伸、旋转、缩放或随机裁切等方式增加样本数量,这些方法对某些图像分类问题,取得了一定的性能提升。但对眼底图像,多数病症特征在医学影像中较为细微,传统图像增强技术容易造成病症特征失真甚至丢失,且只从形状上做改变,难以保证样本的多样性。因此,基于简单的数据增强方法训练得到的模型,并不适合眼底稀有病症图像的识别。

小样本学习(FSL：Few-Shot Learning)[3]为解决医学影像数据样本不足的问题提供了新思路,笔者提出一种融合先验分布的多表征(MFPD：Multi-representation Fused with Prior Distributions)眼底稀有病症识别方法,在预训练模型的基础上进行微调得到嵌入模型,获取嵌入特征的先验分布,进一步将嵌入特征映射到不同特征空间以获得深层特征。在交叉熵损失的基础上,加入散度损失,增加不同视角特征的差异性,使稀少的图像样本得到充分利用。最后采用OPHDIAT(Ophtalmologie-Diabète-Télémédecine)眼底图像数据集,将笔者方法与其他方法进行对比,实验结果证明了笔者方法对稀有病症图像的分类性能有所提升。

1 相关工作

眼底稀有病症图像识别属于小样本学习问题,是近年机器学习领域研究的热点。Ma等[4]提出了AffinityNet模型,该模型使用K近邻注意力池化层提取数据局部特征,采用半监督学习对模型进行训练,该模型对疾病分类预测具有较好的性能。Khodadadeh等[5]提出了无监督元学习的小样本图像分类方法,该方法首先对图像数据进行聚类,之后通过随机采样和增强生成训练数据的方式进行元学习,在小样本学习数据集Omniglot和Mini-Imagenet上进行实验,相对于有监督方法,该方法虽然精度有所降低,但所需标注样本的数量减少了几个数量级。Fei-Fei等[6]提出了一种解决样本不足问题的方案,设计类别分布的概率模型,当训练样本数量较少时,其通过概率分布生成信息丰富的特征表达,提高模型在小样本条件下的识别结果。Dhillon等[7]利用标准交叉熵损失函数训练深度神经网络并进行微调,该方法在数量较多的小样本类中也可产生较高精度。Tian等[8]在元训练集上学习一个有监督或自监督的特征表示,并拟合一个线性分类器,该方法并不对深度网络进行微调,简单高效,性能并未因此减弱。在小样本分类任务中,使用不同方法改进卷积神经网络,可提高小样本图像的分类性能。景海婷等[9]利用CNN(Convolutional Neural Networks)实现了一个小样本域自适应模型,解决了样本缺少标注的问题,并通过实验验证了模型在一定条件下具有较好的性能。汪航等[10]以SAR(Synthetic Aperture Radar)图像分类为背景,以CNN为基础,结合自编码器,构造深度卷积自编码结构,在样本稀少的场景中,该结构比传统卷积神经网络更加有效。同样以CNN为基础,任伟建等[11]提出了一种利用迁移学习,解决样本不足的学习模型,实验结果表明,所提方法较一些传统方法在各项性能指标上有不同幅度的提升。李鹏松等[12]利用阈值分割法保留图像特征,且基于AlexNet网络构造新的CNN模型,与其他网络模型相比,该方法具有更优的结果。对高光谱图像的小样本分类任务,刘万军等[13]提出了变维CNN模型,根据维度变化提取光谱特征,减少模型参数量的同时,在光谱图像分类任务中也表现出较好的效果。为解决稀有病症的识别问题,Lamardg等[14]设计了一种小样本学习框架,该框架在CNN的基础上,使用无监督概率模型进行罕见条件检测,该方法的特别之处在于融合了迁移学习和多任务学习的思想,但是比二者性能都有所提升。

笔者提出了融合先验分布的多表征眼底稀有病症识别的网络模型。该模型利用训练好的嵌入模型获取图像的先验分布,并模拟人类从多角度观察事物的能力,将嵌入特征映射到不同深层特征空间,生成对图像的多特征表达,在交叉熵损失的基础上,加入散度损失,增加不同特征表示的差异性。将特征嵌入的先验分布与深层特征表达相融合,作为病症决策的依据,预测不同病症概率分布。

2 MFPD模型

MFPD模型包括两部分：1) 使用图像样本训练嵌入模型,并利用嵌入特征计算病症图像的先验分布；2) 融入先验分布的多表征决策,将嵌入特征映射到不同空间,获得样本图像的多表征表达,与先验分布融合后,并对图像类别进行决策。

2.1 嵌入特征和先验分布

用D表示眼底图像集合,不妨设D中存在N种病症：{cn},n=1,…,N,任意图像I∈D,yI,n∈{0,1}标记了图像I是否包含病症cn,若yI,n=1表示病症存在,若yI,n=0则表示病症不存在。嵌入模型Fembed如图1所示。

图1 嵌入模型FembedFig.1 Embedded model Fembed

图1中,Fembed通过预训练模型,如Inception-v3、Inception-v4和ResNet-50等,提取图像I的浅层特征,浅层特征经全连接后可得图像的嵌入特征τI,在嵌入特征基础上,计算获得图像的先验分布。

(1)

对任意图像I,通过Fembed训练后可得与其对应的嵌入特征τI,将D中N种不同症状分成不同的聚簇G={Gl,l=1,…,N},若一幅图像包含多种病症,则其可以被划分至多个聚簇中。如下

(2)

(3)

bl=max(Distance(Cl,(τI)I∈G)

(4)

其中σ为高斯核函数,bl为聚簇Gl空间中心Cl与该聚簇所有样本的最大距离。

以图像I为输入,通过嵌入模型Fembed中的嵌入特征τI可获得与之对应的先验分布pn|I,基于嵌入特征,设计网络结构进行多特征决策,以提升模型对稀有病症图像的识别性能。

2.2 融入先验分布的多表征决策

在上述基础上,进一步将嵌入特征τI映射至不同深层特征空间,以获取不同视角的图像特征,并融入图像的先验分布进行决策,从而使稀有样本得到更充分的利用,以此缓解样本数量不充分对模型的不利影响。笔者使用图2所示的网络结构将嵌入特征映射到不同深层特征空间。

图2中,以嵌入模型Fembed获取的嵌入特征τI为输入,利用卷积、池化等多层网络提取图像深层特征,并将获得的特征表示进行串联,生成关于同一图像的多角度特征描述向量,输送到输出端后,预测图像I包含每种病症的概率分布qI,n,结合先验分布pn|I,可得模型最终预测结果,即

图2 融合先验分布的多表征眼底稀有病症识别的深度网络结构Fig.2 Deep network structure for recognition of rare fundus diseases with multi-representation fused with prior distributions

(5)

由式(5)可知,图像I含有病症cn的先验概率越大,则最后预测结果中包含该病症的概率就越大。

嵌入特征τI映射成多个不同的深层特征向量γI,j,j=1,…,d,d为深层特征向量个数。定义关于图像I深层特征向量的散度损失

(6)

从式(6)中可看出,散度损失Lmap反映了图像I深层特征向量γI,j,j=1,…,d的多样性,当图像I的深层特征向量之间距离较远时,则表明γI,j之间差异性增大,可获得图像不同视角的特征。

将深层特征向量生成关于同一图像的特征表示后,经softmax函数获得概率分布,并与先验分布结合后可得图像的预测结果。笔者将MFPD网络模型的损失函数L定义如下

(7)

L=αLoutput+βLmap

(8)

通过预训练模型提取图像I的嵌入特征,将其输入到多层卷积、池化层以获得深层特征,与获得的先验分布结合后,并加入散度损失Lmap驱动模型以不同角度提取图像特征,增加不同空间中深层特征的多样性,有效缓解稀有病症图像样本数量不足,模型无法准确判断的不利影响。

3 实 验

使用OPHDIAT项目中的DR筛查图像集测试模型性能,OPHDIAT项目共包含40个DR筛查中心,从2004-2017年底,共完成了164 660次筛查,收集了763 848幅图像。经7个专家标注,共得出41种眼底病变状况,筛选出121 091张图像作为数据集D。为确保“正常图像”确实是非病理性的,对正常图像进行目视检查,并丢弃了包含异常的图像,其中包括16 955张正常图像。在实验中,设置常见病症种类数M为11～41的6种状况,即M∈{11,16,21,26,31,33},则相应稀有病症种类数R′∈{30,25,20,15,10,8},稀有病症图像样本的数量统计结果如表1所示。

表1 稀有病症样本数量统计Tab.1 Statistics of rare disease samples

3.1 数据集预处理

为满足笔者提出嵌入模型输入维度的要求,首先对图像进行预处理,包括尺寸和外观颜色的标准化,以消除拍摄设备不同导致的图像差异。根据相机视野大小定义矩形眼底区域ROI(Region of Interest),并将ROI重设为模型输入维度；在YCrCb颜色空间中进行图像颜色的标准化,保持Cr和Cb不变,仅对代表图像亮度的Y组件进行处理,消除亮度差异,并将图像转换成RGB图像,预处理结果如图3所示。

图3 图像预处理结果Fig.3 Image preprocessing results

3.2 嵌入模型与参数的选择

由于一个眼底病变患者可能同时患有多种眼底病症,因此一幅眼底图像中可能包含多种病症状况：0、1或多种(≤41)。因此笔者所提出的眼底病症预测属于多标签分类问题,等同于41个相互独立的二分类问题,每个二分类处理一种病症状况。对每种病症cn,用ROC曲线下的面积评价模型性能。

3.2.1 嵌入模型Fembed的选择

笔者使用M=11时数量最多的稀有病症图像样本对如下深度网络模型及其组合进行实验,以选择最适合的网络结构：Inception-v3[15]、Inception-v4[16]、ResNet-50、ResNet-101、ResNet-152[17]和NASNet-A[18],这些模型首先在ImageNet上进行预训练,然后利用本文的训练集对参数进行微调。同时,对两种模型结构组合的预测性能进行测试,将两者的嵌入特征连接后用于最终预测。利用验证集中的M种病症图像对上述模型进行验证,每种模型的平均AUC(Area Under Curve)如表2所示。

表2 各种CNN结构及其两两组合在验证集上对M种数量病症图像预测的平均AUCTab.2 Average AUC of M kinds of disease images predicted by various

表2中,对角线是单一模型结构的平均AUC分值,对角线之上是模型的组合分值,可以看出,在这些深度网络模型及其组合中,Inception-v3、Inception-v4及Inception-v3+Inception-v4这3种架构的平均AUC较高,因此笔者选择这3种结构作为嵌入模型Fembed进行实验。

3.2.2 参数选择

为实现多角度观察,在嵌入特征τI的基础上,将τI并行映射到多个不同的低维空间得到特征向量γI,j,j=1,…,d,不同的嵌入模型Fembed和不同的映射数P组合构成不同的深度网络,并用包含41种病症的全部图像训练、验证并测试模型性能,其分类性能如图4所示。

图4 3种模型与不同维度映射后相结合的深度模型在测试集上的分类性能Fig.4 The classification performance of the depth model combined with the three models after mapping with different dimensions on the test set

由图4可看出,对3种嵌入模型结构Inception v3、Inception v4和Inception v3+v4与不同维度映射后在测试集上的平均AUC结果表明,当选择嵌入模型为Inception v3+v4,映射维度为10,α=0.3和β=0.7时,模型的分类性能最优,因而笔者选择Inception v3+v4为嵌入模型和10维映射作为网络模型结构。

3.3 实验结果与分析

笔者采用Inception v3+v4结构作为嵌入模型,并将其中的嵌入特征映射到不同空间,增加图像数据的观察角度,且结合先验分布,实现小样本眼底图像的病症预测。将MFPD模型与Lamard等[14]提出的小样本学习方法、迁移学习和多任务学习进行比较。对迁移学习,首先使用M=11中最常见的病症图像训练深度CNN模型,然后微调这些CNN模型以逐个检测剩余的30种病症。对多任务学习,训练CNN模型同时检测41种病症状况。MFPD模型与其他方法预测的比较结果如表3所示。

从表3可看出,笔者方法的ROC曲线下平均面积为0.950 5。对稀有病症的检测同样取得了较好的性能,当考虑30种稀有病症时,平均AUC达到了0.940 5。在笔者工作前,制定了有效病症检测器的标准为AUC在0.85以上,根据此标准,MFPD模型成功检测了41种病症中的36种,有5种病症的自动检测较为困难包括prethrombosis,telangiectasia,angioid streaks,embolus,shunt。主要原因可能是：1) 图像预处理不充分,如尺寸缩放后导致的图像分辨率低、没有充足的颜色标准化等；2) 稀有病症图像数量与常见病症数量差异较大,导致嵌入模型无法提取出足够的特征表示病症。

表3 笔者方法与其他机器学习方法在测试集上的AUC对比结果Tab.3 The AUC results of our method and other machine learning methods on the testset are compared

(续表3)

将MFPD模型对稀有病症的检测性能与其他机器学习方法进行比较,笔者提出的小样本学习方法性能远高于迁移学习和多任务学习。与迁移学习相比,在相近复杂度下,笔者提出的方法能更好地检测稀有病症,主要原因可能是常见病症学习好的特征在稀有病症的微调下丢失了。在多任务学习中,由于对应常见病症的检测是同时进行,所以性能下降得更多。笔者方法与文献[14]方法中所有AUC较低的病症都是稀有病症,但笔者方法AUC略有提高。可见笔者方法相比其他方法在相近的辅助下性能有明显提升。

4 结 语

笔者提出融合先验分布的多表征眼底稀有病症识别的网络模型,以检测医学图像中的稀有病症。采用常见病症图像对嵌入模型进行训练,获得嵌入特征后,计算先验概率。为提高稀有病症图像的识别结果,将嵌入特征投影到不同空间获得图像的多表征表示,将其与先验概率融合后,可在一定程度上提升模型预测的准确度。综上所述,笔者对眼底图像进行分析,提出能检测多种眼底病症的深度模型,实验结果具有较大的启发性,在标注样本不足的医学诊断领域提出了新的解决方案。