不均衡小样本下的病理性近视自动检测*

刘 懿 孟凡杰 章超伟 刁鹏飞

1 南京医科大学附属逸夫医院眼科,江苏省南京市 211100; 2 南京莱科智能工程研究院

近视是一个全球性的公共卫生问题,我国青少年近视现象日趋严重,且不断增多的高度近视可能会导致病理性近视的增加,引起一系列进行性和不可逆的眼底病变。早期发现病理性近视并积极随访和及时治疗并发症对保护近视患者免受永久性视力丧失十分重要。在屈光手术中,术前筛查出病理性近视患者,对患者术后视力的稳定性、可预测性也至关重要[1]。

得益于眼底照相检查设备的普及和深度学习技术的发展,基于眼底彩照的病理性近视自动筛查成为可能[2-3]。

目前的基于深度学习的病理性近视自动诊断工作都依赖于大规模的病案数据 ,但对于大多数中小规模的眼科门诊,病案数据的规模通常都较小,不同机构因设备不同,眼底彩照也都有差异,且数据中非病理性近视和病理性近视数量的比例也严重不均衡,导致直接应用深度学习模型效果不佳。因此,本研究的目的是探索不均衡小样本眼底彩照病理性近视自动检测方法,使得深度学习模型能在病例量较小且分布不均衡的情况下取得同样有效的结果,从而推动病理性近视自动检测在中小规模眼科临床中的应用。

1 材料与方法

1.1 样本数据的收集和预处理 本研究收集了南京医科大学附属逸夫医院眼科中心门诊2020年6月—2022年3月间以后极部为中心55度范围内眼底照相,眼底彩照包括视乳头及黄斑部,其中包含了眼科综合眼病中心及眼视光屈光手术中心的患者,并进行了定期随访检查。入组标准:年龄18～50岁屈光患者,矫正视力1.0及以上,排除全身疾病史,如合并高血压、糖尿病、青光眼、外伤史等。使用Canon CX-1 MYD/NM眼底相机(Hybrid Digital Mydriatic/Non-Mydriatic Retinal Camera)获得眼底彩照,所有图像均由2位视网膜专家进行标注,分为近视性正常眼底改变、近视性病理视网膜病变,在评分者之间出现差异的情况下,有问题的图像由一位高级视网膜专家进行评分。经过以上步骤的处理,最终从466只眼睛中收集466张图像用于本研究,其中高度近视眼125张,包括24例病理性近视患者的41只眼的 41张图像。图1展示了中—低度近视眼(OD:-3.75DS-0.5DC×50,BCVA:1.2,AL:25.26)、高度近视眼(OS: -6.25DS-1.0DC×180,BCVA:1.2,AL:28.17)及病理性近视眼(OS:-8.00DS-1.5DC×165,BCVA:1.2,AL:27.03)的眼底彩照样本示例。

图1 眼底彩照样本示例

所有的眼底彩照将进行标准化预处理的过程,彩照文件格式为JPG,预处理包括将每幅原始图像裁剪为正方形,去掉图中多余的黑色边缘,及将图像缩小到512×512分辨率以便于模型更高效地进行学习和处理。

样本数据的收集程序符合《赫尔辛基宣言》的原则,并获得南京医科大学附属逸夫医院伦理委员会的批准,所有的眼底彩照都进行了匿名化处理。本研究的设计和实施不涉及任何商业目的。

1.2 方法 本研究采用由华为及中国科学院最新提出的Pathologic Myopia Challenge 优胜模型Transformer-iN-Transformer (TNT)[4]作为病理性近视自动检测的基础深度学习模型,同时根据病理性近视眼底彩照的特点,采用包括翻转、缩放、旋转在内的数据增强方法对不均衡小样本数据进行增强。

1.2.1 TNT模型设计:TNT模型利用嵌套的Transformer[5]模块对图像中分块(patch)和像素(pixel)级的特征进行更精细的建模。在每个TNT块中,外部的Transformer模块用于处理图像分块级的信息,其中每个块又可以进行进一步细分,由内部Transformer模块进行更细粒度的处理。在一系列针对图像进行分类的任务中,TNT模块都展现出显著的优异性[6-10]。

如图2所示,具体而言,本研究将图像拆分为一系列粗粒度分块,并将每个块重塑为一个更细粒度的块序列。通过分别对粗粒度和细粒度的图像块进行线性变换来获得嵌入式表示(Embedding),然后利用TNT进行图像的表征学习,分别提取分块之间的全局关系和局部结构信息,对图像的全局和局部结构信息进行建模,并提高特征的表示能力的效果。模型设计及损失函数定义可参考相关文献[4],超参数批量大小batchsize=8,学习率lr=0.000 1,L2正则化参数l2=0.000 5。

图2 基于TNT模型的病理性近视检测

1.2.2 数据增强方法及策略:数据增强是一种能有效缓解数据样本量少、样本分布不均衡等问题的方法[11],能有效提升模型的泛化能力,降低模型过拟合的风险。常用的数据增强方法包括图像翻转、缩放、旋转、裁剪、移位、加入噪声等,但针对病理性近视眼底彩照的特征及数据增强不引入不相关数据的原则[12],本研究主要采用了翻转、缩放、旋转的数据增强方法,并根据数据采集场景对增强的具体操作进行了约束,这些过程主要增加了图像的不均一性,而不丢失任何病变的特征且不引入过多不相关的噪声图像特征。

翻转:由于眼底彩照数据采集的特点,本研究只采用水平翻转对图像进行增强。缩放:通常缩放分为向内缩小和向外扩大两种。当向内缩小时,缩小后图像空出来的区域将会进行填充。由于眼底彩照缩小后填充部分为纯黑背景,填充后基本没有改变原图的特征,不会引入更多的差异性,所以在本研究中,仅采用随机向外扩大不超过20%的比例,比例过大将导致图像丢失大量关键信息。旋转:眼底彩照本身不会产生过大的旋转角度,所以在本研究中,采用随机旋转±10°以内的方法对图像进行增强。见图3。

图3 眼底彩照的数据增强

针对图像样本分布不均衡的问题,我们采用两种策略来指导数据增强过程,使得数据中非病理性近视和病理性近视的图像规模接近。“采样增强”策略每次先对非病理性近视的数据进行随机采样,使其规模与病理性近视一致,再同比例进行数据增强;“全量增强”策略直接对所有训练数据进行增强,但针对病理性近视的数据扩增倍数更大,以使得增强后其规模与非病理性近视数据接近。

在对真实样本进行测试时,模型将用同样的策略对样本进行增强,然后采用投票策略对同一张样本图像的多个增强后的测试结果进行后处理,得到该样本的最终检测结果。

2 结果

2.1 筛查人群一般情况 本研究接受病理性近视筛查的人数共238例466眼,其中男性110例220眼,女性128例246眼,年龄分布(27.3±7.6)岁。病理性近视共24例,其中男7例,女17例,年龄分布(28.6±7.6)岁;非病理性近视共214例,其中男103例,女111例,年龄分布(27.2±7.6)岁。有无病理性近视受试者的年龄、性别差异均无统计学意义(P=0.419、0.426>0.05)。

2.2 病理性近视自动检测的效果 本研究采用五折交叉验证[13]进行模型效果验证实验。把受试者数据同分布地平均分成5份,每次实验选取一份做测试,其余4份用作训练。每一轮训练集包含眼底彩照372张,其中病理性近视图像32张,非病理性近视图像340张,通过数据增强后,包含病理性近视图像1 280张,非病理性近视图像1 360张。表1列出了TNT基线模型及结合不同数据增强策略的情况下,在不均衡小样本上进行病理性近视检测的效果。图4为TNT基线模型及数据增强方法的ROC曲线。

表1 病理性近视自动检测实验结果

实验结果表明,在不均衡小样本的数据上直接运用深度学习模型进行病理性近视检测,将可能导致极低的敏感性和特异性,ROC曲线也表明其基本不具有有效的分类能力。而合适的数据增强方法可以有效提升深度学习模型的性能,本研究中TNT模型结合数据增强后准确率可以达到(98.09±0.89)%,敏感性为(93.33±6.09)%,特异性为(88.14±7.92)%,AUC值为0.99,基本达到了大规模训练模型的性能。

3 讨论

病理性近视在世界范围内被认为是一种公共卫生负担。虽然大多数近视患者通常通过配戴眼镜或隐形眼镜来保持良好的视力,但患者视力下降的主要原因是各种类型的病理性近视眼底病变的发展所致。因此,临床上早期发现病理性近视患者,并将其与非病理性近视进行鉴别是十分重要的。

近年来,研究人员开展了一系列基于深度学习的病理性近视自动诊断工作,采用的大多是有监督的学习方法,如CNN、Efficient Net等[2-3]。这些模型和方法在大规模的标注数据上都能取得显著的分类效果,但当数据量较小、不同类别的样本量差异过大时,都会出现严重的过拟合现象。因此针对大量中小规模眼科门诊病案数据量小、数据分布不均衡的现状和深度学习模型在小样本上学习效果不佳的困难,本研究探索利用深度学习自动检测不均衡小样本下的病理性近视的方法和途径。

实验中我们发现,由于非病理性近视的图像在训练集中占据了主导(超过了90%),基线模型倾向于将所有的图像都识别为非病理性近视,导致虽然测试准确率超过了90%,但敏感性和特异性极低,基本不具备有效的分类能力,在真实的场景中难以应用。而在基线模型基础上,通过结合合适的数据增强方法,模型不仅测试准确率进一步提高,其敏感性和特异性也大幅提升,使得深度学习模型具备了应用的可能性。这将有助于对就诊患者进行病理性近视风险分级,帮助高度近视患者随访、保护视力。

对比现有的病理性近视自动诊断工作,本研究的创新性主要体现在给出了一个在不均衡小样本眼底彩照数据上应用深度学习模型进行病理性近视检测的有效方法。其优势在于对任何的眼科医疗机构,尤其是中小规模的眼科门诊,都可以利用本方法在自有的病案数据上进行学习并得到较高的检测准确率。这项研究的结果表明,结合数据增强的TNT模型在样本数据匮乏的情况下,可以高准确率地仅根据眼底彩照检测病理性近视。

通过在PubMed、知网上进行充分的检索,目前并没有发现不均衡小样本病理性近视自动检测相关的研究。因此,期望我们的工作能推动该领域的研究,并有助于病理性近视自动筛查的推广和普及。