深度学习在脉络膜分割中的应用研究进展

周 愉,张 敏,朱瑜洁,陆 琼

0 引言

深度学习[1](deep learning,DL)是机器学习领域中一个新的研究方向,其利用类似于人脑的神经网络研究来自不同处理层数据的潜在特征。深度学习涉及使用人工神经网络来模拟人脑的生理功能,这种网络由多层人工神经元组成。在医学和医疗保健领域,深度学习主要应用于医学成像分析,尤其在各种医疗状况的检测方面显示出强大的诊断能力[2]。近年来,随着眼科成像技术的迅速发展和日益成熟,单个患者即有大量图像支持日常的诊断和工作,这种图像的爆炸式增长使医学思维和管理变得更加复杂。因此,每位患者都成为包含大量信息的“大数据”[3]。在眼科领域,深度学习系统在自动检测糖尿病视网膜病变(diabetic retinopathy,DR)[4]、青光眼[5]、年龄相关性黄斑变性(age-related macular degeneration,ARMD)[6]和早产儿视网膜病变 (retinopathy of prematurity,ROP)[7]等疾病方面均表现良好。

近年报道了诸多关于脉络膜厚度(choroidal thickness,CT)与各种脉络膜视网膜疾病的相关研究。中心凹下脉络膜厚度(SFCT)被认为是一种敏感的生物标志物,用于预测、诊断、干预和随访各种急性或慢性脉络膜视网膜疾病[8]。本文旨在回顾各种脉络膜视网膜疾病中的脉络膜厚度特征,并探讨不同深度学习模型在脉络膜厚度测量中的最新应用。

1 脉络膜厚度在不同眼病中的特征

脉络膜是位于眼后段视网膜和巩膜之间的血管组织层,对于视网膜色素上皮(retinal pigment epithelium,RPE)和外层视网膜的氧合和代谢活动至关重要。厚脉络膜谱系疾病(pachychoroid spectrum disease)中,脉络膜的功能和结构变化被认为起着关键的致病作用,主要包括中心性浆液性脉络膜视网膜病变(CSC)、息肉状脉络膜血管病变(PCV)等。这些疾病有共同的脉络膜特征,包括脉络膜增厚、脉络膜血管扩张和脉络膜血管通透性过高。这通常与大血管层(Haller层)血管的异常扩张、中血管层(Sattler层)和脉络膜毛细血管的局灶性或弥漫性萎缩有关[9]。此外,脉络膜厚度与以下多种眼科疾病密切相关。

1.1 近视在儿童近视的进展过程中,随着近视度数的增加,视网膜浅层和深层血流密度均明显降低[10],SFCT也随着屈光度的增加和眼轴的延长而变薄[11-12]。一项成人宽视野脉络膜厚度研究中观察到近视眼的SFCT变薄19%,而其周边仅变薄10%[13],近视和眼轴长度增加与SFCT显著变薄的相关性更高。因此,SFCT是近视发展较好的预测指标之一。

1.2 原发性开角型青光眼眼内压(intraocular pressure,IOP)增加被认为是脉络膜厚度和青光眼关联背后的潜在机制。研究表明,小梁切除术或激光小梁成形术后降低IOP可能导致脉络膜厚度呈线性增加[14],IOP每降低1mmHg,平均脉络膜厚度增加1.5μm。此外,一些青光眼药物会改变眼组织的血流动力学,也可能影响脉络膜厚度[15]。

1.3 小柳原田病小柳原田病(Vogt-Koyanagi-Harada,VKH)中导致炎症的自身免疫攻击的主要目标是脉络膜。尽管一些生理因素如年龄、性别和昼夜节律可以影响脉络膜血管特征及其厚度,但VKH中继发于炎性细胞浸润和渗出增加的脉络膜厚度变化远超过生理变化[16]。VKH疾病进展过程中,在开始使用皮质类固醇后脉络膜厚度迅速减少,而增厚可能表明亚临床疾病的复发。此外,在VKH慢性期,前房炎症增加通常与相应的SFCT增加有关[17]。因此,SFCT可用于VKH的诊断和治疗进展的监测。

1.4 年龄相关性黄斑变性ARMD患者脉络膜灌注减少和脉络膜血流阻力增加可能与脉络膜、布鲁赫膜和巩膜中的脂质沉积增加有关,且在ARMD疾病进展中可能会引起脉络膜变薄。ARMD伴中央色素异常的患者患眼SFCT明显较薄[18]。此外,SFCT可用于评估渗出性ARMD的治疗预后,SFCT较厚的患者可能需要增加玻璃体腔注射次数[19]。然而,关于早期ARMD脉络膜厚度变化的研究结果并不一致,可能是由于脉络膜厚度的昼夜变化及其对全身压力的敏感性等因素导致[18]。因此,未来的研究需要更加精细地考虑这些因素,并且将SFCT与其他指标结合使用以进行更准确的评估。

1.5 糖尿病视网膜病变DR早期会发生脉络膜毛细血管异常和脉络膜血流减少,这可能导致脉络膜缺氧和缺血,最终导致脉络膜变薄[20]。Torabi等[21]研究发现,糖尿病患者血糖控制情况可能会影响其脉络膜厚度。具体来说,血糖控制良好的糖尿病患者(糖化血红蛋白≤7%)脉络膜厚度几乎等于正常对照组,而血糖控制差(糖化血红蛋白>7%)的糖尿病患者脉络膜厚度则显著减少。此外,非增殖性糖尿病视网膜病变(NPDR)患眼的脉络膜毛细血管灌注减少可能与光感受器损伤密切相关[22]。

1.6 其他特发性黄斑裂孔(IMH)患眼SFCT明显薄于正常对照组,脉络膜灌注降低可能是IMH主要的发病机制之一[23-24]。视网膜变性(retinitis pigmentosa,RP)患者的脉络膜厚度也显著降低[25],可能是由于基因突变导致光感受器细胞凋亡和退化,进而引起视网膜外层和脉络膜变薄[26]。此外,肝硬化患者脉络膜厚度与内皮功能障碍的循环标志物(内皮素-1、血管性血友病因子)之间存在负相关[27]。而轻度阿尔茨海默病(AD)患者的眼部血管变化主要表现为脉络膜较薄,这可能与β-淀粉样蛋白的血管壁沉积有关,因此脉络膜厚度可用作AD的早期生物标志物[28]。

2 脉络膜厚度的检测方法

由于脉络膜位于视网膜色素上皮后方,传统的成像方法无法可靠地显示脉络膜。早期的脉络膜厚度测量是使用超声检查进行的,然而,超声难以准确判断脉络膜厚度测量点的具体位置,且无法提供解剖断层扫描图像。如今,增强深度成像的光学相干断层扫描(enhanced depth imaging optical coherence tomography,EDI-OCT)已广泛应用于测量脉络膜厚度。EDI-OCT在脉络膜厚度测量方面具有良好的可重复性,且已成为测量脉络膜厚度(尤其是中心凹下)的常用方法[29]。然而,脉络膜结构与视网膜不同,不存在有序层,且缺乏对比反射特性,因此脉络膜层边界的准确提取常常受到图像噪声、异质纹理和伪影斑点等因素的干扰,导致EDI-OCT图像的脉络膜分割困难[30]。此外,脉络膜的评估本质上是主观的,因依赖于临床医生对其特征的熟悉程度,如果由经验丰富的眼科医生进行手动分割,评估准确性可能会显著提高。当由经验丰富的眼科医生评估图像时,观察者之间的差异可能导致对疾病的解释不一致,延迟准确的诊断,并造成医疗资源流失[31]。随着光学相干断层扫描(OCT)技术产生的图像数据量的增加,对自动化分割方法的需求也越来越大,传统的手动分割方法在临床实践中已变得不太实用[32]。因此,需要研究一种完全自动化的方法,通过结合OCT、图像处理和分割技术提取有用的信息,帮助眼科医生更有效地评估和治疗眼部疾病。

3 深度学习在脉络膜分割中的应用

深度学习在近年飞速发展,其在医学成像分析方面具有显著优势。深度学习能够不断精炼、比较图像中的信息,不断学习,以适应每组样本。眼科疾病的常规诊断方法依赖于临床评估,且越来越多地依赖于各种形式的图像捕获设备,使眼科成为特别适合深度学习技术及其实际应用的学科之一。据报道,将深度学习应用于眼科图像,如数字眼底照片和视野,可实现对常见威胁视力的疾病进行高精度的自动筛查和诊断。因此,深度学习是现有诊断过程中的一种有价值且可行的辅助手段,且具有替代眼科医生的潜力,成为训练有素的图像分级员。

Masood等[33]提出并实现了一种利用深度学习和一系列形态学运算在OCT图像中进行脉络膜层自动分割的算法,有效地分割出布鲁赫膜和脉络膜层,并准确计算脉络膜厚度,该数据集包括525次OCT 扫描,275幅图像用于训练网络,250幅图像用于测试该方法,结果显示准确率约为97%,获得的分割结果被认为与专家进行的分割相当,精度高,错误率低。

卷积神经网络(convolutional neural networks,CNN)是一类前馈神经网络(feedforward neural networks),其包含一系列卷积计算,且广泛用于计算机视觉、图像分析等领域。Sui等[34]提出的多尺度、端到端的卷积神经网络可以直接从原始像素中学习最优图边权重,解决了基于图边权重的手工模型因脉络膜边界薄弱、脉络膜纹理结构的不均匀性和脉络膜的巨大变化等原因导致的性能限制,其结果优于传统的手工模型。He等[35]提出了一种改进的基于CNN分类器和l2-lq(0

在众多神经网络中,循环神经网络(RNN)架构是最简单的(参数最少),但也是最慢的(每次B扫描评估时间最长)。Kugelman等[37]提出了多种基于补丁和全卷积的深度学习方法来准确确定感兴趣的脉络膜边界的位置。对于RPE边界,标准架构产生的平均绝对误差最低(P<0.01),明显低于循环神经网络瓶颈层(RNN bottleneck)、空间重要性(sSE)和通道重要性(cSE)与空间重要性架构。

全卷积网络(fully convolutional network,FCN)可以实现像素级别的分类变换。FCN通过转置卷积计算,将输出的特征图的高宽转化为原始图像的高宽,从而实现输出与输入之间的一一对应关系。Alonso-Caneiro等[38]采用基于图搜索理论的FCN技术分割脉络膜边界,并利用OCT图像获取脉络膜厚度剖面。该方法即使在低B扫描对比度下也能提供准确的结果,且还能有效地从脉络膜外边界(OCB)分割中去除脉络膜血管伪影。

基于掩膜区域卷积神经网络(Mask R-CNN)是一个实例分割模型,其能确定图片中各个目标的位置和类别,给出像素级别的预测。Chen等[39]使用Mask R-CNN模型进行脉络膜的自动分割,使用来自Common Objects in Context数据库(图像数据集)的预训练权重以及手动标记的OCT图像数据集进行训练。结果表明,与手动分割结果相比,Mask R-CNN模型具有良好的准确性和相似度高的特点。此外,该研究认为高度近视眼脉络膜明显比非高度近视眼更薄,且眼轴长度是最重要的预测因子。Viedma等[40]使用来自健康参与者的大型OCT图像数据集进行视网膜和脉络膜层实例分割,结合了Mask R-CNN架构,提供了一个端到端的深度学习框架,数据集使用了2135张OCT图像,并对Mask R-CNN、FCN和DeeplabV3(空洞卷积神经网络的一种)3种方法进行比较,发现Mask R-CNN为最合适的OCT图像分割算法,具有分割边界误差低,Dice(相似度度量函数)系数高,边界位置提取更简单等优点,并可以有效减少视网膜和脉络膜层边界位置分割的时间。

4 挑战与展望

光学相干断层扫描技术结合深度学习已经越来越广泛地应用于脉络膜图像的自动分类和分割。研究表明,深度学习结合OCT检测对脉络膜视网膜疾病进行紧迫性转诊分类时具有强大的诊断性能[41]。然而,OCT的三维体积特性使得开发一种适用于所有患者群体和OCT设备的算法具有挑战性,且许多方法学挑战导致难以将这些算法转化为临床实践模型。

4.1 图像数据集数量有限目前缺乏大量公开可用的OCT数据集是基于深度学习的脉络膜图像分析的主要障碍。在深度学习中,需要有大量的输入样本以优化训练并减少过度拟合,从而提高泛化性。理想情况下,这些训练数据集由大量手动注释的真实数据样本组成。然而,目前有效数据集数量有限,且存在一些限制,如不公开、仅包含来自1个OCT制造商获得的图像等。尤其是脉络膜数据集需要经验丰富的医生和技术员耗费大量时间进行手动注释,成本高昂。因此,如何利用未标注的图像结合无监督学习来实现高准确率的分类将成为未来的重要研究方向。此外,数据脱敏和建立医疗数据流通共享机制有助于建立标准的测试数据集,夯实数据基础。

4.2 三维体积特性的挑战OCT技术可以获取视网膜的一系列横截面B扫描,通过在6mm×6mm的视网膜区域捕获49～128次B扫描,可以生成更密集的三维体积[42]。尽管进行高分辨率扫描,但由于噪声、运动伪影和血管结构的存在,脉络膜层具有不一致的纹理和不均匀的强度,使得感兴趣区域的提取困难,且图像质量可能会存在显著差异。因此,通过深度学习分析密集的体积OCT扫描是一项独特的挑战。

4.3 缺乏标准化的采集和图像配准及后处理协议基于深度学习的OCT脉络膜分割的一个主要挑战是在单个或多个OCT设备中缺乏标准化的采集协议。设备之间的光栅图案尺寸不一致、采集时间和信噪比存在差异,所以图像质量也会有所不同。跨设备的图像配准和后处理协议的可变性为临床部署带来了额外挑战,而一些OCT设备获取的B扫描间隔很宽,且未进行图像配准(即连续图像的对齐)。此外,较大的扫描间隔和未对齐的图像由于眼球运动导致相邻扫描之间图像差异巨大[43-44]。由于这些差异,许多深度学习算法仅限于1个OCT成像设备和1个扫描模式,而无法适用于不同尺寸、对比度和纹理的图像数据集[45],从而限制了通用性。这本质上是特定数据模型与普适化模型之间的矛盾,可以通过迁移学习的方法提高模型的泛化能力,使其能够灵活适配不同质量的数据集。

4.4 计算能力限制在深度学习中,图形处理器(GPU)中的动态随机存取存储器(DRAM)不足是普遍存在的问题。计算能力不足通常会导致在数据量、卷积深度或算法选择方面做出妥协,使得得出的模型不够稳健[46-47]。这些GPU限制阻碍了深度学习在脉络膜厚度算法训练中的最佳使用。然而,随着计算机硬件的不断进步,这一阻碍将会得到解决。

5 小结

综上所述,OCT技术的发展开创了无创脉络膜测量的新时代,深度学习为脉络膜自动分割带来突破性进展,但也存在缺乏大规模标准化脉络膜数据集等局限性。随着科技的不断进步,相信在未来,人工智能能够实现标准化脉络膜深度学习量化系统,并自动分析和早期识别脉络膜视网膜疾病。该系统结合远程医疗,有助于在眼科初级保健和社区环境中的患者筛查、诊断和监测脉络膜视网膜疾病,解决医疗资源分布不均的问题,进一步提高诊断能力和治疗效率,同时降低病情管理所需的成本。