任怡璇?崔容宇
【摘要】 人工智能深度学习技术在医学影像领域中的应用是近年来的研究热点。单光子计算机断层显像(SPECT)作为核医学影像诊断中的重要分支,为临床提供可靠的影像信息,特别是在功能显像方面具有独特优势。该文回顾近年来深度学习在SPECT中主要研究方向、研究价值和应用现状,总结现阶段各研究中存在的不足,并对未来的研究进行展望。
【關键词】 深度学习;人工智能;单光子计算机断层显像;核医学;研究进展
Research progress in deep learning in single-photon computed tomography Ren Yixuan, Cui Rongyu△.△Chengdu Neusoft University, Dujianyan 681844, China
Corresponding author, Cui Rongyu, E-mail: 18661072213@163.com
【Abstract】 The research of artificial intelligence deep learning technology has become a hot topic in the field of medical imaging in recent years. As an important branch of nuclear medicine imaging diagnosis, single-photon emission computer tomography (SPECT) has unique advantages in providing reliable image information for clinicians, especially in functional imaging. In this article, the main research directions, values and application status of deep learning in SPECT in recent years were reviewed, the main problems existing in current research were summarized, and the future research was predicted.
【Key words】 Deep learning; Artificial intelligence; Single-photon computed tomography; Nuclear medicine;
Research progress
随着计算机硬件设备和算法模型不断更新换代,一种通过构建多层神经网络来对数据进行学习并进行分析和预测的人工智能技术——深度学习(DL),彻底改变了计算机视觉领域,从图像分类、目标检测、语义分割到医学图像分析都有广泛的应用[1]。DL是机器学习(ML)中的一个新的研究方向,主要是通过学习样本数据的内在规律和表示层次,让机器能够具有类似于人类的分析学习能力。其核心在于通过构建多层次的神经网络模型来模拟人类大脑的神经传导和处理机制,相比于其他ML模型,更加灵活且适应性更强[1-2]。单光子计算机断层显像(SPECT)是核医学影像诊断中的重要分支,其功能成像的特点为疾病诊断提供关键信息,然而其分辨率有限,并且对诊断医师的经验有较高要求,仍需进一步优化。DL在SPECT图像分析中的应用是近年来的研究热点,其在诊断的准确性、工作效率和一致性等方面显示出巨大潜力,在一些研究中表现出超越人类专家的水平[3]。本文主要对DL在SPECT影像诊断中的最新研究进展进行综述,总结现阶段各研究的主要方向和成果,并对未来的研究进行展望。
一、DL概述
DL的核心流程涵盖多个精细步骤,从数据的前期准备、模型构建、训练与优化到最终模型的测试和评估。DL模型作为一种基于神经网络的ML算法,通过模拟人脑神经网络的工作机制来实现数据的处理与解析。它能够从海量数据中自动学习并提取有用的特征,进而应用于分类、回归等多种任务。
在SPECT图像分析领域,几种主流的DL模型被广泛采用,它们各自具有独特的优势和应用场景。卷积神经网络(CNN)通过其特有的卷积层设计,能够有效地捕捉图像的局部特征,同时利用池化层实现数据的降维处理,因此在图像识别和分类任务中表现出色。循环神经网络(RNN)及其衍生变体如长短时记忆网络(LSTM),擅长处理文本、时间序列等类型的数据。生成对抗网络(GAN)作为一种生成式模型,通过生成器和判别器的对抗训练,能够生成具有高度真实感的新数据样本。残差网络(ResNet)、Transformer等模型和变体也在各自的应用领域中取得了显著成效[4]。
针对DL图像分类任务,准确率、灵敏度和特异度等指标被广泛采用,它们能够从不同角度反映模型的分类能力,受试者操作特征(ROC)曲线及曲线下面积(AUC)也是评估分类模型性能的重要工具。在图像分割任务中,Dice相似系数和Hausdorff距离是两个常用的评价指标。Dice相似系数通过计算两组样本的交集与并集之比来评估其相似度,取值范围0~1,越接近1代表相似度越高。Hausdorff距离则用于描述两组点集之间的不相似程度,越大表示匹配程度越低。这些评价指标为DL模型在SPECT等领域的性能评估提供有力支持。
二、DL在SPECT图像分析中的应用
1. 在心肌灌注显像(MPI)中的应用
MPI是一种广泛应用于冠状动脉疾病(CAD)的影像分析方法[5]。传统的影像解读方法依靠核医学医师的视觉分析,具有经验依赖性,且耗时较长[6]。Su等[7]和Liu等[8]分别采用了3D CNN和ResNet-34 DL模型,对MPI图像进行分类诊断,对CAD的诊断准确度分别为87.08%和82.7%,均具有较高的诊断效能和临床应用潜力,并且大幅度缩短图像分析时间。然而,训练的模型均由核医学专家的诊断作为判断标准而非冠状动脉造影,具有一定的主观性。Miller等[9]进行的研究显示,有CAD-DL辅助的医师诊断效能高于无CAD-DL的医师(AUC 0.779 vs. 0.747,P =
0.003),DL辅助下医师的分类诊断较无DL改善17.2%,提示CAD-DL可作为辅助诊断的工具,但该研究中不同医师的诊断水平提高和接受程度是不同的,对于有经验的医师(工龄>20年)的诊断水平提高并不显著,尚不能完全替代医师的工作独立出具报告。DL在CAD预后判断、冠状动脉钙化评分、心肌缺血面积测定、图像分割等方面的研究均为近年的研究热点,表1对2021年以来相关的高质量研究进行汇总,可见DL在不降低诊断准确度的同时大幅缩短MPI图像分析的时间,有助于提高工作效率,但是不同的研究在算法模型、图像增强和扩增、分类标准等方面均有所不同,目前尚缺乏大样本、多中心的研究对不同的模型和图像处理方式等进行横向评估和形成统一标准,这将是未来的研究方向之一。
2. 在全身骨显像中的应用
99mTc-亚甲基二磷酸盐(99mTc-MDP)全身骨显像是诊断骨骼病变最常用的检查方法之一,特别是肿瘤骨转移的诊断,但是会因外伤、感染、退行性改变等造成假阳性,对年轻医师而言有一定的挑战。曹传贵等[15]回顾性分析780例患者的全身骨显像图像,基于图像平移、旋转、扭曲、镜像的方式进行数据扩展,采用VGG-16 DL模型进行训练,其准确度、AUC值、召回率分别为0.926、0.986、0.934,具有相当出色的诊断效能。Petibon等[16]应用CNN诊断儿童腰椎病变,其诊断效能略高于诊断医师,AUC值为0.830,而医师组则为0.785。Lin 等[17-18]的研究聚焦于胸骨病变的分割和诊断。虽然这类研究具有非常高的准确度,但是由于训练的病种较单一,难以运用在其他类型的疾病中,也难以在实际工作中推广。Pi等[19]提出一种基于深度神经网络参数化的空间注意特征融合算子技术,构建全身骨显像辅助诊断模型用于诊断肿瘤骨转移,该模型由三个子网络组成,以数据驱动的方式提取、聚合和分类高级特征。该研究共纳入22类肿瘤共15 474次检查,准确度达93.17%,但仅用于肿瘤骨转移的诊断,而不能进一步区分全身骨扫描中的其他异常图像,如骨折、骨关节炎等,DL在全身骨显像中的研究仍然具有进一步开发的空间。
3. 在131碘(131I)治疗后全身扫描中的应用
分化型甲状腺癌术后患者经131I治疗后行全身平面扫描,对诊断转移性淋巴结具有重要意义。Kavitha等[20]开发了一种多层全连接深度网络(MFDN)用于分化型甲状腺癌术后131I治疗后全身平面显像中残余甲状腺和转移性淋巴结的自动识别,并利用SPECT/CT断层扫描评估诊断效能。该研究将转移性淋巴结和残余甲状腺组织的图像补丁及其像素位置概率的变化输入网络,通过复制信号传输的多层泛化性能,克服局部最小優化的约束,总体精确度为93.7%,高于人工方法的精确度74.5%,可以用于判断甲状腺癌术后淋巴结转移和残余甲状腺组织,为临床决策提供参考依据。
4. 在甲状腺静态显像中的应用
甲状腺静态显像可以提供甲状腺功能及代谢信息,为甲状腺疾病的诊断和治疗提供依据。Liu等[21]将甲状腺静态显像图像分为甲状腺功能亢进、正常和甲状腺功能减退,在预处理中对甲状腺感兴趣区域进行分割,扩大数据样本量,采用CNN、Inception、VGG-16和RNN这4种CNN模型对DL技术进行评价。该研究中,DL技术表现出良好的分类性能,各模型的准确度达到92.9%~96.2%,其中以VGG-16模型的准确度最高。Zhao等[22]比较了AlexNet、ShuffleNetV2、MobileNetV3和ResNet-34
这4种不同的深度CNN模型在甲状腺疾病分类(Graves病、亚急性甲状腺炎、甲状腺肿瘤和正常甲状腺)中的价值,4种模型均具有超过85%的总体精度,其中以改进后的ResNet-34模型表现最好,准确度高达94.4%。在内部验证集中,ResNet-34模型的准确度高出资深核医学医师近10%,在外部数据集中,准确度高出约6%。DL模型是多种多样的,并且正在以极快的速度更新和迭代,对不同的模型之间的横向比较有助于选择最适宜的算法。
5. 在眼眶99mTc-二乙三胺五乙酸(99mTc-DTPA)SPECT/CT中的应用
99mTc-DTPA SPECT/CT是评估Graves眼病(GO)患者炎症活动性的重要方法。Yao等[23]提出一种被命名为“GO-Net”的DL方法,用于评估GO患者的炎症活动性。该方法首先用V-Net图像语义网络分割方法提取来自497例GO患者眼眶CT图像中的眼外肌,然后运用CNN对SPECT/CT和分割结果的炎性活动进行分类,采用五倍交叉验证进行训练和内部验证,其诊断GO的灵敏度为84.63%,特异度为83.87%。GO-Net是一种创新的DL模型,为GO患者的炎症评估提供新的视角。结合图像分割和卷积神经网络,该方法能够更准确地识别和分类炎症活动,从而为临床诊断和治疗提供更有价值的参考。
6. 在泌尿系统中的应用
99mTc-DTPA SPECT检查常用于肾小球滤过率(GFR)测定,其测定的GFR值与肾脏轮廓勾画、肾脏深度计算方法等密切相关。通过SPECT/CT中的低剂量CT图像绘制肾实质感兴趣区(VOI),较传统平面显像的勾画更准确、更可靠。然而,在CT图像中手动绘制VOI是一项耗时的工作,并且不同绘制者之间存在一定的差异。Park等[24]对肾实质SPECT/CT图像进行自动化三维(3D)分割,与手动分割相比具有非常高的Dice相似系数(0.89)。人工分割和自动分割得到的GFR值呈强相关(R2 = 0.96),绝对差值仅为2.90%。运用该方法可实现快速、准确的GFR测量。99mTc-二巯基丁二酸(99mTc-DMSA)SPECT肾静态显像可以清晰显示肾脏的位置、大小、形态等。Lin等[25]用DL技术对儿童99mTc-DMSA SPECT肾静态显像图像进行训练,共纳入301例患儿,其中训练集261例,验证集和测试集均为20例。运用DL模型分别对3D SPECT图像、2D最大强度投影(MIP)和2.5D MIP(横切面、矢状面和冠状面)进行训练。结果显示,运用2.5D训练的模型在鉴别正常与异常肾静态显像的性能最高,其准确度、灵敏度和特异度分别为92.5%、90%和95%。与传统方法相比,DL不仅可以更准确地识别和分类肾脏病变,提高诊断的准确度,还可以自动化完成一些繁琐和耗时的任务,如VOI的绘制和GFR值的计算,从而提高工作效率和可靠性。
7. 在神经系统中的应用
7.1 脑血流灌注显像
基础/乙酰唑胺负荷脑血流灌注显像可以无创评估缺血性脑血管病患者局部脑血流动力学的变化及脑血流储备能力,应用于脑动脉狭窄、烟雾病等的诊断。Ryoo等[26]收集7 345例基础/乙酰唑胺负荷脑血流灌注显像的图像及其诊断报告,采用长短期记忆(LSTM)网络模型对图文信息进行训练,以判断基础灌注异常和每个血管区域的脑血流储备,LSTM对9个不同脑血流区域的总体诊断的AUC值为0.89,该DL模型还可以提供脑血流定量评分,特别是血运重建的患者。研究为脑血流灌注显像分析提供了一种新的方法,不仅具有较高的诊断效能,还有望成为脑血流动力学定量的实用工具,具有广阔的应用前景。
7.2 123I-FP-CIT多巴胺转运蛋白显像
帕金森病(PD)是一种以黑质多巴胺能神经元变性和纹状体多巴胺缺乏为特点的中枢神经系统退行性疾病[27]。123I-FP-CIT(131I-氟潘,DaTSCAN)
SPECT显像能敏感检测脑内多巴胺转运体,于2011年被FDA批准用于PD的早期诊断[28]。Kurmi等[29]提出了一种基于模糊融合逻辑集成方法的DL模型,利用123I-FP-CIT图像预测PD。该研究数据库来源于Parkinsons Progression Markers Initiative的公开数据库,模型对PD诊断的准确率为98.45%,灵敏度为98.84%,特异度为97.67%,具有非常高的诊断能力。这种基于DL的诊断方法有望为PD的早期诊断和治疗提供有力支持。
8. 肺通气-灌注显像
肺通气-灌注显像是诊断肺栓塞的有效方法。Smith等[30]运用 “AI-RAD companion”医学影像人工智能识别软件,对120例进行了肺通气-灌注显像SPECT/CT检查中的低剂量CT图像进行分析。软件采用“深度CNN”的算法,在肺通气-灌注显像SPECT/CT中冠状动脉钙化和主动脉扩张/动脉瘤的诊断具有较高的临床应用价值,灵敏度分别为89.8%、100%,特异度分别为96.9%、89.7%;而
在肺结节、椎体高度损失的特异度较低,分别为45.6%、34.6%,尚需要进一步优化算法。DL技术还可将其他胸部的影像学检查,如CT、18F-氟代葡萄糖(FDG)PET等自动合成肺灌注显像图像,并且与真实肺灌注显像的图像具有相当高的一致性。Ren等[31]回顾性分析73例99mTc-大聚集白蛋白SPECT/CT肺灌注显像结果,构建一个3D注意力残差神经网络,基于DL的计算机断层扫描灌注成像(DL-CTPM)与99mTc-大聚集白蛋白SPECT肺灌注显像的体素相关系数为0.67,呈中-高程度相关,结构相似性指数(SSIM)为0.76,呈高程度相关。Gu等[32] 的研究则是运用 3D U-net DL模型,利用18F-FDG PET/CT合成肺灌注图像。与SPECT肺灌注显像相比,其体素相关系数为0.78,多尺度结构相似性指数(MS-SSIM)为0.93。虽然研究尚不能从病理层面解释两种不同影像方法之间的关联,但为人工智能在核医学影像方面的研究提供了新的思路。
三、DL在SPECT应用中存在的挑战
DL在SPECT中已经有广泛的应用研究,然而也存在一些局限性和挑战。第一,DL需要大样本量的数据集进行训练,否则其研究结果倾向于欠拟合,学习不相关的特征,变得无法泛化。目前,大多数报道的研究样本量较小,并且数据来自特定的SPECT扫描仪。多中心和多设备的研究是未来评估DL在SPECT影像诊断效能的必要条件和研究方向。此外,还可以通过建立多中心的核医学图像数据库,让科研工作者可以获得更多全面的数据信息,将有利于人工智能影像的发展。第二,DL算法对数据质量和标注的准确度要求较高,需要专业的医学知识和技能,不同的标注者间也存在一定的差异,其标注的准确度难以评价。第三,DL模型的可解释性较差。SPECT是一种复杂的医学成像技术,其结果解释需要医师具备一定的专业知识和经验。第四,医学诊断是一个综合分析的过程,除了SPECT图像,还需要整合临床因素以提高模型的诊断准确度,有助于模型的解释。另外,DL模型在处理大样本SPECT数据时需要大量的计算资源和时间进行模型的训练和推断。同时,DL模型的训练也需要大量的迭代和优化,这可能会增加模型的训练时间和成本。最后,目前的研究均是针对某一部位或某一种疾病进行分类、预后判断等,作者尚未检索到有研究提供一个应用于SPECT较全面的DL模型,这对算法、樣本量、病种量均是一大挑战,也是下一代人工智能图像分析领域的发展方向。
四、结 语
DL在核医学SPECT影像诊断中的应用,涵盖了疾病的诊断和鉴别诊断、目标组织或器官的自动化分割、疗效观察和预后判断等多方面,且在SPECT影像诊断中表现出色。将DL技术应用于实际工作中,能显著提升图像分析的准确性和效率,并为医师报告的撰写提供有力支持,极大地提高诊断效率,大幅缩短工作时间。然而,当前阶段DL在SPECT影像诊断中的应用还存在诸多不足,需要后续研究持续优化和完善,通过进一步的深入研究和技术创新,充分发挥DL在SPECT影像诊断中的作用,推动核医学领域的技术进步。
参 考 文 献
[1] 袁波, 代华, 伍佳, 等. 人工智能在全科医学领域的应用[J]. 中华全科医学, 2021, 19(9):1433-1436, 1572.
Yuan B, Dai H, Wu J, et al. Application of artificial intelligence applications in general practice[J]. Chin J Gen Pract, 2021, 19(9): 1433-1436, 1572.
[2] Koh D M, Papanikolaou N, Bick U, et al. Artificial intelligence and machine learning in cancer imaging[J]. Commun Med, 2022, 2: 133.
[3] Jimenez-Mesa C, Arco J E, Martinez-Murcia F J, et al. Applications of machine learning and deep learning in SPECT and PET imaging: general overview, challenges and future prospects[J]. Pharmacol Res, 2023, 197: 106984.
[4] 黃雯珂, 滕飞, 王子丹, 等. 基于深度学习的图像分割综述[J]. 计算机科学, 2024, 51(2): 107-116.
Huang W K, Teng F, Wang Z D, et al. Image segmentation based on deep learning: a study[J]. Comp Sci, 2024, 51(2): 107-116.
[5] 中华医学会核医学分会, 中华医学会心血管病学分会. 核素心肌显像临床应用指南(2018)[J]. 中华心血管病杂志, 2019, 47(7): 519-527.
Chinese Society of Nuclear Medicine, Chinese Society of Cardiology. Guideline for the clinical use of myocardial radionuclide imaging (2018) [J]. Chin J Cardiol, 2019, 47 (7): 519-527.
[6] Papandrianos N I, Apostolopoulos I D, Feleki A, et al. AI-based classification algorithms in SPECT myocardial perfusion imaging for cardiovascular diagnosis: a review[J]. Nucl Med Commun, 2023, 44(1): 1-11.
[7] Su T Y, Chen J J, Chen W S, et al. Deep learning for myocardial ischemia auxiliary diagnosis using CZT SPECT myocardial perfusion imaging[J]. J Chin Med Assoc, 2023, 86(1): 122-130.
[8] Liu H, Wu J, Miller E J, et al. Diagnostic accuracy of stress-only myocardial perfusion SPECT improved by deep learning[J]. Eur J Nucl Med Mol Imaging, 2021, 48(9): 2793-2800.
[9] Miller R J H, Kuronuma K, Singh A, et al. Explainable deep learning improves physician interpretation of myocardial perfusion imaging[J]. J Nucl Med, 2022, 63(11): 1768-1774.
[10] Singh A, Miller R J H, Otaki Y, et al. Direct risk assessment from myocardial perfusion imaging using explainable deep learning[J]. JACC Cardiovasc Imaging, 2023, 16(2): 209-220.
[11] Ko C L, Lin S S, Huang C W, et al. Polar map-free 3D deep learning algorithm to predict obstructive coronary artery disease with myocardial perfusion CZT-SPECT[J]. Eur J Nucl Med Mol Imaging, 2023, 50(2): 376-386.
[12] Otaki Y, Singh A, Kavanagh P, et al. Clinical deployment of explainable artificial intelligence of SPECT for diagnosis of coronary artery disease[J]. JACC Cardiovasc Imaging, 2022, 15(6): 1091-1102.
[13] Miller R J H, Pieszko K, Shanbhag A, et al. Deep learning coronary artery calcium scores from SPECT/CT attenuation maps improve prediction of major adverse cardiac events[J]. J Nucl Med, 2023, 64(4): 652-658.
[14] Zhu F, Li L, Zhao J, et al. A new method incorporating deep learning with shape priors for left ventricular segmentation in myocardial perfusion SPECT images[J]. Comput Biol Med, 2023, 160: 106954.
[15] 曹傳贵, 林强, 满正行, 等. 基于VGG的SPECT骨扫描图像关节炎分类[J]. 西北民族大学学报(自然科学版), 2021, 42:36-45.
Cao C G, Lin Q, Man Z X, et al. VGG-based classification of arthritis in bone SPECT images[J]. J Northwest Minzu Uni (Nat Sci ed), 2021, 42:36-45.
[16] Petibon Y, Fahey F, Cao X, et al. Detecting lumbar lesions in 99mTc-MDP SPECT by deep learning: comparison with physicians[J]. Med Phys, 2021, 48(8): 4249-4261.
[17] Lin Q, Li T, Cao C, et al. Deep learning based automated diagnosis of bone metastases with SPECT thoracic bone images[J]. Sci Rep, 2021, 11(1): 4223.
[18] Lin Q, Luo M, Gao R, et al. Deep learning based automatic segmentation of metastasis hotspots in thorax bone SPECT images[J]. PLoS One, 2020, 15(12): e0243253.
[19] Pi Y, Zhao Z, Xiang Y, et al. Automated diagnosis of bone metastasis based on multi-view bone scans using attention-augmented deep neural networks[J]. Med Image Anal, 2020, 65: 101784.
[20] Kavitha M, Lee C H, Shibudas K, et al. Deep learning enables automated localization of the metastatic lymph node for thyroid cancer on 131I post-ablation whole-body planar scans[J]. Sci Rep, 2020, 10(1): 7738.
[21] Liu Y, Xu Y, Meng X, et al. A study on the auxiliary diagnosis of thyroid disease images based on multiple dimensional deep learning algorithms[J]. Curr Med Imaging, 2020, 16(3): 199-205.
[22] Zhao H, Zheng C, Zhang H, et al. Diagnosis of thyroid disease using deep convolutional neural network models applied to thyroid scintigraphy images: a multicenter study[J]. Front Endocrinol, 2023, 14: 1224191.
[23] Yao N, Li L, Gao Z, et al. Deep learning-based diagnosis of disease activity in patients with Graves orbitopathy using orbital SPECT/CT[J]. Eur J Nucl Med Mol Imaging, 2023, 50(12): 3666-3674.
[24] Park J, Bae S, Seo S, et al. Measurement of glomerular filtration rate using quantitative SPECT/CT and deep-learning-based kidney segmentation[J]. Sci Rep, 2019, 9(1): 4223.
[25] Lin C, Chang Y C, Chiu H Y, et al. Differentiation between normal and abnormal kidneys using 99mTc-DMSA SPECT with deep learning in paediatric patients[J]. Clin Radiol, 2023, 78(8): 584-589.
[26] Ryoo H G, Choi H, Lee D S. Deep learning-based interpretation of basal/acetazolamide brain perfusion SPECT leveraging unstructured reading reports[J]. Eur J Nucl Med Mol Imaging, 2020, 47(9): 2186-2196.
[27] Ruppert M C, Greuel A, Tahmasian M, et al. Network degeneration in Parkinsons disease: multimodal imaging of nigro-striato-cortical dysfunction[J]. Brain, 2020, 143(3): 944-959.
[28] Michopoulou S K, Dickson J C, Gardner G G, et al. Brain PET and SPECT imaging and quantification: a survey of the current status in the UK[J]. Nucl Med Commun, 2023, 44(10): 834-842.
[29] Kurmi A, Biswas S, Sen S, et al. An ensemble of CNN models for Parkinsons disease detection using DaTscan images[J]. Diagnostics, 2022, 12(5): 1173.
[30] Smith C, Nance S, Chamberlin J H, et al. Application of an artificial intelligence ensemble for detection of important secondary findings on lung ventilation and perfusion SPECT-CT[J]. Clin Imaging, 2023, 100: 24-29.
[31] Ren G, Zhang J, Li T, et al. Deep learning-based computed tomography perfusion mapping (DL-CTPM) for pulmonary CT-to-perfusion translation[J]. Int J Radiat Oncol, 2021, 110(5): 1508-1518.
[32] Gu J, Qiu Q, Zhu J, et al. Deep learning-based combination of 18F-FDG PET and CT images for producing pulmonary perfusion image[J]. Med Phys, 2023, 50(12): 7779-7790.
(收稿日期:2023-12-05)
(本文編辑:林燕薇)