人工智能在透明病理学中的应用研究进展

刘茜，韩凯泰，黄梦圆，刘石头，郭前进

0 前言

透明病理是一种从数字病理学发展而来的新的病理学理论，其概念是由浙江大学教授田梅和张宏等首次于2021年在《欧洲核医学与分子影像杂志》中提出[1]。文章指出，透明病理旨在利用分子影像的优势来解决传统病理中活检有创取样[2]、有限取样[3]且离体组织缺少代谢信息和灌注信息等问题。分子影像能对活体中的生物分子和生物过程进行无创的、时空动态的可视化[4]，而透明病理则将跨尺度、多模态的分子影像与病理学相结合，以实现对在体疾病的病理生理信息和变化过程进行快速、无创（或微创）、时空动态的可视化、表征及测量。与此同时，透明病理还可以结合临床特征、生物分子、代谢功能、组学特征等多维信息对患者进行全身水平的精确评估，这有助于人类系统地理解复杂的疾病病理、疾病发展及预后。透明病理中采用的多尺度成像方法主要分成三层[1]：以PET/CT为代表的兼顾宏观空间尺度和微观生化成像方法、以MRI为代表的介观成像方法和以光学成像为代表的微观成像方法。透明病理的提出实现了对病理生理信息在跨尺度影像视角下的无创解读，促进了基础研究向临床实践的转化。PHELPS等[5]对透明病理的理念高度评价，认为其是多年科研和临床实践的总结，是分子影像和病理内在联系的高度概括，开启了精准医疗和未来医学的新篇章。

近年来，人工智能技术在分子影像学和数字病理学中均有着广泛的应用。透明病理是多模态分子影像和数字病理结合产生的新的病理学实践，人工智能技术在其发展过程中将会发挥不可替代的作用。例如，虚拟染色[6-7]是一种基于人工智能技术的组织学数字化染色方法。它不仅能够扩大数字病理学的诊断范围，还与分子成像技术关联紧密，甚至可以与非侵入性的显微成像技术结合，为活体染色提供新的可能。多尺度成像[8-10]是一种采用多种成像模态在活体水平上进行图像采集的方法，它能够获取患者的多维医学数据，辅助医生对患者的病灶信息进行全面评价；基于该方法建成的多模态深度学习医疗数据分析系统[11]将促进透明病理实践的临床转化，成为精准医疗的重要支持工具。此外，使用不断发展的人工智能技术来优化现有的成像设备也是一直以来的研究热点之一[12]。例如，全自动定位技术可以通过数据采集过程的自动化来实现患者的自动定位[13]和采集参数的优化，进而降低患者接受到的辐射量。

本文介绍了透明病理学的概念和其在病理学实践中的优势，并列举了三个可能促进透明病理学实践发展的人工智能技术，包括虚拟染色、多尺度成像与诊断和全自动定位。为了深入探讨在透明病理学实践发展中有促进潜力的人工智能技术，本文将首先回顾人工智能技术在分子影像学中的应用和在数字病理学中的发展，然后分别阐述三种人工智能技术中具体的前沿方法，以及其在透明病理学实践中的应用前景。最后，本文对透明病理学实践发展过程中遇到的挑战进行总结，同时展望未来人工智能技术在透明病理学实践中的发展。本文首次以综述的方法来探讨对透明病理学实践发展有促进作用的人工智能技术，期待能提高人们使用人工智能技术发展透明病理学的意识，推动透明病理学从基础研究转向临床实践，开发更多与临床诊疗相关的生物标志物和诊断工具，为实现精准医疗提供强有力的支持。

1 分子影像学和人工智能

分子影像学是一门交叉学科[4]，包括但不限于分子生物学、生物化学、免疫学、医学、组学、纳米技术、蛋白质工程等多个领域，能够在活体状态下，对细胞和分子水平的生物信息及过程进行非侵入、全面、时空动态的可视化、表征和测量。

分子影像学所使用的成像技术主要可分为五类：（1）核成像，典型代表为单光子发射计算机断层扫描（single photon emission computed tomography,SPECT）和PET；（2）CT；（3）MRI；（4）超声；（5）光学成像，包括荧光成像（fluorescence imaging, FI）、表面增强拉曼散射成像和生物发光成像等。不同模态的成像方式有着不同的空间尺度和不同类型的分子信息，详细数据见表1[4]。

表1 分子成像技术Tab.1 Molecular imaging

人工智能技术在分子影像中有两个重要应用领域，第一个应用领域就是通过使用不断发展的人工智能技术来改善单一模态成像设备的局限性。例如，在MRI 中通过使用基于深度学习方法（一种人工智能技术）的图像采集和图像重建技术来加速图像生成[14]，在共聚焦显微镜中使用内容感知图像恢复网络对高成像速度获得的图像进行降噪处理以提高图像质量[15]。此外，深度学习模型可以将使用低剂量示踪剂生成的PET 图像模拟转换为使用标准剂量生成的PET 图像，而诊断准确性不变[16]，这将有效降低患者在成像阶段接受的辐射量。另一个重要应用领域是对通过分子成像技术采集到的数据进一步分析处理以获得成像生物标志物，并用于各种临床目的[17]。从技术处理角度来看，这部分涉及图像降噪、图像校正、图像融合、多尺度图像配准、图像量化[18]等，从临床应用角度来看，人工智能技术和分子影像技术的结合在神经科学、肿瘤学、心脏病学等多领域中能够辅助医生疾病诊断、可视化病理生理进展以及对患者进行预后分析和诊断。例如，CHOI 等[19]基于氟代脱氧葡萄糖（Fluorodeoxyglucose18F,18F-FDG）脑部PET 图像建立了一个能够区分阿尔茨海默病患者和正常人的深度学习模型。该深度模型不仅可以预测哪些是迅速转成阿尔茨海默病的轻度认知障碍患者，还能区分帕金森患者和痴呆患者。需要额外指出的是，试验使用的18F-FDG 是一种能够可视化阿尔茨海默病进展的PET 显像剂。CHOI 等[20]使用经典图像处理算法对在脑胶质瘤患者的T2液体衰减反转恢复序列的图像进行肿瘤体积分割，在磁共振波谱图像上通过对2-羟基戊二酸的定量测量来监测异柠檬酸脱氢酶基因的突变情况，进而准确评估肿瘤进展。此外，使用深度学习网络还可以从活细胞的受激拉曼散射显微镜图像中预测亚细胞蛋白质定位[21-22]，这在药物开发和分子靶点选择上有着重大意义。除了上述提到的直接处理医学影像，通过从医学影像中提取组学特征，再进行后续处理也是人工智能量化分析医学影像的一种重要方法，被广泛应用于肿瘤诊断[23]、鉴别诊断[24]、淋巴结转移[25]、淋巴血管间隙浸润[26]、预后预测[27]等多个方面。

总的来说，分子影像技术作为一种体内成像的探测方法，具有无创、快速且时空动态获取分子信息及可视化生物过程的优势，在肿瘤[28-29]、神经科学[19,30]、心脑血管疾病[20,31]、基因治疗[32]、细胞追踪[33]、亚细胞定位[34]等多个方面具有广泛应用，特别是在疾病的早期诊断、病理生理过程可视化、图像引导治疗、患者的个性化治疗、治疗效果的精确评估以及新药的快速研发等领域[29,35]开辟了新的途径，同时也为多角度深入理解复杂疾病的致病机理和发病过程提供新的见解。

2 数字病理学与人工智能

数字病理学利用全切片成像（whole slide imaging, WSI）技术[36]，将实体的病理组织切片转换成高分辨率、具有优异色彩还原的数字病理图像，广泛用于医学教学、质量保证、远程诊断等多个方面[37-38]。

随着病理切片的大规模数字化以及计算机辅助诊断技术的发展[39]，人工智能与数字病理之间的协作更加紧密。研究人员使用机器学习技术实现了WSI图像的自动处理与分析。2013 年，KOZLOWSKI 等[40]设计了一个全自动的图像分析系统来量化炎症性肠病模型中给予药物治疗后苏木精与伊红（hematoxylin and eosin, H&E）染色切片的组织学变化。系统评分在耗时仅为人工评分1/5 的情况下，预测结果88%与病理学家一致。2016 年，EHTESHAMI 等[41]首次提出一种基于H&E 染色的全切片图像的全自动检测乳腺组织导管原位癌（ductal carcinoma in situ, DCIS）的方法来自动区分WSI 中DCIS 的阴性和阳性。结果显示，在每个WSI 的平均假阳性数量为2 和3 的情况下，可以检出80%和83%的DCIS 病变，这证明了其在常规病理诊断中的应用潜力。除了定量测量组织形态特征、快速识别特定细胞类型，使用机器学习方法处理数字病理还能挖掘出人类肉眼不易察觉的特征（如纹理特征、空间结构特征等），来辅助疾病的诊断[42-43]。

得益于深度学习技术的发展，人们能够直接从原始图像中学习，而不需要专家经验来定义特征，这进一步加速了数字病理学的发展。越来越多的研究开始使用基于深度学习的方法来实现肿瘤分类、肿瘤分级、癌症诊断、预后预测以及临床辅助决策[44]。COUDRAY等[45]在肺细胞组织病理切片图像上使用迁移学习的方法实现对肺癌亚型的自动且准确分类并尝试突变基因预测。试验结果中，系统对腺癌与鳞癌的预测，ROC曲线下面积（area under the curve, AUC）为0.95，对肿瘤与正常组织分类，AUC可达到0.99，而对多个突变基因的预测结果范围为0.640～0.856。

近年来，具有明场和荧光的全景数字病理成像设备在生物学、病理学、组织形态学等相关的科学研究及医疗诊断上得到了广泛应用。得益于多靶点全景数字病理技术[46]和人工智能技术，人们已经能够从病理组织原位检测出多种生物标记物表达水平[47-49]，并结合细胞组学、免疫组学[50]、基因组学[51]等多维信息，辅助医生了解复杂疾病机制以及制订合适的治疗方案和预后预测。OBRADOVIC 等[52]利用多靶点定量免疫荧光验证了一个与透明细胞肾癌不良预后相关的肿瘤特异性巨噬细胞群。该巨噬细胞群位于肿瘤微环境中，表现为载脂蛋白E、补体C1q和髓系细胞触发受体2 在其中过度表达。这一关键发现可作为预测肾透明细胞癌复发的潜在预后生物标志物。BERRY 等[53]开发的具有高保真单细胞分辨率的全肿瘤切片多光谱图像分析平台AstroPath，对接受程序性死亡-1 受体抑制剂（一种免疫检查点抑制剂）的黑色素瘤患者进行了全景多色数字病理分析，实现了黑色素瘤的免疫检查点抑制剂7 种标志物的发现和患者生存预测。

总的来说，数字病理不仅方便了病理组织切片的保存和共享，还能够与人工智能技术结合从而节省病理学家人工诊断的时间，避免主观误诊、漏诊的发生[38-39]。与此同时，数字化的病理解决了时间和地域原因产生的会诊困难问题[54]，提高了远程病理诊断的准确性和效率，有助于医疗资源更合理地分配。此外，基于人工智能的数字病理学在临床研究中还能辅助医生决策、改善患者预后、深入了解复杂的疾病机制，从而促进精准医疗的发展。

3 人工智能在透明病理实践中的应用

3.1 虚拟染色技术

近年来，数字病理学实践[38-39]随着自动化、高通量的切片扫描仪和数字图像查看器的普及而得到广泛应用。使用人工智能技术对数字化的病理切片图像进行特定颜色生成或特定颜色转换已经成为了现实[6-7]，这种对数字病理切片进行特定颜色处理的技术就是虚拟染色技术。

BAI 等[55]对基于深度学习方法的生物组织样本虚拟染色进行了概括，主要包括无标记染色和不同染色类型间的转换。前者主要利用训练完成的深度学习网络将无标记的组织图像生成与H&E、马松三色等染色颜色相同的虚拟组织学图像。后者将已染色组织的数字图像转换成其他染色类型的数字图像。其中，使用虚拟染色技术对无标记样本组织的生物自发荧光图像进行数字化染色，从而达到同一样本的染色版本的明场图像，是目前研究中应用较多的虚拟染色方案。MENG 等[56]开发了一个生成对抗网络的虚拟组织学染色模型，将无标记的卵巢组织切片的自发荧光图像作为模型输入，生成与H&E染色的卵巢组织切片颜色相同的图像，准确率达93%。此外，有研究[57]在荧光图像中加入“数字染色基质”，然后作为染色模型的输入，从而实现混合H&E、琼斯银和马松三色染色，这在传统的组织化学染色工作中是不可能完成的。值得注意的是，由于生物组织的自发荧光团能表征丰富的组织代谢信息和病理生理过程[29,58]，无标记组织的自发荧光图像还可以实现更复杂的分子染色，如组织实验室常用的免疫组织化学（immunohistochemistry staining, IHC）染色。BAI 等[59]成功将无标记的乳腺组织切片的自发荧光图像转换成符合标准的人表皮生长因子受体2蛋白的虚拟IHC染色，并通过双盲法评分肯定了虚拟染色的染色质量。这将显著扩大虚拟组织染色的应用范围。而不同染色类型间的转换不仅可以实现利用普遍、便宜的染剂获取比较难获得的染色类型，还可以实现能够实现在同一视场内比较不同染色类型下器官、组织或细胞结构，提高诊断的准确性。在DE HAAN 等[60]的工作中，将H&E 染色的人肾样本转化为包括琼斯银、马松三色和过碘酸-雪夫染色在内的特征染色。根据三位肾脏病理学家的评估，然后由第四位病理学家进行裁决，研究发现这些染色类型的转化可以改善非肿瘤性肾病的诊断。XIE等[61]从H&E染色的三维（three dimensions, 3D）前列腺活检样本中实现了细胞角蛋白8的虚拟免疫荧光染色，从而基于生物标志物来协助3D腺体精确分割。

总的来说，虚拟染色方法作为一种通用框架，与分子成像技术有着密切的关联，特别是光学成像，该方法可以广泛适用于各种组织样品制备过程中。随着无标记成像和显微镜技术的快速发展，传统的样品制备过程有可能被取代，这将促进整个组织学工作流程进一步加速[55]。值得注意的是，这种基于人工智能的虚拟染色技术与非侵入性的显微成像技术（如活体显微成像技术、共聚焦显微成像技术等）相结合，为活体染色提供了新的可能。除了节省时间、成本和劳动力，虚拟染色还可以通过染色多路复用来获取额外的组织学信息，进而辅助诊断评估。虚拟染色技术不但能扩大数字病理学的范围，还可以提高数字病理学中其他下游机器视觉任务的性能，如器官的自动分割[61]、病理特征的识别[62]以及组织的分类[63]。虚拟染色技术在加速透明病理的实践落地上有着巨大的潜力。

3.2 多尺度活体成像和诊断

透明病理使用多尺度分子成像技术来获取多维度、多角度的病理生理信息，从而对影像结果进行更好地解读，以支持研究从基础到临床的转换。在透明病理的评价系统中，多尺度成像方法包括以PET/CT 为代表的兼顾宏观尺度和微观生化成像方法、以MRI 为代表的介观尺度成像方法和以光学成像为代表的微观尺度成像方法。

使用多功能纳米探针是实现多尺度成像的一种重要方法。KARPATI 等[64]设计了一种名为NP3 的混合成像纳米探针，可以同时使用MRI 和双光子显微镜在体内成像，无明显细胞毒性，可用于神经炎症的多尺度和多模态研究。WANG 等[9]于2022 年采用一步法制备了球形纳米探针Au/Gd NDs，用于前列腺骨转移的FI/CT/MRI 多模态成像和准确诊断。试验结果表明，三种成像模式相辅相成，实现了转移性前列腺癌的高精度检测，并准确指导治疗。此外，体外和体内试验表明，Au/Gd NDs 具有良好的生物相容性以及可靠的生物安全性。它能够对骨转移性前列腺癌进行准确定位，在临床肿瘤诊断和手术指导中具有潜在的应用价值。除了使用多功能纳米探针进行多模态成像，LIU 等[8]设计了一个基于透明窗口模型[65]的多模态活体分子成像系统，来支持肿瘤透明病理的相关研究。该系统创造性地将PET、MRI 和FI 集成在背侧皮肤窗腔中的刚性框架上来实现多模态成像。成像后，将透明窗的组织剪切后进行标准切片制备，然后将影像与病理进行协同配准和诊断分析。

现有的研究中，多尺度图像的配准方法有很多。例如，PURI 等[66]提出一种以体内外CT 图像为中介的方法，来实现组织病理与体外PET-CT 中的PET 图像对齐，LIU等[8]则通过透明窗体上的物理配准标记（如固定螺钉螺纹和缝线）实现了PET/MRI/FI/组织病理的多尺度图像之间的共配准。除了上面提到的这两种方法，使用人工智能技术也可以实现多尺度图像配准。BHARGAVA 等[10]开发了一种基于血管基准点弹性多尺度图像协同配准方法来融合MRI、CT和光学图像以实现多尺度成像数据的共同注册。

在获取多尺度分子影像数据后，需要进一步将影像数据、临床特征、代谢信息、基因组学、免疫组学等多维度医学数据融合与分析，从而更好地为病理学家和临床医生进行辅助支持。崔雅琼等[27]将治疗前的多参数MRI影像转换成影像组学特征，随后使用机器学习方法对影像组学和临床特征进行融合并构建预测模型实现对宫颈癌脉管侵犯的预测和预后预测。CHEN等[11]设计了一种基于深度学习的弱监督、多模态融合算法，该算法使用H&E全切片数字病理图像和分子谱特征（包括基因突变状态、拷贝数变异和RNA-seq）来进行多种癌症的生存预测，同时还能解释并量化组织病理学特征、分子特征及其相互作用对癌症低、高风险患者的影响。此外，他们还专门开发了一个研究工具用于推动新的预后生物标志物的发现。

以透明病理为基础，结合临床特征、分子特征、代谢特征、多组学特征，不仅能够对患者全身水平的病理生理信息进行无创、准确地评估，还能辅助医生在临床做出及时、准确的决策并为患者制订个性化的治疗方法。

3.3 全自动定位技术

使用不断发展的人工智能技术来优化现有的成像设备，是一直以来的研究热点之一。例如CT 的图像采集速度快、空间分辨率高，具有很好的临床效用，但是存在着较大的电离辐射。因此，在较低辐射剂量下获得高质量的图像一直是医疗和电子制造相关领域的研究热点[12,67]。在传统的CT 扫描中，技术人员首先需要将患者调整到龙门的合适位置，然后准确识别患者体表解剖定位线，接着手动将患者从扫描的起始位置移动到结束位置。整个过程完全由医技人员操作，扫描结果的可靠性高度依赖于医技人员的经验和操作技能。多项研究[68-69]表明，患者的准确定位直接关系到辐射剂量和图像质量。甚至有些技术人员可能会因为过于谨慎而扩大待检测区域的非必要扫描范围，从而造成患者接触的辐射量的非必要增加。因此，对患者进行准确定位是在低辐射强度中获得高质量图像的关键因素之一。

得益于信息技术的发展，依托彩色/深度3D 相机来检测人体标志点[70]，利用人工智能算法和深度传感技术使得CT 系统能够完成全自动且准确定位。SALTYBAEVA 等[13]的研究表明，使用人工智能算法的腹部全自动定位CT 扫描，相对于手动定位，平均绝对偏移量由（18±11） mm 降至（4±2） mm，最大绝对偏移量由43 mm 降至9 mm，而偏移量大于20 mm 的严重误差更是从40%（14 例/30 例）降至0。王韩伦等[71]指出了对于不同身体质量指数（body mass index,BMI）的患者，当BMI 越大时，使用人工智能技术对患者进行全自动定位与手动定位相比，前者具有明显的定位优势。在2019 年新冠病毒大流行期间，GANG 等[72]采用智能引导机器人与自动定位技术相结合的远程自动化CT 检查。该设备不仅能够避免患者与医生发生病毒性交叉感染，而且，相较于常规成像，在缩短患者的检查时间的同时，还因为定位准确和提高患者在胸部CT 成像时的屏气依从性而增加了图像的信噪比。

基于人工智能技术的全自动定位技术应用在CT系统中，不仅能将医技人员从烦琐重复的工作中解放出来，还能在低辐射剂量下获得高质量照片。这种全自动定位技术为透明病理实践中跨尺度、多模态成像设备的开发和优化提供了可借鉴思路。

4 透明病理遇到的挑战

透明病理在医学研究和临床转化上有着巨大的应用前景，目前也有一定的实践基础和初步尝试，但是我们也必须看到透明病理发展过程中遇见的问题。

首先，透明病理所依赖的多尺度成像系统在设备投入和检测的高成本可能会让很多卫生系统望而止步。数据是医学研究和病理实践的基石，数据量的缺乏将在一定程度上阻碍透明病理实践的发展。另外还需要关注的问题是数据的规范标准。透明病理的实践基于多模态、跨尺度的分子成像技术，这些不同空间分辨率的成像技术在成像硬件、成像采集参数和图像预处理流程（如图像分割、图像归一化、图像增强）等方面，都缺少规范化的实践指南，这可能为透明病理的研究带来重大的挑战。因此，积极创建医学区域共同体，共享高端设备资源，积极推动行内专业人员合作交流[73]，并为该领域的研究人员探索出一套标准化的实践指南并尝试创建大规模、标准化、公开可用的数据集是非常重要的。

此外，透明病理中跨尺度成像之间，以及图像与离体病理之间的配准，也是透明病理发展过程中不可忽视的问题，这直接关系到透明病理是否可以被精确评估。多尺度成像数据的配准目前仍然具有一定的挑战性，尽管目前多项研究对跨尺度图像的配准进行了探索，但是开发通用且可靠的注册工具[10]可能是解决此问题的方法。在未来的研究中，我们期待更多更精准的多尺度图像配准方法被提出，来促进透明病理的规范化实践，为精准医疗提供强有力的工具。

最后需要指出的是，透明病理学目前还仅停留在理论阶段，如果想得到病理学家、临床医生或患者的信任，必须保证实践活动的质量。因此，开发可靠、易用且易于集成临床工作流程的系统是很有必要的[74]。基于人工智能系统的数字图像分析方法虽然被证明在影像学和病理学中有着巨大价值，但其推理功能仍然是无法解释的“黑匣子”。解释它们的预测也一直是人工智能技术的技术挑战。透明病理实践系统的实现除了要增加模型的可解释性，还需要证明其临床效用，才能加快透明病理的临床转化。而临床效用一般可以通过快速增加首次人体试验量和通过标准化技术来证明安全性和可重复性来实现。

5 小结与展望

透明病理以多尺度分子影像为基础，进一步结合临床特征、分子特征、代谢信息、基因组学、免疫组学等多维度医学数据，不仅能够在体外实现无创、时空动态的可视化、表征及测量体内疾病（如肿瘤）的生理和代谢过程，还能实现对患者全身水平及时、准确地评估。人工智能技术应用于透明病理学实践不仅能够实现数据采集的自动化和成像质量的优化，还可以实现多尺度图像的融合和多维数据的分析，这将辅助医生在临床做出及时、准确的决策并为患者制订个性化的治疗方案。与此同时，透明病理实践还可以为患者护理带来自动化、高灵敏度、新的临床应用，提高患者的生活质量并节约医疗资源。此外，这种全面可视化的多尺度病理实践模式将会促进更多病理学和分子影像领域的研究人员相互合作，从而加速两者的融合，促进其由基础研究向临床转化，更好地推动医学进入精准时代。

作者利益冲突声明：全体作者均声明无利益冲突。

作者贡献声明：郭前进设计和指导本研究的方案，对稿件重要的智力内容进行了修改；刘茜对研究方案进行调研和实施，起草和撰写稿件；韩凯泰、黄梦圆、刘石头获取、分析或解释本研究的文献，对稿件重要的智力内容进行了修改；郭前进获得了国家自然科学基金项目资助。全体作者都同意发表最后的修改稿，同意对本研究的所有方面负责，确保本研究的准确性和诚信。