基于人工智能的医学图像多器官分割及其在医药领域的应用

吕朋举，王澄，朱建军, ，陆建，朱海东，滕皋军*

（1.珠海横乐医疗科技有限公司，广东 横琴 519000；2.东南大学附属中大医院介入与血管外科，江苏 南京 210009）

医学图像中对多个组织和脏器的精确分割是计算机辅助诊断、放射治疗计划、药物治疗以及图像引导手术等临床应用的基础与关键。目标器官的准确勾画可以帮助医生定量评估疾病状态，定位目标治疗区域，以及为机器人导航构建精确的结构映射。然而，医学图像手工分割费时费力，易出错，且难以应对大量数据。传统的图像处理和机器学习方法多依赖于专业医生辅助，难以捕捉组织的纹理和形态复杂性。这些局限性促使了通过人工智能（AI）驱动的自动分割技术的开发和采用。近年来，AI 已经在革新医学图像分析的领域中展示出前所未有的潜力，为多器官分割提供了先进的解决方案。深度学习作为AI 的一个子领域，已经在该领域崭露头角，能够从医学图像中学习复杂的模式和层次特征。尤其是基于卷积神经网络（CNN）[1]和Transformer[2]的U-Net 及其变种结构，通过端到端学习强大的特征表达能力，能够对医学图像实现精准的语义理解和分割。在人工智能赋能器官自动分割的通用流程中主要包含以下4 个模块（见图1）：医学成像、人工智能分割网络、分割结果输出、临床应用。医学成像模块旨在通过对电子计算机断层扫描（CT）、超声（US）等医学图像数据进行预处理步骤，以便将数据转化成深度学习中的常见格式；人工智能分割网络是指基于多样学习范式对当前输入数据寻找匹配度最高的模型架构；对于模型分割结果，分割输出结果模块通过结合灰度、拓扑结构等相关先验信息，进一步优化分割结果，以达到临床应用的标准；临床应用模块能够基于优化后的分割结果协助医生执行某项特定操作，如肿瘤增长检测、术前治疗计划确定等。

图1 医学图像中多器官分割的流程Figure 1 Workflow of multi-organ segmentation in medical images

深度网络U-Net 可以在临床应用中自动定位目标器官以减轻医生的负担。本文回顾了当前基于深度学习的医学多脏器分割算法，重点围绕基于CNN、Transformer 的U-Net 架构在器官分割中的研究进展及其在医药发展领域的应用。

1 U-Net 分割网络

1.1 基于卷积神经网络的U-Net

目前，基于卷积神经网络的U-Net 及其变体算法在医学图像分割任务中居于主导地位。Ronneberger 等[3]提出了经典的U-Net 架构，其采用编码-解码结构，并通过跳跃连接将不同层级进行特征融合，以实现多尺度特征的高效提取和信息传递（见图1 中人工智能分割网络模块）。目前，U-Net已被广泛用于头颈部、腹部等多个区域的多器官分割任务，并发展出各种改进版本的U-Net。Attention U-Net[4]引入了注意力门到跳跃连接中，以隐式学习抑制输入图像中的不相关区域，同时突出显示感兴趣的分割任务区域（ROI）。通过在跳跃连接中添加注意力门，可以在不需要外部器官定位模型的情况下保持高预测准确性；U-Net++[5]引入了Dense 跳跃连接，提高了不同尺度特征图的语义相似性，以降低模型学习多尺度特征信息的难度。Dense 跳跃连接的特点在于通过特征逐步叠加的方式捕捉易在编码过程中损耗的信息，以此优化多尺度特征融合机制；相较于U-Net，U-Net++在肝脏、脑肿瘤数据集上分别实现了2.7%和2%的IoU 分割精度增长。Milletari 等[6]提出了一种基于体积的三维（3D）图像分割方法V-Net，引入了残差连接并使用卷积层代替池化层，直接处理3D 医学数据，为多器官分割提供了更多的可能性。nnU-Net[7]是一个基于U-Net的新框架，通过引入自适应预处理、数据增强和后处理技术，在各种生物医学分割挑战中取得了领先的性能。

1.2 基于CNN-Transformer 混合的U-Net

CNN 的卷积操作能够很好地提取图像局部特征，但卷积层的固有的归纳偏置导致CNN 无法建模全局关系，从而影响模型的性能，而Transformer的自注意力机制可以很好地解决长距离依赖性问题。在Vision Transformer[2]（ViT）中，每个图像被分割成固定数量的图块（Token）：这些Token 通过自注意力机制进行处理，输入特征首先通过线性变换得到Query（Q）和Key（K）之间的相似度，通过Q和K 矩阵相乘确定了每个Token 与其他Token 的关联程度；然后这些关联程度Softmax 归一化后被用来加权Values（V），从而生成每个Token 的输出（见图2）。这种操作允许模型在处理图像时关注不同区域之间的关系，将每个子空间的注意力输出进行拼接，再次经过一个线性映射层，产生最终的多头注意力输出。每个Token 能够使得模型同时关注输入的不同方面，从而更好地捕捉数据中的复杂关系和模式。每个注意力头可以专注于输入的不同部分，这种并行处理有助于提高模型的表达能力。

图2 Transformer 和自注意力机制结构Figure 2 Transformer and self-attention structure

Chen 等[8]提出了一种新的网络架构TransUNet， 该 方 法 使 用Transformer 进 一 步 优化CNN 编码器，构建出了更强大的编码器。TransUNet 在特征提取的过程中应用了自注意力机制来增强每个Token 的全局关联性，同时在U-Net架构的基础上通过跳跃连接实现多尺度特征提取，以此减少自注意力机制所带来的信息损失。Hatamizadeh 等[9]提出了UNETR，该方法能够基于体积的3D 医学数据通过采用Transformer 对编码过程进行优化。与TransUNet 的编码过程不同，UNETR 通过优化特征提取的编码结构，直接基于Transformer 输出的特征进行跳跃连接，能够捕捉更加深层的语义信息，从而提高分割精度。CoTr[10]同样能够基于体积的3D 医学图像数据进行分割，通过将CNN 编码器与可变形Transformer（DeTrans）编码器衔接在一起作为一个编码器来进行特征提取；为了保留多层级的语义信息，CoTr 将不同层级的CNN 特征输出到DeTrans 中，通过对关键点采样将位置信息编码到特征输出中，从而在兼顾全局关联性和算力需求的基础上，实现高精度器官分割；CoTr 在腹部多脏器数据集（BTCV）上取得了较好的分割结果，其中腹部各器官的平均Dice 系数达到了85.0%。

1.3 级联网络

在实际应用中，部分器官在医学图像中通常只占据较小的体积，导致分割模型在分割过程中易受到无关体素数据的影响，从而导致模型在小目标区域产生分割精度效果不佳的情况。此外，分割模型在处理高分辨率的3D 医学图像上，所需要的算力和时间成本过大。鉴于上述原因，分割模型通常以级联网络的形式出现，以此实现腹部多器官的高精度分割和减少模型训练成本。级联网络可以大致分为2 个类型，取决于主要网络向次级网络所提供的信息[11]。第1 类级联网络称为由粗到细的分割方法，该方法首先对目标器官实现从粗到细的渐进分割，通过粗分割对目标区域进行提取，随后再通过细分割对提取的目标区域进行精细化分割，从而提高分割精度。Zhang 等[12]提出了块级跳越连接，使第2 阶段网络能够捕获第1阶段网络中每个块学到的特征，从而提高第2 阶段网络模型的分割精度。第2 类称为基于定位和分割的多器官分割方法，该方法首先使用配准方法或定位网络识别每个器官位置的候选框，然后基于各个器官的位置信息对各目标区域进行提取，最后输入到第2 阶段网络模型中进行精细化分割。Wang 等[13]通过级联2 个3D U-Net 模型来实现头颈部CT 图像的各器官组织分割，其中第1 个3D U-Net 用以定位器官组织或病灶区域，第2 个3D U-Net 根据定位信息对裁切无关体素数据后的目标区域进行分割。Lei 等[14]通过Faster RCNN 对输入的医学图像中各器官组织进行定位和分类，在第2 阶段通过Attention U-Net 对特定器官进行分割。

2 人工智能赋能多器官分割在医药领域中的应用

人工智能赋能下的图像分割是将医学影像中的器官或组织进行快速、准确、自动地划分；通过深度学习算法，可有效处理大规模数据。与传统方法相比，人工智能赋能的多器官分割减少了人为因素引入的个人偏见，提高了决策的客观性和准确性[15]，这对于疾病诊断、手术规划、预后分析、药物研发等临床应用环节至关重要。

2.1 疾病诊断

医疗图像分割可以帮助医生准确定位病变部位，比如肿瘤、囊肿等。通过分割，医生可以更清晰地看到病变的形状、大小和位置，有助于早期疾病诊断和治疗规划[16]。Hollon 等[17]实施了脑肿瘤分割，以确定受激拉曼组织学图像（SRH）中受肿瘤侵蚀的诊断区域，并采用CNN 学习了一系列可识别SRH 图像中的特征表征信息，以对脑肿瘤的主要组织病理学类别进行分类（13 类）；该方法实现了在术中对脑肿瘤以几乎实时（不到150 s）的自动诊断，并且诊断精度与基于传统病理学解释方法的诊断精度相比，提升了0.7%的诊断精度，实现了准确率高达94.6%的高精度诊断。Khened 等[18]在对全切片图像（WSI）分割的基础上，采用多个随机森林分类器的集成方法，对淋巴结转移进行自动分类；结合训练数据基于肿瘤分割概率图提取的特征，该方法提出将整个环肝脏肿瘤区域近似为围绕活性肿瘤区域的凸包，对活性肿瘤负荷进行估算，实验效果良好且计算成本低。

2.2 手术规划

在手术前，医疗图像分割可以提供3D 模型，帮助医生规划手术路径、选择最佳介入路径，并预测手术风险。在手术中，分割技术可以用于实时导航，确保手术操作的精准性和安全性。肿瘤的临床治疗方式包括手术切除、放射治疗、药物治疗及靶向治疗等（见图3）。Zhu 等[19]提出了一种用于肝脏恶性肿瘤的低剂量永久性粒子植入治疗计划，治疗计划的整体结构分为多脏器分割模块、插针路径选择模块和剂量计算模块3 个部分：其中多脏器分割模块能够高效地分割图像中的各器官组织；而插针路径选择能够基于各器官组织的位置信息、肝脏和肝肿瘤的先验结构信息对粒子距离进行限制；最后通过剂量计算模块实现粒子分布初始化，确定最优剂量分配并实施插针计划。该治疗计划基于腹部多脏器的分割结果确定最为匹配的治疗方案，不仅提高了规划算法的效率，还尽可能规避了肿瘤临床治疗中的潜在风险。孔繁图等[20]综合考虑了射线角度、器官体积和器官间空间位置等多种影响因素后，通过将前列腺图像中各器官组织的几何解剖结构和3D 计量分布关联起来，利用神经网络构建剂量预测模型：在5 例验证集上，剂量差异仅为（0.1634±10.5246）Gy，且百分剂量差异在2.5%以内，DVH 差异不超过1.7%。

图3 多器官分割用于肝脏介入手术中粒子剂量计算Figure 3 Multi-organ segmentation lays the foundation for particle dose calculation in liver intervention surgery

综上所述，基于人工智能的多器官分割结果可以为手术计划提供质量标准，还为实现自动剂量控制和医疗计划设计奠定基础。

2.3 预后分析

预后分析中，医学图像分割可以提供更详细的数据，帮助医生评估病变的严重程度、预测病情发展趋势，为患者的预后提供重要参考[21]。相比于特征较为单一的临床特征如年龄、Karnofsky 绩效评分和切除程度等，医学图像分割能够提供更多特定器官组织的解剖信息用以评估治疗结果、检测疾病进展。Macyszyn 等[22]改进了胶质母细胞瘤预后成像研究的方法，采用AI 分割技术在大型数据集上得到多个胶质母细胞瘤成像和临床特征。该方法为肿瘤生存率的预测提供了更可靠和细致的方法。Bera 等[23]量化分析目标器官中肿瘤的纹理异质性特征以及周围器官的先验形状，来进一步了解肿瘤与其周围环境之间的变化，并且能够基于肿瘤的解剖结构和形状变化进行更加复杂的病理分析。很大程度上，基于医学分割的预后分析能够帮助医生根据患者个体临床特征来实现一对一的个性化治疗。

2.3 药物研发

在药物研发中，医疗图像分割可以用于评估新药的疗效和安全性[24-25]。在临床试验中，分割技术可以帮助研究人员分析药物对病变区域的影响，为药物的注册和上市提供可靠的数据支持。Nawabi等[26]基于ResNet-50 提出线粒体细胞图像分割的DNDIS 级联算法，其能够在无监督的情况下快速分割线粒体细胞图像，并进一步识别分割结果中的正常线粒体细胞、经过药物处理过后的线粒体细胞和患病的线粒体细胞；DNDIS 级联算法在药物处理数据集上取得了出色的成果，对正常、药物处理和患病3 种类型的线粒体细胞的识别准确率分别达到90%、92%和94%。医药公司能够通过对比上述3种类型细胞的形状、灰度等先验信息来判断测试药物的效果。DNDIS 级联算法已经有效应用于医学测试（新开发药物）、临床医学（癌症和临床病理学）等领域。Berker 等[27]基于图像分割结果对药物反应进行量化分析，即通过病灶区域的几何特性和药物处理过后的病灶几何特性之间的差异性；该方法在已知药物敏感性的6 个细胞上得到验证，其中在球体瘤细胞药物反应实验中发现药物浓度与代谢效果有强相关性。

综上所述，图像分割在医药发展中扮演重要角色，与组织学方法相比，基于深度学习的医学图像分割可以更精确和可重复地进行组织结构和病变的体积测量，有助于更好地了解病灶区域和其余器官的药物反应，如新陈代谢和炎症，这可以帮助研究人员更准确地评估药物对器官功能的影响。医疗图像分割在临床决策和疗效评估中的应用不仅提高了医学诊断和治疗的精度，还推动了医学科技的发展，为患者提供了更好的医疗服务[21,28]。

3 结语

准确的多器官医学图像分割对医药发展和应用意义重大。人工智能技术展现出在自动化医学图像分析方面的巨大潜力。特别是U-Net 系列网络，通过分层特征提取和多尺度特征融合，实现了对不同模态医学图像的精确语义分割。

医学图像多器官分割技术不仅能够获取各个器官组织的解剖几何结构，还能为后续药物测试提供更加精细的数据分析，同时也为药物研发提供有力支持，进一步推动精准医疗的发展。具体而言，腹部CT 图像分割技术能够为个体患者提供量身定制的治疗方案，通过了解各个器官组织的状态，针对性地选择更为适合的治疗方案和药物，从而提高治疗效果，减少药物副作用。此外，在药物研发过程中，需要对药物的效力以及各个器官对药物的反应进行评估，医学图像多器官分割技术能够用于评估多个器官对药物的敏感程度，帮助筛选出最适合的药物候选。

尽管深度学习算法在临床应用中仍面临解释性和鲁棒性问题。相信随着未来跨学科深入合作与持续创新，将大力推动这一新兴领域的技术发展，使自动化多脏器分割系统在提高临床诊疗水平方面发挥重要作用。