基于图像重建的代谢肿瘤总体积分级模型

宋思良 陈蔺林 王泽乾 吴祎璠 程紫嫣

收稿日期：2023-08-10

DOI：10.19850/j.cnki.2096-4706.2024.06.016

摘  要：总体代谢肿瘤体积（TMTV）是一种较为重要的独立于其他指标的预后指标，对患者的准确治疗具有十分重要的指导作用。准确确定TMTV的分级是一项极具挑战的任务，为此文章提出基于图像重建的代谢肿瘤总体积分级模型，其中包含两个模块：分割辅助多维特征学习模块（SAMFL）和重建纠正模块（RCM）。前者通过优化和融合分割特征获得更加精确的TMTV；后者采用图像重建和偏差纠正的方法修正分割未能准确识别的区域，从而进一步提高TMTV的准确性。在芝加哥大学医院的数据集上，该模型的准确率达到71%。与其他方法相比，該模型在TMTV分级方面表现得更加出色。

关键词：代谢肿瘤总体积；图像重建；图像分割；偏差纠正

中图分类号：TP391.4    文献标识码：A  文章编号：2096-4706（2024）06-0070-04

Total Metabolic Tumor Volume Grading Model Based on Image Reconstruction

SONG Siliang1， CHEN Linlin1， WANG Zeqian2， WU Yifan1， CHENG Ziyan1

（1.Lanzhou University of Finance and Economics， Lanzhou  730020， China;

2.College of Modern Science and Technology， Taiyuan University of Technology， Taiyuan  030024， China）

Abstract： Total metabolic tumor volume （TMTV） is an important prognostic indicator independent of other indicators， and it has important guiding role in the accurate treatment on patients. Accurately determining the grading of TMTV is a highly challenging task. Therefore， this paper proposes a total metabolic tumor volume grading model based on image reconstruction， which includes two modules： segmentation assisted multidimensional feature learning module （SAMFL） and reconstruction correction module （RCM）. The former obtains more accurate TMTV by optimizing and fusing segmentation features， the latter uses image reconstruction and deviation correction methods to correct the areas that were not accurately recognized in segmentation， thereby further improving the accuracy of TMTV. On the dataset of the University of Chicago Hospital， the accuracy of the model reaches 71%. Compared with other methods， this model performs better in TMTV grading.

Keywords： total metabolic tumor volume; image reconstruction; image segmentation; deviation correction

0  引  言

目前，肺癌已经成为全世界死亡率第一、发病率第二的癌症。肺癌主要分为非小细胞肺癌和小细胞肺癌，其中非小细胞肺癌（NSCLC）较为常见，占比高达85%[1]。虽然近年来有关NSCLC的研究越来越多，但是NSCLC患者的预后和生存率还是普遍较低。总体代谢肿瘤体积（TMTV）是通过全身PET/CT评估肿瘤代谢活性体积的度量标准。作为评估NSCLC代谢活性体积的指标，TMTV对患者的治疗具有重要意义。此外，已经证明TMTV在非小细胞肺癌（NSCLC）的预后评估方面具有有别于TNM分期、肿瘤标准化摄取值（SUV）和其他临床预后指标的重要价值[2]。

在NSCLC治疗和诊断中，CT图像指的是计算机断层扫描，可以为放射科医生提供准确定位解剖结构的信息。正电子发射断层扫描（PET）是一种功能性核医学用来观察代谢过程的成像技术，可以为放射科医生提供患者全身代谢信息。PET可以显示出患者全身脱氧葡萄糖（FDG）摄取的情况，可疑的病灶组织随着FDG摄取的增加而代谢活跃。然而，PET成像的分辨率较低，很难确定肿瘤的边界区域，其次正常结构（心脏、膀胱）、棕色脂肪以及良性病变（炎症），也可能导致不同程度的FDG摄取增加。将PET与CT相结合整合了PET的区域检测和CT的解剖结构定位，放射科医生能够根据PET/CT [3]的图像信息给出初步的诊断结果。

在以往的研究中，肿瘤最大摄取值（SUVmax）是最常用的肿瘤代谢指标，但SUVmax仅代表肿瘤最增殖的区域，具有局限性和偏差，不能成为精确的诊断指标。此外，目前还没有统一的SUV值划分标准。相关研究主要基于SUV≥41%、SUV≥4.0进行划分[4]。相比于SUV，TMTV作为肿瘤代谢评估指标更全面、更可靠。然而，计算TMTV需要对每个NSCLC病灶的多个感兴趣区域（ROI）进行描述，通常需要手工绘制，不但耗时费力，而且还受操作人员主观因素的影响。因此，有必要开发针对NSCLC的自动化TMTV计算方法。

1  研究背景

在现有的研究中，TMTV自动化计算在医学领域已较为成熟，主要采用直接预测和先分割[5]再预测两种方式。采用直接预测方式时，患者全身信息复杂多变，难以获得准确的TMTV预测。采用先分割再预测的方式时，虽然分割为后面的预测排除了许多干扰，但是分割结果的性能阻碍了预测效果的提升。由此可以看出，传统的方法难以对TMTV分级做出准确的预测。有关NSCLC，文献[6]开发并验证一种新的TMTV风险分级体系，该体系具有有别于TNM分期[7]和其他临床预后因素的预后价值，表明该体系可用于优化NSCLC预处理评估和完善患者的治疗决策。该体系按照体积大小将TMTV分为四类，其截断值分别为10.0 mL、53.4 mL和155.0 mL。当前针对TMTV的自动化分级计算并没一种合理的方式。

针对以上问题，提出基于图像分割偏差纠正TMTV的自动化分级方法。分别分割肿瘤前景和背景可以获得更加全面细致的信息。输入2D的PET和CT的U-net [8]结构可通过两个并行的解码层同时分割出肿瘤前景和背景，同时利用分割辅助多维度特征学习模块（SAMFL）得到初始TMTV，然后再利用分割出来的前景和背景重建PET和CT，并以分割重建的图像与原图之间的偏差（即未能准确分割的感兴趣区域）作为参考来修改初始的TMTV，最后利用重建纠正模块（RCM）修改初始TMTV，获得更好的性能。

2  实现方法

2.1  方法简述

对NSCLC患者的诊断和治疗来说，TMTV是极其重要的预后指标。令人遗憾的是，当前获得准确TMTV分级的方式主要是由专业的放射科医生进行手动勾画和计算，极为烦琐费时，而且在病患数量较大时还可能会出现漏诊的情况。错误的TMTV分级将会对患者的健康造成一定的损害。

因此，本研究提出了基于图像重建的代谢肿瘤总体积分级模型，具体的网络结构如图1所示。该模型主要包括两大模块：分割辅助多维度特征学习模块（SAMFL）与重建纠正模块（RCM）。首先采用基于U-net结构的网络模型分别对肿瘤的前景和背景进行分割。相比于多个单通道解码层，单一的多通道解码层会针对每一个通道得到更加细致、更加全面的解码采样效果。所以在SAMFL中，我们通过两个并行的解码层同时分割出肿瘤的前景和背景，利用高维特征和上采样特征预测得到初始TMTV。重建的圖像中包含分割偏差信息，可用以纠正初始TMTV。由此，我们提出RCM，用它来预测得到最终的TMTV分级。

图1  网络整体流程图

2.2  分割辅助多维度特征学习模块

虽然研究显示TMTV分级与肿瘤分割的性能密切相关，但是要想得到精准无误的肿瘤分割是极为困难的。为此，本研究提出引入分割来辅助TMTV预测，即提出分割辅助多维度特征学习模块（SAMFL），如图2所示。SAMFL是本研究中的一个重要模块，它主要是基于分割结果、解码层特征以及编码层的高维特征，由全连接层[9]综合预测初始TMTV。SAMFL的具体流程如下：利用U-net网络进行PET和CT的分割，得到肿瘤前景和背景；将每个维度的编码层特征分别进行池化，得到多维度的编码层特征；通过全连接层对多维度的编码层特征进行调整优化，得到融合后的编码层特征；将融合后的编码层特征、分割结果以及解码层的高维特征进行融合得到一维特征，再利用一个全连接层输出初始的TMTV。

图2  分割辅助多维度特征学习模块

2.3  重建纠正模块

在医学图像领域，肿瘤分割通常难以达到医生所勾画的水平。根据图像重建[10]的原理，我们在图像重建中尽可能地还原原图的信息。将这种思路运用到本研究中可以得知，通过原始图像分割结果得到的重建图像所包含的信息可以反映分割效果的偏差。并且在NSCLC领域，分割的效果与TMTV分级具有强相关性，所以重建图像产生的偏差可以纠正原图预测的TMTV。

根据这些原则，本研究提出重建纠正模块（RCM），如图3所示，对分割未能识别的区域进行修正，获得更加准确的TMTV预测效果。它利用分割结果重构出PET和CT的图像，对比原图和重构后的图像，发现分割未能识别的区域作为偏差来纠正初始的TMTV。RCM的具体流程如下：通过分割得到肿瘤的前景和背景重建得到PET和CT；将重建后的PET和CT合成三维，通过3D特征提取网络得到感兴趣区域的偏差；将偏差加入初始的TMTV中，得到纠正后的TMTV。

图3  重建纠正模块

2.4  损失函数

SAMFL模块中分割的监督由交叉熵损失函数完成，初始TMTV值由均方损失函数进行监督。在RCM模块中，PET图像和CT图像的重建效果采用均方损失函数进行优化，最终的TMTV分级使用二值交叉熵损失函数进行监督。

3  实验测试

3.1  数据集

在实验中，选取2004年1月至2014年12月在芝加哥大学医学院接受治疗的480例NSCLC患者进行研究。其中TMTV小于10.0 mL的Ⅰ级患者有107位，TMTV从10.0 mL到53.4 mL的Ⅱ级患者有131位，TMTV从53.4 mL到155.0 mL的Ⅲ级患者有124位，TMTV大于155.0 mL的Ⅳ级患者有109位。为了提升模型的训练速度，我们将所有图像的数据尺寸均放缩为128×128像素。

3.2  实验细节

采用PyTorch 1.13.0作为深度学习框架，数据预处理的代码及其他代码由Python 3.9完成。在分割辅助多维度特征学习部分，设置批次大小为110，训练60个周期。与此同时，优化器采用AdamW [11]，学习率初始值设置为0.001，使用余弦退火更新学习率。对于重建纠正部分，设置批次大小为30，训练80个周期。

实验采用五折交叉验证的方法，其中训练集、验证集和测试集的比例为3.5：0.5：1，采用训练集训练，再使用验证集调参，最后用测试集测试得到结果。

3.3  对比实验

分别使用SUV阈值法和深度学习的方法验证本文模型的有效性。深度学习方法主要使用ResNet [12]和SENet [13]进行评估，如表1所示。

表1  不同方法在数据集上的结果

方法 准确率 精确率 召回率 F1-score

SUV≥41% 0.28 ± 0.04 0.71 ± 0.02 0.27 ± 0.04 0.36 ± 0.06

SUV≥4.0 0.66 ± 0.02 0.71 ± 0.01 0.66 ± 0.02 0.67 ± 0.01

ResNet18 0.63 ± 0.04 0.67 ± 0.02 0.63 ± 0.04 0.64 ± 0.04

SENet50 0.58 ± 0.04 0.64 ± 0.2 0.58 ± 0.04 0.59 ± 0.04

Ours 0.71 ± 0.02 0.72 ± 0.02 0.71 ± 0.02 0.71 ± 0.01

由实验可以看出，SUV≥41%的效果远不如其他方法，而SUV≥4.0的效果有明显提升，这表明SUV对于TMTV的特异性很强，但其结果波动较大。尽管SUV在特定任务中呈现出不错的性能，但其在通用性方面存在一定的局限性。此外，基于深度学习的基础方法在TMTV预测方面的效果也较差，这是由于TMTV的波动范围较大，在影像上又存在许多干扰因素，很难获得较为精确的数值。从图4中可以清晰地发现，本文方法在各项指标上均优于其他方法。

图4  模型性能折线图

3.4  消融实验

我们进行了两组消融实验，分别验证分割辅助多维度特征学习模块和重建纠正模块对网络的影响。利用分割得到肿瘤的前景和背景进行二值化，计算得到TMTV，如表2所示。

表2  消融实验在数据集上的结果

方法 准确率 精确率 召回率 F1-score

分割 0.53 ± 0.02 0.55 ± 0.01 0.53 ± 0.02 0.53 ± 0.02

RAMM 0.67 ± 0.02 0.69 ± 0.02 0.67 ± 0.02 0.66 ± 0.02

RAMM + RCM 0.71 ± 0.01 0.72 ± 0.02 0.71 ± 0.01 0.71 ± 0.01

通過消融实验，我们可以得出以下结论：本研究提出的两种模块在性能上都有不同程度的提升。其中，RAMM模块主要是将编码层下采样的最后一层高维特征、网络上采样每一个特征层以及肿瘤分割结果进行池化，得到统一的一维向量，并与最终的预测结果拼接，从而进行初始的TMTV预测。这种方法充分利用了分割提供的信息，在大致预测判断上取得了不错的性能提升。相较于单一的分割方法，RAMM模块能够获得更好的性能。另一方面，RCM模块利用分割结果重建原始图像，利用重建后PET图像中未能准确分割肿瘤区域所包含的偏差信息来纠正RAMM模块对TMTV的预测。从实验结果可以看出，RCM模块取得了良好的性能。

4  结  论

在本研究中，我们提出一种基于图像重建的代谢肿瘤总体积分级模型，用于对非小细胞肺癌患者的全身代谢肿瘤体积（TMTV）进行分级。该模型根据专业放射科医生提出的TMTV分级策略进行患者全身代谢肿瘤体积分级。分割结果与TMTV具有强相关性，因此我们引入分割辅助多维度特征学习模块。该模块通过SAMFL分割网络获得肿瘤的前景和背景，以及初始的TMTV。分割的精细程度对获得准确的TMTV至关重要，我们在本研究中采用了U-net结构的网络，后续研究中可以考虑采用更加健壮的分割网络。

此外，我们还提出了分割重建模块，通过分析分割重建的结果来纠正初始TMTV的偏差，从而得到TMTV的分级结果。后续的研究可以考虑融合更多有效信息来指导网络的学习。

总体而言，本研究提出的方法为后续的TMTV研究提供一种思路。未来，该研究的成果还可以辅助放射科医生进行诊断治疗，为临床实践提供帮助。

参考文献：

[1] CHHIKARA B S，PARANG K. Global Cancer Statistics 2022： The trends projection analysis [J/OL]. Chemical Biology Letters，2023，10（1）[2023-07-05].https：//pubs.thesciencein.org/journal/index.php/cbl/article/view/451.

[2] ZHANG H，WROBLEWSKI K，APPELBAUM D，et al. Independent Prognostic Value of Whole-body Metabolic Tumor Burden from FDG-PET in Non-small Cell Lung Cancer [J].International Journal of Computer Assisted Radiology and Surgery，2013，8：181-191.

[3] 孙涛，韩善清，汪家旺.PET/CT成像原理、优势及临床应用 [J].中国医学物理学杂志，2010，27（1）：1581-1582+1587.

[4] HAJIRA I，GEORGE M N，DUNN J T，et al. Is There an Optimal Method for Measuring Baseline Metabolic Tumor Volume in Diffuse Large B Cell Lymphoma？ [J]. Eur J Nucl Med Mol Imaging，2018，45（8）：1463-1464.

[5] 郑倩.医学图像分割方法研究及其应用 [D].广州：南方医科大学，2014.

[6] PU Y L，ZHANG J X，LIU H Y. Developing and Validating a Novel Metabolic Tumor Volume Risk Stratification System for Supplementing Non-small Cell Lung Cancer Staging [J].Eur J Nucl Med Mol Imaging，2018，45（12）：2079-2092.

[7] 叶波，赵珩.第八版国际肺癌TNM分期修订稿解读 [J].中国肺癌杂志，2016，19（6）：337-342.

[8] RONNEBERGER O，FISCHER P，BROX T. U-Net： Convolutional Networks for Biomedical Image Segmentation [C]//Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015.Munich：Springer，2015：234?241.

[9] 周飞燕，金林鹏，董军.卷积神经网络研究综述 [J].计算机学报，2017，40（6）：1229-1251.

[10] 施俊，汪琳琳，王珊珊，等.深度学习在医学影像中的应用综述 [J].中国图象图形学报，2020，25（10）：1953-1981.

[11] LOSHCHILOV I，HUTTER F. Decoupled Weight Decay Regularization [J/OL].arXiv：1711.05101v3 [cs.LG].[2023-07-10].https：//arxiv.org/abs/1711.05101.

[12] TARG S，ALMEIDA D，LYMAN K. Resnet in ResNet： Generalizing Residual Architectures [J/OL].arXiv：1603.08029v1 [cs.LG].[2023-06-20].https：//arxiv.org/abs/1603.08029.

[13] CHABY G，SENET P，VANEAU M，et al. Dressings for Acute and Chronic Wounds： a Systematic Review [J].Arch Dermatol，2007，143（10）：1297-1304.

作者簡介：宋思良（1999—），男，汉族，四川成都人，硕士研究生在读，研究方向：医学图像处理。