基于堆叠泛化学习模型的放射治疗药物剂量预测

刘彦忠，张惠玉，李炎阁，伊鑫海

基于堆叠泛化学习模型的放射治疗药物剂量预测

刘彦忠，张惠玉，李炎阁，伊鑫海

（齐齐哈尔大学 计算机与控制工程学院，黑龙江 齐齐哈尔 161006）

针对基于MRI的放射治疗缺乏与CT电子密度直接相关的问题，提出了基于融合图像特征提取和基于堆叠泛化的学习模型，建立了CT扫描特征的HU（Housefield Unit）单位值间接分配到MRI数据中的映射进行放射剂量预测．该学习模型分2层，第1层用于学习融合图像多模态特征提取；第2层用于堆叠的泛化融合，使用CT扫描特征的HU值与MRI数据中的映射误差最小．实验表明，脑部区域中MRI的放射治疗药剂量预测质量比传统方式提高10%～14%．

放射治疗；剂量预测；堆叠泛化学习模型；MRI

目前，放射治疗主要依赖于MRI（Magnetic Resonance Imaging）图像，MRI图像能够提供肿瘤图像的信息，包括骨骼、软组织、血管等信息．实施仅MRI的放射治疗工作流程具有挑战性，因为磁共振强度与剂量规划所需的CT电子密度没有直接相关，因此放射治疗的X射线三维放射剂量无法准确计算．

从MRI数据估计伪CT图像的方法有２类：一类是基于图谱的方法[1]，包含1组至少1对对齐的MR-CT图谱体积，利用可变形图像配准将MRI图像配准到患者的MRI上，然后将变形应用到CT图谱图像上．这类方法已经证明了它们在制作真实的伪CT扫描中的有效性，然而该过程高度依赖于可变形配准的准确性，特别是在解剖学差异较大的患者之间．另一类是基于分割的方法[2]，MR图像体素被分为不同的组织类别，如空气、骨骼、脂肪和软组织，然后每个组织类别被分配到一个特定的HU（Houssfield Unit）值，通常这类方法需要使用专门的MRI序列以包含更多的组织类型，显然存在估值误差．本文利用融合图像特征的HU值间接分配到MRI数据中，融合图像中含有CT图像和MRI图像的多源特征信息，估值预测的准确性会提高，即从融合图像中提取的特征用作集成学习算法的输入，该算法的学习训练过程实质是从融合图像特征到CT HU值的映射．

1　基于堆叠泛化学习模型

堆叠泛化理论[3]将多个简单的函数或分类器堆叠构成深度网络，从而得到更加复杂的函数或者更深层分类器，最终提升分类或预测的准确性．本文使用多元线性回归（Multi-Line Regression，MLR）作为第２级堆栈学习器．MLR可以对具有一个依赖响应的２个或多个独立预测变量的数据集进行建模，具体为

2　算法设计

针对放疗放射剂量预测问题，提出一种基于堆叠泛化集成学习的预测算法，应用多模态融合图像[7]，使用基于补丁的特征提取，融合和简化学习方法进行预测．从T1加权（T1-w）和T2加权（T2-w）MRI图像中提取纹理、形状和空间特征，实现了两级集成模型．第１级层由３个学习模型组成，第２级层构成堆叠的泛化融合．与仅进行MRI的放射治疗中现有的集成方法不同，本文采用异构学习器来构建第１级集成模型，即NN，RF，KNN，MLR[8]用于堆叠．具体学习框架见图1．

图1 集成学习框架

2.1 基本思路

多数集成学习方法都尝试学习MRI和CT值之间的复杂映射，并使用平均或加权平均来合并它们的预测．本文提出融合图像和CT值之间的复杂映射的学习，具有综合堆栈的集成方法在准确性和训练时间之间提供了折衷方案．此外，通过学习这些预测和最终预测之间的适当映射，而不是仅仅取平均值来考虑一级学习器的输出．

为了区分叠加和无限集成，本文堆叠引入第２级学习器，将第１级基础学习器的输出预测作为输入特征，并学习这些特征与目标值之间的映射．而无限集成的概念是基于使用带核的支持向量机学习所有可能假设的组合权值，这更适合于非线性学习问题．由于基础学习器的输出结果和目标的真实HU值具有相同的性质，因此可以将问题简化为一个线性映射问题，通过引入一个由多元线性回归表示的叠加层来解决．

2.2 基础学习层

基础学习层包括NN，RF，KNN作为基础学习器，充分利用了它们的多样性．基础学习器的多样性是构建性能集成模型的关键因素．

算法设计实现过程（见图1）为：先将CT图像和MRI图像作为训练数据输入到集成学习框架中，分别采用方向梯度直方图法（Histogram of Oriented Gradient，HOG）、局部二值模式法（Local Binary Patterns， LBP）、熵值法（Entropy）、图像剪辑法（MAD）、结构设计法（Structure Design，SD）、均值法（Mean）、Gabor变换法[9]和坐标法进行多角度特征提取，将多角度特征送入基础学习层，分别进行NN，RF，KNN的机器学习，将学习结果通过公式（1）的MLR泛化处理得到本文的预测模型，测试数据可以按照上述过程输入，经过此学习过程可以预测出放射治疗药剂量．

3　评估指标

平均绝对误差（MAE）直方图可用于定位错误并检查所有组织的HU估计是否存在偏差．将HU尺度划分为每个大小为20 HU的连续非重叠Bin中，然后使用公式

同时，估计的伪CT图像和实际CT扫描之间的相关性

4　实验分析

设计实验验证堆叠泛化集成学习算法对放疗中X射线放射剂量预测有效性．选取齐齐哈尔医学院附属二院患者的CT和MR源图像，实验硬件参数为处理器：Intel i7；GPU：NVIDIA 1080TI 11G；核心数量：8核；内存容量：16 GB DDR4；显卡：8G RTX3070；软件采用Python3.6．

4.1 数据预处理

4.2 仿真实验

由于不同组织不同位置放疗的放射剂量有差别，本文分别从软组织、骨骼2方面进行预测实验．

ES基础学习和RF学习ME曲线分布见图2．从图2中看出，对于所有3种（pCT_b， pCT_rf， pCT_es）方法，MAE分布的第1个四分位数（25％）的MAE值都从0到250 HU．但是，第三、四分位数代表达到500 HU值的MAE值的75％．可以看出，所提出的方法将MAE值的25％显著降低到了不到400 HU．

每位患者的MAE和ME值，以及整个组的平均值和SD见表1．结果表明，本文所提出的ES方法优于RF方法．另外，从基础学习层转移到堆叠泛化学习层模型可以显著提高预测质量．例如：测试5在首次预测时的MAE值为152.19 HU．在MLR模型，MAE值减少为100.87 HU．与RF方法相比，本方法的平均MAE分别为（90.959±19.70）HU和（106.809±33.24）HU．

对于本文的ES方法、基础学习器和RF方法，Correlation相关值分别为0.92，0.87，0.89．这表明使用本文所提出的方法估算的伪CT图像与真实的CT扫描相关性最好．

图2 基础学习、RF学习和本文方法ME曲线分布

表1 预测变量的相关性

5　结语

本文提出了一种简单有效的堆叠泛化学习方法，通过集成多元学习方式将融合图像数据估算伪CT图像，从而提高预测放疗中的放射剂量HU的准确率．实验结果表明，该方法预测质量较传统方法提高10%～14%左右．但是，骨骼估计具有挑战性，需要引入专门的MRI成像序列以增强骨骼的可视化效果．本文提出方法的局限性在于使用了不重叠的滑动窗口进行特征提取，对于低分辨率的伪CT图像，其中的细节没有得到很好的保存．未来考虑使用重叠的滑动窗口以保留上下文和细节．

[1] 戴于翔．基于深度卷积神经网络的磁共振图像重建算法研究[D]．南京：南京信息工程大学，2020．

[2] Emami H，Dong Ming，Nejad-Davarani S P，et al．Generating synthetic CTs from magnetic resonance images using generative adversarial networks[J]．Med Phys，2018，6（3）：15-24．

[3] 刘艳菊，王秋霁，赵开峰，等．基于卷积神经网络的热轧钢条表面实时缺陷检测[J]．仪器仪表学报，2021，42（12）： 211-219．

[4] Liu Yanju，Li Yange，Yi Xinhai，et al．Lightweight VIT Model for Micro-Expression Recognition Enhanced by Transfer Learning[J/OL]．Front Neurorobot，2022，16：922761．https：//doi.org/10.3389/fnbot.2022．

[5] 刘艳菊，伊鑫海，李炎阁，等．深度学习在场景文字识别技术中的应用综述[J]．计算机工程与应用，2022，58（4）： 52-63．

[6] Yang M，Zheng H，Bai X，et al．Cost-Effective Adversarial Attacks against Scene Text Recognition[C]//2020 25th International Conference on Pattern Recognition（ICPR）．IEEE，2021：2368-2374．

[7] 郭淑娟，高媛，秦品乐，等．基于多尺度边缘保持分解与PCNN的医学图像融合[J]．计算机工程，2020，3（2）：10-14．

[8] Litman R，Anschel O，Tsiper S，et al．Scatter：selective context attentional scene text recognizer[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition．2020：11962-11972．

[9] Radwan M A，Khalil M I，Abbas H M．Neural networks pipeline for offline machine printed Arabic OCR[J]．Neural Processing Letters，2018，48（2）：769-787．

[10] 梁岚青，黄玉荣，孟玲玲，等．缓和医疗理念在头颈部肿瘤患者放疗期间的应用探索[J]．解放军医学院学报，2020， 41（5）：493-497．

Dose prediction of radiotherapy based on stacking generalization learning model

LIU Yanzhong，ZHANG Huiyu，LI Yange，YI Xinhai

（School of Computer and Control Engineering，Qiqihar University，Qiqihar 161006，China）

In view of the lack of direct correlation between CT electron density and MRI-based radiotherapy，a patch-based feature extraction based on fused image and a stacking generalization-based learning model to predict dose are proposed，which is established the mapping of HU（Houssfield Unit）value of CT scan features to MRI data．The learning model is divided into two layers．The first layer is used to learn the multimodal feature extraction from fused image．The second layer is used for the generalized fusion of the stack，and the mapping error is minimized between the HU values using the CT scan features and the MRI data．Experiments show that quality of dose prediction for brain tumor in radiotherapy with MRI in brain regions is 10%～14% higher than traditional methods．

radiotherapy；dose prediction；stack generalization learning model；magnetic resonance imaging

1007-9831（2022）08-0041-04

TP751

A

10.3969/j.issn.1007-9831.2022.08.009

2022-03-26

黑龙江省教育厅基本科研业务费科研项目（135309466）

刘彦忠（1971-），男，黑龙江齐齐哈尔人，副教授，硕士，从事像融合与医学仿真研究．E-mail：15146692464@163.com