基于深度卷积神经网络的CT图像层间插值方法的初步研究

菅影超 马善达 王伟

近年来，随着图像引导放射治疗（image guided radiation therapy，IGRT）技术的不断发展，为实现肿瘤精确定位的同时降低周围正常组织的剂量提供了保障［1］。而CT影像作为放射治疗的主要基准图像，常用于患者的摆位验证与剂量计算。摆位验证作为放射治疗过程中不可少的步骤，大多采用基于X线图像与计划CT进行2D-3D配准。由于该过程需要依据CT图像获得数字重建影像（digitally reconstructed radiographs，DRR），将2D-3D图像配准转化为X线图像与DRR图像的2D-2D配准，因此CT图像的质量直接影响了DRR图像的质量以及后续配准精度和配准成功率，从而影响摆位验证。目前医院大多采用5 mm、4 mm等层厚的CT，其层间距太大，层间分辨率较低，因此生成的DRR图像质量欠缺，针对头部患者，骨性结构比较明显，对配准不会造成太大影响；而针对胸腹部患者，除了不明显的骨性结构以外，还会受呼吸运动的影响，从而造成摆位验证过程中配准成功率降低，增加了摆位验证的时间。

现有技术通常采用插值方法重建插值图像，从而增加了序列图像的数量，减少了图像之间的间距，便于后续的三维图像重建。早期插值方法主要分为基于灰度的插值方法和基于形状的插值方法。基于灰度的插值方法主要利用图像的灰度信息来重建插值图像，在上下两层已知图像中利用待插值点指定某个邻域内邻近点的灰度值计算插值点灰度值［2］，其中线性插值方法使用居多。然而在三维医学模型重建过程中，线性插值会造成图像的轮廓模糊，有时还会产生插值伪影，影响后续的应用。因此，有学者提出基于形状的插值方法［3］，其是从指定邻域内提取各种特征计算插值点灰度的方法，该方法可以克服不同密度物质的边界模糊问题，但是局限于指定的某一组织的插值处理。后来有学者提出基于小波变换的插值方法［2］，图像经过小波变化后，不仅可以反映原图的频域信息，还可反映各频率分量的位置信息［4］。利用小波变换计算出相应的距离模板，然后通过对得到的高低频小波图进行小波逆变换，从而得到新的插值图像。该方法很大程度上改善了图像质量，伪轮廓现象有所减轻，但是该方法计算量极大，时间也相对较长。有专利［5］采用生成对抗神经网络算法进行图像层间插值，该方法采用待插值位置图像的前后两张图像作为网络输入，获得层间预测结果，与真实薄层CT图像对应位置图像进行迭代优化，获得网络模型，输入厚层CT图像即可获得预测薄层CT图像。与真实薄层CT图像相比，其骨骼轮廓不够清晰。除此之外，该神经网络只学习到图像的层内信息，丢失了层间信息，造成重建的三维图像有严重插值伪影。

本文采用3D卷积神经网络和膨胀卷积神经网络（3D CNN-DCNN）模型，通过编码和解码两部分训练模型。编码部分主要通过卷积、膨胀卷积和池化处理获取图像特征，解码部分的上采样、卷积和膨胀卷积处理主要将图像从粗分辨率恢复为细分辨率，并恢复图像大小和细节，从而获得预测CT（predictive CT，pCT）。通过20个病例分析，比较线性插值、3D CNN-DCNN两种算法的平均绝对误差（mean absolute error，MAE）和骨骼DSC系数。

方 法

1. 数据的获取和预处理

本研究所采用的数据来源于天津医科大学肿瘤医院，共采集20例患者头部薄层CT图像，其体素大小为0.584 mm×0.584 mm×2 mm、0.529 3 mm×0.529 3 mm×2 mm、0.589 8 mm×0.589 8 mm×2 mm等，扫描范围为512×512×135、512×512×122、512×512×123等。由于模型的输入保证为2n，所以将所用数据进行切片统一处理，根据不同数据扫描范围将其划分为若干个512×512×64。若总切片不足整分且余数与64相差较小，可重复选取切片，否则舍去多余切片。

放射治疗过程中，技师通常使用头枕和热塑模进行位置固定，CT扫描过程中，两者会在CT图像中显示出来，为了避免其对模型造成的影响，首先将CT图像进行掩膜处理，去除图像中的头枕和网罩。再通过阈值分割获取初步提取区域，随后采用形态学闭运算填充各个部位的间隙，获得最大连通区域（图1）。

图1 图像数据预处理

由于图像过大，网络模型需要训练的参数过多，因此又对数据做了进一步处理。首先将图像进行裁剪，获取最小感兴趣区域，再将其进行归一化处理，然后将图像大小调整为256×256×64，作为目标薄层CT图像。然后用黑色空白图像替代薄层CT层与层之间的图像，保证与目标薄层CT图像的切片数目一致，作为模型输入的厚层CT图像。

2. 3D卷积和膨胀卷积神经网络（CNN-DCNN）

3D CNN-DCNN算法流程图如图2所示。

图2 3D CNN-DCNN流程图

该网络模型主要由卷积层、膨胀卷积层、池化层和上采样层组成。卷积层主要由多个特征面组成，每个特征面通过3×3×3卷积核进行特征提取，所提取的特征从简单向复杂方向转变。膨胀卷积层同样由多个特征面组成，每个特征面通过5×5×5膨胀卷积核进行特征提取，随着网络深度的增加，所提取的特征同样从简单向复杂方向转变。随后concatenate卷积和膨胀卷积得到的特征图，将所得结果传递给不饱和非线性Relu函数：

其中x为输入，f(x)为输出。对于Relu而言，若输入＞0，则输出与输入相等，否则输出为0，可以过滤掉极其不明显的特征，不仅改善了模型的泛化能力，而且进一步克服梯度消失问题，也加快了收敛速度［6］。池化层同样也是由多个特征面组成，每个特征面唯一对应卷积层的一个特征面，从而该层的特征面个数不会发生改变。池化层可以被认为有二次提取特征的作用，通过降低特征面的分辨率来获得具有空间不变性的特征［6］，上采样层的作用主要是通过插值方法逐步恢复图像的细节和大小，进一步通过卷积处理获得最终预测结果，采用MAE作为损失函数：

其中Yi为真实CT图像，pCTi为预测图像。

对所得误差应用Adam随机优化函数［7］进行反向传播，进一步对参数优化处理。

3. 3D CNN-DCNN模型

本研究采用卷积层、膨胀卷积层、池化层和上采样层交织的端到端的神经网络架构（图3）。红色块表示最大池化层，蓝色块表示卷积层，绿色块表示膨胀卷积层，黄色块表示上采样层，特征图的数量已在方块上面标出。编码器由多个3×3×3卷积核和5×5×5膨胀卷积核进行特征提取，采用局部连接和权值共享加深网络。除此之外，膨胀卷积核用于有信息图像的训练，有效的降低网络复杂度，减少训练参数的数目。随后concatenate卷积和膨胀卷积得到的特征图，通过最大池化层对特征进行二次提取，并将特征图的大小减小一倍，起到减少计算量和内存消耗的作用。解码器通过上采样层逐步恢复图像的细节和大小，联合处理将编码器的特征图与解码器的特征图结合，使网络更容易重建图像的细节。

图3 3D CNN-DCNN架构

为了提高模型的泛化能力及鲁棒性，采用数据增强的方法对数据集进行扩充，主要操作有随机裁剪、旋转、翻转和噪声添加。除此之外，网络还应用批标准化（batch normalization，BN）对每个卷积层的输出进行标准化，保证网络的输入输出具有相同的统计分布，减少网络中内部协变量偏移［8］，避免深层网络梯度消失或梯度爆炸，同时加快了模型的收敛速度，减少了参数初始化的要求。在实验中初始学习率设为0.001，最大迭代次数设为6 000次。本研究是基于Keras框架进行网络搭建，实现模型的训练与评估，使用NVIDIA Quadro P5000进行GPU加速。

结 果

本研究采用留一交叉验证（leave-one-out cross validation，LOOCV）的方法训练模型。选择20份样本中的19份作为训练集，训练模型，剩下1份样本作为测试集，测试模型的准确性，并与传统线性插值方法进行比较。本次实验中，模型的训练时间大约为10 h，预测时间大约为2～3 s。

1. 两种方法结果与原始CT的定性比较

对3D CNN-DCNN和线性插值两种方法的结果与原始薄层CT进行定性比较。以其中1例的实验结果为例，比较预测结果与原始CT的图像质量（图4～6）。

图4 pCT与原始薄层CT的目视定性比较（横断面）

图5 pCT与原始薄层CT的目视定性比较（冠状面）

图6 pCT与原始薄层CT的目视定性比较（矢状面）

2. 两种方法结果与原始CT的定量比较

2.1 误差比较

采用MAE对线性插值和3D CNN-DCNN结果进行定量比较，验证pCT的准确性，进一步评价pCT和原始CT的一致性。MAE和的数学表达式为：

其中N为像素的个数，CTi和pCTi分别是原始CT与pCT的像素值。

2.2 几何比较

由于组织结构在放射治疗过程中影响较大，尤其在患者摆位验证过程中，对骨骼轮廓的要求较高，因此我们采用DSCbone分别比较两种算法的预测CT与原始薄层CT的骨骼相似度，DSCbone的表达式为：

表1列出了20例患者两种方法的MAE和DSCbone。其中3D CNN-DCNN预测结果的MAE都小于线性插值结果的MAE；3D CNN-DCNN的DSCbone都要优于线性插值的结果，表明3D CNN-DCNN算法得到的预测薄层CT准确性更高，骨骼结构与原始薄层CT更相似，更适合用于患者的摆位验证。

表1 两种方法的MAE、DSCbone系数比较

讨 论

本文的3D CNN-DCNN级联网络既结合了单张图像的特征，还结合了图像的邻近上下层特征，可获得更准确的结果；除此之外，还采用膨胀卷积操作进行有信息图像的训练，进一步减少网络的训练参数和训练时间。本文的3D CNN-DCNN算法的平均MAE为34 HU，小于线性插值的55 HU。除此之外，3D CNN-DCNN算法的平均DSCbone为0.95，高于线性插值的0.89。因此3D CNN-DCNN算法的精度要高于线性插值算法，所获得预测图像更接近于真实图像。

线性插值作为最常用的插值方法，计算简单且省时省力，但是其图像质量欠缺，不仅存在轮廓模糊的情况，还有较大的插值伪影，依据其重建得到的DRR与厚层CT重建的DRR区别甚微，质量也无明显提升。与线性插值方法相比，本文算法克服了图像轮廓模糊和插值伪影问题。虽然网络的训练时间较长但是不会计入实际临床过程中，只会计入网络2～3 s的预测时间。

通过有限的临床数据验证，表明3D CNN-DCNN算法的精确性和鲁棒性优于线性插值算法。本研究的下一步工作将该算法结合临床实践，用于基于X线图像引导的患者摆位验证，进一步验证该方法的临床应用可行性，还可将该方法从头部延伸至其他解剖部位。

，