基于神经网络学习的锥形束CT图像超分辨率重建算法

邓春燕，陆佳扬，黄宝添

汕头大学医学院附属肿瘤医院放疗科，广东汕头515000

前言

近年来，图像引导放射治疗（Image Guided Radiation Therapy, IGRT）和自适应放疗（Adaptive Radiation Therapy,ART）受到了广泛的关注，锥形束CT（Cone‐Beam CT, CBCT）由于其具有较好的实时性、较高的灵敏度以及方便使用等优点，被广泛地应用于IGRT 和ART 中［1‐3］。然而，由于CBCT 采用的是锥形X 射线束与平板探测器通过低剂量扫描进行成像的，以及其采用的重建算法选取等原因，采集到的CBCT 图像的成像质量相比常规CT 图像要差，且包含了大量的噪声，这对医生的诊断影响较大，在一定程度上影响了CBCT 在放疗中的应用［2,4‐6］。为了去除CBCT 图像中的噪声问题，刘岩海［7］提出一种基于非局部均值（Non‐Local Means, NLM）方法对CBCT图像进行降噪处理，处理后可以获得效果质量较好的CBCT图像，但是由于使用NLM 算法，会不可避免地导致图像部分结构信息发生丢失，为了提高CBCT图像质量并克服NLM降噪产生的图像结构信息丢失这个问题，本文提出一种基于神经网络学习的超分辨率重建（Super‐Resolution Convolutional Neural Network,SRCNN）算法对CBCT 图像进行处理，以提高CBCT的图像质量。

本文主要分为两个步骤：第一步，采用NLM方法对图像进行降噪处理，以消除CBCT成像中产生的噪声问题；第二步，分别采用SRCNN 方法和双三次插值重建（Bicubic Interpolation, BIC）方法对图像进行超分辨重建，以消除第一步中NLM 处理中导致的图像边缘模糊问题，同时恢复出图像原有的细节信息。

1 SRCNN算法

SRCNN是计算机视觉的一个经典应用，旨在从一个低分辨率（Low Resolution,LR）图像中恢复出具有更多细节信息的高分辨率（High Resolution,HR）图像［8‐9］，期望通过软件的处理，来克服依靠硬件来采集HR图像的局限性，可以消除重建中产生的退化问题，具有较好的恢复效果［10］。当前的SRCNN方法主要有两种：（1）基于重构的方法，这种方法通过结合图像的信息，可以很好地复原待处理图像的一些细节信息［11‐12］；（2）基于学习的方法，这种方法通过学习训练集中的HR和LR图像之间的关系来复原测试集中的图像分辨率［12‐13］。基于学习的方法相比于基于重构等其他的超分辨率重建技术可以获得更好的视觉效果［10］。其中，Dong等［8］在2016年提出了一种端到端映射的SRCNN方法已被有效地应用在LR和HR之间的映射，恢复出效果较好的高分辨率图像。SRCNN是一个从LR图像到HR图像的端到端映射的方法，其实现步骤如下：（1）特征块提取：从LR图像中提取块，然后将这些特征块用高维向量来表示，这些向量包含了一组特征图；（2）非线性映射：将步骤（1）中的每个高维向量通过非线性映射，得到另一组高维向量，每一个向量在概念上都是高分辨率图像块的表示，这些向量包含了另一组特征图；（3）重建：将步骤（2）中得到的高分辨率块重建生成最终的高分辨率图像。

图1为SRCNN 算法的框架图，其中网络形式为：（Conv1+ReLU1）→（Conv2+ReLU2）→（Conv3），其中第一层卷积的卷积核尺寸为f1×f1，卷积核数目为n1；第二层卷积的卷积核尺寸为f2 ×f2，卷积核数目为n2；第三层卷积的卷积核尺寸为f3×f3，卷积核数目为n3。n3 取值为1，则最终输出1 张特征图像即为重建的HR图像。

图1 SRCNN算法的框架图Fig.1 Framework of super-resolution convolutional neural network(SRCNN)algorithm

2 结果

本实验数据来自Ⅴarian Medical Systems TrueBeamSN1093 加速器所采集的真实CBCT 图像，包括头颈部、盆腔、胸部数据，分为A、B、C、D、E 5组，其中各组数据，头颈部包含89 幅图像，盆腔包含81幅图像，胸部包含81幅图像。

2.1 数据训练

采用公开数据库ILSⅤRC 2013 ImageNet 共395 909 幅图像数据来训练模型，NLM 过程所采用的参数参考文献［7］，其中邻域窗的大小取5×5，搜索窗的大小取11×11，滤波核取0.000 9。

2.2 视觉评价

如图2～图4所示，分别显示的是头部、盆腔和肺部数据的处理结果。从图中可以看出，经过NLM 处理的图像能显著去除原始CBCT图像中包含的噪声，但是图像的边缘细节比较模糊。SCRNN和BIC处理之后所得图像的视觉效果较原始图像和NLM处理后的图像更佳，图像的边缘细节更清晰。

2.3 量化评价

2.3.1 峰值信噪比（Peak Single to Noise Ratio,PSNR）

PSNR 是目前常用的图像质量量化评价的重要指标之一，是衡量图像噪声水平和图像失真的一种全参考评价标准［14］。其计算公式如下：

图2 头部CBCT图像的NLM、SRCNN和BIC处理结果Fig.2 Results of head CBCT image processed with non-local means(NLM),SRCNN and bicubic interpolation(BIC)

图3 盆腔CBCT图像的NLM、SRCNN和BIC处理结果Fig.3 Results of pelvic CBCT image processed with NLM,SRCNN and BIC

其中，I1为原始图像，I2为与I1大小相同的重建图像，P为图像中像素点的最大灰度值，w和h分别为图像的长与宽。PSNR 单位为分贝（dB），用于表示图像的超分辨率时，PSNR 计算值越大，表示重建后图像失真越少，则相应的超分辨率算法越好。

图4 胸部CBCT图像的NLM、SRCNN和BIC处理结果Fig.4 Results of thoracic CBCT image processed with NLM,SRCNN and BIC

如表1和图5所示，SRCNN 重建方法相比于BIC方法有更高的PSNR 值，表明用SRCNN 方法重建后图像的失真度比BIC方法的失真度低，能够重建出效果更好的CBCT 图像。而对盆腔部图像的处理结果相比于对头颈部图像的处理结果有更高的PSNR 值，这是因为相比于头颈部和胸部，盆腔部几乎全是实体组织，包含的空腔组织较少，组织间差异较小。

2.3.2 结构相似度（Structural Similarity,SSIM）SSIM是Wang等在2004年提出的一种评价标准，现已在超分辨重建中得到了广泛的应用，是一种稳定的全参考算法［14‐17］。SSIM定义如下：

其中，μx、σx、μy、σy分别是图像信号x和y的亮度均值及亮度的平均值和标准差，σxy为x和y的亮度协方差；C1=(k1L)2，C2=(k2L)2，是用来维持稳定的常数；L是像素值的动态范围。SSIM 取值区间是［0,1］，SSIM 值越大，说明两张图像的结构越相似［14,18］，即SRCNN 的效果越好。如表1所示，SRCNN 重建方法和BIC 方法均有较高的SSIM 值，对所有部位，这两种方法的SSIM 值均达到0.9 以上，说明用超分辨重建方法能较好地恢复CBCT图像是结构信息。

2.3.3 特征相似度（Feature Similarity,FSIM）FSIM是2011年由Zhang等提出的一种图像评价方法。其从图像的底层特征出发，提取图像的梯度信息以及相位一致性信息作为评价的两个特征，算法包括两个步骤：（1）计算局部相似图（提取局部相似图、梯度幅值和相位一致性）；（2）根据步骤（1）中提取的特征构造基本特征相似性的评价模型［14,19］。FSIM定义为：

表1 头颈部CBCT图像NLM、SRCNN和BIC方法的PSNR结果，SRCNN和BIC方法的SSIM和FSIM结果Tab.1 Peak single-to-noise ratio(PSNR)of head and neck CBCT image processed with NLM,SRCNN and BIC,and structural similarity(SSIM)and feature similarity(FSIM)after being processed with SRCNN or BIC

图5 各部位CBCT图像NLM、SRCNN和BIC方法的PSNR结果，SRCNN和BIC方法的SSIM和FSIM结果Fig.5 PSNR of CBCT images processed with NLM,SRCNN and BIC,and SSIM and FSIM after being processed with CRCNN and BIC

其中，PC1(x)、G1(x)、PC2(x)、G2(x)分别为从原始图像和重建图像中获取的相位一致性信息与梯度幅值信息。α、β为相位一致性特征PC 与梯度幅值特征GM 的重要性参数。FSIM 值越大，表示重建图像与参考图像越相似［14］。

如表1和图5所示，SRCNN重建方法和BIC方法有相似的FSIM值。对头颈部和胸部、盆腔部，重建的FSIM值有轻微差异，但是差别不大，如表1～表3所示，A、B、C、D、E为对应5组头颈部、盆腔部、胸部数据。

表2 盆腔部CBCT图像NLM、SRCNN和BIC方法的PSNR结果，SRCNN和BIC方法的SSIM和FSIM结果Tab.2 PSNR of pelvic CBCT image processed with NLM,SRCNN and BIC,and SSIM and FSIM after being processed with SRCNN or BIC

3 总结

CBCT图像分辨率的提高，有助于图像的后续处理，对精确放射治疗有着重要的意义［20］。本文先采用NLM算法对CBCT图像进行降噪处理，有效地去除了CBCT图像采集过程中引入的噪声。然后采用SRCNN方法对CBCT图像进行SRCNN，实验结果表明，SRCNN方法不但恢复了NLM过程造成的一些边缘细节丢失的问题，还提高了原始图像本身的边缘细节信息。

表3 胸部CBCT图像NLM、SRCNN和BIC方法的PSNR结果，SRCNN和BIC方法的SSIM和FSIM结果Tab.3 PSNR of thoracic CBCT image processed with NLM,SRCNN and BIC,and SSIM and FSIM after being processed with SRCNN or BIC