基于分块的肺4D-CT图像超分辨率重建

王婷婷 吴秀秀 张 煜

(南方医科大学生物医学工程学院，广州 510515)

基于分块的肺4D-CT图像超分辨率重建

王婷婷 吴秀秀 张 煜*

(南方医科大学生物医学工程学院，广州 510515)

肺4D-CT在肺癌的治疗中，对于准确定位肿瘤靶区、实现个体化精确放疗具有重要的应用价值。由于放射剂量的限制，使得肺4D-CT图像分辨率较低。提出一种基于图像分块的超分辨率重建技术，提升肺4D-CT图像的分辨率。首先，将图像分解为一系列重叠图像块；其次，利用Active Demons配准算法，自适应选取若干幅与目标图像块对应结构相似的其他相位图像块，并估计出它们之间的运动变形场；而后，采用迭代反投影(IBP)算法，重建得到高分辨率的图像块；将得到的所有高分辨率图像块拼接后，最终输出完整的高分辨率肺4D-CT图像。利用由德克萨斯安德森肿瘤中心DIR实验室采集并开放的公共数据集评价所提出的算法，该数据集由10组肺4D-CT数据组成，每组数据包含10个相位。从每组数据中，选取不同相位图像进行实验。量化评价结果表明，所提出的方法相比反投影(BP)算法、全局迭代背投影算法，图像平均梯度显著提高(反投影算法7.65±0.44，全局迭代背投影算法7.92±0.43，本算法8.92±0.50，P< 0.001)。视觉评价结果同时显示，所提出的方法能够有效消除伪影，得到结构显著增强、清晰度更高的肺4D-CT图像。

肺4D-CT；图像分块；自适应选择；超分辨率重建

引言

肺癌为全球最主要的癌症，由于其病死率高(死亡率/发病率=0.9)，所以其危害尤为显著[1]，75%～85%的患者确诊时已失去手术机会[2]。放射治疗是其有效治疗的手段之一，计算机断层摄影(computed tomography,CT)在指导放疗方面意义重大。三维计算机断层摄影(three dimensional computed tomography,3D-CT)在采集数据时因伴有患者的自主呼吸，使肺部处于不断的运动状态中，加之扫描过程中的床动影响，导致获取的CT图像存在部分呼吸运动伪影，进而影响靶区勾画的准确度，最终致使精确度降低，放疗效果欠佳。

图1 不同相位对应图像块。(a)相位0低分辨率图像；(b)不同相位图像对应于(a)黑框内区域的图像块Fig.1 The corresponding patches of different phases.(a) The LR image of phase 0; (b) The corresponding patches of different phases at the same area in black box.

四维计算机断层摄影(four dimensional computed tomography,4D-CT)[3],在传统3D-CT的基础上加入了时间轴，动态采集患者呼吸时的CT图像，再通过图像重建和重新排序得到患者在不同呼吸相位的3D-CT图像[4]。4D-CT不仅能够明显消除呼吸运动伪影，而且能够真实准确地反映肺部随呼吸运动的变化规律，为实现个体化精确放疗奠定了有力基础。然而，由于CT高剂量照射的特性[5-6]，沿纵向(Z轴方向)无法实现密集采样，导致数据层间分辨率远低于层内分辨率，造成各项数据异性。因此，在观察数据冠矢状面图像时，需沿Z轴进行插值放大，以显示正确比例的图像，而这一操作往往造成图像模糊。

笔者之前曾提出过一种采用超分辨率(super resolution，SR)重建方法提高肺4D-CT图像分辨率的新思想[7-8]。将肺4D-CT数据中不同相位、对应位置的冠矢状面图像作为多“帧”低分辨率输入图像，利用SR重建处理，获得高分辨率输出图像，取得了良好效果。需要指出的是，在之前的工作中，肺4D-CT图像超分辨率重建是基于整幅图像和所有呼吸相位信息的。这样处理存在的主要不足是：由于呼吸运动影响，两“帧”图像中可能存在局部结构上的较大差异。在SR重建时，这些差异较大的结构易对重建图像产生干扰，甚至导致出现伪影。

针对上述问题，笔者提出一种基于图像分块的超分辨率重建技术，以提高肺4D-CT图像分辨率。首先，将图像分为一系列重叠图像块；其次，利用Active Demons配准算法[9]，自适应选取若干幅与目标图像块对应结构相似的其他相位图像块，并估计出它们之间的运动变形场；而后，采用迭代反投影(iterative back projection,IBP)算法[10]，重建得到高分辨率图像块；将得到的所有高分辨率图像块拼接后，最终输出完整的高分辨率肺4D-CT图像。实验结果表明，相对于反投影(back projection,BP)算法和基于整幅图像、所有相位信息的全局IBP算法，笔者提出的方法不仅在视觉上能够有效地消除伪影，得到更为清晰的图像，而且量化评价指标也有显著提高。主观和客观实验结果均说明所提出方法的有效性。

1 理论与方法

1.1图像分块

本方法的核心思想是将图像分块，并选出若干幅与目标图像块对应结构相似的其他相位图像块，作为超分辨率重建算法输入的低分辨率图像序列。该算法的提出主要源自于对肺4D-CT数据各相位低分辨率图像的仔细分析。如图1所示，其中(a)为相位0低分辨率图像，(b)为不同相位对应于(a)黑框内区域局部图像。对比(b)中各局部图像不难发现，不同相位图像在同一空间位置，组织结构存在一定程度的差别。因而，如果用整幅图像进行超分辨率重建，在此区域就容易出现伪影。由此，采用图像分块处理，并提出基于配准的自适应块选择方法，选择结构相似的块进行超分辨率重建，以减少重建伪影。

笔者采用由左至右、从上到下的扫描式重叠分块方法。图像块大小设定为32×32，重叠步长设定为8，分块参数的具体选择将在讨论部分详细说明。将待重建的低分辨率图像作为目标图像，经图像分块处理后分解为一系列图像块，称之为目标图像块。

1.2基于配准的块自适应选择

图像分块后，采用基于配准的方法：在不同相位中，自适应选择对应结构相似的图像块。该处理包含3个步骤。

步骤1：利用Active Demons配准方法，实现目标图像块与其他相位对应图像块的配准。

Active Demons配准算法由基于扩散模型的Demons算法[12]改进而来。它假设扩散是双向的，参考图像的灰度梯度信息使浮动图像向参考图像扩散，同时浮动图像的灰度梯度信息也驱使参考图像向浮动图像扩散。Active Demons算法的驱动力可表示为

(1)

将目标块作为参考图像，其余各相位对应图像块依次作为浮动图像。通过上述Active Demons配准算法，分别得到配准后的图像块，并获得两图像块之间的运动变形场。

步骤2：利用相似性测度函数[13]，衡量配准图像块与目标图像块的相似性。

通过相似性测度函数，衡量配准图像与参考图像的相似性。相似性愈高，说明浮动图像与参考图像愈相近；反之，说明与参考图像愈相远。

步骤3：选择与目标图像块对应结构相似的图像块，作为参与超分辨率重建的图像序列。

为了有足够的互补运动信息，又能确保与目标块结构差异显著的相位图像块被筛除，选择相似度最高的几幅浮动图像作为参与超分辨率重建的图像序列。

值得一提的是，相比肺上、中部，其下部运动幅度较大。为了选择最优图像序列，消除由大幅度运动引入的伪影，笔者建立了搜索机制:以肺下部图像块为中心，在一定范围内搜索相似的图像块，从运动幅度和搜索速度两方面考虑，将搜索范围设定为3×3。

1.3迭代反投影(IBP)图像超分辨率重建

1.3.1图像退化模型

超分辨率重建技术[14]利用多帧关于同一场景的、有相互位移的低分辨率降质图像来重建一幅视觉效果较好的高分辨率图像，利用图像之间的信息互补获得比单幅更多的细节。基于重建的超分辨率技术是按照特定的退化模型[15]，通过输入的低分辨率图像来估计高分辨率图像。退化模型模拟了原始高分辨率图像退化为低分辨率图像的一系列复杂过程，可以表示为

gk=DBkMkf+nk(k≤p)

(2)

式中，p为图像序列帧数，f、gk，nk分别为待求的高分辨率图像、第k帧观测到的低分辨率图像和图像获取时的噪声，D、Bk、Mk分别为下采样矩阵、模糊矩阵和图像帧之间的运动矢量所构成的变形矩阵。

1.3.2迭代反投影重建

(3)

每一图像块经IBP算法重建后，输出一个高分辨率图像块；将得到的所有高分辨率图像块拼接后，输出一幅完整的高分辨率肺4D-CT图像。

1.4重建结果量化评价

在实验中，笔者将从视觉和量化两方面评价本方法。其中，量化部分采用图像平均梯度[17]定量评价。

图像平均梯度(average gradient)反映图像对细节对比的表达能力，能表征图像的相对清晰度，值越大表明图像清晰度越高，细节保持越好，可定义为

(4)

式中，f(i,j)、▽fi(i,j)和▽fj(i,j)分别是像素点灰度以及其在行、列方向上的梯度，M和N分别为图像的行数和列数。

2 结果

与文献[7]一样，实验数据来源于一套公共可用的肺4D-CT数据集[18]，由10组肺4D-CT数据组成；每组数据包含10个相位，包括极端的吸气和呼气时段。其中，数据1～数据5，图像大小为256像素×256像素，层内的像素尺寸范围为0.97 mm×0.97 mm～1.16 mm×1.16 mm。数据6～数据10，图像大小为512像素×512像素，层内像素尺寸均为0.97 mm×0.97 mm。所有数据，层间间距均为2.5 mm。针对10组数据，选取不同相位的冠矢状面低分辨率图像，分别利用反投影(BP)算法[19]，基于整幅图像、所有相位信息的全局IBP算法(以下简称为“全局IBP算法”)及本方法进行图像重建，从视觉和量化两方面对不同算法的重建结果进行比较。其中，视觉评价从去除伪影和提高清晰度两方面进行效果对比；量化部分采用图像平均梯度进行定量评价，并利用Levene方差齐性检验[20]和Bonferroni多重比较[21]对数据结果进行统计学分析。

2.1自适应选择实验结果

图2给出了图像中某一分块的自适应选择结果。(a)为相位0低分辨率图像，(b)为目标图像块，(c)为其他相位对应的图像块。其中，上行表示自适应选出参与超分辨率重建的图像块，下行表示被筛除的有明显结构差异的图像块。对比选出块和筛除块序列，发现所提出的自适应选择法能够有效过滤结构差异明显的图像块，保留结构相似的图像块，进而减少干扰，达到消除伪影的目的。

图2 自适应选择实验结果。(a)相位0低分辨率图像；(b)目标图像块；(c)其他相位对应图像块(上行:自适应选出的其他相位对应图像块，下行:筛除的其他相位对应图像块)Fig.2 The result of patch adaptive selection.(a) The LR image of phase 0; (b) The objective patch; (c) Corresponding patches of other phases (Top:the selected patches,Bottom:the rejected patches.)

2.2超分辨率重建实验结果

2.2.1视觉评价

图3给出了全局IBP算法和本方法重建结果的伪影对比，由左至右分别为全局IBP算法重建结果、黑色方框区域放大结果及本方法重建结果。其中，(b)的上方小图为原始低分辨率图像块。对比3幅局部放大图可以清楚看出，本方法的重建结果与原始低分辨率图像更为接近，重建伪影得到有效抑制。可见，相比全局IBP算法，本方法能够较有效消除图像伪影。

图4给出了典型的冠矢状面图像重建结果，由左至右分别为BP算法、全局IBP算法和本方法的结果。(a)和(c)行分别为冠状面和矢状面图像。为了更好地进行视觉比较，分别将黑框内的区域进行放大，置于原图下方显示。本方法采用分块处理，自适应选择对应结构相似的图像块参与超分辨率重建。故相比BP算法和全局IBP方法，本方法能够有效地消除伪影，得到更为清晰、边缘和细节显著增强的高分辨率图像。

2.2.2量化评价

采用图像平均梯度量化指标，分别对10组数据重建的高分辨率图像进行了量化评价。

图3 全局IBP算法和本方法重建结果的伪影对比。(a)全局IBP算法重建结果；(b)本方法重建结果；(c)上行为(a)和(b)黑色方框区域对应的原始低分辨率图像，下行由左至右分别为(a)和(b)中黑色方框区域的局部放大图Fig.3 The views of artifacts.(a) The result reconstructed by global IBP algorithm; (b) The result reconstructed by our proposed approach; (c) In the top line,the corresponding area of LR image marked by black box in (a) and (b) is shown,and from left to right in the bottom line,areas in black box of (a) and (b) are enlarged and shown,respectively.

图4 典型的冠矢状面图像重建结果(每行由左至右，分别为BP算法、全局IBP算法、本方法重建的结果)。(a) 冠状面；(b) (a)中各图像方框区域的局部放大；(c) 矢状面；(d) (c)中各图像方框区域的局部放大Fig.4 The coronal and sagittal views of the resolution-enhanced images (from left to right:each row includes the reconstruction results of BP algorithm,global IBP algorithm and our approach,respectively).(a) Coronal view; (b) The enlarged image in black areas of (a); (c) Sagittal view; (d) The enlarged image in black areas of (c).

图像平均梯度反映图像对细节对比的表达能力，能表征图像的相对清晰度。针对10组肺4D-CT图像，在每组图像上选择不同平面，分别利用BP算法、全局IBP算法和本方法重建得到高分辨率图像，并计算其平均梯度,结果如表1所示。为了使评价结果更为直观，表1还给出了本方法相比前两者的平均梯度增加百分比。本方法较BP算法和全局IBP算法，图像的平均梯度显著提高，说明图像愈清晰，细节保持愈好。

表1 重建结果的平均梯度值Tab.1 The average gradient value for results reconstructed by different algorithms

现将表1中3种不同方法的平均梯度值进行Levene方差齐性检验(F=0.60，P=0.942)，结果表明3组方差齐。对表中3组数据进行单向方差分析，F=21.475，P<0.001，按P=0.05的检验水平，差异有显著性意义。再对3组数据进行Bonferroni多重比较，结果如表2所示。可以认为，本方法的平均梯度值最大，全局IBP算法次之，BP算法最小。

表2 平均梯度值Bonferroni多重比较结果Tab.2 Multiple comparison results of Bonferroni for average gradient value

本方法中，图像分块参数的设定对图像质量和运算时间均有较为重要的影响。表3给出了不同图像块大小及重叠步长对运算时间的影响。

表3 不同分块参数设定下平均运算时间比较Tab.3 Average computation time

3 讨论与结论

本研究提出一种基于分块的肺4D-CT图像超分辨率重建的方法。该方法的核心之处在于将图像分块，并通过图像块的自适应选取，选择与目标图像块对应结构相似的其他相位图像块；充分利用它们之间的互补信息，通过超分辨重建算法不断修正目标图像块结构信息，得到清晰度更高且边缘、细节显著增强的高分辨率图像，可有效消除由各相位图像间局部差异较大结构产生的干扰，重建出更加清晰准确的图像。

获取高分辨率医学图像，对临床诊断和分析有重要的意义。由于设备、剂量、时间等多方面的限制，有时并不总能获取到理想分辨率的图像。一般地，图像插值可作为提高图像分辨率的基本手段，但由于图像插值并不引入新的信息，故插值处理易导致图像模糊。图像超分辨率重建技术是提高图像分辨率的有效后处理手段，凸集投影算法、最大后验概率法和迭代反投影(IBP)算法是常用的超分辨率重建方法。由于IBP方法理论简单、稳定性好，故笔者采用IBP方法重建超分辨率肺4D-CT图像，并引入分块处理手段，得到了清晰、伪影少的图像。研究表明，本方法也为4D心脏图像、4D超声图像的超分辨率重建提供了新的思路。

在本方法中，图像的分块及其他相位图像块的自适应选取十分重要。较小的分块能够使图像组织结构的划分更为精细，在一定程度上提升图像质量，但是运算时间的成倍增长却是无法接受的；较大的分块能够降低运算时间，但是分块粗略将明显增加把差异显著的结构划分在同一块的可能性。图像块的重叠采样是为了消除图像的块效应，但过多的重叠将明显增加运算时间。表3给出了不同图像块大小及重叠步长对运算时间的影响。在权衡图像质量和运算时间之后，本实验将图像块大小设定为32×32，重叠步长设定为8个像素。

在基于配准的块自适应选择方面，设定选取5幅与目标图像块对应结构相似的其他相位图像块，作为超分辨率重建算法输入的低分辨率图像序列。这样，不仅避免重建过程中信息的单一、有限，又能减少因利用所有相位图像而引入的差别较大的结构信息。此外，在超分辨率重建问题中，运动估计对结果也有重要影响。采用基于像素灰度的Active Demons配准算法，精度高、速度快，而且CT图像具有灰度连续性，相比其他算法[22]更适合临床应用。然而，以光流场理论为前提的Demons算法，其假设是呼吸过程中肺部图像的灰度值不随时间发生改变。对于肺部，由于受激发空气的影响，其密度将发生改变。因此，灰度不变的假设理论并不完全成立[23]，这在一定程度上会影响配准的精度。在下一步的工作中，拟采用参考文献[23]所提出的APLDM (A Priori Lung Density Modification) 方法，在图像配准前对图像进行灰度矫正，以进一步提高配准精度。

本方法的不足之处在于重建速度较慢。在本图像块参数的设定下，重建出一幅视觉满意的高分辨率图像平均耗时521.42 s。其中，基于配准的块自适应选择耗时510.32 s,IBP重建耗时8.44 s。可以看出，基于配准的自适应选取占据了总耗时的98%。这是因为该步骤需对所有相位图像的每一图像块进行处理，运算量较大。同时，由于肺下部呼吸运动幅度较大，本算法针对肺下部的图像块还建立了在一定范围内选取最优图像块的搜索机制，其运算量是肺上、中部图像块的数倍。在下一步工作中，拟探讨以下方法来提高重建速度：一是采用自适应分块技术，将结构简单、差异小的区域分成较大块，如背景、骨骼、肌肉等；将结构复杂区域分成较小块，以降低整体块数量。二是对肺下部图像采用基于先验的块搜索模式，以减少块搜索范围；同时，研究基于并行处理的快速重建方法。

4D-CT能够真实准确地反映肺部随呼吸运动的变化规律，对于精确跟踪肿瘤靶区的位置、实现个体化精确放疗具有重要的应用价值。然而，由于CT固有的高剂量照射，使得获取的冠矢状面图像往往是低分辨率的图像。采用基于整幅图像和所有呼吸相位的超分辨率方法，能够提高肺4D-CT图像分辨率，但相位图像间的局部差异结构易对重建图像产生干扰，甚至导致出现伪影。为此，笔者提出一种基于分块的肺4D-CT图像超分辨率重建方法，较之前的方法不仅能够有效消除伪影，还能够得到清晰度更高且边缘、细节显著增强的高分辨率图像。实验结果表明，所提出的方法在视觉评价和定量评估方面均优于BP算法和基于整幅图像、所有相位信息的全局IBP算法。

[1] 董志伟,乔友林,李连弟,等.中国癌症控制策略研究报告[J].中国肿瘤,2002,11(5):250-260.

[2] 张金忠,戈伟,张园如,等.CT/CT 图像融合用于非小细胞肺癌放射治疗对 V_ (20) 及放射性肺炎影响的临床研究[J].临床肿瘤学杂志,2011,16(2):154-157.

[3] Keall P.4-dimensional computed tomography imaging and treatment planning [J].Seminars in Radiation Oncology，2004,14(1):81-90.

[4] 苏坡,薛忠,杨建华.4D CT 图像的肺部呼吸运动估计[J].数据采集与处理,2013,28(5):608-613.

[5] Khan F,Bell G,Antony J,etal.The use of 4DCT to reduce lung dose:A dosimetric analysis [J].Medical Dosimetry,2010,34(4):273-278.

[6] Li Tianfang,Schreibmann E,Thorndyke B,etal.Radiation dose reduction in four-dimensional computed tomography [J].Medical Physics,2005,32(12):3650-3660.

[7] 肖珊,王婷婷,张煜.基于运动估计的肺 4D-CT 图像冠矢状面超分辨率重建[J].中国生物医学工程学报,2014,33(2):170-177.

[8] Wu XiuXiu,Xiao Shan,Zhang Yu.Registration based super-resolution reconstruction for lung 4D-CT[C]//36th Annual International Conference of the IEEE EMBS.Chicago:IEEE,2014:2444-2447.

[9] 林相波，邱天爽.Active Demons可变形图像配准算法研究[J].中国生物医学工程学报，2008,27(4):636-641.

[10] Irani M,Peleg S.Improving resolution by image registration[J].CVGIP:Graphical Models and Image Processing,1991,53(3):231-239.

[11] Wang He,Dong Lei.Validation of an accelerated“demons”algorithm for deformable image registration in radiation therapy[J]．Physics in Medicine Biology,2005,50(12):2887-2905．

[12] Thirion JP.Image matching as a diffusion process:an analogy with Maxwell's demons[J].Medical Image Analysis,1998,2(3):243-260.

[13] Buades A,Coll B,Morel JM.A non-local algorithm for image denoising[C]// Conference on Computer Vision and Pattern Recognition (CVPR).San Diego:IEEE,2005,2:60-65.

[14] Park SC,Park MK,Kang MG.Super-resolution image reconstruction:a technical overview [J].IEEE Signal Processing Magazine,2003,20(3):21-36.

[15] Elad M,Feuer A.Restoration of a single superresolution image from several blurred,noisy,and undersampled measured images [J].IEEE Transactions on Image Processing,1997,6(12):1646-1658.

[16] Irani M,Peleg S.Motion analysis for image enhancement:Resolution,occlusion,and transparency [J].Journal of Visual Communication and Image Representation,1993,4(4):324-335.

[17] 徐美芳,刘晶红.基于边缘保持的航拍图像凸集投影超分辨率重建算法[J].液晶与显示,2010,25(6):873-878.

[18] Castillo R,Castillo E,Guerra R,etal.A framework for evaluation of deformable image registration spatial accuracy using large landmark point sets [J].Physics in Medicine and Biology,2009,54(7):1849-1870.

[19] 柯丽，林筱，杜强，等.基于反投影的 MIT 动态图像重建方法研究[J].仪器仪表学报，2013,34(2):394-341.

[20] Brown MB,Forsythe AB.Robust tests for the equality of variances [J].Journal of the American Statistical Association,1974,69(346):364-367.

[21] Bland JM,Altman DG.Multiple significance tests:the Bonferroni method [J].Br Med J,1995,310(6986):1073-1075.

[22] Popa T,Ibáez L,Cleary K,etal.ITK implementation of deformable registration methods for time-varying (4D) imaging data[C]//Medical Imaging 2006:Visualization,Image-Guided Procedures and Display.International Society for Optics and Engineering.San Diego:SPIE,2006,6141:750-759.

[23] Sarrut D,Boldea V,Miguet S,etal.Simulation of four-dimensional CT images from deformable registration between inhale and exhale breath-hold CT scans [J].Medical Physics,2006,33(3):605-617.

Patch-BasedSuper-ResolutionReconstructionforLung4D-CTImages

Wang Tingting Wu Xiuxiu Zhang Yu*

(SchoolofBiomedicalEngineering,SouthernMedicalUniversity,Guangzhou510515,China)

Lung 4D-CT is of great values in the application of tumor localization and individualized precise radiotherapy.However,due to the dose limitation,4D-CT data are in low resolution.In this paper,we proposed a patch-based super-resolution reconstruction approach to enhance the resolution of 4D-CT images.First,we divided the images into a number of overlapping patches.Then,Active Demons registration algorithm was utilized to adaptively select corresponding patches in each phase for the specific patch,and obtain the motion fields between the patches simultaneously.After that,iterative back projection (IBP) algorithm was adopted to reconstruct high-resolution patch.At last,we assembled all patches into a final output high resolution image.A public dataset provided by the DIR-lab at the University of Texas M.D.Anderson Cancer Center (Houston,TX) was employed to evaluate the proposed method.The dataset consists of 10 groups of lung 4D-CT data,each group contains 10 phases.Images of different phases are selected to perform the above procedure for experiment.Quantitative evaluation results indicate that the proposed method significantly increases image average gradient value (8.92±0.50,P<0.001) compared with back projection (BP) algorithm (7.65±0.44) and global IBP algorithm (7.92±0.43).Qualitative evaluation results also show that our approach can eliminate artifacts effectively and get clearer lung 4D-CT images with significantly enhanced structures.

lung 4D-CT data; patch; adaptive selection; super-resolution reconstruction

10.3969/j.issn.0258-8021.2015.02.005

2014-08-05，录用日期:2015-01-07

国家自然科学基金(31271067)；广东省自然科学基金(S2013010014049)

R318

A

0258-8021(2015) 02-0160-08

*通信作者(Corresponding author)，E-mail:yuzhang@smu.edu.cn