基于变分光流估计的肺部4D-CT图像超分辨率重建

耿凤欢 刘 慧 郭 强 尹义龙

1(山东财经大学计算机科学与技术学院 济南 250014) 2(山东省数字媒体技术重点实验室 济南 250014) 3 (山东大学计算机科学与技术学院 济南 250013) (gfh0928@outlook.com)

基于变分光流估计的肺部4D-CT图像超分辨率重建

耿凤欢1,2刘 慧1,2郭 强1,2尹义龙1,3

1(山东财经大学计算机科学与技术学院 济南 250014)2(山东省数字媒体技术重点实验室 济南 250014)3(山东大学计算机科学与技术学院 济南 250013) (gfh0928@outlook.com)

由于受到扫描时间和照射剂量的限制，肺部4D-CT数据中纵向采样率远小于面内采样率.为了得到更高质量的肺部图像，从医学图像固有的自相似性出发，提出了一种基于局部和全局相结合的变分光流估计的图像序列超分辨率重建技术，用于提高4D-CT图像重建质量.首先，构建了一个用于求解肺部4D-CT不同相位图像之间的光流场的变分光流模型；然后，利用快速交替方向乘子法求解该模型，得到不同相位图像之间的光流场；最后，基于光流场，并利用非局部迭代反投影超分辨率重建算法，实现了高分辨率肺部图像的重建.实验结果表明：与已有算法相比，本方法在增强图像纹理结构的同时更好地保留了图像的轮廓.

4D-CT图像；超分辨率重建；光流估计；交替方向乘子法；迭代反投影

放射治疗是医学上治疗肺癌最常用的手段.肺部4D-CT图像因其能够提供必要的呼吸运动信息来引导医生进行精确地放射治疗，从而得到越来越多的关注.肺部4D-CT图像是由呼吸运动周期中的多个相位各自对应的3D-CT图像按照获取时间的先后顺序排序得到的，能够包含呼吸周期内肺部器官以及肿瘤区域的空间结构(可通过图像分割算法[1]得到)以及运动信息.这些信息可以辅助医生精确定位靶区，有助于病人的放射治疗.但是，众所周知CT图像的获取伴随着高剂量照射[2-3]，为了降低对病人的辐射量，往往只能降低沿纵向的采样，从而导致肺部4D-CT图像的层间分辨率远低于层内分辨率.在观察3D肺部图像的冠状图时，为了还原真实肺部形状，通常会将3D图像沿Z轴方向进行插值放大.传统插值算法会使图像变模糊.因此，如何提高4D-CT图像超分辨率重建图像质量是亟待解决的问题.

目前，研究者们常利用3类算法实现4D-CT图像的超分辨率重建：传统插值算法、投影重建以及基于字典学习的方法.

1) 传统插值算法.如双三次插值(Bicubic)算法[4]，是根据插值公式，利用邻域内已知像素值得到待插值点像素值，其实现简单且运行速度快，但由于插值过程中未考虑图像的各向异性特性，导致放大后图像的轮廓和纹理比较模糊，降低了图像质量.

2) 投影重建算法.大部分是利用4D-CT不同相位间的互补信息来提高当前相位图像的分辨率，如基于全搜索(full search)的运动估计超分辨率重建方法[5]利用迭代反投影思想及全搜索得到的不同相位图像间的仿射变换信息重建出高分辨率图像，但是该方法的缺点是对不同相位图像间运动估计的精度不高；此外，还有基于配准的凸集投影算法[6]，这类算法的精度很大程度取决于光流估计误差的大小.

3) 基于字典学习的超分辨重建方法[7-9].它们需要大量的训练数据集和较长运算时间，很难满足实时性的需求.

综合比较上述3类方法，其中投影重建类算法能够在较短的计算时间内得到可靠的超分辨率图像，较好地迎合了4D-CT超分辨率重建的需求.常用的投影包括迭代反投影算法[10]、凸集投影算法[11]以及最大后验估计算法[12].其中迭代反投影算法因收敛速度快得到了广泛的应用.

因此，为了提高重建图像的质量和速度，我们采用迭代反投影方法，充分利用4D-CT不同相位间的互补信息实现快速的CT图像超分辨率重建，并在2个方面进行了创新：1)鉴于影响超分辨率重建算法效果的主要因素是图像配准的精度，本文采用了局部和全局相结合(combined local and global, CLG)的变分光流估计模型获得更加精准稠密的光流场，并采用快速交替方向乘子法[13-14]实现光流模型的快速求解；2)采用基于边缘的非局部迭代反投影算法，有效增强超分辨率图像中的边缘和纹理细节.

本文算法主要包含2个步骤：1)将待重建相位图像作为参考相位，采用CLG变分光流估计算法获取其他相位与参考相位之间的光流场；2)利用其他相位图像的互补信息，采用改进的非局部迭代反投影算法迭代求解重建图像.

1 光流模型及求解

CLG变分光流估计模型是用于计算视频中相邻帧间光流场的模型，4D-CT数据中不同相位间光流场亦可用此模型求解.本节主要介绍针对肺部4D-CT图像的CLG变分光流估计模型，以及利用快速交替方向乘子算法求解该光流模型的过程.

1.1CLG变分光流模型

光流估计[15]是利用图像序列中参考帧与当前帧之间像素值数据的时域相关性来确定当前帧中各像素位置相对于参考帧的“运动”.光流计算模型都是基于光流基本等式，通过引入光流约束条件来实现光流求解的.CLG变分光流估计[16]是一种对噪声具有鲁棒性且更加准确的光流计算模型.首先，该模型中引入了对光流的l1范数约束，从而保证了模型对噪声的鲁棒性；其次，模型引入了对数据项的双边滤波操作，以减小相邻像素之间的相互影响；最后，该模型基于图像局部特性实现了光流的各向异性传播，有效地抑制光流过传播带来的负影响.下面构建适用于肺部4D-CT数据不同相位图像间光流估计的计算模型.

首先，基于光流场基本理论，将肺部4D-CT图像看作肺部图像I随时间发生形变而生成的图像序列，也称为图像一致性假设，即呼吸运动过程中肺部图像各个像素位置亮度沿着运动轨迹保持不变，即：

I(x(t),y(t),t)=C.

(1)

其次，引入对光流的l1范数约束和各项异性扩散约束，以及对数据项的双边滤波操作，得到肺部4D-CT图像的CLG变分光流估计模型：

(2)

(3)

其中，X=(x,y)为像素点坐标，U0是光流场的初始估计.数据残差项的局部约束使得邻域像素的光流会影响中心像素点光流的计算，为了确保在得到稠密光流场的同时弱化邻域像素的影响，最有效的方法是引入对数据残差项的滤波操作.滤波算法有双边滤波[18-19]以及基于奇异值分解的滤波算法[20-21]等，其中双边滤波算法实现简单且能满足需求，故本文采用双边滤波对数据残差项进行约束.此外，在CLG变分光流估计模型的求解过程中，光流场的各向同性传播会造成光流的过传播，从而降低光流场的精度.本文中CLG变分光流模型通过加入光流的各向异性滤波操作，有效地抑制了光流的过传播.

1.2求解光流模型

为了实现3D-CT序列图像间光流场的快速求解，我们采用快速交替方向乘子法(alternating direc-tion method of multipliers, ADMM)算法求解本文中的变分光流模型.ADMM是一种求解优化问题的计算框架，通过将全局问题分解成多个相互独立、较小且易于求解的局部子问题，之后协调子问题的解得到全局问题的解.ADMM算法结合了增广拉格朗日方法以及求解凸优化问题的对偶分解策略的优势[13]，实现了对凸优化问题的快速求解.定义Ψi(X)为张量X在第i维度上的融合算子，光流模型可转化成等价问题：

s.t.U=Vi, 1≤i≤2，

(4)

其中，Vi(1≤i≤2)是松弛变量.为了求解式(4)中的条件极值问题，本文将该约束问题转换成无约束的增广拉格朗日函数：

(5)

为了求解式(5)，本文采用了ADMM算法，通过依次迭代更新U,Vi,Wi(i=1,2)来最小化式(5)中的目标函数，得到光流U的局部最优值.U,Vi,Wi(i=1,2)的更新规则：

具体迭代步骤为

Step1. 固定Vi和Wi，更新Uk+1：

(6)

最优解为

(7)

Step2. 固定U和Wi，求解Vi,i=1,2

(8)

式(8)是可分解的，我们可以独立地计算Vi,i=1,2，且可等价写成:

(9)

(10)

其中，ν是张量Vi所包含的一维张量，t是Γi中与ν相对应的一维张量，k是ν的维数，di是D中与ν相对应一维张量的第i个元素.式(10)是一维全变分问题有很多算法可以快速求解.并行计算的引入使得Vi的计算可以在毫秒时间内完成.

Step3. 计算Wi,i=1,2

(11)

该迭代求解过程在原始残差和对偶残差[13]满足特定条件时结束.

文献[14]将多维变分问题转换成标准的l1范数问题，并证明了转换后的问题满足收敛的约束条件.而本文中光流求解算法仅是该算法中的特例(二维变分问题)，因此，可证明本文光流求解过程是收敛的.

2 改进的非局部迭代反投影超分辨率重建

2.1迭代反投影算法

(12)

(13)

其中，Tk(·)是指图像的仿射变换；h是点扩散函数；↓s为下采样算子.反投影重建过程可表示为

(14)

其中，T-1k是Tk的逆；p是反投影算子，p的取值将影响算法迭代时间；↑s表示上采样算子.

2.2改进的非局部迭代反投影算法

为了更好地利用不同帧图像间的互补信息，我们结合迭代反投影算法和非局部迭代反投影算法提出了改进的非局部迭代反投影，实现4D-CT图像超分辨率重建.本文算法在2个方面具有创新性：1)对IBP算法中的投影重建误差进行非局部均值滤波，来保留图像中的高频细节；2)对反投影重建过程中的图像融合策略进行了改进.

IBP算法在反投影重建过程中采用了灰度平均的像素级图像数据融合策略，该策略简单且便于实现，但在输入低分辨率图像间光流场估计误差较大的情况下会严重影响超分辨率重建结果的质量.基于此，本文利用数据加权平均法进行融合，根据低分辨率图像光流估计误差确定该图像的重建误差在反投影过程中的权重.这样便可以很好地抑制光流估计误差对重建结果的影响，从而得到高质量的高分辨率图像.修改后的反投影过程可表示为

(15)

(16)

其中,t是控制核衰变速度的参数.

我们将4D-CT图像所包含的所有相位图像作为已知的低分辨率图像集合，从中选出某一相位图像作为浮动图像.首先，用CLG变分光流估计算法得到浮动图像与其余相位图像间的光流场；其次，结合该光流场以及图像放大倍数，得到图像间的仿射变换；最后，采用改进的非局部迭代反投影算法重建出高分辨率图像.算法1给出了本文方法的实现过程.

算法1. 基于变分光流估计的4D-CT图像超分辨率重建算法.

输出：高分辨率图像Ih.

①U←利用式(2)得到Ik与参考帧Il间的光流场；

②Tk←由光流场U和倍数l得到仿射变换；

③ do

④e(n)←0； /*e(n)为第n次迭代中的误差*/

⑤ fork=1 toK

⑨ end for

3 光流模型中参数问题

当待配准图像与基准间存在较大位移时，式(1)图像灰度一致性假设会造成估计结果误差较大.为此，我们在求解过程中，利用由粗到细的图像金字塔方法提高光流估计精度.式(2)中各项异性扩散因子D的参数设置为典型值α=5,β=1/2，权重系数λ=1 000.增广拉格朗日函数中的惩罚项参数设置为ρ=10.由光流求解过程可知，双边滤波器的邻域大小的选取对光流估计结果影响最大.因此，我们用6种不同大小滤波器并分别对2幅图像间存在大位移和小位移的情况进行了对比实验，如图1所示.

Fig. 1 The influence of filter size on the accuracy of optical flow图1 滤波器大小对光流精度的影响

图1中，横轴表示滤波器邻域大小，纵轴表示图像插值误差[24].插值误差是一种光流估计效果评价标准，其值为真实图像与基于光流补偿得到估计图像间的均方差.由图1可知，当滤波器大小为3×3，5×5时，对于大位移图像间的光流估计效果较差；当滤波器大小为9×9,11×11,13×13时，虽然对图像间存在大位移的情况下光流估计结果较精确，但计算时间较长且对图像间存在小位移情况估计偏差变大了，这是由于滤波器的邻域变大，使得影响当前中心像素的邻域像素变多，从而影响估计结果；当滤波器大小为7×7时，能够很好地处理大位移光流估计问题，且处理时间也能达到要求.故实验中将滤波器的大小设置为7×7.

图2显示了使用基于CLG变分光流估计算法对不同相位中的3幅冠状面图像进行光流估计的2个实例.这2幅冠状面图像是从同一幅4D-CT图像中选取不同相位上的冠状面图像图2(a)、图2(b)和图2(f)，其中图2(a)作为参考帧图像，图2(b)和图2(f)分别作为图像，使用CLG变分光流估计算法分别得到图2(a)和图2(b)之间的光流场图2(c)以及图2(a)和图2(f)之间的光流场图2(g).利用得到的光流场图2(c)对图2(a)进行运动补偿后得到图2(d)；利用得到的光流场图2(g)对图2(a)进行运动补偿后得到图2(h).图2(e)是图2(b)和图2(d)之间的差图像，图2(i)是图2(f)和图2(h)之间的差图像.观察可知，图2(b)和图2(f)中肺部相对于图2(a)整体向下运动且图2(a)和图2(b)之间的位移较小、图2(a)和图2(f)之间的位移较大，这与得到光流场一致.结果可见，图2(b)和图2(d)以及图2(f)和图2(h)的差异很小，说明CLG变分光流估计能准确估计图像.间的位移场，有助于更好地进行超分辨率重建.

Fig. 2 The solved optical flow field and the difference between the original image and the compensated according to the optical flow field图2 光流场、补偿图像以及误差图像

4 实验结果对比与分析

实验所用数据采用的是德克萨斯大学安德森癌症中心DIR-lab实验室*https://www.dir-lab.com/Referenceta.html提供的公开的标准肺部4D-CT数据集[25]，文献[6-7]均采用了该数据集.我们从中选取了5组4D-CT数据(数据1～数据5).每组数据含有呼吸运动过程中的10个不同相位，包括呼气末端相位和吸气末端相位.数据的层内像素尺寸范围从(0.97×0.97)mm2到(1.16×1.16)mm2，层厚为2.5mm.下面将分别展示CLG变分光流估计和最终的超分辨率重建结果.

4.1实验对比

实验将本文算法与双三次插值(Bicubic)算法、基于全搜索运动估计(Full Search)的超分辨算法以及非局部迭代反投影(NLIBP)重建算法进行了对比，以评估本文算法在边界保持方面的效果，并论证光流估计对超分辨重建效果的影响.

Bicubic算法利用待插值像素点邻域内的16个像素值得到插值点的像素值，实现了图像的放大.但是，该方法未考虑图像的各向异性特性，导致放大后的图像轮廓和纹理比较模糊.Full Search算法通过基于图像块的全搜索算法对低分辨率序列进行运动估计，再利用迭代反投影算法重建出高分辨率图像，但是，由于全搜索运动估计精度较低，不能精确引导投影重建过程，造成重建结果质量较差.NLIBP算法利用低分辨率图像自身的非局部冗余信息引导重建误差的反向投影，很好地抑制了高对比度边缘的“振铃”现象，但是，该方法仅利用了单幅低分辨率图像的自身信息，导致重建图像缺失部分细节信息.相比而言，本文算法在提高光流估计精度的基础上，改进了非局部反投影算法，更好地利用了不同相位图像间的互补信息，从而得到具有更多细节信息且结构清晰的高分辨率图像.我们利用图3和图4中的对比结果对上述方法进行验证.

Fig. 3 Visual comparison of reconstruction results of coronal images图3 不同算法得到的冠状图超分辨率图像视觉效果对比

Fig. 4 Visual comparison of reconstruction results of sagittal images图4 不同算法得到的矢状面超分辨率图像视觉效果对比.

图3展示了采用不同算法对数据2进行冠状面图像重建的结果图像.由于数据2中层内像素尺寸为(1.16×1.16)mm2且层厚2.5mm，为了使轴向采样率和层内采样率相同，本文将数据2冠状图上采样倍数设置为2.15.图3中列图像分别是利用Bicubic算法、Full Search算法、NLIBP算法以及本文算法得到的冠状面图像超分辨率结果.前3行图像是分别对应数据2中不同相位(相位5、相位8和相位1)的超分辨率重建结果.为了更好地对比不同算法重建效果，第4行给出了第3行图像中局部细节的放大图.对比前3行图像可以发现，当以不同相位图像作为基准图像时得到的超分辨率图像间存在差异，但在图像质量方面相差无几.对比放大后的肺实质周围的血管与组织边缘处的细节可以看出，本文算法重建出的图像具有更清晰的结构，同时边缘和细节信息也得到加强.

图4则给出采用不同算法对数据2进行矢状面图像重建得到的结果图像.图4的图片排列方式与图3一致.对比放大后的血管与组织边缘处的细节可以看出，Bicubic算法重建效果最差；较Full Search方法，NLIBP算法与本文算法重建出的图像具有更清晰的结构；较NLIBP算法，本文方法重建出的图像中细节信息更加明显.

为了更好地评价重建结果图像的清晰度，我们采用平均梯度作为量化标准.图像边缘附近的灰度值变化率较大，这种变化率大小可以用来表示图像的清晰度.图像平均梯度就是用图像多维方向上灰度变化率之和来表征图像的相对清晰度，值越大图像越清晰：

(17)

表1列出了分别利用Bicubic算法、Full Search算法、NLIBP算法以及本文算法对5幅4D-CT图像选择不同相位图像为浮动图像，对不同平面进行超分辨率重建，然后计算得到所有重建图像平均梯度值的平均值.对比表1中数据可知，较前3种方法，本文方法得到的平均梯度值更高，图像清晰度明显增强.

Table 1 Average Gradient Using Four Different Algorithms

Fig. 5 Comparison of average gradient of super reconstruction results图5 不同算法得到的高分辨率结果对比

此外，利用山东省千佛山医院提供的10组4D-CT数据对相关算法进行了对比分析.图5给出了不同算法得到的高分辨率图像平均梯度，可以看出，对于10组实验数据，本文算法得到的超分辨率重建结果均好于前3种算法.

4.2结果分析

从图3和图4中的细节放大图中可以看出，全搜索算法由于得到的光流场不够精确，导致重建图像中出现一些噪声.本文算法利用基于CLG变分光流估计算法计算得到比全搜索估计更加精确和稠密的光流场，所以超分辨结果要优于全搜索算法.由于非局部迭代反投影只利用低分辨率图像自身的冗余信息，导致超分辨率结果图像在具有较少信息冗余的器官组织边缘出现了模糊.而本文算法则是很好地利用不同帧图像间的互补信息，在保留细节信息的同时提高了重建图像的清晰度.对比表1中5份4D-CT数据重建结果图像的平均梯度值可知，本文算法得到的平均梯度值都是最大的，这表明本文算法更好地保留了图像的细节信息.

5.3算法时间效率分析

本文利用ADMM算法求解光流模型的过程中，主要工作是迭代更新U,Vi,Wi(i=1,2).设实验图像包含的像素数为n，迭代次数为k1，则在光流求解过程中，更新U的时间复杂度为O(n)，更新Vi(i=1,2)的时间复杂度为O(m)(其中m为实验图像像素的列数)，更新Wi(i=1,2)的时间复杂度为O(n).由于m

实验用C++语言实现了本文中光流求解算法，并在配备英特尔i5处理器(主频为3.2 GHz)的主机上进行了测试.对于分辨率为256×99的浮动图像和基准图像，平均光流计算时间为0.323 s，极大地缩短了光流计算时间.因此，对于10幅图像组成的实验图像序列，使用本文超分辨率算法可以在30 s内得到超分辨结果.

5 总 结

本文提出了一种基于CLG变分光流估计的超分辨率重建算法，用于提高4D-CT冠状面图像分辨率.文中，我们将不同相位的3D-CT图像看作不同“帧”图像，基于CLG变分光流模型，并利用快速ADMM算法迅速收敛的性质，实现了浮动“帧”图像与基准“帧”图像间光流场的快速计算；然后，基于得到的光流场，改进了非局部迭代反投影算法，并利用不同相位间的互补信息增强重建了图像的结构细节信息.实验结果表明：本文算法不仅有效增强了图像的纹理结构，而且能够更好地保留图像中的轮廓信息.

在未来的研究工作中，我们将研究实现光流模型及其求解过程中参数的自适应设定，以进一步提高光流估计的精度和超分辨率重建质量.此外，我们还将应用GPU并行计算技术来缩短本文算法的运行时间，用于满足实时性需求.

[1] Liu Hui, Zhang Caiming, Deng Kai, et al. Research on fast FCM pulmonary nodule segmentation algorithm using improved self-adaption[J]. Journal of Computer-Aided Design and Computer Graphics, 2014, 26(10): 1727-1736 (in Chinese)(刘慧, 张彩明, 邓凯, 等. 改进局部自适应的快速FCM肺结节分割方法[J]. 计算机辅助设计与图形学学报, 2014, 26(10): 1727-1736)

[2] Khan F, Bell G, Antony J, et al. The use of 4D-CT to reduce lung dose: A dosimetric analysis[J]. Medical Dosimetry, 2010, 34(4): 273-278

[3] Li Tianfang, Schreibmann E, Thorndyke B, et al. Radiation dose reduction in four-dimensional computed tomography[J]. Medical Physics, 2005, 32(12): 3650-3660

[4] Carey W, Chuang D, Hemami S. Regularity-preserving image interpolation[J]. IEEE Trans on Image Processing, 1997, 8(9): 1293-1297

[5] Su Heng, Zhou Jie, Zhang Zhihao. Survey of super-resolution image reconstruction methods[J]. Acta Auto-matica Sinica, 2013, 39(8): 1202-1213 (in Chinese)(苏衡, 周杰, 张志浩. 超分辨率图像重建方法综述[J]. 自动化学报, 2013, 39(8): 1202-1213)

[6] Zhang Yu, Wu Xiuxiu, Yang Wei, et al. Super-resolution reconstruction for 4D computed tomography of the lung via the projections onto convex sets approach[J]. Medical Physics, 2014, 41(11): No.111917

[7] Zhang Yu, Wu Guorong, Yap P, et al. Hierarchical patch-based sparse representation—A new approach for resolution enhancement of 4D-CT lung data[J]. IEEE Trans on Medical Imaging, 2012, 31(11): 1993-2005

[8] Li Min, Chen Jian, Le Xiang, et al. Super-resolution based on sparse dictionary coding[J]. Journal of Software, 2012(5): 1315-1324 (in Chinese)(李民, 程建, 乐翔, 等. 稀疏字典编码的超分辨率重建[J]. 软件学报, 2012(5): 1315-1324)

[9] Yang Shuaifeng, Zhao Ruizhen. Image super-resolution reconstruction based on low-rank matrix and dictionary learning[J]. Journal of Computer Research and Development, 2016, 53(4): 884-891 (in Chinese)(杨帅锋, 赵瑞珍. 基于低秩矩阵和字典学习的图像超分辨率重建 DLOF[J]. 计算机研究与发展, 2016, 53(4): 884-891)

[10] Irani M, Peleg S. Motion analysis for image enhancement: resolution, occlusion, and transparency[J]. Journal of Visual Communication and Image Representation, 1993, 4(4): 324-347

[11] Stark H, Oskoui P. High-resolution image recovery from image-plane arrays using convex projections[J]. Journal of the Optical Society of America Optics and Image Science, 1989, 6(11): 1715-1726

[12] Levitan E, Herman G. A maximum a posteriori probability expectation maximization algorithm for image reconstruction in emission tomography[J]. IEEE Trans on Medical Imaging, 1987, 6(3): 185-192

[13] Boyd S, Parikh N, Chu E, et al. Distributed optimization and statistical learning via the alternating direction method of multipliers[J]. Foundations and Trends in Machine Learning, 2011, 3(1): 89-97

[14] Yang Sen, Wang Jie, Fan Wei, et al. An efficient ADMM algorithm for multidimensional anisotropic total variation regularization problem[C] //Proc of the 19th ACM SIGKDD Int Conf on Knowledge Discovery and Data Mining. New York: ACM, 2013: 641-649

[15] Horn B, Schunck B. Determining optical flow[J]. Artificial Intelligence, 1981, 17(1/2/3): 185-203

[16] Marius D, Sergiu N. Total variation regularization of local-global optical flow[C] //Proc of the 14th Int IEEE Conf on Intelligent Transportation Systems. Piscataway, NJ: IEEE, 2011: 318-323

[17] Perona P, Malik J. Scale space and edge detection using anisotropic diffusion[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 1990, 7(12): 629-639

[18] Tomasi C, Manduchi R. Bilateral filtering for gray and color images[C] //Proc of the 6th Int Conf on Computer Vision(ICCV). Los Alamitos, CA: IEEE Computer Society, 1998: 839-846

[19] Durand F, Dorsey J. Fast bilateral filtering for the display of high-dynamic-range images[J]. ACM Trans on Graphics, 2002, 21(3): 257-266

[20] Guo Qiang, Zhang Caiming, Zhang Yunfeng. An Efficient SVD-Based Method for Image Denoising[J]. IEEE Trans on Circuits and Systems for Video Technology, 2016, 26(5): 868-880

[21] Guo Qiang, Zhang Caiming, Zhang Yunfeng, et al. Low-rank image denoising based on minimum variance estimator[J]. Journal of Computer-Aided Design and Computer Graphics, 2015, 27(12): 2237-2246 (in Chinese)(郭强, 张彩明, 张云峰, 等. 基于最小方差估计的图像低秩去噪[J]. 计算机辅助设计与图形学学报, 2015, 27(12): 2237-2246)

[22] Liu Jun, Yuan Lei, Ye Jieping. An efficient algorithm for a class of fused lasso problem[C] //Proc of the 19th ACM SIGKDD Int Conf on Knowledge Discovery and Data Mining. New York: ACM, 2010: 323-332

[23] Dong Weisheng, Zhang Lei, Shi Guangming, et al. Nonlocal back-projection for adaptive image enlargement[C] //Proc of the 16th IEEE Int Conf on Image. Piscataway, NJ: IEEE, 2009: 348-352

[24] Baker S, Scharstein D, Lewis J, et al. A dataset and evaluation methodology for optical flow[J]. International Journal of Computer Vision, 2011, 92(1): 1-31

[25] Castillo R, Castillo E, Guerra R, et al. A framework for evaluation of deformable image registration spatial accuracy using large landmark point sets[J]. Physical in Medicine and Biology, 2009, 54(7): 1849-1870

VariationalOpticalFlowEstimationBasedSuper-ResolutionReconstructionforLung4D-CTImage

Geng Fenghuan1,2, Liu Hui1,2, Guo Qiang1,2, and Yin Yilong1,3

1(CollegeofComputerScienceandTechnology,ShandongUniversityofFinanceandEconomics,Jinan250014)2(ShandongProvincialKeyLaboratoryofDigitalMediaTechnology,Jinan250014)3(CollegeofComputerScienceandTechnology,ShandongUniversity,Jinan250013)

The acquisition of lung 4D computed tomography (4D-CT) data is limited by the scanning time and radiation dose, which leads to the sampling rate in the axial direction is much less than that in the in-plane direction. In order to get better quality of 4D-CT images, based on the inherent self-similarity of medical images, a new method of image sequence super-resolution reconstruction is proposed in this paper. This method uses the local and global variational optical flow estimation to improve the quality of enlarged 4D-CT image. Firstly, we present a combined local and global variational optical flow model, in order to estimate the motion fields (i.e., the optical flow fields) between different phases in the corresponding positions. Then, the optical flow field is obtained by solving the model with the fast alternating direction method of multiplier. Finally, according to the calculated motion fields, we employ the improved non-local iterative back projection (NLIBP) algorithm to reconstruct high resolution lung images. The experimental results have shown that, in both quantification standard and visual perception, this method outperforms non-local iterative back projection algorithm and full search block matching based iterative back projection technique. Furthermore, our method can generate clear edges while enhancing the texture of images.

4D-CT image; super-resolution reconstruction; optical flow estimation; alternating direction method of multipliers; iterative back projection

Geng Fenghuan, born in 1992. Master candidate. His main research interests include image processing and machine learning.

Liu Hui, born in 1978. PhD, professor and master supervisor. Member of CCF. Her main research interests include image processing, computer vision, and machine learning.

Guo Qiang, born in 1979. PhD, associate professor and MSc supervisor. Member of CCF. His main research interests include image processing and computer vision.

Yin Yilong, born in 1972. PhD, professor and PhD supervisor. Senior member of CCF. His main research interests include machine learning, data mining, and computational medicine.

2017-05-23；

：2017-06-20

国家自然科学基金项目(61572286，61472220)；山东省重点研发项目(2014GGX101037)；济南市高校自主创新项目(201401216)；山东省高校优势学科人才团队培育项目 This work was supported by the National Natural Science Foundation of China (61572286,61472220), the Project of Shandong Provincial Key Research and Development (2014GGX101037), the Project of Independent Innovation of Universities in Jinan (201401216), and the Fostering Project of Dominant Displine and Talent Team of Shandong Province Higher Education Institutions.

刘慧(liuh_lh@sdufe.edu.cn)

TP391