基于序列信息的土壤CT图像超分辨率重建

韩巧玲，周希博，宋润泽，赵 玥※

（1. 北京林业大学工学院，北京 100083；2. 林业装备与自动化国家林业局重点实验室，北京 100083；3. 城乡生态环境北京实验室，北京 100083；4. 中国农业大学信息与电气工程学院，北京 100091）

0 引 言

土壤土粒与团聚体之间或团聚体内部存在的间隙，称为土壤孔隙[1-2]。计算机断层扫描（Computed Tomography，CT）技术能够高精度、无损地探查物体内部结构，是研究土壤孔隙的重要技术手段[3-4]。然而，受到扫描设备的硬件限制，CT图像存在伪影、噪声、部分容积效应等图像退化问题[5-6]。图像退化问题不仅影响观察者的视觉效果，也会限制土壤孔隙分割精度，进而对后续土壤物理结构研究产生影响[7]。超分辨率（Super-Resolution，SR）技术可通过特定算法提高图像清晰度，改善图像质量[8-9]。相较于CT设备扫描精度的提高，超分辨率技术的应用更加便捷和高效，且其成本更低廉[10-11]。因此，可将超分辨率重建方法应用于土壤CT图像，为后续研究提供高清晰度、高视觉效果的数据[12]。

目前，应用于CT图像的超分辨率重建方法主要包括三维凸集投影法、三维高频修正A+法等。王兵等[13-14]提出三维凸集投影法，实现三维图像的超分辨率和运动补偿。但该方法需要手动确定修正阈值，不能实现图像自适应超分辨率重建。张廷蓉等[15-17]将高频修正A+算法拓展至三维，实现岩心CT图像的超分辨率重建，但该方法仅考虑稀疏解，导致图像重建时容易丢失细节。近年来，卷积神经网络法（Convolution Neural Networks，CNN）、生成式对抗网络法（Generative Adversarial Network，GAN）等深度学习方法在超分辨率重建领域取得理想效果。神经网络算法具有函数模拟的能力[18-19]，卷积神经网络法使用卷积运算模拟稀疏算法，实现特征非线性映射和图像重建[20-21]，但是卷积神经网络存在计算量较大、特征理解能力较差的问题[22]。生成式对抗网络法引入对抗模型，实现无监督的超分辨率重建，具有清晰度高、网络学习能力强的优势[23-25]，但是存在无法针对序列图像、特征边界失真和色差等问题。

因此，基于生成式对抗网络法，本文提出了一种适用于土壤CT图像的超分辨率重建方法，基于序列信息的生成式对抗网络（Sequence information Generative Adversarial Network，SeqGAN），该方法结合土壤序列信息，使用序列信息矫正目标图像，解决生成式对抗网络法的特征边界失真和色差问题。将SeqGAN法应用于土壤CT图像，尝试解决土壤CT图像的孔隙边界模糊问题，以期为土壤CT图像可视化研究和土壤物理结构研究提供更加准确的数据基础。

1 材料与方法

1.1 土壤样本采集与CT图像获取

试验土壤样本均采集于黑龙江省齐齐哈尔市克山县西北部的克山农场[26]（125°23′57″E，48°18′37″N）。采集位置起始于地表0 cm，采集深度为40 cm，采用机械分层法，提取3个黑土土柱。使用内径10 cm、高10 cm的环刀筒对3个黑土土柱水平等距切割，得到12个与环刀筒大小相同的土柱。使用直径为10 cm、高度10 cm的有机玻璃管作为采集后保存黑土样本的容器，经过饱和水浸泡后得到湿润土壤样本。本次试验使用黑龙江中医药大学的螺旋CT扫描仪获取土壤CT图像。扫描参数为：电流195 mA，电压120 kV，扫描层数64，扫描排数128，最小扫描层厚0.65 mm，扫描点间距0.244 mm，间隔窗宽2 000，窗位800。每次扫描可得到220幅医学数字图像格式（Digital Imaging and Communications in Medicine，DICOM）的土壤CT图像，其尺寸为170 mm×170 mm，分辨率为700像素×700像素。

1.2 土壤CT图像预处理

土壤CT图像经格式转换得到像素范围为0～255的bmp格式灰度图像，经图像裁剪后分辨率为256像素×256像素，尺寸为62.17 mm×62.17 mm，该图像为本文超分辨率模型训练的目标图像，称为高分辨率（High-Resolution,HR）图像。对目标图像二倍线性插值降采样[27]后，图像尺寸不变，分辨率为128像素×128像素。本文以降采样后图像作为超分辨率模型训练的输入图像，称为低分辨率（Low-Resolution，LR）图像。

1.3 基于序列信息的土壤CT图像超分辨率方法

为解决土壤CT图像的孔隙边界模糊问题，本文提出一种基于序列信息的生成式对抗网络方法，该方法包括序列信息的增强、特征提取的强化、对抗模型的构建三部分。

由图1可知，在超分辨率训练时，以低分辨率土壤CT图像作为输入图像，输入序列图像生成器得到超分辨率重建图像；以高分辨率土壤CT图像作为目标图像，将重建图像和目标图像输入鉴别器后输出可信度，实现图像鉴别器的训练；可信度反馈给序列图像生成器，实现图像生成器的训练。在超分辨率测试时，将待超分辨率土壤CT图像输入充分优化的序列图像生成器得到超分辨率重建图像。

1.3.1 序列信息的增强

土壤物理结构具有一致性和空间连通性[28]，因此，土壤CT图像具有较高序列相似性（干燥土壤除外）。针对这一特点，本文提出一种可利用序列图像信息增强超分辨率图像质量的卷积块改进结构，简称序列卷积块（Sequence Convolution Block，SCB）。

由图2可知，序列卷积块由2个卷积块组成。卷积块1使用卷积运算处理目标图像（在序列中索引为n），实现输入图像到特征图的信息映射，并使用批量归一化（Batch Normalization, BN）和带泄露线性整流激活（Leaky Rectified Linear Unit，LReLU）强化信息提取能力，提取和压缩目标图像信息。卷积块2输入卷积块1输出的特征图和序列上下张图像（在序列中索引为n-1和n+1），并输出融合3张图像信息的特征图，实现数据的降维和序列信息的提取。

序列卷积块通过输入上下张序列图像，引入图像的序列信息，通过提取的序列信息增强超分辨率图像的质量，减少因只引入单张图像导致的细节损失。

1.3.2 特征提取的强化

序列信息的引入，导致模型输入信息量增大，因此本文构建了深层网络以强化模型特征提取能力。但是深层网络存在梯度爆炸和模型退化等问题，所以本文提出一种直接引入输入参数的多层残差块改进结构，简称首尾残差连接块（Beginning-to-End Residuals connection block，BE-Resblock），见图3。

由图3可知，首尾残差连接块包括残差块和首尾残差连接两部分。残差块依次使用卷积层、BN层、线性整流激活层（Rectified Linear Unit，ReLU）、卷积层，BN层提取目标图像的信息，在输出前使用元素相加层（elements-add，eleadd）引入输入信息，使残差块的输入信息可以直接传导至输出。在多层残差块提取图像信息后，首尾残差连接使用eleadd层引入总输入的信息，使输入图像信息可以直接传导至深层网络的输出图像。

首尾残差连接块使用多层残差块替代多层卷积块，并建立总输入和输出之间的直接连接，减少因网络过深导致的梯度弥散、模型退化，提高重建图像质量。

1.3.3 对抗模型的构建

本文采用生成式对抗网络生成器模型，基于序列卷积块（图2）和首尾残差连接块（图3），构建了一种针对序列图像的生成器改进模型，简称序列图像生成器（图4）。

由图4可知，序列图像生成器包括3部分，采用序列卷积块代替卷积操作，提取图像的序列信息；采用包含8个连续的残差块的首尾残差连接块提取图像信息；采用卷积层、2倍像素重组（Pixel Shuffle）、ReLU激活实现2倍上采样，提高分辨率。最后在卷积层和双曲正切函数（hyperbolic tangent，tanh）激活层后输出超分辨率重建图像。

对抗模型中，生成器以最大化鉴别器输出的超分辨图像可信度为目标，输入低分辨率图像（ILR），输出超分辨率重建图像。鉴别器以最大化真实图像可信度和最小化超分辨率重建图像可信度为目标，输入真实图像（IHR）或超分辨率重建图像（ISR），输出图像可信度。鉴别器目标函数f(θD)和生成器目标函数f(θG)[23-25]分别为Square Error，MSE）：衡量重建图像与目标图像间的像素差异，取值范围为[0,+∞]，数值越小图像质量越高，其公式[29]如下：

式中ISR(i,j)为待评价图像(i,j)点的像素值，取值范围[0,256]；IHR(i,j)为原始图像(i,j)点的像素值，取值范围[0,256]；M、N分别为图像的长和宽。

2）峰值信噪比（Peak Signal to Noise Ratio，PSNR）：衡量图像间像素最大值和差异的比值，取值范围为[0,+∞]，数值越大图像质量越高，其公式[29]如下：

式中DθD(I)为鉴别器输出图像I的可信度；θD为鉴别器的参数；GθG(IHR)为生成器输入ILR时输出的超分辨率重建图像；θG为生成器的参数。

对抗模型训练时，目标函数f(θG)和f(θD)交替优化，并最终趋于极大值。由于可信度DθD(I)取值范围为0～1，

式中Q为图像灰阶数，位图（Bitmap，BMP）格式灰度图像取256。

3）结构相似性（Structural Similarity，SSIM）：衡量图像间亮度、对比度、结构差异，取值范围为[0,1]，数值越大表示图像质量越高，其公式[29]如下：

式中uISR、uIHR分别为待评价图像ISR和原始图像IHR的像素平均值分别为ISR和IHR的像素方差当模型充分优化时，收敛于纳什平衡状态，即f(θG)=0.5，f(θD)=1，此时鉴别器无法区分超分辨率重建图像和真实图像，即真实图像和超分辨率重建图像可信度都为0.5。

综上所述，SeqGAN法采用对抗网络实现损失间接反馈，减少模型过拟合，增强模型的特征学习能力和泛化能力，提高超分辨率重建图像质量。

1.4 评价指标

为精确评价本文超分辨率重建方法的有效性，本文采用3种图像相似度指标计算重建图像ISR和目标图像IHR间的差异，以定量分析超分辨率图像质量：1）均方误差（Mean为ISR和IHR的像素协方差；c1、c2为稳定常数，c1=(k1Q)2和c2=(k2Q)2，k1和k2为调节系数，一般取0.01和0.03。

2 结果与分析

本文以序列相似度高的土壤CT序列图像为试验对象。试验数据集包含440张土壤CT图像，包括分辨率相差2倍的高分辨率图像数据集和低分辨率图像数据集。低分辨率图像数据集中包含220张土壤CT图像，每张图像分辨率为128像素×128像素，尺寸为62.17 mm×62.17 mm；高分辨率图像数据集中包含220张土壤CT图像，每张图像分辨率为256像素×256像素，尺寸为62.17 mm×62.17 mm，即原始土壤CT图像。

为验证SeqGAN法对序列相似度较高的土壤CT图像的重建效果，选用了图像插值领域的标准方法[30]双三次线性插值法（Bicubic linear interpolation，Bicubic）、深度学习方法卷积神经网络法（CNN）、本文改进方法的原方法生成式对抗网络法（GAN）3种超分辨率方法进行对比分析。土壤CT图像数据集以0.7∶0.2∶0.1比例分割为训练集、验证集、测试集，采取5折交叉验证法以验证泛化能力。CNN法和GAN法的训练轮数为100轮，GAN法的初始化轮数为10轮。处理器为Intel® Xeon E5-2678 v3，主频2.50 GHz，图形处理器为GeForce RTX 2080Ti，内存64 GB。软件环境为anaconda和Python编程语言。

2.1 低分辨率图像重建结果与分析

表1 为220幅低分辨率图像对应高分辨率图像和不同超分辨率方法重建图像的3种相似性指标的平均值和标准差。由表1可知，Bicubic法的均方误差最高，峰值信噪比、结构相似性最低，表明重建图像与原图像相似度最低，重建图像质量最差；CNN法的重建图像质量比Bicubic法有一定的提升，均方误差平均值降低14%，峰值信噪比平均值提高0.66 dB，结构相似性平均值提高2.3%。

表1 4种超分辨率重建方法的结果对比Table 1 Comparison of results of four super-resolution reconstruction methods

GAN法的重建图像质量比CNN法有较大程度的提升，均方误差平均值降低62.3%，峰值信噪比平均值提升7 dB，结构相似性平均值提升2%。但是GAN法的各指标标准差较高，对不同图像的重建效果差异较大，方法自适应性较低；SeqGAN法的重建图像质量最高，相比GAN法均方误差平均值降低25%，峰值信噪比平均值提升1.4 dB，结构相似性平均值提升0.2%。同时各相似度指标的标准差降低25%到56%，重建不同图像时效果保持稳定，方法具有较好自适应性。

为直观展示4种方法超分辨率重建效果，从低分辨率土壤CT图像数据集中随机选取1张图像，经超分辨率重建后，对从重建图像中截取的2个局部图像（图5）进行定性分析。局部图像1的主体为黑色孔隙，其图像尺寸为15.54 mm×15.54 mm，对应输入图像的分辨率为32像素×32像素，对应目标图像和重建图像的分辨率为64像素×64像素；局部图像2的主体为白色石砾，其图像尺寸为7.77 mm×7.77 mm，对应输入图像的分辨率为16像素×16像素，对应目标图像和重建图像的像分辨率为32像素×32像素。局部图像1和局部图像2的超分辨率重建结果如图6和图7。

由图6和图7可知，Bicubic法和CNN法的超分辨率重建图像中整体孔隙结构和砾石结构存在不同程度的模糊，清晰度较低。GAN法的重建图像相比Bicubic法和CNN法更清晰，但重建后的孔隙结构和砾石结构体积增大，边界存在失真现象，与目标图像灰度差异较大。SeqGAN法的重建图像较为清晰，孔隙结构和砾石结构与周围分界明确，与GAN法相比色差较小。

综上，对于具有较高序列相似性的土壤CT图像，Bicubic法和CNN法重建图像质量较差；GAN法重建图像质量有较大提升，但是其对于不同土壤CT图像的适应性较低；本文所提出的SeqGAN法重建的土壤CT图像质量较高，提升了土壤孔隙和砾石的边界清晰度，且具有较好的适应性。

2.2 高分辨率图像重建结果与分析

为验证SeqGAN方法的泛化能力，对高分辨率图像（原始土壤CT图像）进行超分辨率重建，其结果如图8所示。

由图8a和图8b可知，高分辨率图像（图像3）经SeqGAN方法重建后，重建图像整体清晰度较高，与原图像灰度差异较小，白色砾石结构和黑色孔隙结构边界明确。

重建图像清晰度较高，肉眼无法分辨图像细节，因此截取了局部图像进行定性分析。截取的局部图像（图像4）分辨率为128像素×128像素，尺寸为15.54 mm×15.54 mm。由图9a和图9b可知，SeqGAN方法细节清晰，黑色孔隙边缘较为明确，局部清晰度较高，与低分辨率图像重建试验结果一致。

综上，对于低分辨率图像和高分辨率图像，SeqGAN方法重建的图像清晰度均较高，孔隙边界明确，与原始图像灰度差异较小，方法泛化能力较强。

3 结 论

针对土壤计算机断层扫描（Computed Tomography，CT）图像因为部分容积效应导致的孔隙边界模糊问题，本文基于土壤CT序列图像的高相似性特点（干燥土壤除外），提出一种结合图像序列信息的生成式对抗网络超分辨率重建方法（Sequence information Generative Adversarial Network，SeqGAN）提升土壤CT图像清晰度，并通过定性和定量试验比较分析该方法和双三次线性插值，卷积神经网络，生成式对抗网络3种方法的超分辨率重建图像质量。结果表明：

1）基于序列卷积块的特征提取能力，SeqGAN法挖掘出上下张土壤CT图像的相关序列信息，并将其融合于目标图像，减少了超分辨率重建图像的细节损失。利用首尾残差连接块的信息传递能力，SeqGAN法实现了深层网络结构中输入信息和输出信息的直接连接，提高了模型的特征提取能力，并避免了因网络层数过深导致的模型退化问题。

2）SeqGAN法超分辨率重建图像中的孔隙和砾石边界清晰，细节损失和色差较小。其均方误差平均值比次优方法（GAN）降低了25%，峰值信噪比平均值提升1.4 dB，结构相似性平均值提升0.2%。实现了精确的土壤CT图像超分辨率重建，可为研究土壤物理结构提供先进的技术手段。

3）本文方法实现了具有高序列相似性的湿润土壤CT图像的超分辨率重建。而对于序列相似性较低的土壤CT图像（比如干燥土壤）进行准确的超分辨率重建，将是进一步研究的重点。