同步辐射纳米CT图像配准方法研究*

苏博 陶芬 李可 杜国浩 张玲 李中亮邓彪† 谢红兰 肖体乔

1) (中国科学院上海应用物理研究所, 上海 201800)

2) (中国科学院大学, 北京 100049)

3) (中国科学院上海高等研究院上海光源中心, 上海 201204)

基于同步辐射的X射线纳米成像技术是无损研究物质内部纳米尺度结构的强大工具, 本文总结了图像配准技术在纳米CT成像领域的研究和应用, 并根据发展阶段进行分类分析.首先, 通过统计近年以来图像配准文献的发表情况, 分析并预测纳米尺度图像配准的未来研究方向.其次, 基于图像经典配准算法理论, 详细介绍了图像配准算法在纳米成像领域最有效的前沿应用.最后, 介绍了基于深度学习的图像配准方法的前沿研究, 并讨论深度学习在纳米分辨图像配准领域的适用性及发展潜能, 根据纳米尺度图像数据的特点及各种深度学习网络模型的特性, 展望了同步辐射纳米尺度图像配准技术的未来研究方向及挑战.

1 引 言

基于同步辐射的X射线纳米成像是无损研究物质内部纳米尺度结构的重要技术, 主要包括: 全场透射X射线显微镜(transmission X-ray microscope, TXM)、纳米断层成像(nano computer tomography, Nano-CT)、纳米探针扫描成像(X-ray nanoprobe)、相干衍射成像(coherence diffraction imaging, CDI)和几何放大投影成像(projection imaging, PI)等, 空间分辨率可高达几十纳米甚至几纳米, 近年来发展迅速, 已广泛地在材料科学、化学催化、生命科学、环境科学等多个领域深度应用[1,2].

在纳米级分辨率下, 机械、环境等的不稳定性也变得显而易见.在CT扫描成像过程中, 假设投影数据只有已知旋转角度的变化, 没有其他任意方向的移动.由于机械不稳定性、机械精度、辐射热膨胀、射线强度波动及探测器响应不一致等因素影响, 会造成样品位置偏移、旋转中心偏移、投影衬度不均等误差.这些误差对低分辨CT成像影响不大, 甚至可视情况忽略不计, 但在纳米级分辨的纳米CT上就被放大到明显可见, 导致投影数据失准, 严重影响样品的重建质量甚至无法正确重建.如图1示例, 为失准投影数据合成的Sinogram图(a)和对应的重构图像(b), 由于位置偏移误差、射线能量波动等原因, Sinogram图上存在曲线不光滑、明显截断痕迹及衬度不均等问题.因此在图像重构之前, 必须解决图像失准的问题.

图1 失准投影合成的Sinogram图及重构切片图 (a)发生偏移误差时; (b)发生X射线能量变化时[3]Fig.1.Sinogram graph synthesized by misalignment projection: (a) With translation errors including vertical and horizontal movement at each projection; (b) when the X-ray density of projection is changed during the beam time[3].

目前, 解决纳米尺度图像失准的方法按工作原理可分为两类: 一类是通过硬件, 提高机械稳定性或在线机械校准的方法; 一类是通过软件, 在图像后处理中进行图像配准.

现代纳米成像装置上通常采取使用高刚度材料、调频防止器件共振及添加隔离垫等措施尽量减小样品扫描过程中发生振动, 也可以利用激光干涉仪等装置在线校正扫描过程中的跳动误差[4], 如图2所示.但是, 在长时间的纳米CT全角度扫描中,保持旋转轴和样品稳定转动, 将旋转样品的抖动偏移量控制在几十纳米内仍是机械控制领域的技术瓶颈之一, 尚不能达到三维重构的纳米级精度要求.针对该问题, 上海光源的程甲一等[5]利用可见光显微镜记录样品转动过程中的漂移轨迹, 采用配准算法预测样品的漂移规律, 再利用机械手段在线自动校正由转动产生的样品漂移, 将漂移控制在1 µm精度内, 如图2(c)所示..虽然该方法的鲁棒性、外推性及精度仍需提高, 但这种硬件与软件结合的配准方法可为在线配准研究拓宽思路.

图2 在线机械校准 (a)激光干涉仪[4]; (b)激光干涉仪记录旋转目标偏移轨迹[4]; (c) 上海光源软X光谱学显微实验站样品台[5]Fig.2.Online mechanical calibration: (a) Laser interferometer[4]; (b) laser interferometer records the deviation trajectory of the rotating target[4]; (c) SSRF soft X spectroscopy microscope experimental station sample stage[5].

图像配准是将来自不同时间、角度、景深或探测器的不同图片数据集转换到同一坐标系下的方法, 广泛应用在计算机视觉、医学成像、遥感卫星、自动控制、材料科学等领域.图像配准算法自20世纪60年代发展至今, 并没有统一的分类标准.根据图像数据获取方式的不同, 可分为单模态图像配准、多模态图像配准; 根据提取图像信息的不同,可分为基于区域的图像配准、基于特征的图像配准;根据空间变换性质, 可分为刚体变换配准(旋转、缩放、平移等)、非刚体变换配准(径向基函数、物理连续模型、大变换模型); 根据人机交互性, 可分为全自动配准、半自动配准、人工配准等.

随着计算能力的提高, 作为图像处理与计算机视觉等领域的共同热门课题-图像配准算法的研究进入高速发展阶段.本文使用多个关键词在多个数据库调研了图像配准相关研究的文章发表情况, 总结了图像配准算法的发展趋势.关键词包括不限于图像配准(image alignment, image registration)、深度学习(deep learning)、CT(computer tomography)、卷积神经网络(convolutional neural network, CNN)、生成对抗网络(generative adversarial network, GAN)、互相关(cross correlation)、互信息(mutual information)等, 搜索引擎使用谷歌学术、超星发现、Web of Science等, 数据库包括Scopus文摘索引数据库(荷)、SCI科学引文索引(美)、EI工程索引(美)、PubMed/Medline收录、统计源期刊(中信所)、中文核心期刊(北大)、CSCD中国科学引文库(中国科学院)等.如图3(a)所示, 图像配准研究从20世纪90年代开始发展,在20世纪迎来高速发展阶段, 各种经典算法相继被提出.如图3(b)所示, 近年来, 图像配准的相关研究虽然逐渐递减, 但基于深度学习的图像配准研究逐年增加.到2020年为止, 基于深度学习的图像配准研究预计达到全年图像配准相关文献发表总量的1/4, 逐渐成为该领域的主流方法之一.

图3 图像配准领域文章发表情况 (a) 近30年图像配准论文发表情况; (b) 近10年深度学习图像配准论文增长趋势Fig.3.Publication of papers in the field of image registration: (a) Publication of research papers on image registration in the past 30 years; (b) percentage of papers on deep learning image registration in the past 10 years.

本文针对同步辐射X射线纳米尺度图像配准的研究方向, 根据图像配准算法的研究阶段分别介绍: 经典图像配准理论与算法、纳米尺度图像配准前沿应用研究及图像配准算法前沿研究.依据工作原理、交互方式、数据类型等方面, 详细阐述每类配准算法的原理、适用场景及优化方向, 并简洁的对每种算法的贡献及未来适用性进行总结, 本文概述导图如图4所示.

图4 图像配准算法分类概述导图Fig.4.Classification overview map of image registration algorithms.

2 图像配准理论与算法

常规图像配准工作流程主要包括: 模型变换,特征检测及描述, 寻优策略选择并建立映射关系,图像重采样或变换等, 如图5所示.其中, 核心步骤为特征的检测描述与匹配, 图像配准算法根据检测特征信息算法的不同, 可分为基于区域的图像配准与基于特征的图像配准两大类.

图5 图像配准的常规流程图Fig.5.General flow chart of image registration.

2.1 基于区域的图像配准算法

基于区域的图像配准算法是利用图片的强度信息等来构建特征空间的方法, 典型方法有: 互相关法、互信息法、傅里叶法等[6,7].

1971年, Leese等[8]在模式识别算法的基础上提出一种基于图像灰度的平均绝对差配准算法(mean absolute differences, MAD).随后, 基于该MAD算法改进的绝对误差和算法(sum of absolute differences, SAD)、误差平方和算法(sum of squared differences, SSD)、平均误差平方和算法(mean squared differences, MSD)、序贯相似性检测算法 (sequential similarity detection algorithm, SSDA)[9]及绝对变换误差和算法(sum of absolute transformed difference, SATD)等配准算法被相继提出, 此类算法均采用图像灰度值计算相似度进行图像配准, 计算速度、鲁棒性、精度均有所提高, 但各有侧重.1974年, Pratt[10]在灰度值配准算法的基础上提出互相关图像配准法, 并通过计算机仿真结果证明.1982年, 在图像点互相关法的基础上, Guckenberger[11]证明了通过互相关函数在线性连续物体图像配准中是有效的.随后, 归一 化 互 相 关(normalize cross-correlation, NCC)及快速归一化互相关(fast normalize cross-correlation, FNCC)等算法被相继提出, 进一步地提高了配准精度及速度[12,13].

1995年, Paul等[14]提出互信息配准法, 引用热力学中熵的概念来表达两幅图像之间信息的不确定程度.互信息配准法适用于多模态配准, 如医学影像配准、双能CT投影配准[15]等.随着寻优算法的发展, 从20世纪90年代开始, 遗传算法[16]、粒子群算法[17]、蚁群算法[18]等寻优算法相继被用于提高互相关、互信息等图像配准算法的速度.

傅里叶变换图像配准法通过傅里叶变换将图像数据由空域变换到频域, 采用相位相关技术进行计算匹配, 具有速度快、精度高等优势[19].基于傅里叶变换的图像配准常规流程如图6所示.傅里叶变换针对平移、灰度变化、旋转及缩放的图像具有尺度不变性, 利用整幅图像的灰度信息进行配准,精度较高.然而, 针对旋转角度、缩放尺度及位移偏差较大或非线性畸变等图像鲁棒性不高, 对噪声也较为敏感.

图6 基于傅里叶变换的图像配准流程图Fig.6.Flow chart of image registration based on Fourier transform.

2.2 基于特征的图像配准算法

基于特征的图像配准算法根据图像中的可识别特征进行图像匹配.根据特征提取方式及人机交互性等, 可分为手动选取法和自动检测法; 根据特征属性, 可分为人工特征(又称外部特征)法和自然特征(又称内部特征)法.

特征手动选取法是具有配准功能的三维重构软件的常用功能, 如斯坦福大学的纳米CT重构软件TXM wizard等[20].实际情况下, 由于光通量过低或不稳定等原因, 导致CT投影数据衬度低及信噪比低, 图像自然特征不明显, 手动选取特征变得尤为困难.20世纪90年代, 有研究人员在样品中添加人工特征物-金颗粒, 人工特征在样品投影中衬度高且易于检测, 有效降低了配准计算的复杂度, 节省了大量时间.但人工特征法也因样品制备困难、周期长及价格昂贵等缺点受到限制.

自动特征提取是指通过算法自动检测图像的自然特征并加以描述的方法, 如: 点特征、线特征、中心特征、区域重心等, 将其作为图像配准算法的特征进行匹配.上述特征应是图像中不受偏移、旋转及缩放等变化影响的目标, 可称之为不变描述符.因此, 基于特征的图像配准算法的本质是不变描述符的利用, 该不变描述符应满足条件有: 不变性、唯一性、稳定性及独立性.但是, 实际使用过程中并不能同时满足所有条件, 可按照使用需求适当权衡取舍, 实现最优特征选取.

特征检测描述方法的优劣决定了图像配准计算的效率和精度.随着计算力提升及图像处理学科的发展, 从20世纪80年代起, 经典的特征匹配算法, 如Moravec算子[21]、Harris角点检测算子[22]、SIFT(scale-invariant feature transform)法及基于SIFT[23]改进的PCA-SIFT[24]、SURF[25]、CSIFT[26]等被相继提出, 不断优化图像特征提取的效率、精度及稳定性.2006年, Rosten等[27]提出一种快速检测特征点的算法 (features from accelerated segment detection, FAST), 原理是若某像素与其周围邻域内足够多的像素点相差较大, 则该像素便可能为角点.2010年, Calonder等[28]提出一种二进制的特征点描述子 (binary robust independent elementary features, BRIEF), 该算法没有采用灰度直方图, 极大减少了特征匹配时间.然而, BRIEF仅是特征点描述子, 还需FAST, Harris, SIFT等算法检测特征点.2011年, Rublee等[29]结合FAST特征点检测法和BRIEF特征点描述法提出ORB(oriented brief)特征点检测描述法, 不仅优化了BRIEF的噪声敏感问题, 还兼具旋转不变性.同年, Leutenegger等[30]提出一种二进制特征检测描述算法BRISK, 利用FAST进行特征点检测, 构造图像金字塔多尺度表达使其具有尺度不变性, 特征点描述采用高斯滤波及局部梯度计算使其具有旋转不变性.2012年, Alahi等[31]在BRISK算法的基础上提出FREAK算法, 在兼具尺度不变性、旋转不变性及噪声不敏感性的基础上, FREAK法采用与BRISK的均匀采样法不同的视网膜拓扑采样法(如图7所示), 核心区域处理高精度图像信息, 过度区域及稀疏区域处理低精度图像信息, 使鲁棒性大幅提高.另外, 常见的边缘提取算子有LOG (laplace of Gaussian)算子[32]、Robert算子、Sobel算子、Prewitt算子等[33], 计算效率等详见参考文献[31, 32].

图7 FREAK算法的类视网膜取样模式[31]Fig.7.Retina-like sampling mode of FREAK algorithm[31].

在上述基于区域或特征的图像配准算法中:

1)互相关与傅里叶变换等算法采用图像全局信息, 虽然针对图像噪声、大尺度偏移及旋转等影响的鲁棒性不高, 但是兼顾了图像配准的效率及精度, 很适用于图像信息偏差不大, 高配准精度要求的图像;

2)基于特征的配准算法则对旋转、偏移等图像具有高鲁棒性, 通常采用点特征法进行匹配, 比较点特征检测描述算子的效率可知, ORB算法最快, 其次为FREAK, BRISK, SURF 及SIFT等,但若进行模糊程度较高的图像配准时, BRISK算法的性能表现最为出色;

3)互信息图像配准算法和特征匹配配准算法均适用于多模态配准.

3 纳米尺度图像配准的应用研究

在过去几十年里, 数种图像配准算法被应用到X射线断层成像技术中.每种算法都各有优缺点, 阻碍了它们在X射线纳米成像高精度配准中的广泛应用.例如, 基于互相关的图像配准算法虽然计算速度快, 但是邻角度投影的亚像素级误差会不断累加, 难以解决复杂的几何变换问题; 基于特征的图像配准算法, 自动检测计算复杂, 人工标记制样困难等.

近年来, 纳米尺度图像配准的发展主要以高精度、高速度、高鲁棒性为目标.瑞士保罗谢勒研究所(Paul Scherrer Institute, PSI)的研究人员针对纳米相干衍射成像的投影数据展开了一系列配准研究.2008年, Guizar-Sicairos等[34]提出了3种基于互相关及离散傅里叶变换的亚像素级精度配准算法, 与常规快速傅里叶变换方法相比, 有效减少了内存需求, 计算效率得到极大提高.2017年,Gürsoy等[35]针对纳米尺度成像技术提出一种基于迭代重投影技术的快速高精度图像配准技术.2019年, Odstrcil等[36]针对相干衍射相位成像, 利用的投影数据的吸收及相移信息提出一种联合配准算法.该方法按照算法优势将互相关配准法、共线垂直配准法、投影匹配法等配准算法分为预配准(即粗配准)和精配准两部分进行全自动配准研究, 算法流程如图8所示.该篇文章用模拟数据实验对联合配准算法进行测试, 如图9所示的实验结果证明该方法在保证亚像素级精度配准的前提下,有效避免了用户交互过程, 实现了快速、高鲁棒性的全自动投影数据配准与重建.

图8 MR-PMA配准法流程图[36]Fig.8.Flow chart of MR-PMA image alignment[36].

图9 通过MR-PMA方法配准的FBP法重建质量[36] (Dataset 1为标准数据集, Dataset2为欠采样并包含161个噪点的数据集、Dataset 3在Dataset 2基础上添加了10%的高斯噪声.分别对每个数据集进行32-1的降采样法配准, 最后一列的插图显示了全分辨率数据集的重建质量)Fig.9.FBP reconstruction quality after alignment by our MR-PMA method[36] (Columns show reconstruction at different downsampling levels from 32 up to 1, and rows correspond to different synthetic datasets.Insets in the last column show detail of the reconstruction quality for the full resolution dataset).

2018年, 斯坦福大学同步辐射光源及东华大学的Yu等[37]通过评估不同配准算法的特性, 并提出一个联合RP (reverse projection)、CM (center of mass), PC (phase correlation), SIFT, IAIR(intensity-based automatic image alignment)等多种配准算法的特定使用序列以克服单个配准算法的短板, 提供最佳的自动配准性能, 如图10-图12所示.首先, 利用RP法计算旋转中心与投影中心的相对偏移量, 但是对于随机振动误差无效.因此, 采用精度较低、计算速度快的CM法作为粗配准步骤校正随机振动误差.其次, 采用兼顾精度与计算速度的相位相关法进一步提高配准精度.最后, 采用SIFT法和IAIR法(对低信噪比的投影鲁棒性不高)进行最终偏移及旋转误差校正, 以达到最佳配准精度.根据电池电极颗粒纳米CT数据的实验结果证明, 该方法对纳米尺度图像有效配准, 实现高精度三维重建[37].

图10 评估具有不同缺陷的不同图像配准算法的精度和鲁棒性[37]Fig.10.Evaluation of the precision and the robustness of different image registration algorithms with added imperfections[37].

图12 配准后页岩投影重建切片对比: (a) 原始数据, (b) 手动配准, (c) 自动配准; 重投影后页岩投影数据对比: (d) 实验数据,(e) 手动重投影, (f) 自动重投影[37]Fig.12.Reconstructed slices through the center of the shale sample without alignment (a) and with manual (b) or automatic (c)alignment.Panel (d) is the experimentally measured projection image.Panels (e) and (f) are the numerically reprojected images,calculated from the manual and auto-aligned 3D matrixes, respectively[37].

图11 纳米级投影图像迭代配准重建流程图[37]Fig.11.Schematics of the iterative projection image registration workflow for nanoscale X-ray tomographic reconstructions[37].

2020年, 中国台湾光源的Wang等[38]针对纳米成像投影数据提出一种无标记全自动配准算法.先后利用频域共线配准法、空间共线配准法、单层迭代重建与重投影法来处理投影面内旋转误差、垂直误差、水平误差.如图13和图14所示, 实验结果表明, 这种联合配准算法有效降低了经典配准算法的计算复杂度, 提高了高精度配准的收敛速度,总处理时间最多可减少4个数量级.

图13 Ji-Faproma算法不同噪声水平下的配准精度对比[38] (a)投影内旋转误差的平均根方差; (b)投影垂直误差和水平误差的平均根方差; (c)配准后面对不同噪声时的重建质量Fig.13.Performance of the JI-Faproma evaluated by comparing the alignment accuracy under different noise levels[38]: (a) Rootmean-square error of the in-plane rotational error correction; (b) root-mean-square errors of the vertical and horizontal error corrections; (c) reconstruction quality after JI-Faproma alignment for test phantoms containing different levels of noise.

图14 Ji-Faproma算法在不同噪声水平下的收敛情况[38]Fig.14.Ji-Faproma algorithm convergence under different noise level of raw projections[38].

此外, 中国科学院高能物理所的Wang等[39]针对纳米分辨全场成像扫描过程中样品抖动的问题, 提出了一种基于GMs(geometric moments)的校正样品抖动的配准算法, 如图15和图16所示.实验表明, 该方法通过测量和拟合的GMs差异来估算样品抖动值以进行图像校正, 有效保留了CT投影数据的精细结构, 与手动标记法相比具有更好的空间分辨率和衬度, 相比于添加金颗粒特征(手动标记法), 该方法极大节省了实验成本.

图15 GMs抖动校正法的流程图[39]Fig.15.Workflow of the proposed jitter correction[39].

图16 采用不同矫正方法的重构结果[39] (图中: a列-d列分别是原始数据、手动对齐、重投影法、GMs法的切片; 第1-第3行是从x–z平面重建的切片, 在y方向上均匀间隔了50个像素; 第4行是x–z平面中的重构切片)Fig.16.Sinograms (top row) and reconstructed slices of a chlorella cell using different methods[39] (Row 2: reconstructed slices of row 1, displayed in the x–y plane.Row 3: reconstructed slices in the x–z plane.Columns from (a) to (d) are results of TXM without jitter correction, corrected by a re-projection-based method, by manual alignment and by the proposed GM method).

由上述研究可以看出, 由多种经典算法组合而成的粗配准-精配准-联合配准算法模式是纳米尺度图像配准的有效处理方法之一, 达到了亚像素级精度、高鲁棒性、高速度的研究目标.随着各种新特征检测描述方法的不断提出, 通过以经典配准重构算法与新特征检测描述算子结合使用的方式,联合配准算法的性能仍有进一步提高的潜力.

4 基于深度学习的图像配准算法

深度学习的概念由Hinton等于2006年提出,是基于机器学习多层神经网络的应用研究, 目的是建立模拟人脑分析过程进行学习的方法[40].近年来, 随着深度学习各项技术的快速发展, 陆续在多个领域的人工智能应用上取得成功, 例如: 在计算机视觉和模式识别中, CNN能够有效实现图像识别, GAN显著提高了图像翻译, 图像编辑, 图像修复和图像融合等任务的性能等.此外, 还有循环神经网络(recurrent neural network, RNN)、自动编码神经网络(auto-encoder, AE)及强化学习(reinforcement learning, RL)等方法广泛应用于各个领域.图像配准作为图像处理、机器学习、计算机视觉等领域的交叉热门研究课题, 现有的图像配准研究趋势被深度学习的研究模式打破, 当前图像配准的前沿研究大多涉及深度学习.

自 2014年起, 基于深度学习的图像配准研究的会议论文和期刊论文发表数量迅速增加.如图17所示, 基于CNN的图像配准研究增量最多, 增速最快, 目前已占比约为深度学习图像配准研究总数量的55%; 同时, 基于GAN图像配准的研究趋势也逐年增加, 增速迅速提升, 目前已经占比约13%;基于自动编码神经网络与强化学习的图像配准研究增量较少, 分别占比约6%和7%.必须指出,上述方法并不是相互代替, 而是常常采用联合使用的方式进行图像配准.总体来看, 基于无监督的深度学习研究数量过半, 这是因为监督学习方法需要从大量特征中选择最优的特征空间, 往往还需要用到人工特征进行训练, 并且该方法还需要与预测估计值具有参照关系的目标数据(ground truth)进行训练[41-43].但是, 由纳米成像技术获得的图像数据通常没有目标数据, 目标数据的计算过程不仅耗费人力, 并且易受到人为主观因素的影响, 极大影响了图像配准的准确性.因此, 本文将根据纳米成像数据的特点及难点展开基于多种深度学习模式的前沿研究介绍.

图17 深度学习研究论文发表情况统计 (a) 2014年至2020年多种深度学习模式图像配准论文发表数量统计; (b) 2014年至2020年多种深度学习模式的图像配准文章百分比图; (c) 2014年至2020年无监督与监督深度学习图像配论文发表百分比图Fig.17.A survey of the publication of deep learning research papers: (a) Number of published image registration papers based on multiple deep learning methods since 2014; (b) percentage of image registration papers based on multiple deep learning methods since 2014; (c) The percentage of published image registration papers based on unsupervised and supervised deep learning since 2014.

2012年, 由Krizhevsky等[44]采用的深层CNN由输入层、卷积层、ReLu层、池化层和全连接层组成.深层CNN具有的正则化多层感知器、卷积滤波和算子使其具有卓越的图像提取能力, 是当前深度学习图像配准使用最广泛的网络结构模型.Cao等[45]基于深层CNN配准方法提出了线索感知深度回归网络, 建立从输入图像到输出形变场的非线性映射模型, 实现准确有效的非线性形变配准.该研究通过基于关键点的均衡化采样方法在训练数据中采集足够的训练样本来训练CNN模型,方法流程如图18所示.经实验证明, 训练结果可扩展至多样数据集进行配准, 具有高鲁棒性.

图18 基于线索感知深度学习网络的图像配准[46]Fig.18.The framework of the proposed similarity-steered CNN regression for deformable image registration[46].

针对深度学习图像配准的监督学习缺少目标数据的问题, 有研究者使用模拟数据进行基于监督学习的图像配准训练, 训练结果对真实数据的固定噪声极其敏感, 图像配准的准确性同样难以保证.

Krebs等[47]通过大量模拟图像数据与少量真实图像数据混合使用的方式解决无目标数据问题.Rohé等[48]使用全局信息和结构信息代替强度信息对部分区域进行与配准, 以增加计算速度并避免陷入局部最优化.随后, 将配准后的偏移信息作为目标数据进行监督训练, 测试数据的结果表明模型的精度、鲁棒性、速度均有所提高.

Wu等[49]采用卷积结构的多层自动编码网络对脑部图像数据进行无监督的深度学习图像配准,卷积结构有效降低了多层自动编码网络(即贪婪算法)的复杂度, 训练后的模型对测试数据具有一定的鲁棒性, 为深度学习图像配准应用的提供了思路.Fang等[50]提出了一种快速无监督学习的全连接卷积网络, 直接进行输入图像数据的密度偏移矢量场(dense displacement vector field, DVF)的估计学习训练, 并不需要目标数据进行标定.经使用公开CT数据集测试表明, 该方法可以在保持与常规CNN训练模型同等精度下, 速度明显提高.

2014年, GAN由Goodfellow等[51]提出, 迅速在各领域展开了大量研究, 相关研究文章发表数量如图19所示.GAN由两个竞争网络组成, 分别为生成器和鉴别器.生成器从低维空间合成模拟真实数据的人工数据对鉴别器进行区分训练, 通过对鉴别器的惩罚机制实现准确预测真实数据, 图20为基于GAN的医学图像配准流程示例[52].

图19 基于GAN研究的论文发表情况Fig.19.Number of papers published related to GAN research.

图20 基于GAN的医学图像配准流程图[52] (a) 生成器 (b)鉴别器Fig.20.Flow chart of medical image registration based on GAN[52]: (a) Generator network; (b) discriminator network.

Mahapatra等[53]通过训练GAN生成配准图像和相应的形变场提出一种无监督自适应的 GAN深度学习框架.通过实验证明, 训练模型可以适用于不同类型的图像配准, 基于域自适应的配准方法比采用大量数据训练配准法的性能更佳.Toriya等[54]针对低信噪比的卫星遥感图像特征不明显等问题, 采用基于GAN的pix2pix模型生成明显特征点的光学图像作为匹配之前的预处理步骤, 再用SIFT等算法进行匹配, 如图21所示.该方法验证了低信噪比图像特征点强化后的特征匹配能力,所提出的深度学习特征预处理与基于特征配准算法的结合模式也契合了纳米CT图像数据的特点,如将pix2pix模型拓展为CycleGAN[55]模型以解决纳米图像数据无目标数据等问题, 为未来配准工作提供了新思路.

图21 GAN配准前特征点预处理流程图[54]Fig.21.Outline of using GAN as a preprocessing step before keypoint matching[54].

截止目前, 采用深度学习框架处理纳米尺度图像配准的研究还较少, 但必须指出:

1) 无监督的深度学习方法不受目标数据的限制, 完全依靠原始数据进行训练, 无需人工特征标记;

2) 深度学习可用于特征匹配前预处理步骤,有效强化低信噪比图像的自然特征.

因此, 上述方法均可外推至具有低信噪比、相邻旋转角度间连续偏移等特点的纳米CT图像数据集的配准研究中, 尤其是基于GAN模型作为特征强化的配准预方式.按照现有深度学习框架快速搭建, 无需人工交互即能完成纳米尺度图像配准,但要达到亚像素级精度、高速度及高鲁棒性的目标还需进一步研究及验证.

5 结论与展望

图像配准技术是解决纳米尺度图像数据失准问题的有效方法.本文以图像配准经典算法的发展过程为铺垫, 详细介绍了瑞士保罗谢勒研究所、美国阿贡实验室、美国斯坦福大学、中国科学院高能物理研究所、中国科学技术大学、中国台湾光源、中国上海光源等先进成像研究机构关于纳米级别图像的配准研究进展.总结了当前的研究目标为开发亚像素级精度、高速度及高鲁棒性的配准方法,并根据前沿文献的调研情况指出目前纳米成像领域中最行之有效的图像配准模式-联合配准算法模式, 及预测未来研究趋势为深度学习与图像配准算法的结合模式.

本文通过从近年来发表的特征提取描述研究中筛选出适用于纳米尺度图像配准的特征提取描述算子, 为联合算法的进一步优化提供了重要参考.可以预见, 随着不断有新特征检测算子提出,与经典配准重构算法的组合应用也逐渐多样化, 联合配准算法的性能即具有巨大的提升空间.

基于深度学习的研究改变了图像配准算法的发展趋势.CNN和GAN等深度学习网络具有的卓越的图像提取能力在纳米成像投影配准研究中有巨大的应用潜力.不仅可以直接用于图像配准,还可以优化图像配准的预处理步骤.同时, 本文也指出了深度学习在纳米CT图像配准研究中面临的挑战:

1)纳米CT数据没有真实目标值(Ground Truth)进行训练;

2)深度学习训练模型的配准精度尚未优于联合配准等算法;

3)深度学习作为图像配准算法的预处理步骤,强化自然特征;

4)保证及验证配准图像的真实性.

上述挑战对基于深度学习的纳米级别图像配准的未来研究方向具有一定的指导意义.随着深度学习框架的发展及GPU计算能力的提升, 深度学习具有极大潜力成为纳米成像领域图像配准的核心方法之一, 大大推动同步辐射纳米成像技术的发展.