基于迁移学习和卷积神经网络的MR图像特征匹配研究

陈 佳 姜海洋 何儒汉 胡新荣

1(武汉纺织大学数学与计算机学院 湖北 武汉 430000)2(湖北省服装信息化工程技术研究中心 湖北 武汉 430000)

0 引 言

核磁共振(Magnetic Resonance,MR)技术已经成为了一种常用和重要的疾病检测技术，通过核磁共振医学影像，可以对身体重要器官及部位具有良好的诊断功能。同时，通过MR影像获得人体的非均质柔性生物组织在不同情况下的形变状态，进行柔性体内部变形场测量，计算非线性柔性生物组织的弹性模量及泊松系数等物理参数，在计算机科学研究领域具有重要的理论和实践价值。本文所研究的基于MR影像的非均质柔性体内部特征点的检测与匹配是柔性生物组织变形场测量的重要步骤之一，不仅可以应用于生物组织器官辅助诊断和分析，也可以应用于医学手术机器人等研究上。所研究的MR影像中大量均匀分布的特征点的提取与匹配技术，在图像拼接，目标的定位与跟踪，三维建模等领域也有不同程度的应用。

以往图像特征多为手工特征，即算法设计者针对图像数据本身特点设计的特征提取方法。由于这些设计主要依靠设计者的先验知识，设计人员很可能忽略掉图像某些方面的特征，因此算法的好坏在很大程度上还要依靠经验和运气。目前，深度学习方法已经应用在很多医学图像的处理方面，但是由于医学图像样本数据量的限制，大大降低了其学习性能。本文设计一种新的深度学习体系结构CNN+：从非均质柔性生物组织的MR影像中提取出大量均匀分布的特征点和匹配技术。首先采用了一个预训练的CNN模型，随后把迁移学习和CNN自然、无缝地结合起来，对预训练模型进行微调得到新的CNN模型，从而利用微调后的模型对生物医学图像中的特征点进行检测和匹配。实验通过对现有的样本测试，表明在少量样本的情况下，微调后的CNN在特征点的检测数量以及正确率上明显优于传统的VGG16[1]、SIFT[2]、SURF[3]等方法。这对推动非均质柔性组织变形场的测量，在生物组织建模与仿真、柔性机器人设计等科学研究领域的应用与发展，起到了一定作用。

1 相关研究

1.1 特征点描述

特征点的描述在特征匹配中起着至关重要的作用。在采用特征点提取和匹配方案时，为了保证图像描述符更加稳定，要求图像在照明、缩放、旋转、噪声或轻微失真等变化过程中，图像描述符具有不变性。目前，研究人员提出了多种特征点检测方法和特征点描述符[2-10]。例如，被广泛采用的Harris、Susan、Moravec等算法，在特征点的提取上具有良好的效果。

Lowe教授提出了尺度不变特征变换(SIFT)算法,通过高斯差分(DoG)算子来构建高斯拉普拉斯(LoG)函数[2,5-6]。文献[6]的研究表明，SIFT优于其他的特征描述符，如基于高斯导数、矩不变量[6]和基于阶段性的局部图像块特征。

各种各样有关SIFT的改良版在过去十几年中被不断提出。在这些对SIFT改良的方法中,PCA-SIFT(主成分分析-SIFT)和GLOH(梯度位置定向直方图)是两种比较著名并且应用广泛的方法[9,11]。由Baya等[10]改进的SURF算法(加强特征鲁棒性)比传统的SIFT方法，更加具有特征辨别度且更稳定。

值得注意的是，上述研究采用的图像特征均为手工特征。目前，深度学习在图像分类、目标检测、影像分割等很多应用中取得了很大的成功，其最主要的优点在于它强大的特征表达能力。因此，本文拟采用深度学习的方法来提取MR影像的特征描述符。

1.2 医学图像的迁移学习

深度学习需要大量数据作为训练样本，然而医学领域很难获得足够的数据量，这在很大程度上限制了深度学习在处理医学问题上的发展研究。迁移学习方法为该问题的解决提供了一个重要的思路。例如，文献[10]用一个新的逻辑层取代了预训练CNN的全连接层，新的全链接层是经过标记数据重新训练得到的，同时保持网络的其余部分不变，这种方法给未标注的多视角乳腺照片分类带来了希望。文献[12]应用一个经过微调的预训练CNN在超声波图像中定位标准平面。文献[3]对预训练过的CNN所有层次都进行了微调，以自动分类肺间疾病。文献[13]部署了经过优化的预训练CNN，自动将医学图像映射到文件上与之相关的主题或者子主题。为了预测心脏的视图，经过精细调整的预训练CNN自动从核磁共振成像中检索缺失或噪声的心脏来获取平面信息。文献[14]通过探索无监督的预训练CNNs，从没有注解的网站或图片类中添加信息,提高了分类的准确性。文献[15]系统地研究了有关在医学图像中应用迁移学习的能力。

综上所述，本文通过迁移学习来构建网络结构，初始化网络参数，同时对迁移之后的模型进行训练和微调，以此来促进对描述符的自动学习。与上述方法的不同之处在于，本文是对非均质柔性MR影像的训练，从而得出特征描述符，在实验中，训练不依赖于个别图像块的标签，而是依赖于成对对应的或非对应的图像块。

2 CNN+体系结构

本节对CNN+系统结构进行概述，使用预训练的CNN模型来提取两组图像块的描述符;通过在每次迭代中加入新的成对相似或者不相似的图像样本来微调CNN+同时提高CNN+的性能。具体步骤如图1所示。

图1 CNN+系统流程图

图1阐述了CNN+的流程图,它由以下三个阶段组成：

• 使用DoG操作和Harris检测提取图像特征点。

• 对相对应图像块的同一点计算描述符。

• 图像描述符的相似性度量。

(1)特征点的提取。本文采用DoG算子和Harris检测分别对原始的MR图像和形变后的MR图像来提取特征点。在过往的实验中DoG算子被证明是最稳定的特征点探测器之一，在缩放、旋转和照明等条件下其特征不变[3]。然而，DoG算子无法检测边缘点，边缘点是测量变形的重要数据。内部特征点分布在皮肤的内部部分，如脂肪、肌肉或生物组织器官上。在提取内部特征点之后,Harris算法[3]用于检测分布在不同组织的边界和分离层图像的初始和形变状态下的边缘点。

(2)图像块描述符。首先，使用了一个基础CNN进行预训练得到一个预训练CNN结构模型；然后，对预训练CNN通过成对的MR图像块进行样本训练，进行模型微调，得到一个微调后的CNN模型，称之为CNN+；最后，从初始和变形的图像中提取特征点，作为测试集输入微调后的模型提取描述符。

(3)相似度测量。通过上述CNN+得到的描述符之后，计算它们的L2范数，从而得到图像描述符的相似性度量。

3 深度学习描述符

在采用DoG算子和Harris检测提取特征点之后，为每个关键点构造64×64大小的图像块，并计算每个图像块的描述符。对应于同一点的图像块的描述符应该是相似的,否则是不同的。本文采用Siamese网络结构，如图2所示，把成对的图像块(X1，X2)分别输入到两个权值W完全相同CNN中，分别输出得到描述符D(X1)和D(X2),计算它们的L2范数,通过图像描述符的标准相似性度量来计算图像块的相似性。

图2 Siamese网络结构图

3.1 CNN模型

构成Siamese网络结构中的CNN模型，主要分为两步：基础模型构建和模型的迁移及微调。本文构建了一个基础CNN模型，在大量的多视图立体数据集(MVS)的基础上来训练基础CNN模型。模型主要是三层网络结构,每一层都包含了卷积层，非线性层，池化层和正则化层,如表1所示。由于稀疏连接已经被证明可以提高性能，同时降低参数和提高运行速度，除第一层之外，卷积核都是与前一层随机的稀疏连接到一起的。第二和第三层的卷积核也是随机连接到上一层的8个特征图。

表1 预训练CNN结构

3.2 微调CNN模型

本文使用的训练好的CNN模型通过在多视图立体数据集(MVS)的验证集上进行实验，结果表明，该模型对于一些识别困难相似度不高的样本对都表现良好。但由于医学图像训练数据的限制，该模型对本文所要测试的用例准确度不高，而且对于全监督的深度框架如果训练集太小的话，就会产生过拟合现象，影响CNN的准确度。最近有很多研究显示，迁移学习在解决训练集不足，以及提升网络模型效率方面有很出色的表现。另外需要指出的是，由于卷积神经网络的低层结构在提取图像特征方面都是普遍适用的，所以当应用到不同的数据集上时，只需要替换掉CNN的高层结构，再用自己的数据来进行训练和微调，使CNN更适合自己的数据集。

本文构建一个参数迁移的CNN预训练模型——CNN+。这里采用数据增强技术产生新的训练集。数据集增强技术是提高训练样本，从而保证特征不变性的一种有效手段。一个稳定的深度学习系统应该具有良好的泛化能力，以应对要测试的变量输入。对于深度学习系统，更高效的数据意味着模型可以学习更多的信息。所以总是希望有足够的训练样本来尽可能地覆盖整个样本空间[16]。可是,医学数据收集的困难是不容忽视的，因此本文主要使用数据变换来放大数据集,并在原始数据集上应用缩放、旋转和光照方法。模型的参数如表2所示，假设有A-I九模型，其中F模型(旋转)和H模型(缩放)是在原始图像上采取的变动,所以生成的图像比直接在原始图像上扩展的图像有更好的多样性，并且可以更好地覆盖带注释的区域，提高数据利用率[16]。

表2 数据增强参数

本文命名基础CNN模型为P-CNN,迁移后的新模型为T-CNN。首先在多视图立体数据集(MVS)上训练基础CNN,它包含268 307幅训练集图像和30 501幅测试集图像，且图像应转换为64×64灰色图像格式。另外,由于基础CNN模型由三层网络结构组成，所以本文保留了底层的卷积层和下采样层，并替换全连接层，为了将所学习到的知识从P-CNN迁移到T-CNN上,直接植入P-CNN模型的底层到T-CNN模型上同样的位置，然后共同对这些层进行微调，并使用MR图像进行重新培训。值得注意的是，在T-CNN模型的训练中，它的参数是由预训练的P-CNN模型初始化的。同时为了提高泛化能力，在规范化的训练过程中，实现了数据扩充的策略。

4 实 验

4.1 训练集

在基础CNN的训练阶段，依赖于多视图立体数据集,它包含了1.5 MB,64×64大小的灰度图像块，为了训练基础CNN，需要成对的对应和非对应的样本,但在如此大的数据集中很难找出对应的或者非对应的图像块，因此采用随机抽样的方法——t-SNE[18]，来获得对应和非对应的样本，这种策略使本文能够在大型数据集上训练鉴别网络。经过模型迁移后，在T-CNN的微调阶段，本文使用3.2节方法对样本数据进行增强后，对迁移后的模型进行训练和微调。

4.2 测试集

由于空间约束，本文只显示了6组测试图像并对其进行分析说明。6组MR图像数据集如图3所示，每组图像包括原图和变形后的图。其中：(a)、(b)为小腿的形变前和被推压形变后的影像；(c)、(d)为志愿者在平躺下，小腿变形前和分别受到推、压的变形影像；(e)、(f)为志愿者在平躺下腹部的形变影像。这些图像是由0.5 T的MRI设备拍摄的，其中的视野或FOV被设置为24 cm×24 cm。两个切片之间的距离是2 mm。

图3 变形前和变形后图像

4.3 系统环境

本文使用Torch7的安装包来实现CNN的架构。系统采用MATLAB和C++的混合编程技术实现。提取图像块描述符的运行时间主要依赖于测试图像的块的数量。从包含100个图像块的图像中检测描述符通常需要1分钟。使用的工作环境包括一个a3.70 GHz Intel(R)Core(TM)i7-8700k CPU and a NVIDIA GeForczze GTX 1080Ti GPU。

4.4 整体性能评估

4.4.1实验结果

表3为6组测试图分别使用基于SIFT、VGG16以及CNN+的特征描述和匹配三种不同的方法所得出来的实验结果。其中NM表示使用DOG和Harris检测出来的所有特征点个数，NCM为正确的匹配对数，NWM为错配点的个数，Ratio为最终的准确匹配率。从表中数据可以看到，CNN+方法的正确匹配率最高，其次是VGG16方法，SIFT方法的正确匹配率最低，这说明与传统的手工特征点描述符的提取相比，使用深度学习的方法来检测MR图像特征点描述符效果更好，而迁移学习与深度学习相结合的CNN+体系结构能够带来更好的匹配性能。

表3 不同方法对比实验结果

图4是SabdPush图像完整的实验结果，(a)中所标记出来的点是被DOG和Harris从初始图像中提取出来的109个特征点，(b)是经过CNN+系统得出的67对正确的匹配点连接图，(c)中标记出的点是42对错误匹配点。匹配的正确比率为61.47%。

图4 SabdPusn实验结果图

4.4.2性能比较

为了更加直观地了解CNN+系统与其他方法的区别，本文对CNN+方法和基于VGG16网络结构以及SIFT算法的描述符提取匹配方法结果进行定量的分析。本文采用30个互不相同的特征点所生成的100幅相对应的图像块，因此一共有4 950对图像块，其中3 700对为来自于同一点的相似图像块，1 250对为来自不同点的不相似图像块，作用在SIFT、VGG16、CNN+结构上，得到的最终识别结果绘制如图5所示的PR ROC曲线。

图5 PR ROC曲线

查全率(R)、查准率(P)、准确度(A)、真阳性率(TPR)、假阳性率(FPR)等通用评估指标的计算如下：

(1)

(2)

(3)

(4)

(5)

式中:TP、TN、FP、FN分别为真阳性、真阴性、假阳性和假阴性。通过观察图5中ROC曲线下的区域面积(AUC)可以得出，基于CNN+方法的AUC值最大，VGG16次之，SIFT最小，这表明VGG16方法的结果比SIFT好，而本文所提出的T-CNN方法具有最好的效果，进一步说明了CNN深度学习算法和迁移的知识迁移策略的有效性。

5 结 语

本文提出的CNN+使用迁移学习和卷积神经网络来解决MR影像的非均质柔性体内部特征点的检测与匹配问题，并且在医学图像训练样本比较少的情况下，采用了数据增强的方法，挖掘样本隐藏信息，提高了模型的泛化能力。实验表明，CNN+模型在应对人体处于不同的情况下所造成的柔性生物组织形变问题时，具有良好的特征稳定性，相对于VGG16和传统的特征点检测方法SIFT，表现效果更好。同时，本文对如何处理有噪声图像、在极端变形情况下等问题没有进行更深入的研究，在提升最终的特征匹配度和具体临床实用性上还有待进一步提高，这些问题在以后的研究中将成为重点解决目标。