深度学习算法在医学影像学中的应用及研究进展

窦瑞欣

研究背景

当前，数据已经渗透到每一个行业领域，且每时每刻都会产新的数据，人们对于海量数据的挖掘、运用以及决策，比以往更加紧迫。生物医学也正加速进入大数据时代，而医学影像大数据则是量级最大的，主要是由DR、CT、MR等医学影像设备所产生并存储在PACS系统内的大规模、高增速、多结构、高价值和真实准确的影像数据集合，并与医院信息系统（HIS）大数据、检验信息系统（LIS）大数据和电子病历（EMR）等组成医疗大数据[1]。

随着技术的发展，医学影像设备能以更快地速率和更强大的分辨率来收集数据，这些数据大多要进行人工分析，人工分析的缺点很明显，容易导致漏诊和误诊，同时也意味着放射科医师在未来处理影像数据的压力会越来越大，甚至远远超过负荷[2]。利用分析工具对许多诊断任务进行初始过滤来筛选异常，并可以量化测量值和时间的变化，对改善诊断质量和减轻医生负担起到至关重要的作用，在这些工具当中，深度学习被迅速地证实了其优越性及准确性，并以一种前所未有的速度不断发展[3]。

本文首先介绍深度学习算法的模型、框架及其在医学影像学中的应用，并从深度学习应用最多的几个类型及领域具体分析研究进展，最后，总结研究动向，预测研究趋势，并提出深度学习在医学影像研究中可能存在的问题及建议。

深度学习算法的模型

深度学习算法是对神经网络的进一步改进，包含了更多的计算层，在医学影像处理中使用到的深度学习模型主要有SAE、RBM、DBN、CNN、U-net及FCNN。

1．神经网络

神经网络属于一种数学模型，其目的在于对生物神经网络的结构和功能模仿，是深度学习算法的基础架构。神经网络由很多节点（也可以叫做神经元）通过互相联接构成，每个节点使用一种特定的输出函数，名为激励函数（activation function），一个用于调整该连接信号强度的加权值，名为权重[4]。1986年由Rumelhart和McClelland为首的科学家提出的BP神经网络，即多层前馈型神经网络，是最经典、使用最广泛的神经网络模型。神经网络应用非常广泛，比如语音识别和机器视觉，想要通过传统基于规则的编程解决这些问题基本上很难做到。

2． AE、RBM 及 DBN

自动编码器（AE）、限制玻尔兹曼机（RBM）以及RBM堆叠后得到的深度信念网络（DBN）都是在深度学习领域广泛使用的基础性结构[5-6]。它们都作为无监督学习的模型，利用最小化实现误差的重构，对系统的重要特征加以提取，自动分类输入的相关数据；尤为关键的是，以逐层的预训练和多层的堆叠为依托，在后续监督学习的时候，深度信念网络和层叠式自动编码器都能够帮助整个神经网络收敛到最小值点，并且更好、更快的完成分类任务。

3． 卷积神经网络

1998年基于卷积神经网络（CNN）的LeNet诞生，它是由一个或多个卷积层和全连接层（经典的神经网络）组成，之后CNN的锋芒开始被SVM等手工设计的特征盖过，随着激活函数ReLU和防止过拟合Dropout函数的提出，另外受GPU和大数据历史机遇的影响，在2012年，CNN的历史性突破出现了，在图像分类和检测等方面硕果累累，于是开始广泛被人们所接受。对于卷积神经网络来说，它也属于前馈型神经网络，最大的优点是它的多层结构具有自动学习的特点，另外能够学到多个层次的特征。卷积层较浅的话，其感知域也不大，只能实现一些局部区域特征的学习。而卷积层较深的话，其具备的感知域也较大，从而能够实现更加抽象特征的学习。在分类的时候这些抽象的特征作用非常大，对于一幅图像中包含什么类别的物体它能够很好地判断出来，然而由于一些物体的细节丢失，对于物体的具体轮廓不能很好地分割[7]。在随后的几年里，使用相关技术但更深的神经网络架构得到迅速发展，在计算机视觉领域，深度卷积神经网络已经成为了必不可少的技术。

4． 全卷积神经网络

2015年，加利福尼亚大学伯克利分校的Long等人提出全卷积神经网络（FCNN）。FCNN是将传统CNN中的全连接层转化成一个个的卷积层，并利用卷积神经网络的反向传播原理及学习能力，得到较准确的图像分割结果[7]。FCNN无需全连接层即可进行密集的像素预测，使用这种方法可以生成任意大小的图像分割图。之后，图像语义分割领域几乎所有的先进方法都以该模型为基础。

5． U-net

U-net是Ronneberger等在2015年提出的网络结构，并在2015年世界细胞跟踪与识别挑战赛中取得了第一名[8]。U-net的基础就是全卷积神经网络，不同于FCNN，U-net较浅的高分辨率层用来解决像素定位的问题，较深的层用来解决像素分类的问题，将浅层特征图与深层特征图结合，用于图像分割及边缘检测。

深度学习算法在医学影像学中的应用

在医学方面，深度学习的一个典型应用就是疾病诊断。它以疾病的相关数据为依据，通过深度学习模型能够实现发病风险或者异常病变准确的预测。在医学影像方面，通过对图像的分类、定位以及分割和检测等方法的组合应用，可以对2D和3D医学影像数据加以辅助分析和诊断[9]。疾病辅助诊断的自动化在数据处理方面速度更快，把可信的数据提供给医师参考，同时主观因素不会对其判断产生影响，在医师工作负担减轻的同时，也使得效率和诊断准确率得到提升。目前，应用深度学习算法进行辅助诊断已经涉及到了多个解剖领域，如脑、眼、肺、乳腺、心脏、腹部等。

1． 脑

脑部的解剖图像主要来源于CT、MRI、功能MRI以及正电子发射断层扫描（PET），不少生物医学工程的科学家以这些成像工具为依托，并结合深度学习模型从图像中提取特征。目前，大量的研究涉及阿尔茨海默病的分类、脑组织和解剖结构(如海马体)的分类，以及其他重要病变的识别和分割，如神经胶质瘤、白质病变、脑梗死及脑出血。阿尔茨海默病（AD)又属于起病隐匿的一种进行性发展神经系统退行性方面的疾病，患者陷入痴呆状态是其最常见的临床特征[10]。我国已经进入老龄化社会，而在即将到来的二十年里，估计将增加一倍的患者，到2050年，大约每85个人中就有一人患此病。因为患病人数越来越多，也极大地提升了AD患者的护理费用，这种情况下早期诊断和治疗AD越来越重要，而深度学习成为辅助诊断的重要手段。以SAE进行预训练为依据，Hosseini-Asl等[11]提出了一种新的深度监督自适应3D-CNN网络，这个网络可以对AD特征实现自动提取识别，把由AD引起的变化加以捕获，包括脑室大小、海马形状及皮质厚度，利用这些特征对脑部MRI影像进行分析和识别。

2． 乳腺

乳腺的辅助诊断是神经网络应用最早的领域之一，最近，科学家们的兴趣又开始回归，使得乳腺影像的分割与识别技术显著提高，几乎实现了人类专家对乳腺影像感兴趣区域进行分割的表现。由于大多数乳腺成像技术都是二维的，所以在自然图像分割和识别中已经成功的方法很容易被转移到对乳腺图像的分析和识别上。但仍面临三个巨大挑战：①对类肿瘤病变的检测和分类；②检测和分类微钙化点；③乳腺癌风险评分。

目前，国内外都有针对乳腺癌的筛查措施，应该有大量的数据可供使用。但不幸的是，公共医学影像数据并不完全可用，因此，依托大量训练样本的监督式深度学习模型很难快速发展，许多论文使用的是小数据集，导致了性能不高。一些项目通过探索半监督学习、弱监督学习以及转移学习，来改善模型性能。

当大数据集可用时，可以获得更好的结果。在2016年的SPIE医学影像会议上，乳腺X线成像CAD领域一家领先公司的研究人员宣布，他们使用AlexNet，在公司专有的大型数据库上进行训练，多年前就已经获得了一个性能优于手工提取特征的乳腺影像辅助诊断系统。

3．肺

从当前来看，毫无疑问肺癌是世界上发病率和死亡率都非常高的恶性肿瘤之一，每年死亡人数高达140万，它在所有恶性肿瘤死亡人数能够占到18%。每年新发肺癌患者，预计中国到2025年甚至要超过100万人。肺癌早期没有任何临床症状，对于约75%的肺癌患者而言，在诊断的时候即处于中晚期，5年生存率为15．6%，因此肺癌的早期诊断十分重要。痰脱落细胞及纤维支气管镜、传统的X线胸片和CT等是筛查肺癌主要的方法，而胸部X线及CT是最常见的放射学检查。肺结节的辅助诊断是神经网络最早涉及的领域之一，一些研究对CT影像上孤立性肺结节的辅助诊断正确率已经达到81．3%，还有一些研究使用大量的X线胸片和文本报告来训练系统[12]。在最近的一项针对肺结节CT检测的挑战中，基于CNN架构的LUNA16模型被所有的顶级深度学习系统所使用，这个系统仍然依赖于传统的基于规则的图像处理系统对结节进行候选，但是使用深层神经网络进行候选检测的系统譬如U-net，执行得也很好。目前，完全由计算机通过CT来估计个体是否患有肺癌的概率仍然是一个重要的课题，在2017年Kaggle的数据科学大赛中，就有超过1000个参赛队伍，针对这个主题来争夺100万美金的奖励。

4．心脏

深度学习已经应用到心脏图像分析的许多方面，MRI是最常见的研究形式，左心室分割是最常见的任务，还包括冠状动脉中心线跟踪、图像质量评估以及自动钙化积分。大多数论文涉及的都是简单的2D CNN，Poudel等[13]人将CNN和RNN（Recurrent Neural Network 递归神经网络）结合，在U-net模型中引入了一种重复的连接，通过切片来分割左心室，并不断学习用于下次分割。这一领域最大的挑战是2015年的Kaggle数据科学大赛中，目标是在心脏MRI中自动测量收缩压和舒张压。192个参赛队参加了20万美元的奖金竞赛，排名最高的参赛队伍都使用了深度学习，特别是CNN或U-net。

5．腹部

由于腹部脏器形状多变、位置不固定，因此深度学习在腹部的应用主要是对肝脏、胰腺、肾脏、膀胱和前列腺等脏器进行定位和分割，成像形式仍然是CT和MRI，有两个腹部分割的挑战赛值得关注，一个是肝脏分割挑战赛SLIVER07，一个是前列腺分割挑战赛PROMISE12。在PROMISE12挑战赛上排名第一的是使用类似U-net的3D 全卷积网络，而在SLIVER07上，对一个10岁小孩的肝脏分割挑战赛上则使用了CNN[14]。目前，绝大部分应用仍然使用半自动或交互的方式进行分割，直到2016年CNN才开始在腹部脏器的定位和分割中逐渐大量应用。

总 结

综上所述，基于人工智能的深度学习算法已经渗透到了医学影像学中的各个方面，基于深度学习算法的应用不仅可以快速进行疾病的筛查，还能辅助放射科医生对疾病进行诊断，从而提高诊断正确率及工作效率。

但深度学习应用于医学影像领域的分析和诊断也存在一些问题：①模型提取影像大数据的特征不可见，对于分析不同特征的重要性很困难；②在有监督的深度学习算法中，为了提高拟合的精确度，训练样本和测试样本的数据量巨大，增加了模型的训练难度；③由于运算量大，深度学习训练时对内存、CPU及GPU都有较高要求，且训练时间长，对计算机硬件要求较高；④深度学习并没有实现全智能，它必须依赖已有大量的数据样本，才能对新数据进行分析和预测，而从疾病方面分析，往往我们不能够控制它的变异性。

虽然困难非常大，然而通过目前医疗改革的趋势，能够预想在医学影像学中深度学习将会获得更为广泛的应用；另外由于深度学习方法更加趋于完善和精确，我们有理由相信，未来这些困难一定会被以深度学习为依托的医学影像辅助诊断技术所克服。