机器学习在超声图像中的应用综述

徐可文，许 波，吴 英，徐浩然

1.广东财经大学 信息学院，广州 510320

2.暨南大学附属第一医院 超声科，广州 510630

随着医疗成像设备的发展研制，医学影像成为人类筛查与诊断疾病的重要手段[1]。超声图像[2]采用脉冲式的发射法，以其无创、实时、无放射性损害及低价等特点，已经成为临床疾病诊断的重要方法。超声图像还可以作为最常用的治疗规划及监测治疗反应和提供肿瘤关键信息的方法，有效克服了传统临床病理取样、触摸判断和分析的难题。

超声图像往往会受到噪声污染[3]，使得图像质量降低，且灰度不均匀，对比度低，给病灶分割及疾病诊断带来了很大的挑战。传统超声图像分析方法依赖医生主观判断，对临床经验要求极高，已不能满足现代医疗模式向智能医疗快速发展的要求。因此对于超声图像来说，很有必要设计高效准确的自动化超声图像分析系统来辅助医生进行疾病诊断，一方面可以减轻医生的负担，另一方面可以降低诊断的主观性，从而使得诊断更加客观与准确。

随着医学影像数据快速增长以及计算机性能的提升，机器学习[4]作为人工智能的一个重要分支，以其快速、客观等优势，在医学影像领域取得了突破性进展。它在减轻医生负担的同时，可提高疾病诊断的正确率，有望为临床实践带来新变革[5-6]。

1 超声图像的研究现状

超声检查是利用超声波的物理特性与人体器官和组织声阻抗和衰减特性的差异，以发射脉冲波和连续波的方式，产生不同的反射与衰减，从而形成超声图像，再由影像诊断医生根据临床经验对异常部位进行评估，结合患者症状、体征、过往病史等给出最终的判断。

超声图像是临床医生对疾病进行判断并做出治疗方案和决策的重要依据。由于成像原理的限制，超声图像容易产生大量斑点与噪声，导致图像质量直线下降。然而图像质量是进行图像分析的关键因素，因此抑制斑点噪声具有重大意义，许多研究者在此问题上付出了大量的努力。张聚等[7]提出了一种新型的基于小波和双边滤波的去噪算法。首先改进了小波阈值函数，然后利用贝叶斯最大后验估计方法得到小波收缩算法，最后对小波域内的高频信号分量进行去噪。实验证明该方法可以有效抑制斑点噪声，并在此基础上保留图像病灶边缘信息。但该算法对于颗粒较大的斑点噪声去噪效果较弱。胡蝶[8]基于视网膜中垂直信息通路机制，通过模拟双极、神经节细胞感受野的自适应机理，实现在去除医学超声图像中斑点噪声的同时保持图像细节不被模糊，有效地提升医生的诊断准确率。肖磊等[9]提出了一种基于Canny算子的边缘切线扩散医学超声图像去噪算法，将超声图像分为边缘区和非边缘区，并改进了现有的扩散方法，使扩散方向只沿图像边缘方向进行，使图像滤波和图像细节保护这一矛盾问题达到一个很好的平衡。与其他算法相比，该算法在运行效率上也得到很大的提升，但它是针对超声图像提出的，适用范围有一定的局限性，且没有达到完全的自适应。

超声图像分割是超声图像分析的关键[10]。超声图像一般由感兴趣区域（Region of Interest，ROI）和背景区域构成。ROI区域通常包含有价值的诊断信息，可以为临床医生诊断或进行病理学研究提供依据，所以将ROI 区域从超声图像中分离出来是图像分割的重点。常见的传统分割方法[11]有基于阈值的分割方法、基于边缘的分割方法和基于区域的分割方法等。传统的分割方法大都方法简单，效率高，并且能很好地适应某些数据，但是当边界灰度及纹理特征不明显时，传统方法就很难达到理想效果。近十多年来，研究人员针对临床需求，结合各个时期的图像处理技术进行了持续研究，从不同的方面提出了解决方案。夏平等[12]针对存在大量斑点噪声、目标边缘弱化的超声图像，提出了一种复小波域中混合概率图模型的超声医学图像分割算法，采用双数复小波变换提取高频特征信息，通过构建混合概率图模型建立了当前节点的标号与其祖先节点及同层邻域节点之间的联系，有效地获取超声影像中的有用信息，实现了超声影像的有效分割，但该方法没能得到最优解。叶红梅等[13]针对血管内超声（Intravscular Ultrasound，IVUS）图像动脉壁边界分割进行了研究，对单帧IVUS图像提取极值区域，经面积筛选后得到候选区域，并将区域的局部二值模式特征、灰度差异和边缘周长的乘积作为筛选矢量在候选区域中提取代表管腔和介质的两个极值区域，并进行轮廓的椭圆拟合化，完成分割。实验表明该算法提取内外膜的性能和精度都有所提高，并具有很强的鲁棒性，但极值区域筛选标准矢量还有待改进。Zhuang 等[14]提出了一种基于分数布朗运动（Fractional Brownain Motion，FBM）模型的超声图像分割技术。首先使用基于模糊的技术增强超声图像，然后使用FBM模型获得用于分割的分形特征。在颈动脉超声图像上的实验结果表明，从分形长度获得的分割输出是优越的，该方法可与其他最新分割技术相媲美，尤其适合容易出现斑点噪声和伪影的超声图像。

超声图像的异常检测与分类[15]是疾病诊断的核心任务。传统方法是依靠影像科医生进行人工检测，但医疗数据日益增加，且人工检测容易受主观因素影响而造成误诊，因此开发自动化异常检测系统是时代所需。研究者们给出了多种用于超声图像的自动检测方法。Li 等[16]提出了一种专为医学影像设计的目标检测自适应方法，它无须特定的自适应训练，在小型数据集上表现良好，当源域和目标域之间数据分布不一致时，目标检测自适应方法能够获得较高的定位准确度和较快的速度。邹致超[17]在少样本的情况下，利用共享权值的方式进行多任务学习，实现乳腺超声图像语义分割及良恶性判断，进而更好地辅助医师进行乳腺癌的诊断。该方法在数据集较小的情况下能够充分挖掘样本包含的特征信息，提高模型分类和语义分割的效果。姜怡孜[18]在传统基于稀疏表示的分类器（Sparse Representation based Classifier，SRC）字典的基础上进行扩展，实现对肝脏超声图像进行病变判断。该方法不仅能保证字典的冗余性，而且使得字典具有紧凑的内部结构，分类准确率达98.76%，特异性达98.15%，实现了很高的分类准确率，但该实验提取的特征不够完善，还有许多典型的病理特征没有被量化为数字特征。

2 机器学习在超声图像中的应用

2.1 传统的机器学习算法在超声图像中的应用

传统的机器学习算法对于小数据量的超声图像数据集效果较为明显，常用的传统机器学习算法有支持向量机（Support Vector Machine，SVM）[19]、聚类算法[20]等。许多研究者采用传统的机器学习算法在有限样本下对超声图像进行了研究与探讨。

张昕[21]利用支持向量机的方法对乳腺图像样本特征进行分类，然后采用交叉检验方式对核函数的参数进行选择，达到了理想的效果。但不足的是该实验是在小样本基础上进行的，难以将它应用到海量数据集上。付燕等[22]提出基于SVM 的肝脏B 超图像纹理分类方法，首先提取肝脏B超图像的空域和频域的纹理特征，运用SVM分类，寻找最佳特征组合。该方法精度高，性能稳定，平均准确率达96.67%，对于肝炎、肝血管瘤等弥漫性肝脏疾病具有一定的应用价值，而对其他非弥漫性的疾病有一定的局限性。王萌[23]提出一种基于改进SVM算法的超声图像分割算法，采用分区域特征匹配方法进行超声图像的分块融合性检测和特征块匹配，根据超声纹理的规则性特征分量进行病理边缘特征提取，利用提取的精度作为约束条件，优化SVM分割过程，进行超声图像分割过程的自适应分类，实现对超声图像的快速分割。

黄志标等[24]提出了一种基于像素聚类的超声图像分割算法，有效解决了超声图像低分辨率影响分割精度及基于模型的分割算法需要大样本训练集的问题。其适应于分割任意形状的超声图像，有利于更准确地计算各种心脏功能参数。由于超声图像各个区域有差异，将图像分为各个子区域，但对子区域进行聚类分析还有待研究。

表1 给出了传统的机器学习算法在超声图像应用中的算法及模型对比。

2.2 深度学习在超声图像中的应用

深度学习[28]是机器学习的一个分支，它能够直接处理原始数据，揭示样本数据的内在规律和表示层次，被广泛应用于计算机视觉[29]、数据挖掘[30]、自然语言处理[31]等领域。在赢得2012年ImageNet大规模视觉识别挑战赛（ILSVRC）之后，深度学习脱颖而出，在计算机视觉领域的应用也引起广泛关注。很多研究者逐渐把目光投向于医学图像处理领域。当前医学超声图像应用最广泛的模型有卷积神经网络（Convolutional Neural Network，CNN）、循环神经网络、深度置信网络等，它们常用于超声图像的分割、检测、分类、配准等任务。

Ying 等[32]提出了基于级联卷积神经网络的超声图像甲状腺结节分割方法，从分割过程和模型结构两方面对甲状腺结节的分割进行了研究，并通过实验验证，准确率大约为96%，在边缘分割的精细度方面还有一定的探索空间。Zeimarani 等[33]提出了一种基于深度卷积神经网络新型乳腺超声图像分类方法，进行图像增强和正则化后，准确性和AUC 分别提高到92.01%和0.971 6。获得的结果超过了其他基于手动特征选择的机器学习方法，证明了所提方法在US 成像中对肿瘤进行分类的有效性。付贵山[34]针对乳腺超声图像，设计了基于CNN的分类器，对于正负样本不均衡的问题，使用两种方式对损失函数进行优化，准确率分别达82.22%、86.00%，都有效地提高了准确率和灵敏度。陈思文等[35]将分别经过线性、非线性对比度拉伸、直方图均衡化、直方图阈值化以及自适应对比度增强算法处理后的数据用于AlexNet模型，分别对5种算法进行测试与比较，最终得到准确率与AUC值较高的自适应对比度增强（Adaptive Contrast Enhancement，ACE）算法，但如何将实验与临床诊断结合，还需进一步探讨。

深度学习在血管检测方面也得到很好的应用，Smistad 等[36]提出了一种使用深度卷积神经网络检测B型超声图像中血管的新方法，使用GPU 对图中的每个像素进行椭圆拟合，从而识别图片中血管的大小和位置，对于血管的旋转与变形，也具有很强的鲁棒性，对麻醉和导管放置有一定的指导意义，但该方法更适用于动脉血管的检测，对于静脉血管的检测具有一定的局限性。李岩等[37]提出了一种基于全卷积网络的超声血管分割方法。通过对全卷积网络使用对称网络连接，深度提取图像特征，优化数据增强方式，并引入迁移学习，缓解数据量过少的问题。实验表明该方法能够精确地分割出血管区域，尤其适用于小型数据集。

表1 传统机器学习算法及模型对比

深度学习在超声图像领域还有很多应用，表2对已有的相关研究的数学模型及结果等进行了比较。

2.3 迁移学习在超声图像中的应用

深度学习能取得的主要性能改善，在很大程度上依赖于大样本训练数据集。然而，与其他领域的大规模与公开可用的数据集（如ImageNet 数据集有超过百万的标注图像）相比，当前医学超声领域内公开可用的数据集仍然很有限。有限的数据集已成为深度学习方法在医学超声图像分析中进一步应用的瓶颈。为解决小样本数据集的问题，目前研究人员最常用的方法之一是进行跨数据集（模态内或模态间）学习，即迁移学习[40]。

吴英等[44]使用主动迁移学习的算法对同一个病灶的多个乳腺肿瘤超声图像进行标记，实现了在多个相似图像之间进行数据共享和迁移，分类准确率高达97.67%。李岩等[37]提出了一种全卷积深度迁移网络的联合分割算法，通过添加迁移学习模型等方法有效地利用已有数据进行数据拓展，缓解医学图像数据过少的影响。结果表明该研究方法能在超声血管图像上取得较好的分割性能，能准确地分割出血管区域，使小型数据集很好地适应了深度神经网络。肖婷[45]针对乳腺超声图像样本较少的现状，基于深度特征的迁移学习方法，运用基于大规模自然图像数据集预训练的深度卷积神经网络模型对其进行微调，以提取乳腺肿瘤超声图像的多种特征并输出分类结果。Banzato等[46]利用深层神经网络进行迁移学习，从狗的超声图像中检测弥漫性变性肝病，获得100%的灵敏度和82.8%的特异性。Phillip等[47]基于两种卷积神经网络的迁移学习方法对腹部超声图像进行分类，其中基于CaffeNet网络的迁移学习方法准确率达到77.3%，基于VGGNet 网络的迁移学习方法准确率达到了77.9%，都比放射科医生的准确率要高。但此次实验数据不均衡，对结果会有一定的影响。

表3 给出了迁移学习算法在超声图像应用中的算法及模型对比。

3 未来研究展望

机器学习在医学影像领域具有至关重要的作用，在多种疾病的影像辅助诊断中展现出优势，如精度高、速度快、稳定性强、可重用性高等[47]。但机器学习在医学影像领域还存在着一些挑战，如缺少标准统一的标注数据、适用性不强等。针对以上问题，机器学习在医学影像中的应用未来可能会有以下研究方向。

3.1 设计轻量型网络模型

目前各类轻量级网络方法很多，但机器学习在超声图像中的应用仍面临运算复杂度及成本偏高的问题，会导致模型训练和预测耗费大量的时间，无法快速验证想法和改善模型。空间复杂度决定了模型的参数数量。由于维度的限制，模型的参数越多，训练模型所需的数据量就越大，而现实生活中的数据集通常不会太大，这会导致模型的训练更容易过拟合。

表2 深度学习算法及模型对比

为解决此类问题，采用的降低复杂度的主流方法有：（1）卷积降维，如在InceptionV1 模型中通常会通过添加1×1的卷积，将输入通道数先降低到一个较低的范围，再进行真正的卷积，时间复杂度降低至原来的1/3以下，而参数量仅增加了5%；（2）在全连接层进行最大池化，使全连接层的复杂度不再与输入图像尺寸有关，运算量和参数量都得以大规模削减；（3）在保证感受野大小不变的情况下，使用两个低维的卷积核区代替高维的卷积核。

因此可以针对超声图像提出一个新的轻量级的网络模型，降低运算复杂度与运算成本，给更多的超声图像识别带来新的突破，也为更多的患者带来新的希望。

3.2 深度迁移学习

深度学习常被运用于医学影像分析领域，数据依赖性高是它面临的严峻问题之一[48]。与其他领域的大规模公共可用的数据集（如ImageNet 数据集有超过百万的标注图像[49]）相比，超声图像数据集中图像数量有限，各个医院数据难以集中，导致超声图像数据难以实现大规模统一。有限且不统一的医学超声图像成为机器学习在超声图像领域应用的一大障碍。

而迁移学习放宽了训练数据必须与测试数据独立同分布的假设，可借助现有数据集对网络进行源域训练，再将源域训练好的网络模型迁移到目标域中[50]。因此可以将深度学习与迁移学习结合，通过迁移对所传输的子网络进行微调以适应新的数据，再利用深度学习深度挖掘特征。图1 所示的基于深度迁移学习的超声图像分析模型是作者的初步设想。

从图1中可以看出，利用深度迁移学习将在其他类型图像中所学得的知识运用于超声图像的分析与处理领域，能够有效地解决超声图像小规模数据集问题。相信在不久的将来，该方法将会被广泛运用。

图1 基于深度迁移学习的超声图像分析模型

3.3 生成对抗网络

在医学图像领域，主要存在两个问题：标签的稀缺和数据的缺乏。一般情况下，标签手动标记过程过于复杂且难以获得海量统一的超声图像数据。基于监督学习的深度神经网络对于这些问题具有挑战性。生成对抗网络[51]（Generative Adversarial Networks，GAN）是一种无监督的学习方式，可理解图像数据基础结构，生成具有生物学变化的医学图像。

生成对抗网络的生成器与判别器仍然是基于深度神经网络结构，且训练的数值不稳定，还是依靠传统的评估指标来评估GAN的重建质量。因此生成对抗网络仍存在生成的图像可信度低、不稳定培训、缺乏可靠评估指标等特点。

针对以上问题，可以研究更好的网络模型机制，加强超声图像数据之间的关联与映射，通过严格的实验来解决GAN的稳定性问题，构建标准化的GAN超声图像评估体系。相信在未来，通过改善GAN 存在的这些问题，GAN 一定能为超声图像的识别、分割、判别做出巨大的贡献。

3.4 影像组学

文字、图像、视频等不同模态的数据可以表达不同层次的信息。患者的基本信息如身体状况、遗传病史等文字信息、二维超声图像信息、三维超声动态视频等影像数据都具有各自的医疗诊断优点。影像组学就是将不同模态的信息进行融合，实现特征提取以及模型的建立，对海量数据信息进行进一步的挖掘、运用、预测和分析来辅助医学诊断。更直观地理解为将数据影像信息转化为深层次的特征来进行量化研究。它将超声图像、基因、患者信息和临床大数据信息等有效信息进行融合，并对这些数据进行建模，使数据进行快速流转，利用大数据挖掘技术定量肿瘤异质性，并使用深度学习等算法，对超声图像进行判断及预测，实现精准诊疗决策，提高患者的生存期。

影像组学在医学图像方面已经取得了不错的进展，但在临床实践方面仍存在一定的困难，主要原因是其缺乏权威的标准，使影像组学的可重复性得不到认可，使用不同仪器、不同扫描参数以及患者的不同状态都可能会造成干扰。因此，可以通过国际合作建立统一标准的影像组学工作流和公开、透明的数据共享平台，以实现影像组学的可重复性。结合现有的深度学习技术及大数据存储技术，相信在未来，影像组学可为医学影像提供更加安全便捷的服务。

4 总结

本文首先分析了传统医学影像分析领域的不足，从超声图像的去噪、分割、检测、分类等方面介绍了超声图像的研究现状。然后综述了近年来机器学习在超声图像领域的研究和应用进展。最后指出了基于机器学习在医学影像领域开展研究所面临的困难与挑战，并对未来研究方向进行了展望，以期为机器学习在医学影像领域的进一步研究与应用提供参考和研究思路。