基于深度卷积神经网络的超声心动图轮廓检测*

魏洪成，黄立勤

(福州大学 物理与信息工程学院，福建 福州 350108)



基于深度卷积神经网络的超声心动图轮廓检测*

魏洪成，黄立勤

(福州大学 物理与信息工程学院，福建 福州 350108)

超声心动图像轮廓检测对于提高心血管疾病的有效诊断起到十分重要的辅助作用。使用卷积神经网络学习深度特征进行超声心动图像轮廓检测的研究。不仅将神经网络作为黑盒子进行特征提取，而且设计了专门的训练策略，将边界信息分为多个子类，然后用不同的模型参数对每个子类进行拟合。同时对损失函数进行改进，将一个正样本的损失分配到每个样本子类中并对其进行参数学习，这将有利于学习到更多具备识别力的轮廓特征。实验结果表明，该方法对高噪声低对比度的超声心动图像的轮廓检测具备较好的准确性和鲁棒性。

卷积神经网络；超声心动图；轮廓检测

0 引言

由于超声成像设备的成本低和便携性，超声心动图是心脏腔室可视化首选的一种医疗成像方式。通常，心脏病专家对左心室超声成像进行分析并对左心室收缩末期和舒张末期阶段心内膜边界进行检测，然后用它来提供一个心功能的定量分析来诊断心脏病[1]。临床上多采用手动分割的方法，无法用于自动化参数采集，时间耗费长且过程乏味，而对轮廓界定的结果也会因人而异。对超声心动图进行准确的轮廓检测存在以下难题：(1)由于斑点噪声的影响，很难判断区分图像中的细节，亦使之成为准确分割超声图像最难解决的一个问题[2]。(2)由于超声图像采集的各向异性，小叶钙化所形成的伪影以及信号的大量衰减都可能降低图像数据的质量[3]。本文进行了超声图像轮廓检测的研究工作，汲取计算机视觉领域的思想以期解决以上存在的难题。准确检测超声图像中的目标轮廓是很多下一步工作的基础，例如参数估计、心肌功能预测等。

传统的轮廓检测框架为每个图像像素设计了一些梯度特征，然后通过学习得到一个二分类问题的分类器，判断该图像像素是否属于该轮廓。虽然人为设计的特征得到了广泛的应用并且在标准轮廓检测基准中得到了较好的验证[4]，但是对于低水平图像信号中的突变情况，这种人为的特征不能很好地学习并做出辨别。也就是说人为特征对本文所研究的超声图像的辨别力较低。由于最近流行深度神经网络的算法框架，一些研究人员试图学习深度特征，以解决轮廓与非轮廓分类问题[5]。其在计算机视觉领域的出色表现已经证明了深度神经网络输出的深度特征具备强大的辨别能力[6]，逐渐取代传统人为设计的特征，如SIFT[7]和HOG[8]。因此，将深度学习技术引入超声心动图像轮廓检测问题是合理可行的。然而，对于轮廓检测中如何学习有判断力且具有代表性的深度特征的工作实属不易。

1 本文方法

本节将介绍如何通过卷积神经网络模型学习深度特征用于超声图像轮廓检测。首先，介绍了本文所提出的CNN模型的体系结构。然后，将讨论如何定义适当的损失函数来实现本课题的研究任务。

1.1 卷积神经网络架构

本文在一个多类的分类任务中训练CNN网络，即分类图像块为形状类或是非形状类。图1描述了卷积神经网络的整体架构，其中包含了6层的参数需要进行设置和学习。前4层是卷积层，后2层为全连接层。其中只有卷积层和全连接层包含了需要设置和学习的参数。

图1 卷积神经网络框架图

本文所提出的深度卷积神经网络的输入图像是45像素×45像素的3通道超声彩色图像。输入的图像要经过卷积层1：其中包含32个5×5×3大小的滤波器，并在图像块的每一边各补一个像素。其输出结果为45×45×32的特征图，然后将特征图输入到局部响应归一化层，其输出再进行最大池化操作。池化层采用3×3的模板进行操作，其步长为2个像素。卷积层1的输出将作为卷积层2的输入。四个卷积层中除了滤波器的个数不同外，其余的参数配置都完全一样。除了最后一个卷积层，其余每个卷积层包含激活函数，其次是归一化层和最大池化层。卷积层4只进行了最大池化操作。卷积层是CNN网络的核心，它提供了各种特征映射[9]。而最大池化操作层的激活功能，使之对轮廓位置的轻微变化具备较好的鲁棒性。卷积层4池化操作的输出将作为全连接层1的输入，其中亦包含了激活函数。全连接层中每个输出单元连接到所有的输入节点，能够捕捉到特征和超声图像边界图之间的关系，例如图1中所示的超声心动图边界。

为了减少过度拟合的风险，本文在全连接层中使用dropout功能[10]，通过阻止特征检测器的共同作用来提高神经网络的性能。也就是在模型训练时随机让网络某些隐含层节点的权重不工作，不工作的那些节点可以暂时认为不是网络结构的一部分，且dropout比例设置为0.5。在本文模型中的全连接层1的输出将作为深度特征进行轮廓检测，其输出是一个128维的特征向量，在这层中也可以使用更多的单元来形成更高维度的特征向量，但是会导致更重的计算负担。在一个标准的卷积神经网络模型中，最后的全连接层的输出将被送入一个Softmax分类器，然后输出一个带标签的轮廓类的概率分布。在本文中，假设有k=50个形状类，那么CNN模型最后一层的单元数应该是51。通过对每个层的参数配置，本文所实现的卷积神经网络模型的流程图如图2所示。

图2 卷积神经网络流程图

1.2 改进的Softmax损失函数

(1)

在标准的CNN模型中，第二层全连接层的输出将会送入(K+1)路的Softmax分类器中，其目的是为了最小化损失函数：

(2)

其中1(·)表示指示函数。Softmax损失函数对于分类错误的惩罚是等同的。但是在本文中，一个正样本的标签为非零的数值，其进行形状类的分类时出现的错误是可以忽略的。因为相对于负样本(背景类)来说，它终归是被预测为属于轮廓形状类。也就是说，零标签和非零标签之间的错误估计引起的损失对模型的性能损害更大。为此，本文添加一个新的公式项来对损失函数进行调整：

(3)

其中λ为控制参数。当λ较小时，式(3)近似为Softmax损失函数；当λ较大时，形状的分割作用变弱且式(3)近似为解决二分类问题的目标函数，即判别轮廓或者非轮廓。在本文的实验中设置λ=1作为默认值。式(3)即为所实现的改进的Softmax损失函数。

(4)

那么新的损失函数的偏微分为：

(5)

(6)

(7)

其中γ∈[-1,1]，且其值定量评估了CNN模型中轮廓类和背景类之间的差别程度。

2 实验

2.1 实验数据和环境

本节中将介绍在训练卷积神经网络模型之前应该准备的实验数据。医学图像不同于自然图像可以大量获取且附带相应的标签，本文中的超声图像包含了长轴和短轴视角下的腔室成像情况，数据主要来源于福建医科大学附属第一医院以及相关的医学数据库http://www.echobyweb.com/index.htm。经过对图像数据的整理，本文将其中的200张作为训练图像，100张作为验证图像，最后100张作为测试图像。所有图像都手动做了相应的轮廓标记。

2.2 评价规则

为了更好地实现本文的神经网络模型，本文使用公开的深度学习框架(Caffe)进行特征提取[11]，并且对Softmax损失函数做了相应的改进。第一个全连接层输出的128维特征向量即为深度特征。最终将学习到的深度特征输入到相应的分类器进行轮廓检测。本文要对所实现的轮廓检测模型的性能进行分析和评价。首先可以通过主观评价直接观察到其检测效果的优劣。其次在实验中使用了三种标准的指标进行评估：固定轮廓阈值(ODS)、每幅图像的最佳阈值(OIS)和平均精度(AP)。

2.3 实验结果与讨论

本文实验针对超声心动图进行轮廓检测，输入数据为未经滤噪等预处理的原始超声图像数据。图像中存在大量的斑点噪声以及边界模糊的问题。通过将本文算法的检测结果与手动标记的轮廓相比较(如图3、图4所示)，可以主观评估本文方法的轮廓检测效果。其中图3、图4分别为超声图像长轴视角下与短轴视角下的本文算法输出结果与手动标记轮廓的对比。另外，本文算法还与其他算法性能进行定量评估，如表1所示。

从图3中可以看到，第一行是原始的超声图像，且为心脏周期序列中连续的三帧图像。另外，可以观察到该组数据为长轴视角下心脏的成像情况。第二行是在超声科医生的协助下进行手动描绘而得到的轮廓结果。第三行是经过本文的神经网络模型输出的检测结果。从图中可以观察到，本文方法的检测结果和人为标记的轮廓还存在一定的差距，尤其是在图像的右上区域(即心脏的左心室位置)存在较大的边界缺口。心尖位置的检测效果不尽人意。主要原因可能是图像固有的噪声以及边界对比度较低，导致在分类过程中将边界特征识别为背景类。

图3 本文算法与人工标记轮廓对比(超声心动图长轴视角)

同样地，从图4中可以看到，第一行是原始的超声图像，且为心脏周期序列中连续的三帧图像。不同的是，该组数据为短轴视角下心脏的成像情况。第二行是在超声科医生的协助下进行手动描绘而得到的轮廓结果。第三行是经过本文的神经网络模型输出的检测结果。不同于长轴视角下的成像情况，短轴的图像相对简单，大致是被一个圆形区域包裹的不规则边界。而同样可以观察到本文方法的检测结果和人为标记的轮廓存在差异，主要原因亦是图像固有的噪声以及边界对比度较低，导致在分类过程中的错误识别。但是对于短轴视角下的边界识别情况，相对而言较为良好，虽存在少量对伪影的识别错误以及小的边界缺口，但不影响其对整体的轮廓识别，为下一步的研究工作奠定了很好的基础。

图4 本文算法与人工标记轮廓对比(超声心动图短轴视角)

通过本文的算法模型实现的超声图像轮廓检测达到了较好的性能。如表1所示，本文方法与其他方法相比较有较好的表现。其中固定轮廓阈值(ODS)和每幅图像的最佳阈值(OIS)均高于相比较的方法且较为接近人为标记的性能。另外对于平均精度(AP)，本文方法亦比其他方法高。与Canny算法比较，传统的边界检测算子虽然简单便捷，但是其性能较差，而本文方法则展示了深度卷积神经网络极强的学习能力和信息处理能力，使之对边界信息质量较差的超声图像亦能实现较好的轮廓检测和鲁棒性能。深度网络的结构化边缘(SE)算法与本文方法直接比较证明了深度特征比人为设计的特征更加具备判别力。并且如果将随机森林应用到本文的CNN模型中，即随机的特征选择机制嵌入到了分类器中，这将极大地提高对噪声的鲁棒性。综上分析比较，本文方法的性能得到了很大的提升，这也证明了深度特征的优越性。通过定性与定量的比较，本文方法更加贴近真实轮廓，同时具备抑制轮廓类分类错误的能力。

表1 本文方法与其他算法的性能比较

3 结论

本文实现了从深度卷积神经网络中学习更具判别力的特征，并将其应用于超声图像的轮廓检测。首先本文将轮廓形状进行了一定的类别划分，以便能够将其用于训练得到有效的卷积神经网络模型。其次，本文对损失函数做了一定的改进，强调轮廓和非轮廓之间的损失。相比于Softmax损失函数，本文的改进方法有利于学习到更具判别力的轮廓特征。实验结果表明，本文算法输出结果十分接近手动标记的轮廓。并且通过与其他算法的定量比较表明，本文算法平均精度等性能均高于其他算法，展示了本文模型对高噪声低对比度的超声心动图像的轮廓检测具备较好的准确性和鲁棒性。

[1] NOBLE J A, BOUKERROUI D. Ultrasound image segmentation: a survey[J]. IEEE Transactions on Medical Imaging, 2006, 25(8):987-1010.

[2] DANTAS R G, COSTA E T, LEEMAN S. Ultrasound speckle and equivalent scatterers[J]. Ultrasonics, 2005, 43(6):405.

[3] Nie Yuanyuan, Luo Zhe, Cai Junfeng, et al. A novel aortic valve segmentation from ultrasound image using continuous max-flow approach[C]. International Conference of the IEEE Engineering in Medicine & Biology Society IEEE Engineering in Medicine & Biology Society Conference, PubMed, 2013:3311-3314.

[5] MAIRE M, YU S X, PERONA P. Reconstructive sparse code transfer for contour detection and semantic labeling[J]. Lecture Notes in Computer Science, 2014, 9006:273-287.

[6] RAZAVIAN A S, AZIZPOUR H, SULLIVAN J, et al. CNN features off-the-shelf: an astounding baseline for recognition[J]. Computer Vision & Pattern Recognition Workshops, 2014:512-519.

[7] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2):91-110.

[8] DALAL N, TRIGGS B. Histograms of oriented gradients for human detection[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, CVPR 2005,2005: 886-893.

[9] DONAHUE J, Jia Yangqing, VINYALS O, et al. DeCAF: A deep convolutional activation feature for generic visual recognition[J]. Computer Science, 2013, 50(1):815-830.

[10] SRIVASTAVA N, HINTON G, KRIZHEVSKY A, et al. Dropout: a simple way to prevent neural networks from overfitting [J]. Journal of Machine Learning Research, 2014, 15(1):1929-1958.

[11] Jia Yangqing, SHELHAMER E, DONAHUE J, et al. Caffe: Convolutional architecture for fast feature embedding[J]. ACM International Conference on Multimedia, 2014:675-678.

Echocardiographic contour detection based on depth convolution neural network

Wei Hongcheng, Huang Liqin

(School of Information Engineering, Fuzhou University, Fuzhou 350108, China)

Echocardiographic contour detection plays an important role in improving the diagnosis of cardiovascular disease. In this paper, we use the convolution neural network to study the depth feature of the ultrasonic image contour detection. In this paper, the neural network is used as a black box for feature extraction, and a special training strategy is designed. The boundary information is divided into several subclasses and each sub class is fitted with different model parameters. At the same time, the loss function is improved, and the loss of a positive sample is allocated to each sample subclass and the parameters are studied. This will help to learn more of the recognition of the contour features. The experimental results show that the method has good accuracy and robustness for the contour detection of high noise and low contrast echocardiography images.

convolution neural network; echocardiography; contour detection

国家自然科学基金(61471124)

TP181

A

10.19358/j.issn.1674- 7720.2017.14.018

魏洪成，黄立勤.基于深度卷积神经网络的超声心动图轮廓检测[J].微型机与应用，2017,36(14)：57-60.

2017-01-20)

魏洪成(1991-)，通信作者，男，学士，主要研究方向：计算机视觉、医学图像处理。E-mail: whc.fzu@foxmail.com。

黄立勤(1972-)，男，博士，教授，主要研究方向：计算机视觉、机器学习，医学图像处理。