基于二维图像与迁移卷积神经网络的心律失常分类

陈 敏,王娆芬

(上海工程技术大学 电子电气工程学院,上海 201620)

0 概述

据世界卫生组织的统计数据显示,心血管疾病已经成为居民死亡的头号杀手,每年有超过1 770万人死于心血管疾病[1]。心律失常是心血管疾病的一种重要表现形式,有房颤、早搏、室颤和心动过速等类型。医院里心脏专家通过对心电图的视觉观察识别心电信号的异常,而随着家用可穿戴设备的逐渐普及[2],通过计算机对心电信号进行自动检测和分类成为近年来的研究热点。

传统的心电信号分类主要研究选择更优的特征[3-5]及分类器[6]等。而随着深度学习的快速发展,研究者们将研究重心转移到深度神经网络结构的设计去实现特征的自动提取与分类。深度学习在图像分割、图像分类等领域有着优异表现,将心电信号有效地转换为二维图像也是研究热点之一。文献[7]提出使用卷积方法将心电信号转换为二维卷积图像,但是生成的图像比较模糊,因此作者又融合了时域特征作为最后的特征。文献[8]将心电信号的频谱图作为二维图像送入设计的二维卷积神经网络,但是频谱图只能反映心电信号的频域信息,没有考虑信号在时域方面的特点。因此,如何有效地将心电信号转换为二维图像并尽可能多地保留其图像信息是一个值得思考的问题。

卷积神经网络是深度学习领域重要的网络结构。传统的特征提取方法虽然也能够提取到合适的特征,但整个过程耗时较多且不一定有好的鲁棒性。因此,部分学者设计出各种卷积神经网络对心电信号进行自动提取特征并分类。文献[9]设计了一个8层的卷积神经网络对心电信号进行四分类,总准确率达到92.7%,文献[10]以10 s数据作为输入,设计了一个16层的卷积神经网络,对MIT-BIH数据库中17种心电信号类型进行分类,得到90.13%的总准确率。以上深度学习方法均是将一维信号送入设计的深度神经网络进行自动分类,其中模型结构的设计及参数的调整需要通过多次实验迭代确定,整个过程复杂且耗时较多。

针对以上问题,本文提出使用格拉姆角场(Gramian Angular Field,GAF)将一维心电信号转换为二维图像,并借鉴深度学习中迁移学习的方法,设计一个迁移卷积神经网络(Transfer Convolutional Neural Network,TCNN)对心电信号进行分类。

1 本文算法

1.1 格拉姆角场

在笛卡尔坐标系中,心电信号是典型的二维信号。其中,x轴方向表示采样点或时间值,y轴方向表示采集的心电电压值,单位一般为毫伏(mV)。在极坐标系中对心电信号进行表示,具体过程如下:

1)X={x1,x2,…,xi,…,xn}为心电信号的时间序列表示,将X归一化到[-1,1]的范围内:

(1)

(2)

G=[cos(φi+φj)]=

(3)

G(i,j||i-j|=k)通过对方向值φ求和,保留了相对于时间间隔k的时间相关性。主对角线Gi,i是k=0的特殊情况,包含着原始值的信息。

对于长度为n的原始时间序列,得到的格拉姆矩阵的大小为n×n。当n过大时会造成G过大,此时采用分段聚合近似(Piecewise Aggregate Approximation,PAA)方法对时间序列进行降维。PAA的原理是:利用时间序列在短期内数据变化较小的特性,把一个时间序列分成固定长度的小区间,并计算各个区间内数据的均值来表示整个区间内的数据。最后得到的G就是一维信号转为二维图像的矩阵表示。

利用格拉姆角场对信号进行转换有两个优势:

1)一维信号与二维图像之间是双映射关系,这样不会丢失一维信号的任何信息[11]。

2)保持了信号的时间依赖性,信号的时间随着位置从矩阵的左上角到右下角的移动而增加。

1.2 迁移卷积神经网络

1.2.1 VGG16卷积神经网络

卷积神经网络是一种典型的神经网络结构,在自然语言处理[12-13]、图像分类[14]、医药发现[15]、灾难气候发现[16]等领域都有广泛应用。本文设计的迁移卷积神经网络基于迁移学习的思想,使用了2014年ILSVRC比赛获得冠军的VGG16网络模型。该模型由牛津大学视觉几何组开发,目前仍被认为是优秀的图像分类模型。

VGG16网络模型共16层,包括13个卷积层、5个池化层(池化层一般不计算在层数内)和3个全连接层。在图1所示的VGG16结构中,conv为卷积层,maxpool为池化层,fc为全连接层。整个网络结构的输入为244×244的彩色图像,每个卷积层使用3×3的卷积核,步长为1。每组卷积后进行一个2×2的最大池化。全连接层神经元的数量依次为4 096,4 096,1 000。前面的卷积部分虽然很深,但由于共享卷积核的原理,参数量不大,参数量主要消耗在最后3个全连接层。在深度学习Keras框架中,带有全连接层权重的文件大小为526 MB,没有全连接层权重的文件大小为56.1 MB。

图1 VGG16网络模型结构Fig.1 VGG16 network model structure

1.2.2 基于VGG16的迁移卷积神经网络

迁移学习是机器学习领域的一个重要组成部分,其目的是将源领域学习到的信息推广应用到目标领域的学习过程中去[17]。尤其是在缺乏大规模样本的医学图像领域,常在现有的大规模数据集上进行预训练,得到模型的初始化参数,再迁移到目标数据集上进行微调训练。VGG16就是在ImageNet数据集(包含120万幅自然图像和1 000多种不同类别)上训练得到的。

基于迁移学习的思想,本文设计了一种结构简单、参数量少、训练时间短的TCNN网络。该结构的前13层是VGG16模型的结构,每层神经元的数量和训练好的权重均不改变。在其后去掉了VGG16模型的3层全连接层,添加了包含512个神经元的卷积层Conv、同样包含512个神经元的全连接层FC和Softmax层。心电图像经过模型前13层的过程可看作特征提取过程,其后的卷积层和全连接层对输入的特征进行重新整合并进行参数的微调,最终通过Softmax层对心电图像进行自动分类。

(4)

利用Softmax分类器的代价函数可得到最终的分类结果:

(5)

其中,l{·}为示性函数。代价函数中对k个可能值进行累计,把输入值分为第j类的概率在假设函数中给出,进而对代价函数求导,通过最小化代价函数,实现对心电信号的分类。

2 心律失常分类实验

本文提出的心律失常分类流程如图2所示。心电信号进行心拍分割后,使用SMOTE算法进行心电数据不平衡处理。通过格拉姆角场将心拍转换为二维图像后,用训练集训练设计的TCNN网络进行心律失常自动分类,最后在验证集上验证模型的有效性。

图2 心律失常分类流程图Fig.2 Flow chart of arrhythmia classification

2.1 实验数据来源

本文实验数据来自美国麻省理工学院与Beth Israel医院合作建立的MIT-BIH心律失常标准数据库。该数据库对47个个体的动态心电数据进行采集,生成了48个时长约为30 min的心电记录文件。该数据库包含15种心律失常类型。本文对其中常见的4种心律失常疾病,即左束支传导阻滞(Left Bundle Branch Block,LBBB)、右束支传导阻滞(Right Bundle Branch Block,RBBB)、房性早搏(Artial Premature Contraction,APC),室性早搏(Premature Ventricular Contraction,PVC)和正常(Normal,N)心电信号进行分类,选择的数据编号及样本数量如表1所示。

表1 数据编号及样本数量Table 1 Data number and sample size

2.2 心电信号去噪及心拍分割

心电信号是一类微弱的生理电信号,信噪比较低。其噪声来源主要是50 Hz的工频干扰、低频的基线漂移和肌电干扰。由于心电信号频率范围集中分布在1 Hz～45 Hz,因此本文使用巴特沃斯高通滤波器滤除0.7 Hz以下的基线漂移,使用45 Hz的巴特沃斯低通滤波器滤除工频干扰和大部分肌电干扰。

滤除噪声后要将连续的心电信号分割为单个的心拍。本文使用MIT-BIH官网的WFDB工具箱实现对心拍最高点(QRS波群)的检测。之后在QRS波群位置前取100个点,后取150个点进行心拍分割。整个过程如图3所示。

图3 心拍分割过程Fig.3 Process of heart beat cutting

2.3 心拍数量不平衡处理

将心电信号分割成单个心拍实现了样本数量的增多,有利于使用深度学习进行自动分类,但仍然存在类别之间样本不平衡的问题。在医学领域,疾病类型样本的数量总是远远少于正常样本的数量。如在表1中,正常心电信号的样本数量明显多于其余4种心律失常类型样本的数量,这样容易造成样本较少那一类的高错分率。因此,需要对样本数量进行不平衡处理。在对Normal样本随机降采样为7 000个后,本文采用一种新的过采样方法——SMOTE方法,使LBBB、RBBB、APC和PVC的样本数量与Normal的样本数量相同。该算法的特点是:通过在少数类样本与其K个最近邻样本之间线性内插的方法合成新的样本,合成公式如下:

Xnew=Xi+gif×(Xi,j-Xi)

(6)

其中,Xnew为新少数类样本,Xi为第i个少数类样本,Xi,j为第i个少数类样本的第j个近邻样本,gif∈[0,1],为内插时的随机概率数。

2.4 一维信号到二维图像的转换

将平衡处理后的所有样本通过格拉姆角场转换为二维图像,像素分辨率为434×434。在编号为100、109、118、232和106的数据中分别选取一个样本进行生成图片的展示,如图4所示,左边为预处理后的心电信号,右边为经过格拉姆角场转换得到的二维图像。

图4 5种心电信号的二维图像转换图Fig.4 Two-dimensional image conversion diagrams of five kinds of ECG signals

2.5 TCNN训练

将数据集图像随机分为两部分:训练集30 000张和测试集5 000张,其中,训练集的20%作为验证集。得到的图像样本首先进行预处理,裁剪为(224,224)的大小,并减去每个像素点颜色的平均值,然后送入设计好的模型进行训练。因为VGG16模型的结构和权重均不改变,因此将VGG16前面的模型锁住。图像样本经过VGG16网络的过程类似于特征提取过程,输出的值送入卷积层进行进一步特征提取,接着送入全连接层进行进一步学习,最终送入Softmax分类器进行分类。全连接层的神经元数量为512,设置dropout值为0.5,即每次训练时,随机停止一半的神经元工作,剩余的一半用来训练,防止网络结构的过拟合。

2.6 评价指标

采用总准确率(Total Accuracy,TA)、灵敏度(Sensitivity,Se)和特异性(Specificity,Sp)3种方法对心律失常分类效果进行分析和评估,计算公式如下:

(7)

(8)

(9)

其中,TP表示当前心拍类型正确分类的心拍个数,FP表示不属于当前心拍类型被错分为当前心拍类型的心拍个数,TN表示属于当前心拍类型而被错分为其他类型的心拍个数,FN表示不属于当前心拍类型且被错分为其他类型的心拍个数。

3 实验结果与分析

本文模型在ASUS STRIX GL504,Intel i7 CPU,NVIDIA GTX 1060 GPU上训练,使用Keras框架。每次epoch训练时间平均为10 min,单张测试时间平均约为0.05 s。数据的去噪和心拍分割使用Matlab2017a实现。

经过10次epoch的模型训练,得到图5的训练结果。从图5可以看出,验证集的损失值和精确率在第2次迭代后已十分平稳且均优于训练集的损失值和精确率,说明模型已经训练得很好且没有发生过拟合。

图5 训练过程中损失值和精确率的变化Fig.5 Changes of loss value and accuracy rate during training

使用训练好的模型对测试集样本进行分类,得到的混淆矩阵如图6所示。其中,横纵坐标0～4分别表示心电信号类型Normal、LBBB、RBBB、APC和PVC。矩阵中对角线上的元素个数为正确分类的样本数量。从图中可以看出,5种心电信号类型都达到了近乎完全正确的分类,有4个正常心拍被错分为APC和PVC,这可能是由于正常心拍的P波和异位心拍的P波之间细微的形态差异造成的[18]。

图6 分类结果的混淆矩阵表示Fig.6 Confusion matrix representation of classification results

通过混淆矩阵计算分类的总准确率、灵敏度和特异性,得到表2所示的评价指标结果。从表2可以看出,除正常心拍的灵敏度外,其他指标均达到99.80%以上,这验证了本文提出方法的有效性。

表2 心律失常分类的评价指标结果Table 2 Results of evaluation index of arrhythmia classification %

将本文使用的ELMD方法与文献[19-20]中的方法进行比较。文献[19]方法将心电信号转为灰度图,并使用基于AlexNet的迁移学习网络结构进行心电信号的自动二分类和五分类,其中五分类得到94.95%的分类准确率;文献[20]方法将心电信号进行小波分解(Wavelet Packet,WT),将得到的小波分量送入LSTM神经网络进行分类,得到99.39%的准确率。通过对比可以发现,本文使用的方法分类精确度99.82%更高,这验证了本文方法的优越性。

4 结束语

针对心电信号心律失常分类问题,本文提出一种利用格拉姆角场将心电信号转换为二维图像的方法。通过对心电信号进行数学变换,得到其格拉姆矩阵并转换为二维图像,同时保留信号信息的完整性和原始信号的时间依赖性。在此基础上,设计基于迁移学习的迁移卷积神经网络模型对心电信号进行分类,其中VGG16部分无需调整参数即可提取心电图像的有效特征,模型结构简单且训练用时较少。实验结果表明,该模型分类的总准确率达到99.82%,可实现对心律失常的有效分类。下一步将使用其他模型实现对更多心律失常类型的自动分类,并且在更多数据库的心电信号数据上进行验证,以提高分类方法的实用性。