深度学习在心电图分类中的应用分析*

2021-01-27 09:20苏淏璇徐秀林
生物医学工程研究 2020年4期
关键词:梯度卷积神经网络

苏淏璇,徐秀林

(上海理工大学医疗器械与食品学院,上海 200093)

1 引 言

心血管疾病是全球第一大死亡病因,主要由心脏病和中风引起[1]。因此,临床上对心血管疾病的精确识别诊断至关重要。心电图(electrocardiogram, ECG)信号是评估心脏功能最常用的检查方法,是一种反映潜在心脏状况的非侵入性检测,且价格低廉[2-3]。

目前临床上主要是由经验丰富的医生对ECG进行解读诊断,异常ECG信号的非线性和复杂性,使得很难检测其特征,往往需要花费大量时间,其准确性也易受医生主观因素的影响[4-5]。因此,如何将快速发展的人工智能技术与ECG诊断相结合,开发一种辅助医生快速精确诊断ECG的系统,是研究人员急待解决的问题。

二十一世纪的医学诊断以大量的生物医学数据以及用于数据分析的高性能计算工具的发展为标志[6],伴随着人工智能的发展和深度学习的出现,尤其是将深度学习神经网络成功应用于图像分类后,深度学习技术已在医学图像分析中获得了快速发展[7-8]。深度学习应用于计算机辅助诊断(computer aided diagnosis,CAD),能实现快速和准确辅助医生对疾病进行诊断和治疗。

2 深度神经网络模型与应用

2.1 卷积神经网络

上世纪七十年代,Hubel等[9]通过对猫视觉皮层细胞的研究,提出感受野概念,即卷积神经网络(convolutional neural network,CNN)每一层输出的特征图上的像素点在输入图片上映射的区域大小。后来,Fukushima[10]在感受野概念的基础上提出的神经认知机(Neocongition)概念,可以看作CNN的第一个实现网络。深度学习已引起越来越多研究者的关注,在图像处理、自然语言处理、语音处理等方面均有成功应用,尤其是图像识别方面[11]。

CNN是受生物思维启发的多层感知器(multilayer perceptron,MLP),由输入层、卷积层、池化层、完全连接层和输出层组成[12],见图1。与机器学习一样,CNN模型也需要对输入数据进行预处理,常见的预处理方式有去均值、归一化、PCA/SVD降维等。卷积层使用卷积核进行特征提取和特征映射,通常使用多层卷积层来得到更深层次的特征图。池化层通常周期性插入在卷积层间,其作用是逐渐降低数据体的空间尺寸,进而减少网络中参数的数量,减少计算资源消耗,同时还能很好地控制过拟合。全连接层是将上一层输出展开成一维数据,并连接到每一个神经元上,然后输入到分类器中。CNN通常以softmax作为输出层,应用于分类问题。

图1 CNN架构

一维ECG采样值序列数据往往不能反应波形的局部特征,如陡峭、凹凸程度及倾斜程度等。Huang等[14]提出一种基于二维深度CNN(two dimensional depth neural network,2D-CNN)的心电心律失常分类方法,利用短时傅里叶变换将ECG的时域信号转换为时域谱图,将其作为2D-CNN的输入,对不同心律失常类型的ECG进行识别和分类。利用MIT-BIT数据库的ECG数据,结果显示1D-CNN的平均准确率为90.93%,而2D-CNN的平均准确率达到了99.00%。

Rasmus等[15]采用CNN和循环神经网络(recurrent neural network,RNN)相结合的端到端模型,从ECG分割的RR间隔(RRI)片段中,采用CNN提取高级特征,并且加入循环神经网络(recurrent neural network,RNN)结构。RNN结构因使用自反馈的神经元,在处理ECG等时间序列数据时具有优越性。将ECG分类为心房颤动(AF)和正常窦心性心率(NSR),该模型在三个不同数据集上进行训练和验证,通过5倍交叉验证,其灵敏度和特异性分别达到98.98%和96.95%,此外,该模型能在1 s内高效分析24 h的ECG记录。研究结果表明,该模型与标准基准ECG数据集上评估的最新模型相比,在检测AF上具有更好的性能。

CNN通过局部感受野、权重共享和降采样三大策略,减低了网络模型复杂度,同时对图片特征的平移、旋转、尺度缩放等形式具有不变性,因此被广泛应用于医学影像诊断领域。

2.2 循环神经网络

RNN和传统神经网络一样,可分为输入层、隐藏层和输出层。RNN的特别之处在于其对序列的每个元素均执行相同的任务,输出取决于先前的计算,具有“记忆”功能,结构原理见图2。网络在t时刻接收到输入Xt之后,隐藏层的值是St,输出值是Ot。St的值不仅仅取决于Xt,还取决于St-1。

为建立具有自动特征学习方案和高效优化机制的ECG心电节拍分类系统,Wang等[16]提出一种基于RNN和主动学习的全局可更新分类方案,即全局循环神经网络(global recurrent neural network,GRNN)。利用主动学习扩大了训练范围,从而改善了训练样本的多样性,由大型未标记数据池中选择信息量最大的样本,并将其添加到训练集中。GRNN是基于形态和时间信息,采用RNN探索ECG搏动的潜在特征。首先,依靠GRNN的大容量和拟合能力,可使用一个模型对多个不同患者的样本进行分类。其次,当训练样本和测试样本来自不同的数据库时,GRNN可以提高泛化能力。此外,RNN能自动识别不同类别样本之间的潜在差异。

图2 RNN结构原理图Fig.2 RNN structure schematic diagram

Elif[17]提出一种基于心电信号为混沌信号的ECG变化自动诊断方法。利用非线性动力学工具计算出四种ECG(正常搏动、充血性心力衰竭搏动、室性心动过速搏动、房颤搏动)的Lyapunov指数,并作为RNN模型的输入数据。研究表明,Lyapunov指数能很好地体现心电信号的特征,基于这些特征训练的RNN模型具有很高的分类精度。

给出相关参数,对两个球体模型进行,给定中心埋深相同z1=z2=20m,质量不同,以及中心埋深不同z1=20m,z2=40m,质量亦不同,其他参数不变,得到成像结果图7。

为解决RNN在训练过程中容易出现梯度下降或者梯度爆炸的问题,Hochreater等[18]提出了长短期记忆(long short-term memory ,LSTM)网络架构,是RNN算法的一种改进。其引用CEC单元解决了随时间反向传播算法和RNN模型的梯度消失和梯度爆炸问题。Annisa等[19]提出一种基于RNN的深度学习序列建模方法用于心电节律信号的分类,并与RNN改进的LSTM模型进行了性能比较。对比结果表明,在网络模型超参数相同的情况下,LSTM在敏感性、特异性和精密性方面均优于标准的RNN,分别达到98.49%、97.97%和95.67%。

RNN通过引进时序,可以根据以往的数据来推测未来的事件,在语音识别和文本推测方面取得了突破性进展,但由于RNN无法进行长期记忆的输出,一些RNN改进的长期记忆模型正在研究中。

2.3 深度信念网络

Hinton[20]在2006年提出深度信念网络(deep belief network,DBN), DBN由多层神经元受限玻尔兹曼机(restricted boltzmann machine,RBM)构成,其结构见图3。RBM又分为显性神经元和隐性神经元,其中显性神经元用于输入训练数据,隐性神经元用于提取特征,隐性神经元又称特征检测器。玻尔兹曼可用于监督学习和无监督学习。

Sherin等[21]采用RBM和 DBN,对在单导联ECG检测心室和室上性心跳进行ECG分类。通过心跳检测获取 R波波峰,再经过图像分割检测出T波。采用两种特征集,特征集1包括RR间期、心跳间期和分段形态学,特征集2由RR区间和固定形态组成。将特征集作为DBNs的输入进行分类,DBNs是一种多层生成神经网络,它由堆叠的逻辑RBM组成,其中最底层的RBN学习数据的浅模型,下一层RBM学习对第一层隐藏单元建模。在进行分类时,DBN可以使用RBM预训练过程来初始化深度网络的权重,然后通过反向传播的误差导数对这些权值进行有区别的微调。仿真获得室性异位搏动平均识别正确率(93.63%)和室上异位搏动平均识别正确率(95.57%)。结果证明,对比传统方法,基于深度学习框架分类器以更低采样率和更简单的特征实现了最先进的性能模型。

图3 DBN架构

Wu等[22]为了深入提取连续心电信号特征,将高斯-伯努利和伯努利-伯努利两种类型的受限波耳兹曼机堆叠在一起形成DBN。通过对比散度和持续对比散度两种训练算法来学习RBM参数,因此,可以以无监督的方式从原始ECG数据中提取合适的特征。为了提高DBN性能执行微调过程,在结果隐藏表示层的顶部添加softmax回归层,以执行多分类。结果表明DBN分类心率失常时,在特征学习时间上取得了较好的效果。

通过母体能有效对胎儿心电图(the foetal electrocardiogram,fECG)进行检测。Jagannath等[23]提出一种用于fECG信号增强的贝叶斯深度信念网络(bayesian deep belief network,BDBN)。贝叶斯滤波器为腹部ECG(aECG)中的非线性转化的母体ECG(mECG)成分提供了理想的近似值。DBN系统评估mECG的非线性变换信号的非线性关系,并准确地将mECG信号与噪声信号进行消除,得到理想的高质量的fECG信号。

DBN的灵活性使其可与其他模型进行融合拓展。针对高维度数据训练困难的问题,卷积DBNs(convolutional deep belief networks,CDBNs)利用相邻像素的空间关系,可轻松得到变换的高维图像。目前已有张义超等[24]研究的基于优化卷积深度信念网络的智能手机身份认证方法,但由于模型的学习率受到样本量大小和计算资源等限制,在临床图像应用上还无法训练出较成熟的模型。

2.4 深度残差网络

He等[25]提出深度残差网络(deep residual networks,DRN),其网络深度达到152层,比经典的CNN网络多147层,比GoogleNet多130层,能很好地避免梯度爆炸或消失,其原理见图4。DRN引入了残差块的设计,原理是将前面若干层的数据输出直接跳过多层,引入到后面数据层的输入部分,解决了神经网络层数越深越容易产生模型梯度消失和梯度爆炸的问题。

图4 DRN工作原理图

Cao等[27]提出了一种改进的多尺度分解增强残差卷积神经网络。该方法将长度差异较大的原始心电记录重新分割为9 s的短样本,然后利用导出的小波框架分解,将分割后的段样本分解,并重构成不同尺度的子信号样本。利用原始短信号数据集和各尺度重构数据集训练快速下采样残差卷积神经网络(fast down-sampling residual convolutional neural network,FDResNets),然后应用迁移学习技术将性能良好的三个FDResnet耦合成一个多尺度分解增强残差卷积神经网络(multi-scale decomposition enhanced residual convolutional neural network,MSResNet)。结果表明, 基于2017年PhysiNet/CinC[28]比赛提供的大型单导联ECG数据集,经过6次交叉验证,多尺度神经网络平均准确率达到92.1%,F1综合评分达到89.9%。

Deepankar等[28]开发了一个端对端的框架,利用DRN将不同的ECG片段分为四类,即心房颤动、正常节律、其他非噪声症状心电节律和噪声节律,从而消除手工制作特征的需要,将DRN结合CNN和卷积递归神经网络进行比较,利用数据增强技术解决了数据不平衡的问题,生成更多的少数类样本,并利用F1对模型进行了测试。结果表明,采用PhysiNet/CinC心脏病学挑战杯2017年数据库,该方法F1评分为0.88±0.02,其准确率和F1评分均优于CNN和RNN。

随着深度神经网络层数的不断增加,模型获取高阶特征的能力也越来越强,而当网络层级达到一定的深度后,模型训练精度和测试精度由于梯度消失或梯度爆炸而迅速下降,而DRN可以很好解决该退化问题,通过增加网络深度提高网络模型性能。

3 总结与展望

随着智能化医疗需求的不断增加,人工智能正快速地应用于医疗科技领域,深度神经网络将更加深入地应用于临床,为广大医护人员和患者提供更高质量的医疗服务。

深度神经网络不同的架构和分类方法映射出不同的模型学习能力及获取特征的角度,例如在ECG分类识别中,CNN的识别率略高于其他判别模型深度神经网络,而RNN的优势是对短时间序列数据更敏感,长短期记忆网络则解决RNN无法处理长距离依赖的问题。但是由于深度神经网络无法做到对网络层级的进一步深化,从而诞生了DRN,大量研究表明,DRN可以很好地解决深度神经网络层级越深,越出现梯度消失或梯度爆炸的问题,使模型的准确率得到进一步提升。DBN不同于CNN和RNN等图像处理架构,既可用于非监督学习、特征学习,也可以作为分类器用于监督学习。

应用不同深度网络架构,研究人员可以很好地开发并构建ECG诊断模型,帮助医护人员进行精确治疗。目前,大部分基于深度学习的ECG辅助诊断系统均在试验中,且大多使用全球公共数据集来验证其算法的准确性,公共数据集已经对ECG进行标记分类等预处理。而我国大部分医院采用的是12导联的ECG图片,其未经过导联的分类和处理,可能同时存在正常心拍与非正常心拍,因此,在应用诊断准确率上有待提高。另一方面大部分神经网络的学习率因受到训练样本和计算资源的限制,尚未训练出较为成熟的深度模型,各个网络模型均存在缺陷,如CNN池化层会丢失大量有价值信息,忽略局部和整体之间的关联性,RNN的梯度爆炸在LSTM及其改进模型中得到了一定程度的解决,但是对于更长的序列数据,LSTM神经网络的诊断准确率不高,且计算费时。因此,如何通过改进深度神经网络架构和模型超参数,使其广泛应用于临床心电图,是深度神经网络在ECG辅助诊断中需要解决的关键问题。

猜你喜欢
梯度卷积神经网络
一个带重启步的改进PRP型谱共轭梯度法
一个改进的WYL型三项共轭梯度法
随机加速梯度算法的回归学习收敛速度
基于3D-Winograd的快速卷积算法设计及FPGA实现
卷积神经网络的分析与设计
神经网络抑制无线通信干扰探究
从滤波器理解卷积
一个具梯度项的p-Laplace 方程弱解的存在性
基于神经网络的中小学生情感分析
基于傅里叶域卷积表示的目标跟踪算法