基于深度学习的抗菌药物耐药性分析研究

2021-09-14 11:50谢修娟顾兵
湖南大学学报·自然科学版 2021年10期
关键词:注意力机制卷积神经网络深度学习

谢修娟 顾兵

摘   要:细菌耐药性的日益加剧,以及目前的耐药性检测方法周期长等问题,给临床第一时间准确用药带来极大的挑战和困境. 为此,本文将探索深度学习技术在抗菌药物耐药性预测中的应用,提出一种融合注意力机制的双通道卷积神经网络模型,通过上下两个通道对建模后的送检数据做不同粒度的特征提取,每个通道经过卷积和池化后引入注意力机制,聚焦重要的特征信息,而后将两个通道的特征进行融合,从而完成分类输出. 将模型在某三甲医院细菌药敏检测历史数据集上,与多种不同方法进行对比实验,结果表明,本文所提出方法在分类准确度F值指标中平均实现20.35%的提升,同时在小样本分类上表现出更好的效果.

关键词:深度学习;卷积神经网络;注意力机制;耐药性预测

中图分类号:TP301                                   文献标志码:A

Research on Antimicrobial Resistance Analysis Based on Deep Learning

XIE Xiujuan GU Bing

(1. Department of Computer Engineering,Southeast University Chengxian College,Nanjing 210000,China;

2. College of Medical Technology,Xuzhou Medical University,Xuzhou 221004,China)

Abstract:The increasing drug resistance of bacteria,as well as the long cycle of current drug resistance testing methods,bring great challenges and difficulties to accurate drug use at the first time in clinic.Therefore,this paper will explore the application of deep learning technology in the prediction of antimicrobial resistance,and proposes a dual-channel convolution neural network model integrating attention mechanisms. Through the upper and lower channels,different granularity features are extracted from laboratory data after modeling. After convolution and pooling,an attention mechanism is introduced in each channel to focus on important feature information,and then the features of the two channels are fused to complete the classification output. The model is applied to the historical data set of bacterial drug sensitivity test in a tertiary hospital,and compared with other methods.The results show that the proposed method achieves an average improvement of 20.35% in F-value index of classification accuracy,and performs better in small sample classification.

Key words:deep learning;convolutional neural network;attention mechanism;drug resistance prediction

在互聯网技术高速发展的今天,医疗、教育、金融、电商等各个行业的数据以“爆炸”式速度在增长,如何从海量数据中,提取有价值的信息变得越来越重要. 深度学习作为大数据分析的关键技术之一[1],它将特征提取与分类器有机融合,能从大量输入信息中自动学习特征并完成分类,在图像识别、语音识别、文本分类及情感分析等诸多领域取得了较好的实践效果[2-3]. 近年来,不少学者开始探索医疗卫生行业大数据的智能化处理,尝试运用深度学习技术处理医学大数据,主要集中于对医学图像、电子病历、基因组学的分析[4],特别是医学影像图像,包括图像分类、图像分割、图像重建、目标检测等关键问题,如:Yasaka等[5]使用深度学习技术对增强CT图像上肝脏占位性疾病进行包括典型的干细胞癌、不确定的肝肿块及肿块样病灶、血管瘤在内的五种病灶分类,平均AUC为0.92;Jiang等[6]利用基于AlexNet的全卷积神经网络进行视网膜血管分割,在4个公开数据集上取得优异表现;You等[7]提出一种基于半监督的图像恢复算法,将残差学习方式用于循环对抗生成网络,将低分辨率CT图像,准确恢复至高分辨率CT图像;Almasni等[8]使用YOLO网络对乳腺肿块进行自动检测,定位准确率高达99.7%,并能准确地区分良性和恶性病变.

由于医学数据存在多源异构性、公开数据集缺乏、高质量数据标注困难、对领域知识有一定要求等诸多因素,致使医学数据的处理与分析发展较慢. 从已有统计数据来看,深度学习在检验医学中的研究比较少,主要集中在血细胞识别、体液分析、免疫分析、微生物领域、寄生虫领域和基因及蛋白组学领域[9-15],而这些绝大多数还是属于图像处理应用.

随着抗菌药物耐药性的加剧,抗菌药物的不合理使用问题愈来愈严重,构成全球公共卫生的一大威胁[16]. 目前,各大医院耐药性检测方法多采用传统的细菌培养方法,从鉴定细菌到完成药敏检测至少需要3 ~ 5 d时间,这种传统检测方法延误了医生对患者的抗菌药物耐药性的知悉时机,给临床用药带来挑战和困境. 大数據分析技术是否能为快速、准确地使用抗菌药物另辟蹊径?目前,对抗菌药物的数据分析处理研究极少,Nguyen 等[17]使用机器学习的XGBoost算法,构建非伤寒沙门氏菌基因组与15种抗生素间的MIC预测模型;梁治钢、王一敏[18-19]先后使用机器学习的免疫遗传算法和深度学习的长短期记忆网络模型,基于电子病历数据,对抗菌药物的是否合理使用进行了探索性研究.

本文将探索深度学习技术在细菌药敏检测历史大数据中的应用,提出一种融合注意力机制的双通道卷积神经网络模型,充分挖掘不同深浅层次的药敏检测文本信息,并为不同重要程度的信息赋予不同的权重,构建检测样本与抗菌药物间的分类模型,而后利用此模型判断待测样本对抗菌药物的耐受程度,第一时间为医生临床用药提供最适合个体患者的决策支持,为抗菌药物的合理使用提供辅助作用.

1   所用技术

1.1   卷积神经网络

卷积神经网络作为当前最为流行的深度学习网络模型之一,近些年在计算机视觉领域取得了令人瞩目的成绩. 它具有优异的特征自学习能力,从底层图像特征逐步映射到高层语义特征,常被用于分类和预测. 卷积神经网络主要由输入层、卷积层、池化层和输出层四部分组成.

1)输入层:卷积神经网络的输入层一般是二维数据格式,可以是二维图像矩阵,也可以是二维文本矩阵,本文是将基于患者检测样本的二维文本数据作为输入.

2)卷积层:卷积层利用共享的卷积核与输入层或者前一个卷积层的局部感受野做卷积运算,再经过激活函数(如Sigmoid、tanh、Relu)做非线性运算,得到特征值,卷积运算如公式(1)所示.

1.2   文本词向量处理

检测样本所对应的文本数据要用于深度学习,第一步需要将文本数据数字化,即将文本映射为k维的向量空间. 传统的做法是使用One-hot编码,将文本中的最小单位数据(可以是数字、字或词等,简称元素)表示成一个向量. 具体做法是对文本按照需求进行元素分割,建立一个包含所有元素的元素库,向量的维度与库大小相同,向量中,只有表示该元素的位置为1,其它为0.

One-hot方法有两个主要缺点,一是当元素比较多时,容易造成维度灾难;二是元素之间的相关性无法体现. 鉴于这些问题,提出了分布式表示法,早期是使用统计学方法按照元素出现的次数将每个元素表示成一个实数向量,通过向量之间的余弦/欧式距离来表示元素间的语义相似性. 后来,又提出更为容易的基于神经网络的向量训练方法, Word2Vec[20]是目前所有分布式向量训练中效果最好的一种框架.

2   模型构建

本文所提出的融合注意力机制的双通道卷积神经网络模型,如图1所示. 对原始的检验数据经过预处理后,进行向量化建模,以此作为输入数据,被分别送往相互独立且深度不同的上下两个通道的卷积神经网络中,每个通道经过若干卷积和池化操作后,引入注意力机制,通过拟合多组权重向量来表征各特征分量的重要性,再经过一个全连接层,而后将两个通道的特征数据进行融合,最后利用softmax函数实现分类输出.

2.1   药敏检测数据建模

本文研究的数据源是细菌药敏检测数据,每一条检测样本包含患者的年龄、性别、所属科室、送检日期、样本类型、细菌种类、报告日期等送检数据,以及该患者对各个抗菌药物的最低抑菌浓度(MIC)检出结果值. 从送检数据中选取有可能影响抗菌药物耐受值的多个属性作为输入特征,以检出结果MIC作为分类标签. 考虑到不同菌种对同一种抗菌药物的敏感性不同,并且同一菌种在不同标本中对同一种抗菌药物的敏感值也不尽相同. 如:细菌aba和细菌aca对抗菌药物AMP的最低抑菌浓度不同,同时,在不同检测样本中,细菌aba对抗菌药物AMP会表现出来多个不同的MIC值. 因此,有必要为每种抗菌药物建立一个分类模型,根据输入的多特征送检数据,输出其对当前抗菌药物的MIC分类值.

包含多特征的送检样本数据向量化表示,是卷积神经网络进行特征提取和融合的重要前提. 本文借鉴文本问题中构建词向量模型的做法,每一个属性特征值对应一个词,使用一个向量来表示,特征向量维度为所有特征值的个数,由于本文最后筛选得到的药敏数据特征向量维度为42,显然不存在维度灾难问题,同时各个特征间关联性比较弱,故选用传统的One-hot法构建特征向量模型,如:性别男这个特征被表示为向量(1000...000). 而一条包含多个特征的送检样本数据则对应文本问题中的一条句子,建模后为一个二维矩阵,矩阵的每一行即是一个特征向量.

2.2   双通道卷积神经网络

2.3   注意力机制

注意力机制,是通过给各个特征分量分配合适的权重,筛选出重要特征并且聚焦到这些信息上. 它分成三个部分,分别为挤压(squeeze)、激励(excitation)和注意(attention),如图1所示. 假设经过卷积和池化后的特征信息是一个包含n个特征向量的二维矩阵,记为Um × n,进行挤压处理后,得到向量z(z1,z2,…,zn),挤压函数(Fsq)的计算如公式(5)所示;随后,将向量z经过公式(6)的激励处理(Fex),得到注意力权重向量a(a1,a2,…,an);最后,将权重向量a与特征矩阵U相乘,如公式(7)所示,生成带注意力机制的特征输出U′.

2.4   模型训练

3   实验及分析

3.1   数据集

本文数据来源为某三甲医院重症监护病房(ICU)2014年至2019年六年的细菌药敏检测历史数据,共计15 128条.  其中,细菌种类有156种,抗菌药物种类有53种,本文选取抗菌药物AMK的所有检测数据作为试点. 实际生产数据比较复杂,必须经过预处理后才能用于实验,本文的数据预处理工作包括:数据过滤、异常值检测和规范化. 第一,数据过滤:在检验领域专业人士的帮助下,对原始数据进行筛选,去除无关指标,挑选出有可能影响抗菌药物耐受值的5个属性特征作为输入,分别为患者性别、患者年龄、来源科室、标本类型和细菌种类;第二,异常值检测:根据专家自身检测经验,排查原始数据中存在的不合理的检测结果,同时,将缺失值较多以及记录数比较少的检测样本也纳入异常数据,直接删除它们. 最终用于实验的数据集有1 781条,其中,涉及到的细菌有aba、eco等5种,分类标签数有<=2、<=4等6个;第三,规范化:为方便后期的数据处理,对5个特征使用数值进行量化表示,以实现量化方式的统一.

3.2   评价指标

本文采用F度量值[21]作为分类结果的评价标准. 该方法同时兼顾了查准率(P)和查全率(R)两个指标,P、R和F分别由式(10)~式(12)计算得到.

P = TP/(TP + FP)(10)

R = TP/(TP + FN)(11)

F = (2*P)/(P + R)(12)

式中:TP为正类被划分为正类的样本数,FP为负类被划分为正类的样本数,FN为正类被划分为负类的样本数,TP+FP表示实际分类的样本数,TP+FN 表示应有的样本数.

3.3   实验环境及参数设置

本文的實验环境:操作系统为Windows 10,处理器为Intel Core i3,GPU1060 6G,内存24G,硬盘256G,编程语言为Python 3.6,深度学习框架为Keras 2.1.2,后端使用Tensorflow 1.3.0.

为确保结果的客观性和有效性,实验采取十折交叉验证法. 数据集被划分为10份,1份为测试集,其余9份为训练集,10份样本随机轮流进行10次实验,取平均值作为模型最终的结果值. 经过多次实验,确定了一组最佳模型参数,参数取值见表1所示.

3.4   实验结果与分析

3.4.1   对比方法介绍

为更好地对本文所提出的融合注意力机制的双通道卷积神经网络模型(CNN-Att-TChan)在药敏检测数据中的分类效果进行评估,设计了如下对比实验:

1)单通道二维卷积神经网络模型(CNN-2D). 该模型基于传统的CNN网络,卷积核为二维,包含多层的卷积和池化操作.

2)带注意力机制的单通道二维卷积神经网络模型(CNN-2D-Att). 该模型在CNN-2D基础上,增加了基于特征分量的注意力机制.

3)双通道二维卷积神经网络模型(CNN-2D-

TChan). 在CNN-2D网络基础上,设计了上下两个通道,分别进行多次卷积和池化操作,然后进行特征融合,进而分类输出.

4)多通道一维有池化卷积神经网络模型(CNN-1D-MChan). 使用多个不同宽度,但长度相同的一维卷积核从多个通道提取数据特征,每一个卷积核长度等于药敏数据特征向量维度,由于每个二维输入矩阵经过一次一维卷积后得到的已经是向量,因此,每个通道只进行一次卷积和池化,其它操作与CNN-2D-TChan类似.

5)多通道一维无池化卷积神经网络模型(CNN-1D-MChan-NoPooling). 在4)中CNN-1D-MChan网络基础上,去除池化操作,每个通道经过一维卷积后,直接进行向量融合,而后进入全连接层.

6)经典深度学习模型[22-25]. 除1)-5)自构建的深度学习网络模型外,还选用经典分类模型ResNet-18、AlexNet-8、VGG-16,进行对比实验.

7)机器学习模型.  选用机器学习分类方法中的随机森林算法(RF)和决策树算法(C4.5)作为代表,进行对比实验. 为使实验结果更具有可比性,采用与本文一致的aba等5种细菌和抗菌药物AMK作为输入,为每个菌种和抗菌药物建立一对一的分类模型,取5个模型的均值作为最终结果.

3.4.2   整体性能对比分析

不同模型的整体性能对比结果如图2和表2所示. 由于本次实验的数据属于结构化数据、数据量比较小、并且特征工程量不大等偶然因素,机器学习不失为一种有效方法,表现出了较好的分类性能. 但是实验过程中,RF和C4.5两种机器学习方法也暴露出一些问题,如:在面对训练集中的噪声数据时容易出现过拟合现象、随机森林法的Bootstrap自助采样做法会导致有些样本没有被训练到、不能表征特征之间的相互关联等,当训练数据量非常庞大时,模型性能会被弱化,相反此时深度学习模型却更具有优势.

本文主要探究深度学习模型在抗菌药物耐药性预测中的应用,从多组对比实验得到:

1)分类准确度方面,本文所提出的CNN-Att-TChan模型与其它模型相比,F值有一定提升,说明本文模型所引入的多通道等做法能有效提高分类准确度,如图2所示. 第一,通道数影响. CNN-2D、CNN-2D-TChan、ResNet、Alexnet、VGG的对比实验中,同是二维卷积,但是双通道网络表现出更好的分类效果,CNN-2D-TChan的F值比CNN-2D约高出7%,比经典模型平均约高出10%,可见,增加通道数,能提取到更为丰富的融合高层次和低层次的语义特征,有利于模型的拟合训练;第二,网络层数影响. 在CNN-2D和经典模型的对比实验中,同是单通道,同是二维卷积,但CNN-2D的F值比经典模型平均约高出3%,这是因为本文实验经典模型的网络层数基本都比CNN-2D深,其中ResNet-18模型包含17个卷积层和1个全连接层,网络层数约CNN-2D的三倍,网络层次越高,越能提取到能表征局部和全局视图的复杂特征,这适合于复杂图像的识别与处理,而对于本文的药敏检测数据,虽然输入也可视为图像,但该图像矩阵的每一行仅有一个有效值,随着网络层数的深入,势必会引入更多的有效值以外的冗余信息,从而干扰模型的正常训练;第三,注意力机制影响. 在CNN-Att-TChan与CNN-2D-TChan的对比实验中,前者比后者增加了一个注意力机制,从实验结果来看,分类准确度有一定提升,但提升幅度不是特别大,关于注意力机制的作用下文会详细叙述;第四,卷积核维度影响. 在CNN-2D、CNN-2D-TChan、CNN-1D-MChan的一组实验中,发现一维卷积的分类准确度远远低于二维卷积,下文将进一步进行卷积核维度影响的对比实验.

2)时间性能方面,Epochs值为50时,各个模型的训练时长如表2所示,所提出模型的训练时长,比三个经典模型要短,但较网络层数相当的CNN-2D模型有所增加. 实验结果表明,在二维卷积网络模型中,第一,添加注意力机制,训练时长约增长26.84%,注意力机制是在“卷积池化后、全连接前”增加的一个操作,通过自学习给每个特征分量分配注意力权重,必然会存在时耗,但是由于注意力机制在各特征分量层面采取的是并行运算方式,因此对整个模型的时间效率不会有太大影响;第二,双通道较单通道,训练时长平均高出25.43%,因为每增加一个通道,经过逐步卷积和池化后,势必会在全连接层产生“层内连乘、层间相加”的大量参数,极大地增加了计算量,从而影响网络的训练速度,可以说增加通道数是以降低模型执行效率为代价的.

3.4.3   单项性能对比分析

1)注意力机制对比分析. 在上述对比实验中发现,增加注意力机制,对分类准确度的提升虽然不是特别明显,但是被正确预测出来的分类数增多. CNN-2D、CNN-2D-TChan和经典模型,在数次测试中最终预测正确的均只有“<=2”这一个分类,这可能是数据集不均衡原因造成,因为整个数据集有约60%都属于“<=2”类别,大样本所带的信息量比小样本要高,使得分类器自然倾向于大样本数据. 但是添加注意力机制后,发现有更多的其它小样本类别被正确预测出来,平均100次测试,有超过50%的概率预测出其它小样本类别,这是因为注意力机制通过赋予高权重,能有机会聚焦到小样本特征.

为进一步验证,本文在一维卷积CNN-1D-MChan和CNN-1D-MChan-NoPooling模型中添加了本文所提出模型中的特征分量(通道域)注意力機制,辅以空间域注意力机制和混合注意力机制(空间+通道),进行对比实验,实验结果如表3所示. 结果表明,注意力机制在一维卷积中的作用与在二维卷积中相当,增设注意力机制对于模型分类准确度影响不大,在一维卷积中甚至有微弱下降,但是能有效改善小样本的预测分类效果. 此外,本文的通道域注意力机制,较空间域注意力机制和混合注意力机制,在预测准确度和小样本分类预测上的表现不分伯仲.

为进一步评估注意力机制对模型训练时间性能的影响,本文在一维卷积和二维卷积中分别进行了对比实验,图3为不同模型在不同的Epochs下完成一次迭代的训练时间变化曲线. 由图3可见,两组对比实验中,添加注意力机制后训练时长均有一定程度的提升. 添加了注意力机制后的一维卷积网络(CNN-1D-Att)与没有添加注意力机制的一维卷积网络(CNN-1D)训练时长提升幅度非常小,几乎可以忽略不计;而添加了注意力机制后的二维卷积网络(CNN-2D-Att)较没有添加注意力机制的二维卷积网络(CNN-2D),训练时长有一定差异,前者比后者平均高出25.36%,如图,当Epochs为300时,训练时长多出约42 s,但相对CNN-2D原始时长440 s来说,这个差值可以说比较小,故再次验证添加注意力机制对于模型训练时间整体性能影响不大.

2)一维/二维卷积对比分析. 考虑到本文特征向量采用类词向量建模的方法,输入矩阵中的每一行构成一个完整的药敏特征向量,因而有必要进行一维卷积核和二维卷积核的对比实验,一维卷积核的窗口长度等于样本特征向量的维数,使得卷积操作只在输入矩阵的一个方向上进行,以便提取一到多个完整的特征信息. 设计了一组对比实验,分别是一维卷积模型(CNN-1D)、一维无池化卷积模型(CNN-1D-NoPooling)、普通二维卷积模型(CNN-2D),结果如图4和图5所示.

图4结果表明,CNN-1D-NoPooling的分类准确度略高于CNN-1D,但它们都远远低于CNN-2D,这进一步验证了前文一维卷积在分类准确度方面比二维卷积效果要差的结论,其原因主要是本文的一维卷积操作受输入矩阵规模局限,只有一层,只能提取低层次特征,虽然移除了池化层,不对特征做精简以保留竟可能多的特征,但由于一维卷积提取到的特征单一、泛化能力弱等问题,削弱了模型训练质量. 此外,在时间复杂度影响方面,如图5所示,一维卷积的训练时长要比二维卷积少出约60%,一方面是由于一维卷积的网络模型层数少,导致网络模型整体复杂度降低,另一方面是一维卷积过程中卷积核规模、输出特征规模变小致使单个卷积层时间复杂度下降.

4   结   论

本文提出一种融合注意力机制的双通道卷积神经网络模型用于检验医学中抗菌药物的耐药性预测. 该方法通过上下两个通道对建模后的送检数据矩阵做不同粒度的特征提取,每个通道经过卷积和池化后引入注意力机制,使模型聚焦重要的特征信息,而后将两个通道的特征进行融合,从而完成分类输出. 将模型在某三甲医院细菌药敏检测历史数据集上,与多种不同方法进行了对比实验,结果表明,本文所提出方法在整体分类准确度和小样本分类方面表现出更好的效果,具有一定的可行性和有效性. 下一步工作,将对原始数据存在的细菌类型和类别不均衡问题作进一步的探索和研究,提高输入数据质量,从而进一步提升模型分类质量.

参考文献

[1]    程学旗,靳小龙,王元卓,等,大数据系统和分析技术综述 [J]. 软件学报,2014,25(9):1889—1908.CHENG X Q,JIN X L,WANG Y Z,et al. Survey on big data system and analytic technology[J]. Journal of Software,2014,25(9):1889—1908. (In Chinese)

[2]    LECUN Y,BENGIO Y,HINTON G. Deep learning[J].Nature,2015,521(7553):436—444.

[3]    何炎祥,孫松涛,牛菲菲,等. 用于微博情感分析的一种情感语义增强的深度学习模型[J]. 计算机学报,2017,40(4):773—790.HE Y X,SUN S T,NIU F F,et al.A deep learning model enhanced with emotion semantics for microblog sentiment analysis[J]. Chinese Journal of Computers,2017,40(4):773—790. (In Chinese)

[4]    MIOTTO R,WANG F,WANG S,et al. Deep learning for healthcare:review,opportunities and challenges[J]. Briefings in Bioinformatics,2018,19(6):1236—1246.

[5]    YASAKA K,AKAI H,ABE O,et al. Deep learning with convolutional neural network for differentiation of liver masses at dynamic contrast-enhanced CT:a preliminary study[J]. Radiology,2018,286(3):887—896.

[6]    JIANG Z X,ZHANG H,WANG Y,et al. Retinal blood vessel segmentation using fully convolutional network with transfer learning[J].Computerized Medical Imaging and Graphics,2018,68:1—15.

[7]    YOU C Y,LI G,ZHANG Y,et al. CT super-resolution GAN constrained by the identical,residual,and cycle learning ensemble(GAN-CIRCLE)[J]. IEEE Transactions on Medical Imaging,2020,39:188—203.

[8]    ALMASNI M A,AL-ANTARI M A,PARK J M,et al. Simultaneous detection and classification of breast masses in digital mammograms via a deep learning YOLO-based CAD system[J]. Computer Methods and Programs in Biomedicine,2018,157:85—94.

[9]    严虹,刘国烨,李砚,等. 深度学习在检验医学中的研究与应用[J]. 中华检验医学杂志,2019,42(12):1063—1066.YAN H,LIU G Y,LI Y,et al. Research and application of deep learning in laboratory medicine[J]. Chinese Journal of Laboratory Medicine,2019,42(12):1063—1066. (In Chinese)

[10]  SHAHIN A I,GUO Y,AMIN K M,et al. White blood cells identification system based on convolutional deep neural learning networks[J]. Comput Methods Programs Biomed,2019,168:69—80.

[11]  JAVADI S,MIRROSHANDEL S A. A novel deep learning method for automatic assessment of human sperm images[J]. Computers in Biology and Medicine,2019,109:182—194.

[12]  LI Y Q,MAHJOUBFAR A,CHEN C L,et al. Deep cytometry:deep learning with real-time inference in cell sorting and flow cytometry[J]. Scientific Reports,2019,9(1):11088.

[13]  JO Y,PARK S,JUNG J,et al. Holographic deep learning for rapid optical screening of anthrax spores[J]. Science Advances,2017,3(8):e1700606.

[14]  ZHANG Y B,KOYDEMIR H C,SHIMOGAWA M M,et al. Motility-based label-free detection of parasites in bodily fluids using holographic speckle analysis and deep learning[J]. Light:Science & Applications,2018,7:108.

[15]  赵新元,秦伟捷,钱小红. 深度学习方法在生物质谱及蛋白质组学中的应用[J]. 生物化学与生物物理进展,2018,45(12):1214—1223.ZHAO X Y,QIN W J,QIAN X H.Application of deep learning in biological mass spectrometry and proteomics[J]. Progress in Biochemistry and Biophysics,2018,45(12):1214—1223.(In Chinese)

[16]  SHI J H,YAN Y,LINKS M G,et al. Antimicrobial resistance genetic factor identification from whole-genome sequence data using deep feature selection[J]. BMC Bioinformatics,2019,20(15):1—14.

[17]  NGUYEN M,LONG S W,MCDERMOTT P F,et al. Using machine learning to predict antimicrobial MICs and associated genomic featuresfor nontyphoidal salmonella[J]. Journal of Clinical Microbiology,2019,57(2):e01260-18.

[18]  王一敏,梁治钢. 基于免疫遗传算法的抗菌药物数据挖掘[J]. 计算机系统应用,2017,26(3):156—161.WANG Y M,LIANG Z G. Data mining of antimicrobial drug based on immune genetic algorithm[J]. Computer System  and  Application,2017,26(3):156—161. (In Chinese)

[19]  梁治钢,王一敏. 深度学习在电子病历抗菌药物使用方法分类中的应用[J]. 计算机系统应用,2019,28(8):71—77.LIANG Z G,WANG Y M. Application of deep Learning in classification of antimicrobial using methods in electronic medical records[J]. Computer System  and Application,2019,28(8):71—77. (In Chinese)

[20]  MIKOLOV T,CHEN K,CORRADO G,et al. Efficient estimation of word representations in vector space[EB/OL]. arXiv:1301.3781,2013-5-5.

[21]  钟将,刘荣辉. 一种改进的KNN文本分类[J]. 计算机工程与应用,2012,48(2):142—144.ZHONG J,LIU R H. Improved KNN text categorization[J]. Computer Engineering and Applications,2012,48(2):142—144. (In Chinese)

[22]  陳红松,陈京九. 基于ResNet和双向LSTM融合的物联网入侵检测分类模型构建与优化研究[J].湖南大学学报(自然科学版),2020,47(8):1—8.CHEN H S,CHEN J J. Study on construction of IOT network intrusion detection classification model and optimization based on combination of ResNet and bidirectional LSTM network[J]. Journal of Hunan University(Natural Sciences),2020,47(8):1—8. (In Chinese)

[23]  ELNASIR S,SHAMSUDDIN S M.Proposed scheme for palm vein recognition based on linear discrimination analysis and nearest neighbour classifier[C]// 2014 International Symposium on Biometrics and Security Technologies(ISBAST). Kuala Lumpur,Malaysia: IEEE,2014:67—72.

[24]  KRIZHEVSKY A,SUTSKEVERI,HINTON G E. ImageNetclassification with deep convolutional neural networks[C]//International Conference on Neural Information Processing Systems. New York:Curran Associates Inc,2010:1097—1105.

[25]  SIMONYAN K,ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL].2014.

猜你喜欢
注意力机制卷积神经网络深度学习
基于深度学习的问题回答技术研究
基于LSTM?Attention神经网络的文本特征提取方法
基于注意力机制的双向LSTM模型在中文商品评论情感分类中的研究
InsunKBQA:一个基于知识库的问答系统
基于深度卷积神经网络的物体识别算法
MOOC与翻转课堂融合的深度学习场域建构
大数据技术在反恐怖主义中的应用展望
深度学习算法应用于岩石图像处理的可行性研究
基于深度卷积网络的人脸年龄分析算法与实现
基于卷积神经网络的树叶识别的算法的研究