基于层次化深度学习的海量医学影像组织与检索研究

万艳丽 雷行云 王 岩 胡红濮

(中国医学科学院医学信息研究所 北京 100020)



•医学信息研究•

基于层次化深度学习的海量医学影像组织与检索研究

万艳丽 雷行云 王 岩 胡红濮

(中国医学科学院医学信息研究所 北京 100020)

针对国内外关于医学影像组织和检索方法中的难点问题，提出一种基于层次化深度学习的海量医学影像组织和检索方法，以提高检索效率和精度，在一定程度上解决医学影像检索中存在的语义鸿沟问题。

1 引言

随着医学影像技术的快速发展，医院信息系统应用范围的不断扩大，存储在医院数据库中的影像数据呈几何级增长[1]。这些数量庞大的医学影像数据来源于各种医学成像设备，如超声、X射线计算机断层摄影(CT)、核磁共振(MRI)、数字血管剪影(DSA)、正电子断层摄影(PET)等，而且对应了不同的人体组织器官，如颅脑、胸、肺、肝等，同时每个组织器官所患的病症也存在很多种可能，如肝部可能有肝硬化、肿瘤、肝内胆管结石等。庞大的数据量、种类繁多的成像设备，再加上不同的患病部位以及不同的疾病种类，给医学影像数据的高效组织管理和精确检索带来了极大的挑战。

2 医学影像数据组织和检索现状

2.1 研究现状

数据量的急剧膨胀使现有的医学影像数据管理方法远远达不到高效组织管理和有效检索利用的目的。目前，医疗机构大多采用影像存储与传输系统(Picture Archiving and Communication System,PACS)，实现数字化医学影像的获取、诊断和归档管理。PACS的基础是现代化的数字成像技术和医学影像通信协议(Digital Imaging and Communications in Medicine，DICOM)，但是在目前的DICOM网络中，影像的组织和检索都是基于文本信息进行的，这些文本信息显然无法取代医学影像本身所蕴涵的丰富信息。因此，传统的基于文本的医学影像检索在医学资料管理、辅助诊断、教学和远程医疗等领域极大地限制了医学影像的应用。

随着基于内容的影像检索技术的发展，基于内容的医学影像检索(CBMIR)在近些年得到了广泛的研究。国外研究机构比较有代表性的成果有：Qian等[2]采用空间位置特征对脊柱影像进行检索；Lim等[3]开发的VisMed系统采用文本标注、直方图、Gabor变换等融合特征对CasImage库中的影像进行检索；Hsu等[4]系统采用文本信息、傅里叶描述符和简单的几何特征等对脊柱X射线影像进行检索；Sharmila等[8]对MRI颅脑影像的检索算法进行综述，尤其是所涉及的影像预处理算法，所用到的特征及其提取算法等。国内也有很多研究机构展开了这方面的研究，如天津大学王勇等[5]采用改进的Gabor纹理特征对超声心动影像进行分类与检索；南方医科大学的江少峰等[6]采用基于区域的模糊灰度、模糊Gabor纹理、模糊面积等特征的融合对颅脑CT影像进行检索。王伟蔚等[7]对国内外的医学影像检索系统进行了详细的分析和总结并提出了一种多级多特征医学影像检索系统。

2.2 存在的问题

目前，国内外学者虽然在医学影像的组织管理和检索技术上取得了一定的成果，开发了一些初步的原型系统，但距离实际应用还有很大的差距，主要表现在：第一，医学影像的组织不能详细地描述影像的语义信息。目前文献中针对医学影像检索大多是基于DICOM结构中的概况信息进行简单的分类，对分类的结构与层次缺乏更为细致的考虑，造成检索的精度和效率低下。如王勇等[5]所提出的超声医学影像检索系统针对1 000幅心脏图片进行检索操作，但是这1 000幅图片分属于胸骨旁左心室长轴切面、胸骨旁短轴切面、心尖切面、剑突下4腔切面以及胸骨上窝切面5个类别，这5个类别的影像存于一个影像库中，没有进行更为细致的分类。有文献[10-11]更是将来自于人体不同部位和不同采集设备的图片存储于同一个影像库中来测试所提出的检索算法。在这些影像库中，各种不同类型的影像随机存放，给影像的检索带来两个不利的因素：(1)在检索时，目标影像的特征需要与影像库中所有影像的特征进行比对，然后对相似度进行排序，进而输出检索结果，这对于小型的影像库而言，其检索速度尚可以满足需求，但是对于临床应用来说，这样的影像库架构与检索方式显然不能满足需要。(2)各种不同类型的影像存放在一起，采用相同的特征进行检索，必然会对检索精度造成一定的影响。因此，必须设计更为合理的影像组织结构，使之能够反映影像的语义信息，再配以更高效的特征提取算法，才能从根本上提高影像检索的效率。第二，提取的影像特征通用性差。目前的医学影像检索系统大多采用底层特征或多种底层特征的融合作为检索依据，如颜色、纹理、形状等。在设计检索算法时，通常是针对特定类型的数据选择不同的特征提取方法和特征组合方法，这种个性化的方法通用性差，对颅脑影像有效的特征对肺部影像可能达不到好的效果，最典型的一个例子就是颜色特征的使用，大部分医学影像采用的都是灰度图，而眼部影像则多用彩色图，这种区别注定了不同影像间颜色特征提取的区别。第三，提取的特征区分能力差。目前所出现的特征提取方法和特征融合方法都是基于人工所定义的规则的、底层的特征，这种特征很难反映影像的高层语义特征，区分能力差。特征的区分能力直接关系到影像分类与检索的精度，而精度不高则是医学影像检索走向临床实用的重要阻碍因素。如Chia-Hung Wei等[9]所提出的系统，在乳房X射线影像上测试的结果只能达到51%的准确度和19%的召回率，Abdol Hamid Pilevar等[10]设计的检索系统对5 000幅来自4个人体不同部位的CT和MRI影像进行检索测试，达到了93%的准确率，但是这仅是对不同部位和不同类型的图片进行检索的结果，属于在较粗的层面上进行的分类和检索，如果是对同一部位但分属不同疾病的图片进行检索，所能达到的精度将远小于这一数值。为了解决上述问题，本文提出了一种基于层次化深度学习的海量医学影像组织与检索方法，可以极大地提高检索的准确度，提高医学影像管理和使用效率。

3 基于层次化深度学习的海量医学影像组织与检索框架(图1)

在医学影像组织和影像库的构建方面，本文以医学影像及其对应的DICOM信息及疾病诊断等文本信息作为输入，通过对文本信息进行分析，提取成像设备、人体部位以及诊断等信息作为关键词，把这些关键词组合成对影像的语义描述，根据语义描述将影像划归到层次影像库对应层的某个类中。对所有影像进行类似的操作就可以自动建立一个层次式的影像库。影像库构建的过程同时也是根据文本信息对影像进行分类的过程，数据库构建完成之后，每幅影像在每个层次上都被贴上了一个类标。把不同层次的影像放到设计好的深度学习分类器中，经过训练就可以得到分类所需要的参数集合，进而得到每幅影像所对应的特征表达。这些特征作为影像的一种属性存储在影像库中，还可以根据特征为每一幅影像建立索引，加快影像的检索过程。

在医学影像检索方面，根据影像分层组织分类的特点，本文设计了基于深度学习的医学影像特征提取、分类和检索的框架。该框架可以直接应用在影像库上，对不同层次、不同类别的影像进行训练，提取影像特征。这些特征既可以用于影像分类，也可以用于影像检索。采用该框架的另一个明显好处是，不必为每一类的影像单独设计特征提取算法，而是采用同一个框架，输入不同的训练数据，可以得到不同的特征提取方法。由于影像库是分层设计的，而且每一层都经过了分类，有明确的类标数据，因此基于深度学习的影像特征提取过程可以自动完成。

图1 基于层次化深度学习的海量医学影像组织与检索框架

4 基于层次化深度学习的医学影像组织

4.1 层次分类结构定义

医学影像有很多不同的分类方法，可以按照采集设备进行分类，也可以按照所拍摄的人体部位进行分类，还可以按照疾病的种类进行分类等。按照单一的标准分类不能达到影像库的有序组织和管理，不利于影像的查找与利用。不同的医疗设备、不同的人体部位、不同的疾病种类之间的相互查找是没有意义的。也就是说，只有同种医疗设备采集的同一个部位的针对同一种疾病的图

像相互对比才是有意义的，这也是影像检索在临床上辅助诊断的出发点所在。因此，本文提出同时采用采集设备、人体部位以及对应疾病这3种分类标准，将医学影像进行分层处理，划分为3级子类：设备子类、人体部位子类、病种子类，见图2。在此基础上，借助中国医学科学院医学信息研究所研究开发的中文一体化医学语言系统，结合自然语言理解和文本处理技术，以医学用语数据库作为分词的词典，以医学用语语义网络判定分词结果，从医学影像的DICOM信息和医生的诊断意见中的提取上述3层语义，实现影像的自动分类。

图2 医学影像库的分层管理

DICOM是医学影像和相关信息的国际标准(ISO 12052)，它定义了质量能满足临床需要的可用于数据交换的医学影像格式。DICOM被广泛应用于放射医疗、心血管成像以及放射诊疗诊断设备(X射线、CT、核磁共振、超声等)，是使用最为广泛的医疗信息标准之一。本研究所需要的前两个子类信息，即影像的采集设备和人体部位，都可以从DICOM文件中直接获取。诊断意见是放射科医生根据患者的影像结合临床医学知识给出的报告。不同医院报告的格式和内容有所不同，但通常包含影像所见和诊断意见两部分。这两部分内容是医生根据影像所见而给出的病情客观描述，具有极高的可信度，因此可以看作是对影像所做出的人工标注，建立了高层概念和底层影像特征之间的联系。通过对影像所见和诊断意见两部分文本的分析，可以得到病人所患疾病的信息，这些信息就可以指导对影像进行更为细致的层次划分。

4.2 基于深度学习的影像类别特征提取

图3 一种典型的基于CNN的深度学习网络结构

基于深度学习的影像分类包括两个步骤:一是训练，采用有类标的大量数据集对深度网络进行训练，得到深度网络的各项参数与分类器的参数，二是分类，即给定一张输入影像，通过训练好的深度网络参数提取影像特征，然后根据训练得到的分类器参数生成此影像的类别标号。由于此前已经构建了一个分层的影像库，且每个层次都对影像进行了分类，因此可以直接用来训练深度神经网络。根据影像库的分层分类结构，需要对影像库的每一个有子类的父类单独训练一个深度网络分类器模型，以使深度网络可以学习到适合本层次影像分类任务的最佳特征。具体来讲，对应于图2中“医学影像”这个最大的类，第1层分类器需要将所有的医学影像分成CT、MRI、超声等1级子类，1级子类包含多个类，需要为每个类都训练一个深度网络分类模型，分别对应于CT影像分类器，MRI影像分类器等，将这些影像分为2级子类。同样的，2级子类中的每个类也需要单独训练分类器，将其分为3级子类。每个分类器的训练数据就是这个分类器中所有子类所包含的影像及其对应的类别标签。经过这样的训练，就可以得到多个专用的深度网络特征提取与分类器，以满足不同类型影像分类的需要。与基于规则的特征提取算法相比，本算法不需要去尝试不同的特征提取算法，以选择最佳的特征组合方式。只需要设计一个特定的深度网络结构，它可以根据不同的训练数据得到不同的网络参数，从而可以针对不同类型的影像提取不同的特征，因此具有更广泛的适应性。

在分类过程中，输入影像首先经过第1层分类器，将其分到CT、MRI等1级子类中的某个类中，然后用这个类对应的分类器再将其分类到2级子类中，最后2级子类中某个类对应的分类器将其分类到3级子类中，见图4。这种级连式的分类策略可以快速的缩小影像的搜过范围。训练过程完成之后，需要将一些信息进行保存，以便在分类时可以直接使用。这些信息包括每一个深度学习网络的网络参数及每一个分类器的参数。

图4 基于深度学习的影像分类流程

4.3 医学影像语义结构定义

按照本文所提出的方法构建的医学影像库中，每个影像应包含一个完整的影像语义描述，具体包括以下几项：(1)影像所属采集设备。(2)影像所属人体器官。(3)影像对应疾病名称。(4)影像对应疾病程度描述。(5)一级分类器所提取的特征。(6)二级分类器所提取的特征。(7)3级分类器所提取的特征。(8)医生诊断原始文本。上述描述作为完整的影像属性保存于影像库中，以便于检索或为辅助诊断与教学提供信息。

5 基于深度学习的医学影像检索

基于深度学习的医学影像检索是对基于层次化医学影像组织分类后得到的影像库进行的匹配检索过程。根据用户所提供的检索信息和本文设计的影像组织方法可以提供以下几种检索方式：(1)基于视觉特征的检索。检索信息只有一幅医学影像，没有与之相应的文本信息。在这种情况下，将采用影像本身所提取的视觉特征进行检索。如前所述，已经为每个层次每个类别的影像训练了分类器并为每幅影像提取了与相应的影像特征。因此，检索过程实际上就变成了一个先分类再检索的过程，即输入影像先经过3次分类器的分类得到影像所属的子类，然后将影像特征与该类别中的所有影像的特征进行相似度比较，并按相似度从大到小进行排序并输出得到检索结果。(2)基于文本与视觉特征的检索。检索信息包括医学影像及其对应的本文信息，在这种情况下，可以从文本中直接提取语义特征，利用语义特征先将影像进行分类，然后提取特征并与类中的影像特征进行比较，完成检索过程。(3)按影像库的层级进行检索。对于没有检索信息的情况，用户可以直接为每一个层次选择一个语义关键词，逐步缩小影像的类别，从而找到满足需求的影像。也可以采用用户反馈的方式进一步查找想要的影像，如选择一幅类似的影像，然后用这幅影像去对影像库中的影像进行相似度排序，这样会使检索结果更加精确。

6 结语

本文设计的基于层次化深度学习的海量医学影像组织与检索方法的优点：(1)将大部分的检索操作替换为分类操作，极大地提高检索速度。在层次化的影像库上进行检索时，检索过程实际是先分类再进行相似性比较，提取影像各个层次的特征，将影像逐层分类，最终在最细分类层中进行特征比较，得到相似度排序，避免了将影像特征与影像库中所有影像进行相似性比较，提高检索速度。(2)通过对不同的层次不同类别的影像分别提取影像特征，显著提高影像分类与检索的精度。如区分大脑CT影像与肝部CT影像和区分肝部两种不同疾病影像之间所需要的特征是不同的，前者属于人体两个部位，其结构差别较大，一些简单的特征就可以进行区分，而后者同属于肝部，结构相似，只能依靠病灶部位的更为精细的特征才能将其区分开来。基于深度学习的特征提取方法具有自适应性，在深度网络结构确定的前提下，其所提取的特征完全取决于输入数据，因此通过输入影像库中不同层次的影像，深度学习方法完全可以由粗到细的提取影像特征，以适应当前分类检索任务的需要。(3)提供了更为方便和多样化的影像检索模式。本文的系统不仅可以更好地完成大多数医学影像检索系统所采用的“以图搜图”的检索任务，还可以提供基于关键词的检索。这主要是由于影像库的分层管理模型隐含了影像的语义信息，如用户输入CT+颅脑+肿瘤，系统可以根据影像库的层次结构快速定位相应的影像。

1HenningMuller,NicolasMichoux,etal.AReviewofContent-basedImageRetrievalSystemsinMedicalApplication—clinicalbenefitsandfuturedirections[J].InternationalJournalofMedicalInformatics, 2004, 73 (l):l-23.

2QianX，TagareHD．OptimalEmbeddingforShapeIndexinginMedicalImageDatabases[J]．MedicalImageComputingandComputer-AssistedIntervention(MICCAI)，2005，(3750)：377-384．

3LimJ，ChevalletJ．VisMed：avisualvocabularyapproachformedicalimageindexingandretrieval[J]．InSecondAsiaInformationRetrievalSymposium，2005，(3689)：84-96.

4HsuW，LongLR，AntaniS．SPIRS：aframeworkforcontent-basedimageretrievalfromlargebiomedicaldatabases[J]．StudiesinHealthTechnologyandInformatics，2007，(129)：188-192．

5 王勇，吕扬生．基于纹理特征的超声医学图像检索[J]．天津大学学报：自然科学与工程技术版，2005，38(1)：57-60．

6 江少锋，陈武凡，冯前进,等．基于模糊区域的CT脑图像检索及关联反馈[J]．计算机工程与应用，2008，44(5)：199-202.

7 王伟蔚，卢虹冰，廖琪梅，等. 多级多特征医学图像检索系统的研究[J].医疗卫生装备，2012，33(3)：86-88.

8SharmilaG,SaraswathiD,RamkumarR.ASueveyonContentbasedMedicalImageRetrievalforMriBrainImages[J].InternationalJournalofResearchinEngineeringandTechnology,2014，3(19)：149-154.

9Chia-HungWei,Chang-TsunLiandRolandWilson.AContent-BasedApproachtoMedicalImageDatabaseRetrieval[C].DatabaseTechnologies:Concepts,Methodologies,Tools,andApplications, 2009: 1062-1083.

10AbdolHamidPilevar.CBMIR:Content-basedImageRetrievalAlgorithmforMedicalImageDatabases[EB/OL].[2015-01-10].http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3317765/.

11 唐坚刚，刘丛．基于小波分解和游程长度矩阵的医学图像检索[J]．计算机工程与设计，2010,(8)：1771-1774．

12AlexKrizhevskyandSutskever,IlyaandGeoffreyE.Hinton,ImageNetClassificationwithDeepConvolutionalNeuralNetworks[J].AdvancesinNeuralInformationProcessingSystems, 2012, (25): 1097-1105.

Research on Massive Medical Image Organization and Retrieval Based on Hierarchical Deep Learning

WANYan-li,LEIXing-yun,WANGYan,HUHong-pu,

InstituteofMedicalInformation,ChineseAcademyofMedicalSciences,Beijing100020,China

According to the existing problems, the paper proposes an organization and retrieval method of the massive medical images based on hierarchical deep learning in order to obtain more accurate retrieval results, solves the semantic gap problem that exists in the current medical image retrieval at a certain extent.

Picture Archiving and Communication System(PACS); Deep learning; Image retrieval

2015-05-06

万艳丽，博士，助理研究员，发表论文10余篇;通讯作者：胡红濮。

R-058

A 〔DOI〕10.3969/j.issn.1673-6036.2015.05.010

〔摘要〕 影像存储与传输系统； 深度学习； 影像检索