医学图像检索技术发展现状

，，

随着大数据技术、数据挖掘技术及医院信息化的发展，医学图像在医院诊疗活动中发挥着更加重要的角色。同时，随着医学影像存储与传输系统(Picture Archiving and Communication System，PACS)、医学数字成像和通信(Digital Imaging and Communications in Medicine，DICOM)等标准的不断发展和完善，医学图像数据呈现爆炸式的增长，医院内部约80%的数据都来自于医学影像数据。若将这些海量医学图像数据高效、合理地组织起来，能够很好地辅助医学工作者快速、准确地检索到自己所要找的目标图像，因此建立一个高效、准确的医学图像检索系统成为迫切需要解决的问题和研究任务。

医学图像检索技术是图像检索技术在医学领域中的应用，伴随着图像检索技术的发展，医学图像检索技术先后经历了3次变化，分别是基于文本的医学图像检索(Text-Based Image Retrieval，TBIR)、基于内容的医学图像检索(Content-Based Image Retrieval，CBIR)和基于语义的医学图像检索(Semantic-Based Image Retrieval，SBIR)。其中，基于文本的医学图像检索是通过关键字和文本对医学图像进行检索，需要线下对所有图像进行标注；基于内容的医学图像检索是提取图像本身所具有的视觉特征，包括颜色、形状、纹理等，建立特征向量，并以此构建索引和匹配准则进行所需图像的检索；基于语义的医学图像检索是通过分析医学图像的高层语义内容，建立起底层视觉特征和高层语义内容之间的映射关系，或用户根据检索结果进行反馈来逐步减小语义鸿沟[1]。

1 医学图像检索关键技术

1.1 基于文本的医学图像检索技术

TBIR系统开始于20世纪70年代，是借鉴文本检索技术对图像进行标注，标注方式包括人工手动标注或采用半自动或自动化方法标注，目前标注的信息大多基于DICOM结构中的信息[2]，包括患者的姓名、标识、性别、年龄等个人信息和疾病名称、疾病表征、诊断情况、图像获取时间、就诊医院等医学信息；然后用户输入关键词或相应的文本描述，检索系统在医学图像库中查找出标注信息和关键字信息相匹配的图像，并将结果呈现给用户，用户根据自己对检索结果的满意度调整检索策略，如进一步修改关键词或限制条件，来不断提高检索结果的准确性。

当对图像进行标注后，基于文本的图像检索方法是快速、可靠的，但对于未标注的图像数据库仍然无法进行检索；医学图像本身的内容信息如视觉特征无法体现，而且标注程序较为复杂、耗时较长，同时这些标注带有主观性，与检索用户对图像的理解并不完全一致；基于文本的查询还经常出现与结果无关的错误图片，错误率高达16%[3]，准确性较低[4]。因此，为实现更加高效的图像检索，CBIR方法产生了，并成为当前医学图像检索的研究热点。

1.2 基于内容的医学图像检索技术

CBIR是根据医学图像的视觉特征构建数据库索引。目前一些商业化的基于内容的图像检索系统已开放，如QBIC[5],Photobook[6],Virage[7],VisualSEEK[8]和Netra[9]。Eakins将图像特征分为3个层次：一级—图像原始特征，如颜色、纹理、形状和空间位置等元素；二级—派生属性或逻辑特征，对图像中所描述对象的身份进行某种程度的推理，典型的查询例子如“查找大脑的图像”；三级—抽象属性，对物体或或场景描述的意义进行复杂推理，典型的查询例子如“查找有结节肿块的肺部图像”。大多数基于内容的医学图像检索系统能够达到一级的检索，二、三级检索还处于不断的探索研究中。基于内容的医学图像检索技术主要包括以下几点。

1.2.1 图像特征的提取

颜色特征是图像检索中最常用的视觉特征，因为其在图像底层特征中最具表现力，最容易被识别和提取。目前颜色特征提取的常用方法有直方图法、颜色聚类法、颜色矩法、颜色相关图、颜色集等[10]。但由于大多数医学图像都是灰度图，因此颜色特征算法并不适用于医学图像。

纹理特征是反映图像像素灰度级空间分布具有某种重复规律的视觉特征，包含6个分量：粗糙度、对比度、方向度、线像度、规整度和粗略度[1]，前三个特征对检索更为重要，纹理特征可通过标准变换域工具进行分析，如傅里叶变换、小波、Gabor或Stockwell过滤器，纹理特征对医学图像检索是很有用的，能够反映出图像的细节结构[4]。

形状特征也是图像的一种重要特征，同类物体的形状总是类似的，因此形状特征能够反映更多的语义内容。医学图像的形状特征一般只需提取出目标对象的局部区域，因此准确有效的图像分割技术显得尤为重要。

目前医学图像分割技术主要有阈值法、边缘检测、区域分割和混合法，为解决平移、旋转和缩放不变的问题[10]，还需用到等高线、曲线、表面等知识。目前许多方法都使用形状特征测量图像之间的相似性，除了颜色、纹理、形状等反映图像整体特征外，空间关系也是图像检索的重要特征，它能够和其他特征结合起来，更全面、立体地表现图像特征。目前空间关系特征的提取方法有两种：一是分割出图像中所包含的对象区域，对这些区域建立索引；二是将图像按某种策略划分成若干子块，然后对这些子块提取特征建立索引[11]。

1.2.2 相似性度量

相似性度量是对两幅图像的内容信息进行相似度比较，比较内容即为图像的各类特征，将提取的特征转换为特征向量，用该特征向量表征相对应的图像，通过距离度量法计算图像间的相似度。目前常用的基于向量模型的算法有欧氏距离法、Minkowski距离、曼哈顿距离、直方图交、马氏距离等，其中，欧氏距离用于特征向量正交无关的图像，马氏距离用于具有统计特性或进行样本的相关性分析，具体操作时应根据不同特征选择合适的度量方法[12]。另一种相似度匹配方法是基于学习的匹配技术[10]，首先对一部分病例图像进行训练学习，然后对未知图像进行分类，训练方法有支持向量机、神经网络等。如Wei Guohui等人提出了基于内核的半监督距离相似性度量法，通过内核函数将原始数据映射到一个特征空间，在此空间中进行半监督距离度量的训练，其利用微分散射判别准则来表示语义相关性，正则化项表示视觉相似性，从而测量出查询图像和参考图像的相似性[13]。模仿人的主观相似度感受，探索符合人类感知行为的人机交互方法是接下来的研究重点。

1.2.3 特征融合技术

单一的图像特征仅能从一个角度反映图像的信息，无法覆盖多特征矢量特征，因此有研究学者提出了多特征组合或融合的方法。多特征融合技术一般分为同步和异步两种组合方法，同步组合检索先对不同特征单独进行相似性度量，然后加权得到综合度量值；异步组合检索是逐层进行，上一层的检索结果作为下一层的输入图像，不断缩小检索范围来提高检索精确度[14]。特征融合过程中，用户首先可根据各项特征对检索效果影响程度的不同，对每项特征赋予不同的权值，从而提高系统的检索性能。因此，如何量化不同特征对检索效果的影响程度是特征融合过程中的关键问题，目前相关反馈技术的应用是解决此问题的一种有效方法。同时在研究特征融合算法过程中，因为不同特征间相似度不具有可比性，因此需要对不同特征进行归一化处理。文献[15]在研究基于不变距、小波纹理和高层语义特征等单一特征的基础上，提出了基于底层-底层和底层-高层两种级别的特征融合检索方法，利用VC#和SQL Server2005实现了检索结果，验证了方法的有效性[15]。文献[16]提出了基于全局特征和相关反馈的检索算法，并以标准临床数字式X射线图像数据库为例进行了实验，结果表明，查准率能够提高2-3倍[16]。文献[17]提出了一种将DICOM文本信息和图像纹理、形状特征相结合的检索方法，通过设定权值将这些特征相结合，结果表明联合文本信息和底层特征能明显提高检索效能[17]。

1.2.4 相关反馈技术

在图像检索过程中，会出现“语义鸿沟”的现象，主要表现在两方面，一是图像的高层语义内容和底层特征之间存在“缺口”，二是图像的视觉特征和用户对视觉特征理解的不一致性[18]。数据相关反馈技术(Relevance Feedback,RF)被应用于CBIR中，就是为了解决“语义鸿沟”的问题。其原理是用户根据第一轮检索结果，对结果做出标记，区分出不满意的检索结果，并将这些标记信息反馈给系统，系统根据用户的反馈对检索策略做出调整，同时也是检索系统学习的过程，然后系统再次进行检索，如此反复，逐步逼近用户的需求。目前相关反馈技术主要有相似度量公式优化、查询点移动、特征空间变换、机器学习、概率统计分类法、聚类分析等[10,19 ]。相似度量公式优化就是进行权值调整，提高满意度高的特征度量权值，降低满意度低的特征度量权值，加快正例样本聚拢；查询点移动方法是基于图像可向量化，将图像特征抽象为查询点，不断移动查询点，来逐步接近正例查询点；特征空间变换是通过将非聚类的点移到另一个特征空间的点集，来达到降维的目的；机器学习法包括监督学习、主动学习、集成学习、长期学习等，通过样本训练得到检索映射模型，再利用这些模型对未知图像进行检索[20-21 ]。

1.2.5 检索效果评价

检索效果的评价主要是对不同检索方式的有效性和满意度进行对比分析，对医学图像检索系统的开发和改进有重要的指导意义。评价方法主要包括查准率和查全率、检索效率、有效度、匹配百分数等，查全率是检索出来的正例图像数与系统中所有正例图像数的比值，查准率是检索出来的正例图像数与所有结果数的比值；有效度是比较检索系统和用户对某个图像的最终排序推断检索结果是否有效；匹配百分数反映某个目标正例图像在所有目标正例图像中的排列位次，体现检索效果的优劣[1,17]。

2 基于语义的医学图像检索技术

2.1 医学图像的语义特点

上文所描述到的颜色、纹理和形状等特征都属于图像的底层特征，无法反映图像概念层次上的内容，而图像检索的最终目的是符合用户对图像内在含义的理解，因此，如何挖掘医学图像的深层次的语义特征是当前研究的热点和难点。医学图像具有很强的专业性，是特定语义的直观表达；医学图像的语义具有多层次多关联的特点，抽象化地描述了人体解剖结构和疾病信息，是医学知识的一种表达方式。因此，可借助相关的医学知识和计算机视觉特征领域技术，挖掘图像视觉特征和高层语义之间、不同高层语义内容之间的映射关系，完成医学图像的语义提取，实现基于语义的医学图像检索。

2.2 医学图像的语义特征提取

目前医学图像的语义特征提取的主要思路是构建高层语义到底层视觉特征的映射模型，同时在检索过程中添加用户反馈[1]。主要方法包括机器学习法、最近邻分类法、支持向量机、贝叶斯网络、决策树等，文献[22]以临床医师的分析和诊断内容为基础，提取肺部CT影像表征的关键词语义空间，构建医学图像语义层次模型，采用最近邻分类方法进行映射，将图像的底层视觉特征映射到高层语义空间[22]。文献[23]通过支持向量机映射方法获得乳腺X影像钙化病灶的一部分中层特征语义，另一部分通过医生判断给出，然后通过贝叶斯网络获得高层病症语义节点[23]。文献[24]将查询图像和数据库中的每个图像间的语义和视觉相似性融合为它们的成对相似点，然后构造加权图，其中节点代表图像，边缘测量它们的成对相似度；通过对加权图使用最短路径算法，获取一个新的相似性度量，从而完成查询图像检索。这种融合成对相似性能够缩小语义鸿沟，利用该方法对肺疾病常见CT显像的检索进行了评价，结果表明有较好的检索结果和检索效率[24]。文献[25]根据DICOM和医学诊断知识，设定不同层次类别语义(如采集设备、部位或疾病种类)，建立人工类别语义训练集，利用类别视觉特征语义标注分类器，实现图像的自动类别语义标注[25]。

另一种语义特征提取方法是基于本体来构建医学图像语义检索，本体是描述语义术语关系概念模型的明确的规范说明，通常是由领域专家所构建的机器可理解的一种知识体。文献[26]利用模糊本体中隶属度的概念, 对查询语句和图像关键词向量空间模型进行模糊本体概念映射和概念相似度计算。实验证明, 这一方法具有良好的性能[26]。文献[27]提出了一种基于高层次语义标注的相似医学数据库图像检索方法，首先利用生物医学本体语义术语自动标注图像内容，该策略基于多尺度黎兹小波技术来描述图像语义特征；然后对检索出来的相似的数据库图像的语义术语间的相似性进行评估，提出了一种基于图像和本体论的相异性措施去量化相似图像间语义术语的相似性。这两种策略的组合有助于缩小语义鸿沟，准确检索数据库中的相似图像[27]。文献[28]利用DICOM多样丰富的医学图像信息，包括物理特征信息、高级语义、区域空间布局等内容，对图像进行语义标注，得到相应的XML实例并组成组合概念实体集，构成医学图像本体库进行查询，但语义标注过程需要懂图像语义含义的专家完成，比较费时费力[28]。因此，如何利用知识获取技术代替专家手工进行自动标注，是一个值得研究的方向。

3 展望

3.1 加强对医学图像颜色特征提取方法的探索

由于大多数医学图像是灰度图，不同的图像内容灰度信息相似，区分度较低，目前一些颜色特征提取方法并不适用于医学图像，因此应寻求适合医学图像特点的颜色特征提取算法和内容表示方法，如根据病灶信息缩小范围，结合空间布局分析等。

3.2 加强基于语义的医学图像检索方法与技术的研究

目前对医学图像的底层特征已研究的较为成熟，如何挖掘出医学图像深层次的语义内容，更加全面地反映医学图像本身的信息，进一步解决“语义鸿沟”的问题，使检索结果更接近于人的感知与理解，是下一步的研究重点。

如可利用数据挖掘技术、知识组织方法和机器学习方法对图像语义信息进行解读，从视觉特征的相关研究中借鉴一些方法或思路。

3.3 加强医学图像检索系统的应用程度

目前大部分医学图像检索系统都处于研究阶段，应用到实际中的很少，因此应加强研究成果在实际中的应用，可尝试与医院的PACS、RIS等系统进行对接，探索相应的应用技术和应用价值。

3.4 建立医学图像检索系统的性能评价标准

图像检索领域的评价标准目前主要还是借鉴本文检索领域的检全率和检准率标准，但医学图像本身具有很强的专业性和特殊性，并不是精确匹配的，因此需根据自身特点建立一套更适合的性能评价标准。

3.5 借鉴其他领域经验，破解技术难题

可从生物医学工程、模式识别、仿生学等其他领域借鉴一些好的经验，研究医学图像检索不应仅局限于图像检索这个领域，应放开视野，进行变通和融合，帮助突破技术难题。