多特征分层融合医疗设备图像检索方法

单强 +孙晓明

摘要：针对解决医疗设备图像的检索问题，提出了一种基于多特征分层融合的图像检索方法。此方法采用颜色矩计算图像的颜色特征，采用LBP算子计算图像的纹理特征，采用Fourier描述子计算图像的形状特征，通过分层加权融合的方法将三类特征融合在一个相似性测度之内，最终形成检索判断的依据。根据窥镜图像和CT图像展开实验研究，其结果证实了所提出方法的有效性。随着查全率要求的不断提升，所提出方法的查准率明显高于三种单一特征的检索方法，适合于医疗图像的检索。

关键词：图像检索；多特征；分层融合；医疗设备

DOI：1015938/jjhust201702025

中图分类号： TP393

文献标志码： A

文章编号： 1007-2683（2017）02-0135-05

Abstract：Objective： In order to solve the problem of medical equipment image retrieval， an image retrieval method based on multi feature layer fusion is proposed Process： This method using color moments to calculate the characteristics of color image， the LBP Operator is used to calculate the texture features of the image， using Fourier descriptors calculated image of the characters， the stratified weighted fusion method of the characteristics of three types of fusion within a similarity measure， and ultimately the formation of retrieval based on Results and conclusions： According to the experimental study of the endoscopic image and CT image， the experimental results confirm the validity of the proposed method With continuous improvement of the precision requirements of the proposed method in precision ratio was significantly higher than that of two single feature retrieval method for medical image retrieval

Keywords：image retrieval； multi feature； hierarchical fusion； medical equipment

0引言

隨着窥镜、CT等视觉医疗设备在临床上的广泛使用，医疗设备图像已经成为辅助医生作出医学诊断的重要依据[1]。

数以万计的医疗设备图像，被纳入病例数据库中，成为新病例诊断的有力辅助手段。判断新病例图像和病例数据库中哪幅图像相似，依赖于图像检索技术[2]。

图像检索技术有三个重要的分支，一是基于文本的图像检索技术，二是基于内容的图像检索技术，三是基于语义的图像检索技术[3]。基于文本的图像检索技术，需要借助文本标注并存在误检率较高的问题；基于语义的图像检索技术，语义鸿沟问题制约着它的实用化；基于内容的图像检索，以某种图像特征的相似性来决策检索结果，是目前使用最为广泛的图像检索技术[4]。

基于内容的图像检索技术，以图像中的某种特征作为内容信息的表达，进而构建相似性测度以完成检索过程。颜色特征、纹理特征、形状特征，都是图像检索过程中常用的特征[5-7]。此外，也有很多抽象特征被应用于图像检索之中，如小波特征、相位特征等[8-9]。

医疗设备图像中往往含有多种特征，依靠单一特征进行图像检索，所获得的结果缺乏可靠性[10]。为此，本文构建一种基于多特征分层融合的图像检索方法，将颜色特征、纹理特征和形状特征结合起来，以期提升检索性能。

1颜色特征提取

颜色特征是图像内容信息中最丰富的一类特征，因此在图像检索技术的特征集合中也被广泛采用。对于图像检索技术而言，颜色特征具有一些突出的特点，如大小不变性、方向不变性。从实现层面看，颜色特征也比较容易提取。在各种图像检索方法中，已经被使用的颜色特征有：颜色直方图特征、颜色自相关图特征和颜色矩特征。

在参与多特征融合的处理中，本文选择了颜色矩特征。颜色矩特征具备颜色特征的一般属性，通过对像素颜色信息的统计计算即可得到，抽象向量的计算也比较快。在本文中，选取了三阶次的颜色矩特征，共计三个颜色特征向量参与图像检索过程：

2纹理特征提取

纹理特征代表了有规律排布的图像内容。人体的器官图像、病灶图像，都含有丰富的纹理信息。因此，本文的图像检索方法中，选择纹理特征作为医疗设备图像内容信息的第一项重要表达。

常用的纹理特征有基于灰度共生矩阵的纹理、Tamura纹理、Gabbor纹理等，这些纹理的计算复杂度较高。为此，本文采用了LBP纹理特征。

假设模板区域为3×3像素，f（xc，yc）表示区域中心像素，首先对其进行二值化，如公式（4）所示。

公式中，gc代表中心像素的灰度，gi代表邻域内其它像素的灰度。

遍历区域内所有像素后，可以得到邻域像素二值化结果所构成的一个二进制数。将其计算成十进制数，再替代中心像素，可得中心像素的LBP纹理，如下：

当模板图像遍历整幅图像后，可以得到原始图像对应的LBP纹理图像，其示意如图1所示。

LBP纹理特征表达，有效提升了不同纹理区域的对比度，并且其计算复杂度低，计算速度快。

3形状特征提取

在医疗设备图像中，病人的器官、病灶区域除了具有丰富的纹理特征外，还具有充分的形状特征，如轮廓、边缘等等。

因此，在本文构建的特征融合图像检索方法中，也需要计算图像内容中的形状特征。形状特征需要满足，平移、旋转、尺度等几何要素的不变性。

本文选择了Fourier形状描述符，来计算检索过程中的图像形状特征。

5实验结果与分析

为验证本文方法的有效性，展开如下实验研究。以本院的医疗设备图像构建一个小型图像库，共有1000幅病例图像，分为8个大类。

针对窥镜图像进行检索，结果如图2所示。

图2中，第一幅图像为查询图像，也是检索结果中相似性排位最靠前的图像，后面三幅图像与查询图像的相似性，依次递减。

针对CT图像进行检索，结果如图3所示。

综合图2和图3给出的两组实验结果可以看出：

第一，对于窥镜图像和CT图像，本文所构建的基于多特征融合的图像检索方法，都可以获得理想的检索结果。和查询图像相似的病例图像都被检索出来，可以对医生对新病例的病情诊断起到有效的辅助作用。

第二，因为本同时使用了颜色特征、纹理特征、形状特征，所以无论是颜色特征更丰富的窥镜图像，还是纹理特征丰富的CT图像，本文方法都是适用的，这就使得本文方法可以应用到更广的范围。

接下来，进一步对本文方法的查准率和查全率联合曲线进行了测试。选定200幅病例图像构建小型图像库，以02为步长，逐步考察随着查全率要求的提高，本文方法查准率的变化。据此，本文方法的查准率-查全率关系曲线如图4所示。

从图4中的结果可以看出，随着查全率的要求从02到10（即从20%到100%），基于单一颜色特征的检索方法、基于单一纹理特征的检索方法，其查准率都下降到20%左右；基于单一形状特征的检索方法，其查准率更是下降到2%左右。

相对于三种基于单一特征的检索方法，本文所构建的基于多特征融合的图像检索方法，随着查全率的要求从02到10，其查准率仍然接近60%。这充分说明了本文方法的检测精度和檢测效率，都是比较理想的。

6结论

针对医疗设备图像的检索问题，提出了一种基于多特征分层融合的图像检索方法。此方法将颜色矩特征、LBP纹理特征和Fourier形状特征融合在一起，构建用于检索判断的相似性测度。实验结果表明，本文方法的查准率明显高于单一特征的图像检索方法，并且随着查全率的提升优势逐步扩大。

参 考 文 献：

[1]陈琴， 邰晓英， 巴特尔 基于邻域颜色矩直方图的胃窥镜图像检索[J]. 计算机工程与应用， 2008， 44（11）： 205-208

[2]王雪， 廖飞佳， 李国东， 郭坤 雹云图像的识别指标设计[J]. 哈尔滨理工大学学报， 2016， 21（1）： 45-50

[3]施智平， 胡宏， 李清勇等 基于纹理谱描述子的图像检索[J]. 软件学报， 2006， 16（6）： 1039-1046

[4]梁美丽， 牛之贤 改进的综合颜色纹理特征图像检索[J]. 计算机应用与软件， 2014， 31（6）： 228-231

[5]LJUBOVIC V Improving Performance of Image Retrieval Based on Fuzzy Colour Histograms by Using Hybrid Colour Model and Genetic Algorithm[J]. Computer Graphics Forum， 2015， 22（10）： 221-226

[6]苏赋 Curvelet感兴趣区域相关图的纹理图像检索[J]. 上海交通大学学报， 2014， 48（5）： 653-657

[7]周瑜， 刘俊涛， 白翔 形状匹配方法研究与展望[J]. 自动化学报， 2012， 38（6）： 889-910

[8]孙琦龙， 张明亮 基于颜色特征的藏毯图像检索研究与实现[J]. 软件， 2015， 36（8）： 25-29

[9]曲怀敬， 李健， 吴延荣等 结合滤波器选择和相位信息的统计纹理图像检索[J]. 计算机应用研究， 2014， 31（12）： 3894-3897

[10]KHODASKAR Anuja Ladhake Siddarth Newfangled Alignment of Ontologies for Content Based Semantic Image Retrieval[J]. Procedia Computer Science， 2015， 48： 298-303

[11]张怡卓， 许雷， 丁亮， 曹军 基于图像融合分割的实木地板表面缺陷检测方法[J]. 电机与控制学报， 2014， 18（7）： 113-118

[12]张永库， 李云峰， 孙劲光 综合颜色和形状特征聚类的图像检索[J]. 计算机应用， 2014， 34（12）： 3549-3553

[13]WALIA Ekta， Pal Aman Fusion Framework for Effective Color Image Retrieval[J]. Journal of Visual Communication and Image Representation， 2014， 25（6）： 1335-1348

[14]黄鹏 基于文本和视觉信息融合的Web图像检索[D]. 杭州： 浙江大学， 博士学位论文， 2008

[15]罗益荣 特征融合和支持向量机反馈的图像检索方法[J]. 计算机应用与软件， 2014， 31（10）： 209-212

[16]余元辉， 邓莹 基于多特征融合的海洋生物图像检索方法的研究[J]. 河南大学学报（自然科学版）， 2015， 45（2）： 35-37

[17]BEAUDOIN JoanE Contentbased Image Retrieval Methods and Professional Image Users[J]. Journal of the Association for information Science and Technology， 2016， 67（2）： 350-365

[18]刘淑琴， 彭进业 噪声不敏感的柱状图特征描述符及其在图像检索中的应用[J]. 计算机科学， 2016， 43（1）： 307-310

[19]周瑜， 刘俊涛， 白翔 形状匹配方法研究与展望[J]. 自动化学报， 2012， 38（6）： 889-910

[20]王军伟， 刘文予 基于多尺度三元组描述子的形状匹配方法[J]. 华中科技大学学报（自然科学版）， 2011， 39（6）： 6-9

（编辑：王萍）