基于空间像素强度的脑瘤图像检索方法

李清亮, 张子鹏, 时玮淞, 蒋振刚, 赵家石, 师为礼

(1. 长春理工大学 计算机科学技术学院 , 长春 130022； 2. 长春理工大学 光电工程学院, 长春 130022)

随着医学影像技术的迅速发展, CT(computed tomography)、 MRI(magnetic resonance imaging)、 CR(computed radiography)、 数字减影血管造影等医学图像的数量急剧增加, 这些医学图像是临床诊断和医学研究的重要依据. 传统基于文本的医学图像检索方法存在标注量大、 描述不准确和主观歧义等缺点, 且严重依赖于医生的经验. 而基于内容的医学图像检索(CBMIR)[1]可较好地解决该问题, CBMIR直接提取具有代表性的医学图像特征, 然后在医学图像数据库中检索出与查询图像病理特征相同或相似的图像作为辅助诊断依据[2], 最终做出准确判断.

对于脑肿瘤图像, 由于受患者病情的严重程度、 年龄和其他因素等影响, 使同一类型的脑肿瘤在形状、 大小和纹理方面都不相同. 同时, 不同的病理类型可能呈现相似的外观, 导致脑肿瘤的诊断极具挑战性[3]. Yang等[4]在脑瘤图像检索过程中, 沿着脑肿瘤边界基于像素强度信息提取局部特征, 并使用视觉单词模型(BoW)生成全局特征, 同时设计一种距离度量学习算法, 提高了检索精确度, 但该方法完全忽略了图像的空间信息; Huang等[5]受空间金字塔[6]的启发, 将空间金字塔模型和BoW模型相结合, 使用带有空间信息的BoW直方图描述脑肿瘤区域特征, 改善了脑瘤图像的检索性能. 文献[7]将脑肿瘤的边界作为ROI(region of interest), 使用区域划分学习方法, 并以原始图像像素强度表达特征, 最后利用BoW模型聚合每个子区域的局部特征, 将其空间化, 提高了图像特征的辨别能力； 文献[8]采取自适应空间池和FV(fisher vector)的方法提高了脑瘤图像检索性能.

本文针对脑瘤图像, 提出一种新的基于内容的检索方法. 首先采用图像膨胀算法增强脑瘤图像的ROI, 在集中考虑脑肿瘤区域的同时, 又兼顾了区域周围组织信息, 将其作为脑肿瘤的判断依据； 然后提出一种新的基于空间像素强度的特征提取方法, 增强ROI后, 在该区域中每个像素点分别引入横向与纵向的像素强度描述脑瘤图像的局部特征, 该方法兼顾了局部特征的空间信息和像素强度信息； 最后引入聚合特征算法提高图像特征的辨别能力和压缩能力, 以实现高效、 准确的脑瘤图像检索. 实验结果表明, 本文方法提高了脑瘤图像检索的精确度.

1 基于内容的脑瘤图像检索

1.1 检索框架

基于内容的医学图像检索方法主要分为两部分： 1) 离线处理过程(图像数据库建立); 2) 在线处理过程(查询图像检索). 本文提出一种基于内容的脑瘤图像检索方法, 检索流程如图1所示.

图1 本文方法的检索流程Fig.1 Retrieval flow chart of proposed method

离线处理过程中, 首先通过图像膨胀算法增强脑瘤图像的ROI, 然后在该区域中采用基于空间像素强度的特征提取方法描述图像特征, 进而使用核平均聚类算法(k-means)将数据库特征进行聚类, 生成由聚类中心构造的视觉词典. 基于该视觉词典使数据库图像特征量化为最近邻的视觉单词, 从而聚合每个特征与其最近邻视觉单词间的残差向量, 生成聚合特征(VLAD)[9]. 在线处理过程与离线处理采取的特征提取与特征表达方法相同, 最终检索匹配待查询图像和图像数据库中每幅图像的VLAD, 将最终检索结果反馈给用户.

1.2 基于空间像素强度的特征提取方法

提取脑瘤图像的特征前, 需预先标记图像的ROI, 不仅能减少检索过程中对数据量的处理, 而且可避免不相关区域中的特征点在匹配时的干扰, 进而提高诊断的准确率. 本文根据脑瘤图像预先分割ROI, 采用图像膨胀算法对ROI进行增强, 再将增强后的脑肿瘤区域作为最终的ROI, 进而在该区域中提取局部特征.

图2 基于空间像素强度的特征提取方法Fig.2 Feature extraction method based on spatial pixel intensity

本文采用一种新的基于空间像素强度的特征提取方法, 对于单独像素点引入横向与纵向的像素强度, 描述脑瘤图像的局部特征, 并兼顾局部特征的空间信息和像素强度信息. 如图2所示,图中白色圆点表示预处理的像素点, 该点的局部特征用横轴与纵轴正反4个方向的像素点强度值表示, 白色圆点和黑色圆点共同描述图像特征信息. 本文算法可由横向8个像素点和纵向8个像素点, 共17个像素点清晰表示该点的局部特征, 因此局部特征维度是17维.

1.3 聚合特征

VLAD描述子是一种新的图像向量表示方法, 聚合了特征空间的特征. 本文首先在脑瘤图像特征空间中采用k-means聚类方法得到大小为k的视觉单词C=(μ1,μ2，…,μk), 每个特征描述子x分配至其最近邻的视觉单词, 计算公式如下：

q:d→C⊂d,

(1)

(2)

其中‖·‖表示L2范数的归一化处理方式. VLAD的基本思想是针对每个视觉单词μi累积所有属于该视觉单词的局部特征描述子的量化误差x-μi, 该方法描述了局部特征描述子相对于视觉单词的空间分布情况.

本文局部特征描述子的维度为17, 因此VLAD描述子的维度为D=17×k. 为便于表示, 将VLAD描述子用vi标记,i=1,2,…,k, 其中i表示视觉单词的分量. 描述子的每个分量都采用聚合局部特征描述子和视觉单词的向量差, 计算公式如下：

(3)

脑瘤图像的VLAD采用L2范数归一化处理v∶=v/‖v‖, 最终归一化后的VLAD描述子表示为v=(v1,v2,…,vk).

2 实验与分析

2.1 图像数据库

图像数据库由3 064张临床获得的脑核磁切片(对比度增强)构成, 分别来自233名患者, 其中脑膜瘤核磁切片708张, 神经胶质瘤核磁切片1 426张, 垂体瘤核磁切片930张, 上述3种脑肿瘤类型的图像如图3所示. 本文随机选取100幅图像作为查询图像, 其余图像作为训练图像, 以确保来自同一名患者的脑核磁切片不同时出现在训练集和测试集中, 达到通过检索到以往病人的脑核磁切片作为诊断的辅助信息, 最终提高诊断精确度的实验目的.

图3 不同脑肿瘤类型图像Fig.3 Images of different types of brain tumors

2.2 实验评价方法

实验采用平均准确率(mean average precision, mAP)作为性能指标评价检索系统, 计算公式如下：

(4)

其中:n表示数据库脑瘤图像中与查询脑瘤图像属于同一类型脑肿瘤的检索图像数量; rank(i)表示检索结果中第i幅同一类型脑肿瘤的检索图像排序号.

2.3 实验结果

实验硬件环境为: CPU Core i7, 频率3.30 GHz, 内存64 GB, 软件环境为64位的WIN7操作系统, 使用MATLAB R2014a进行仿真实验. 为了验证本文方法的可行性, 针对大量脑瘤图像, 用以下几种方法进行对比实验. 方法1： 基于尺度不变特征变换算法特征(SIFT)的聚合特征(VLAD)检索模型； 方法2: 基于空间像素强度特征的视觉单词检索模型(BoW)； 方法3: 基于SIFT特征的BoW模型. 所有方法在实验中均采取相同的特征提取框架, 使用增强后的脑肿瘤区域作为ROI, 然后提取ROI的局部特征, 最后引入BoW和VLAD表示图像最终特征描述子.

为考察研究区域增强方法对检索性能的影响, 本文针对区域增强盘状结构半径R的不同取值进行对比, 实验结果列于表1, 其中R=0表示仅以预先标记的脑肿瘤区域作为ROI, 并不进行增强处理. 盘状半径R从0增加到12, mAP值显著提高, 验证了脑肿瘤周围组织信息是判断脑肿瘤类型的重要依据, 提取该区域的信息有助于图像特征描述, 并提高检索精确度. 当盘状半径为12时, 实验结果最优. 当R从12增加到24时, 检索性能开始降低, 表明过大的ROI区域包括了很多正常组织区域, 在脑肿瘤区域判断方面被作为无用信息, 而过多的无用信息影响了检索性能.

表1 实验结果统计

通过与其他算法的对比实验可得以下结论： 基于VLAD的脑瘤图像检索方法由于考虑了特征空间的分布状况, 表现出比BoW检索方法更好的检索性能； VLAD和BoW方法相结合空间像素强度的检索效果优于结合SIFT特征的检索方法, 这是因为医学图像的特性使人们在医学图像检索中更关注医学图像组织内部信息, 而不考虑外在结构, 因此传统图像检索采用的局部特征描述方式(SIFT特征)并不适用； 在增强ROI区域方法中, 适当的选取盘状结构半径R的大小, 可使肿瘤周围组织成为判断肿瘤类型的重要依据, 以此提高检索精确度.

图4为更直观的检索结果, 箭头左边为查询图像, 箭头右边是用于辅助诊断的5幅检索图像. 由图4可见, 本文方法针对3种类型的脑肿瘤图像, 在前5幅检索结果中均正确, 因此在辅助临床诊断方面具有重要的参考价值.

图4 本文算法的检索结果Fig.4 Retrieval results of proposed algorithm

综上所述, 本文提出了一种基于内容的脑瘤图像检索方法, 是一种自动化处理过程, 对辅助脑肿瘤诊断具有重要意义. 首先采用图像膨胀算法扩大脑瘤图像的ROI区域, 在集中考虑脑肿瘤区域的同时, 又兼顾了脑肿瘤区域的周围组织信息, 将其作为脑肿瘤的判断依据； 然后针对该区域内单独像素点引入横向与纵向的像素强度描述脑瘤图像的局部特征, 该方法兼顾了局部特征的空间信息和像素强度信息； 最后引入聚合特征算法提高图像特征的辨别能力和压缩能力, 以实现高效、 准确的脑瘤图像检索方法. 实验结果表明, 本文方法在脑瘤图像检索中具有较高的精确度.