基于分级策略和规则修正的无线内镜图像出血检测方法

李德豆　汪成亮　许杰　周平

摘 要：无线胶囊内窥镜在对消化道进行出血检测时会产生大量图像，传统的出血检测算法大都追求高精度而导致复杂度过高不能满足于实际应用需求，为此该文提出一种分级检测方法，首先利用出血图像像素在红色纯度空间中与典型出血图像像素的相似性对图像进行初步分类，再设立规则对初步分类的结果进行去噪和提取出血图像，最后利用改进红色纯度对图像进行特征提取作为SVM分类器输入进行精确分类。实验表明，分级检测算法能大大减少图像检测量的同时，使得精确度均达到90%以上，灵敏度均达到93%以上，特异度均达到90%以上，基本实现了胶囊内窥图像出血智能快速识别，可代替医生应用于胶囊内窥图像的初步检测。

关键词：胶囊内窥镜 出血检测 红色纯度 分级策略 规则修正

中图分类号：TP391.41 文献标识码：A 文章编号：1674-098X（2015）11（a）-0245-08

Abstact：In this paper，a novel method is proposed for bleeding detection in wireless capsule endoscopy（WCE） which can significantly speed-up the detection time for large number of images.The bleeding image in WCE is estimated in three levels which consist of a rough，a modificatory and a precise level.In the rough level，a classifier which can be applied in the Red purity color space is built to divide the WCE images into two classes；In the modificatory level，The correlation and continuity of the WCE images is brought forth to amend the result of classification and some of images are chosen as representative samples； In the precise level，an improved color feature extracting method is designed for the representative images.And a SVM classifier is utilized to re-confirm the representative images if they are bleeding images or not.The experimental results suggest the effectiveness of the proposed method.

key Words：Wireless Capsule Endoscopy（WCE）；Bleeding Detection；Red Purity；Hierarchy Strategy；Rule Modification.

无线胶囊内窥镜（Wireless Capsule Endoscopy）作为全消化道无痛无创出血检测的一项有效手段，在临床方面的应用越来越广泛[1]。但由于胶囊内镜图像尺寸小、分辨率低、图像数量大和图像重复性多，如果人工阅片，效率低时间开销大，这对于时间宝贵的医生来说不但代价昂贵，而且也容易造成医生疲劳从而发生漏诊现象。开发基于图像处理与模式识别技术的实时自动识别诊断系统，剔除健康组织图像，保留疑似病灶图像，能极大地降低医生劳动强度和病人诊断费用和时间。

近年来一些国内外研究机构和胶囊生产厂家就开始尝试研究建立计算机辅助诊断系统（CAD），从大量的内镜图像中识别出出血图像，帮助医生诊断[2]。以色列Given Imaging公司提供的疑似出血检测工具（suspected blood indicator，SBI）来帮助医生找出出血病灶或者可疑的血管畸形病灶；Olympus公司开发的Endocapsule系统也具有一些新的辅助读片功能；重庆金山科技公司生产的OMOM胶囊内镜系统，它的图像工作站也含有图像处理功能，能帮助减少医生阅片的时间，然而功能都有待于进一步提高。

目前，对消化道出血图像的识别分类的步骤主要是，先对图像进行特征提取，再以提取特征为依据将图像分类出血模式和非出血模式。根据特征提取的方法可分为基于像素特征、基于全局特征和基于局部特征等。

在基于像素特征的研究方面，徐[3]和潘[4]等在提取图像特征时，都采用了像素在两个不同颜色空间的特征，并利用神经网络分类器进行分类。由于图像像素数目巨大，导致待检测数据量巨大，加上需要颜色空间转换，使用智能分类方法导致计算复杂度高、效率低下。颜等[5]则采用在RGB颜色空间中利用待测像素和标准出血像素点的相似性系数作为分类依据，检测速度快，但要达到好的检测效果需要确定合适标准出血像素点和相似性阈值，使得算法的适应性不够。

基于全局特征的研究方面，基于整个图像颜色模糊纹理谱直方图提取图像特征向量，方法检测速度较快，但是由于算法没有考虑图像空间特征，容易造成小面积出血区域的漏检，最终的分类效果较差[6]，即使结合空间金字塔构造特征向量[7]，但是空间划分固定没有考虑实际图像具体空间分布，所以，对小面积出血检测效果也不是很理想。

基于局部特征研究方面，宋[8]使用分水岭算法对图像进行分割，根据各分割区域在CIEluv色彩空间的色差均值完成出血检测。李[9]则构建局部和全局特征的级联式病变检测算法，进一步降低漏检率。其中，利用超像素的对图像进行分割方法在一些文献[10]中也逐渐流行，并取得较好的检测效果。超像素指的是在图像中由一系列位置相邻且颜色、亮度、纹理特征相似的像素点组成的小区域，这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。图像在经过基于超像素的分割之后其图像单元将更加符合人们期望的结构粒度，有利于后期算法处理，但是分割算法过于复杂，对于处理大量图像没有优势。

1 基于分级策略和规则修正的无线内镜图像出血检测方法

胶囊内镜对患者进行检查时产生的图像多达几万张，而真正出血病变的图像只有几千到几百张甚至只有几十张。如何能快速高效地从大量的图像中检测出少量的出血图像，并且能保持一定的准确率是内镜图像出血检测在临床应用中需要解决的一个重要问题。当前许多算法中，有的过于简单，虽检测速度快，但检测性能不好；有的虽检测性能好，但复杂度过高不适用于检测大量图像。

针对以上考虑，该文提出一种基于分级策略和规则修正的无线内镜图像出血检测方法，能够平衡检测性能和检测速度之间矛盾，达到能运用于实践的目的，降低医生的工作负担。该算法主要有以下3个方面贡献。

（1）采用三级检测策略，突破传统一站到底的检测方式，对检测过程进行分级分工，根据各级检测侧重点的不同，细化任务，在简单速度快算法和复杂效果好算法之间找到平衡点，形成实用检测算法，更好地平衡效率和效果的冲突，能满足临床应用的要求，特别是在急诊实时诊断要求。

（2）引入修正规则去除噪点，将图像集分段处理提取出血部位图像代表。在提取图像的特征和摘要后，利用胶囊内镜相邻图像高度相关确立修正规则，对图像分类结果去噪，以提高对图像检测的灵敏度，并选取出血图像代表作为下级模型检测集，以减少图像检测量，提高整个算法速度。

（3）对红色纯度颜色分量进行归一化处理，提出归一化红色纯度相似度分类器，并引入径向核函数对分类器进行改进，对图像的初步分类速度快效果好。

该算法主要有3个步骤：首先，用一级模型检测对整个图像集进行初步的筛选；其次，再利用二级扫描窗口对筛选出来的图像进行基于规则的修正并选取出疑似出血图片代表；最后，利用三级模型检测对筛选出来图像进行精确分类。图1为算法的简要步骤和相应的任务。

2 一级模型（初步分类算法）

基于全局图像的算法[14，15]检测速度快，但对于小区域的出血图像容易造成漏检；基于局部图像检测算法[16]分类速度也很快，但前期的局部划分或是划分过于简单没有考虑划分的空间信息，或是划分复杂耗时，对处理大量图像没有优势；基于像素检测的算法[17-19]精确度高，不易造成漏检，但数据量巨大使用智能分类方法会导致计算复杂度升高，无法满足实际应用的要求。故该文使用颜色相似度分类方法作为一级模型对图像进行处理，既能达到速度快利于实践应用的目的，又能兼顾覆盖率。一级模型对待检图像进行初步判断，产生图像初步分类摘要序列，作为二级扫描窗口修正模型的输入。

2.1 出血图像的红色纯度

颜色特征具有较高鲁棒性，当图像自身的方向、尺寸等发生变化时，对提取后的颜色特征影响不大，所以，在图像检索领域中被广泛使用。图2是一张典型的出血图像，其出血区域最明显的特征便是颜色特征，虽然红色是主色调，但是与非出血区域相比出血区域呈现饱和度较高的红色。

对图像的出血像素和非出血像素在RGB颜色空间下的分布规律进行分析可以看出，在RB和RG二维空间中，出血像素和非出血像素的分布都有各自的区域，基本不重合，而在GB二维空间中，则有部分重合，如图3所示。

综合以上分析，考虑采用红色纯度特征，用于提取出血和非出血像素点的颜色特征公式如下：

其中，变量和分别为像素点的红、绿和蓝分量值，可得到一个三维特征向量。由于出血区域的红色饱和度明显高于非出血区域的红色饱和度，使得出血区域的红色纯度也明显高于非出血区域的红色纯度，而且红色纯度特征可以有效地去除图像光照不均的影响[11]，所以在颜色特征提取时利用红色纯度特征特征比直接利用RGB特征具有更好的效果。

2.2 归一化红色纯度相似度分类器

以此聚类中心代表标准出血像素，以待检图像像素和标准出血像素的欧氏距离红色纯度相似度，则出血像素的特征就是与标准出血像素相似度高，非出血像素的特征就是相似度低，进而利用图像中含有出血像素的数目来判断待检图像的出血模式。考虑像素样本非线性可分情况存在，引入高斯径向核函数对相似度进行改进，其中为核函数中心，为函数的宽度参数，控制了函数的径向作用范围。

3 二级扫描窗口

基于规则的检验，利用图像获取的时序性和相邻图像的高度相关性，采用扫描窗口方法[20]顺序地对图像摘要序列进行规则修正，并选出疑似出血图像集作为三级模型的输入

3.1 相邻图像相关性

由于消化道的空间限制和拍摄的时序性，按照图像序列顺序观察，可以发现越相邻的图像具有相关性越大，就越容易被分类为相同颜色的图像。以分类图像为出血模式（正例）或非出血模式（负例）为例，当一个图像被分类为正例，如果它附近（相邻时间区间内）的图像中也被分类为正例，那么这张图像被正确分类为正例的概率应该很高。反之，如果与它相邻的图像中很少甚至没有图像被分类为正例，那么这张图像被正确分类为正例的概率应该很低，即为噪声的可能性很高。

通过上述分析发现，可以以此相关性设立规则，在图像时间序列中，如果某个时间区间内的图像被预测为正例的密度很大，则认为这些图像被正确预测，作为结果输出。如果该区间内图像被预测为正例的密度较小，则认为这些预测的准确率不高，不作为预测结果输出。

3.2 扫描修正规则

图5给出一个标注预测结果的图像时间序列，表示位于时刻的负例，表示位于第时刻的正例。定义两个相邻正例和之间的时间间隔为相邻正例间隔，记（和相邻表示和之间没有其他正例存在），滑动窗口长度为，在图像时间序列上，标示滑动窗口的其实位置滑动到第时刻。由于滑动窗口内图像的大多为相似图像，可以以滑动窗口为单位对图像序列进行划分，选取其中一张图像作为此窗口内所有图像的代表，减少后期待检测图像集。

定义1：有效滑动窗口：给出一个滑动窗口（窗口其实位置为），若在j时刻的图像为正例（即出现在于滑动窗口的起始时刻），则称为有效滑动窗口。

定义2：显著相邻正例间隔：假设为正例间隔长度，若××，其中，为所有长度小于等于的相邻正例间隔个数，为所有长度小于等于的相邻正例间隔个数，，是滑动窗口长度，为一个人工给定的阈值。则所有长度不大于的相邻正例间隔为显著相邻正例间隔，记为。

定义3：显著滑动窗口：给定一个有效窗口其中的显著相邻正例间隔数大于一个人工给定的阈值，则称为显著滑动窗口。

定义4：出血部位与正常部位：对图像序列按滑动窗口宽度进行分段，当所分的段内为显著滑动窗口则被称为出血部位；当所分的段内为非显著滑动窗口被称为正常部位。

基于规则的正例预测结果筛选方法：滑动窗口按图像获取顺序对图像集进行扫描，当滑动窗口为显著滑动窗口时，从窗口内所有被预测为正例图像中随机选取一张作为代表结果输出；当滑动窗口为非显著滑动窗口时，窗口内所有被预测为正例图像均被忽略，不作为结果输出。算法具体描述如表2的算法1所示。

其中，表2的算法第1行到第7行通过对输入序列进行扫描，统计相邻正例间隔数，并最终确定和标记序列中显著相邻正例间隔；算法第8行到第12行，以步长再次对对输入序列进行扫描，根据扫描窗口内显著相邻正例间隔数来判断是否为显著滑动窗口，若非显著滑动窗口则窗口中所有图像均不作为结果输出，若为显著滑动窗口则从中随机挑选一个正例图像作为显著滑动窗口的代表图像放入作为结果输出。

4 三级模型（精确分类算法）

经前两级的筛除，使得待检测图像集大大减少，三级模型即使采用复杂度高的算法，由于检测量少，整体上也能减少检测时间，且保证检测精度。三级模型采用一种分类效果比较好的出血检测算法[12]。算法步骤如图6所示：该算法，首先去除掉由于肠皱襞形成的阴影区域和相机失焦所产生的模糊边缘的影响，接着利用简单线性迭代聚类（Simple Linear Iterative Clustering，SLIC）算法将图像分割成超像素图像，最后在超像素基础上对图像红色纯度特征进行提取作为支持向量基（SVM）分类器的输入进行分类，提取真正出血图像。

4.1 边缘去除

使用Canny算子对图像亮度分量进行边缘信息检测，将检测到的边缘信息采用形态学膨胀算法进行膨胀，将膨胀得到的边缘在对应原始图像中进行去除。边缘去除效果如图7所示。

经过预处理后，图像中的大部分强边缘区域己经被去除，特别是图像外边缘模糊区域。由于亮度图像不携带彩色信息，经过实验验证，选择合适的边缘检测参数后，该方法对于出血区域附近的边缘影响较小。预处理后的图像将被传递给下一步操作进行图像的超像素分割。

4.2 超像素分割

Achanta等人[13]提出了（SLIC）算法，它根据像素的颜色相似度和像素点之间的距离关系，将图像中的像素点聚类成超像素的过程。SLIC算法实现简单，运行速度较快，能生成紧凑且近似均匀的超像素，同时还能控制超像素的数量，分割效果如图8所示。

4.3 特征提取及改进

考虑到出血图像的出血区域灰度值低，非出血区域灰度值高，即说明在出血区域由于掺入的白光少而呈现高饱和度红色，非出血区域由于掺入白光较多即使显红色，饱和度也偏低，故在利用红色纯度颜色特征的同时，应充分利用颜色的饱和度来作为区分出血和非出血模式的特征。故在的基础上，提出在HIS空间饱和纯度特征向量：

其中，分别为HIS颜色空间的色调（Hue）、色饱和度（Saturation）和亮度（Intensity），则改进的颜色特征为，其提取流程如图9所示。

将提取出图像改进颜色特征作为SVM分类器的输入，对图像进行分类。

5 实验

OpenCV不仅是一款强大的图像处理软件，而且ML模块集成有LibSVM分类器，用户能很方便的使用。该文是在C++平台上构建OpenCV编程环境，实现上述算法，进行数据实验。

5.1 实验数据集

该文采用金山科技OMOM系统提供的3名患者完整内窥图像序列作为实验数据测试集，其中人工标记的出血部位、正常部位和图像总量、出血特征，如表2所示。由于二级模型具有删除冗余重复图像的功能，即使在理想状态下也不可能找全所有出血图像，而要求是能够检测出所有出血部位。

从5张典型出血图像（见图10所示）选取10 000个出血像素，20 000个非出血像素作为训练数据。一级模型中，利用公式对10 000个出血像素进行计算，得到，设阈值，；二级模型中，扫描窗口宽，，；三级模型中，利用这30 000个像素的6个颜色特征组成训练集对SVM分类器进行训练。

将一、二级模型筛选出来的疑似出血图像进行分割得到的超像素，使用训练出的SVM分类器进行分类，每个超像素被分为出血超像素或者非出血超像素，根据每幅图像中是否含有出血超像素将图像分类为出血图像或非出血图像，最后根据图像是否出血来判定相应的出血部位。

5.2 评价标准及结论

为了验证本算法的有效性和高效性，采用图像筛选率、精确度、灵敏度和特异度作为衡量指标，其计算公式如下：

筛选率表示去除冗余、噪点图像的能力，敏感性表示发现出血样本的能力，特异性表示避免误诊的能力，准确率则代表了算法敏感性和特异性的总体表现。当前的现有技术水平下，想将后三者都提高到非常满意的水平是非常困难的，而现实的医生对病情的诊断中，最希望的是不要因漏诊的现象，而延误了患者疾病的治疗，错过最佳治疗时间，故该文算法的主要目的是在保证高精度的条件下，尽量提高灵敏度，灵敏度比特异度更重要。利用该算法对上节的实验数据进行检测，得到混淆矩阵和实验结果见下表4～表7所示。

实验结果显示，分级算法的提出能将筛选率控制在0.06以下，使得筛选出来的图像量从几万级下降到几千级，使得检测速度大大提升，同时该出血检测算法对三位患者的精确度均达到90%以上，灵敏度均达到93%以上，特异度均达到90%以上，算法能在保持一定精确度的基础上，保持高灵敏度，达到本研究的目的。同时该算法也存在一定的局限性，修正规则虽能减少图像检测数量，但也使得图像漏检的可能性增加，需要进一步改进；三级模型对于陈旧性出血、整体光线较暗颜色特征不是很明显或点状分布出血区小于超像素分割粒度的图像也有漏检的可能，需要对超像素分割粒度和特征向量的提取进一步探讨。

6 结语

该文主要对无线内镜图像的出血检测算法进行探讨，针对内镜图像尺寸小、分辨率低、图像数量大和图像重复性多等特点，提出基于分级策略和规则修正的出血图像自动检测算法。该文首先对图像颜色特征进行了分析，利用归一化红色纯度特征对图像进行初步分类；接着设立相关性规则建立二级模型对初步分类结果进行去噪，选取出疑似出血图像；最后利用三级模型对疑似出血图像进行边缘去除和超像素分割，并提取改进的红色纯度特征向量作为SVM分类器输入进行分类，筛选出出血图像。最后通过软件编程实现该算法，并利用3名患者完整内镜图像实验验证该算法可行性，实验结果表明该出血检测算法能将患者的图像数量从几万级下降到几千级，大大降低医生的阅片量，并且精确度均达到90%以上，灵敏度均达到93%以上，特异度均达到90%以上，基本实现了胶囊内窥图像出血智能识别，将代替临床医生应用于胶囊内窥图像的初步检测。

参考文献

[1] BO L，LIAO Z.New research progress of capsule endoscopy [J].Chinese Journal of Practical Internal Medicine，2013，33（9）：742-745.（薄陆敏，廖专.小肠胶囊内镜研究新进展[J].中国实用内科杂志，2013，33（9）：742-745.）

[2] XU Y.The evaluation of OMOM capsule endoscopy reading modes and the study on a new reading method of capsule endoscopy[D].Southern Medical University，2014.（徐扬志.OMOM胶囊内镜辅助阅片模式的临床应用评估与一种新型辅助阅片模式的探索[D].南方医科大学，2014.

[3] XU L.The method of bleeding detection in WCE images based on RBF function network. Bulletin of Science and Technology，2014， 30（3）：48-52.（徐丽珍.基于RBF神经网络的消化道出血图像检测研究[J].科技通报，2014，30（3）：48-52.）

[4] PAN G，YAN G，ZHANG M，et al. Application of probabilistic neural network and differential evolution to bleeding detection in wireless capsule endoscopy images[J].Optics and Precision Engineering，2010，18（6）：1429-1435.（潘国兵，颜国正，张明卿，等.概率神经网络与差异演化在胶囊内窥图像出血识别中的应用[J].光学精密工程，2010，18（6）：1429-1435.）

[5] PAN G，YAN G，SONG X，et al.Design of the color vector similarity coefficient classifier for bleeding detection in wireless capsule endoscopy images[J].Journal of Shanghai Jiao Tong University，2009（11）：1715-1719.（潘国兵，颜国正，宋昕帅，等.胶囊内窥图像出血检测中颜色向量相似系数分类器的设计[J].上海交通大学学报，2009（11）：1715-1719.）

[6] LI K，LIU Z，LIU S，et al.Design and realization of an algorithm for capsule endoscope image recognition system[J].J South Med Univ，2012（7）：10.（李凯旋，刘哲星，刘思德，等.胶囊内窥图像识别系统算法设计及实现[J].南方医科大学学报，2012（7）：10.）

[7] LV G.Research on portable capsule endoscopy video receiving system and bleeding pattern detection in endoscopic images[D].Shanghai Jiao Tong University，2012.（吕国岚.胶囊内镜便携式接收系统及内镜图像出血识别算法研究[D].上海交通大学，2012.）

[8] SONG X.Research on capsule endoscope system and bleeding detection algorithm based on its image[D].Shanghai Jiao Tong University，2009.（宋昕帅.胶囊内窥镜系统及基于其图像的出血检测算法研究[D].上海交通大学，2009.）

[9] LI Q.Study of classification algorithms for capsule endoscopy small intestine images[D].Southwest Jiao tong University，2013.（李青.面向胶囊内镜小肠图像的分类算法研究[D].西南交通大学， 2013.）

[10] WANG C.Bleeding detection in wireless capsule endoscopy based on super-pixel segmentation[D].Southwest Jiao tong University，2014.（王春瑶.基于超像素分割的无线胶囊内窥镜出血图像的检测算法研究[D].西南交通大学，2014.）

[11] J，Berens，G.D.Finlayson，G.Qin.Image indexing using compressed colour histograms[J].IEE Proceedings-Vision，Image and Signal Processing.IET，2000，147（4）：349-355.

[12] Yanan Fu，Mandal，M.，Gencheng Guo Y，Mandal M，GUO G.Bleeding region detection in WCE images based on color features and neural network[C]//Circuits and Systems （MWSCAS），2011 IEEE 54th International Midwest Symposium on. IEEE，2011.

[13] Achanta R，Shaji，A，Smith K， et al.SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEE Transactions on Pattern Analysis and Machine Intelligence.2012，34（11）：2274-2282.

[14] C oimbra，M.T，Cunha，J.P.S.MPEG-7 visual descriptors-contributions for automated feature extraction in capsule endoscopy[J].IEEE Transactions on Circuits and Systems for Video Technology，2006，16（5）：628-637.

[15] Jiangguo Liu，Xiaohui Yuan.Obscure bleeding detection in endoscopy images using support vector machines[J].Optimization and engineering，2009，10（2）：289-299.

[16] L Baopu，M Q-H Meng.Computer-aided detection of bleeding regions for capsule endoscopy images[J].Biomedical Engineering，IEEE Transactions on，2009，56（4）：1032-1039.

[17] Guobing Pan，Guozheng Yan，Xiang Ling Qiu，et al.Bleeding detection in wireless capsule endoscopy based on probabilistic neural network[J].Journal of medical systems，2011，35（6）：1477-1484.

[18] Amer A.Al-Rahayfeh，Abdelshakour A.Abuzheid.Detection of bleeding in wireless capsule endoscopy images using range ratio color [J].The International Journal of Multimedia and Applications，2010，2（2）：1-10.

[19] HWANG S，OH J H，Cox J，et al.Blood detection in wireless capsule endoscopy using expectation maximization clustering[C]//Medical Imaging.International Society for Optics and Photonics，2006.

[20] ZHANG L-B，LI Z-H，ZHAO Y-Q，et al.A priority random sampling algorithm for time-based sliding windows over weighted streaming data[C]//Proceedings of the 2007 ACM Symposium on Applied Computing.New York： ACM，2007.