基于分割融合算法的WCE 过曝光图像修正研究*

魏晓雍，王 孟，曹 阳,2，张大斌，刘杰民，倪茂美

（1.贵州大学，贵州 贵阳 550025；2.贵州大学工程实训中心，贵州 贵阳 550025；3.贵州省人民医院，贵州 贵阳 550001）

0 引言

无线胶囊内镜（Wireless Capsule Endoscopy，以下简称WCE）[1]是一种新型胶囊检测技术，减轻了传统插入式内窥镜在检测过程中给患者带来的恐惧和痛苦，但在观测人体消化道时存在盲区情况等，还增强了其检测能力[2]。

目前，WCE 与相机、手机和摄影机的拍摄系统类似。曝光矫正系统是根据镜头获取的全部光线来调节图像直方图，从而获得想要的图像效果。当无线胶囊内镜工作时，由于进入摄像头的光源超过图像传感器能接收的范围时，得到的图片局部会产生过曝光现象，出现颜色和细节信息的缺失，影响后续进行图像识别和医生诊断病灶[3]。因此，需要修正图像局部过曝光，尽可能保留和改善WCE 图像的颜色和细节纹理信息。

在对图像局部过曝光进行修复的过程中，常采用的方法是通过图像亮度阈值得到过曝光区域，再通过各种特征融合算法得到新图像[4-5]。图像融合算法是经计算机不同处理得到的两幅图像，再次进行综合处理得到一个满足需求的新图像[6-7]。李卫中等[8]提出一种细节保留的多曝光图像融合方法，测量了图像细节、亮度和色彩，通过特征加权得到融合图像。该方法可以保留细节信息，但是存在一定的颜色失真。Gu 等[9]提出了一种利用二次平均滤波和非线性压缩对过曝光区域梯度场进行迭代融合修正的新方法，结果显示视觉效果不自然。为了避免时域融合过程中出现色差，马洋花等[10]提出了一种改进的基于小波多分辨率分析的多曝光图像融合算法。Song 等[11]对图像过曝光区域的梯度和亮度进行求解分析，运用概率模型对曝光率程度不相同的输入图像进行融合处理，但会造成图像在颜色、纹理信息上的损失。杜永生等[12]设计了一种质量度量耦合颜色校正的多曝光图像融合算法，提高了图像质量，但算法过于简单。

由于不同颜色空间有不同的视觉特点，HIS 颜色空间正符合人类对颜色描述的特点[13]。它由色调H、饱和度S和强度I组成，可将强度分量从彩色图像携带的彩色信息（色调和饱和度）中分离。饱和度是指被纯白光稀释程度的度量，将强度和饱和度应用到过曝光区域修正具有明显优势。

本文针对上述问题，提出一种新的修正WCE图像过曝光区域的分割融合算法。先对典型的溃疡和息肉过曝光区域增强处理，降低其他区域的影响，提取图像的亮度和饱和度分量对图像进行分析，通过设计的分割算法得到强、弱过曝光两分量图像，在将两分量融合得到完整的过曝光区域，最后通过填充修复得到修正图，尽可能地改善图像质量和灰度信息，为后续图像识别以及医生诊断提供有力的帮助。

1 图像过曝光区域强度和梯度分析

图1 为息肉帧和溃疡帧进行过曝光标注图。图1（a）存在较多的过曝光区域。经过计算，图像有94 856个像素点，过曝区像素点为2 902个，占3.1%。图1（b）中高曝光区占总像素0.43%。

图1 WCE 过曝光区域标注情况

由图1 可知，高曝光区呈白色。这里用Prewitt近似获取其梯度，采用相邻两像素间的差分来表示像素梯度。以图2 中的Prewitt 卷积原理图为例，x和y方向的梯度为：

图2 Prewitt 卷积原理

由表1 信息可知，通过分析息肉、溃疡过曝光区域强度、梯度的信息进行比较发现，过曝区域强度值较高，基本都高出了228，甚至达到了250，但是所有区域强度均值为107。过曝光区域的梯度比图像的平均梯度都要高。由于图像的纹理、颜色受到过曝光各区域的影响，导致医生在诊断时容易出现误诊情况，因此对过曝光区域修正必不可少。

2 修正图像局部过曝光的算法设计

2.1 算法总体思路

通过对过曝光区域分析得知，过曝光区域强度明显高于其他区域的强度值。在常规的RGB 颜色空间中，它能够产生多种色彩，但是人类对颜色的敏感程度较差。由于人眼对亮度敏感程度大于对颜色的浓淡程度，在此用HIS 颜色空间描述色彩，其中H为色调、S为饱和度和I为亮度。饱和度和亮度应用在过曝光区域修正中具有明显的优势。

表1 息肉、溃疡过曝光区域信息

RGB 颜色空间与HIS 色彩空间转换如下：

过曝光区域检测通常根据图像的直方图阈值、梯度跳跃检测以及色彩剧变等具有差异较大区域进行图像分割。

本研究提出一种修正WCE 图像局部过曝光分割算法，如图3所示。先对过曝光区域进行增强处理，减少普通区域对分割的影响。通过分离出饱和度和亮度，模型1 对强爆光区域进行分割，再次将结果输入到模型2 进行不明显的弱曝光区域分割，通过融合并输出掩膜，最后进行填充修复得到目标图像。

图3 修正WCE 局部过曝光分割算法流程

2.2 过曝光区域增强处理

一部分图像存在过曝光区域，且不影响病灶判断，但是其颜色与过曝光区域相近，在检测过曝光区域时会造成一并处理计算增大的问题。为了更好地得到过曝光区域，需要对图像进行增强，突出细节，减少该区域的影响。Othmane[14]提出了一种非线性反射光增强的方法，将RGB 颜色中像素的最小值与最大值比来重新赋值给3 个通道，即：

式中，R'、G'和B'分别为新的三通道像素值。式（6）主要对反光区域进行增强，而文字区域和高曝光区域没有得到增强。对式（6）进行新的权重分配改进，由图像三维直方图图4 可知，B、G通道有显著凸起，与周围形成对比；过曝光区域B、G 两通道强度主要分布在225～235，少数过曝光区域在B、G 两通道上强度都达到225 以上；由于组织R 分量强度偏大，其过曝光区域与普通正常区域强度差别不明显。因此，保持式（6）中B 和G通道权重不变，R 通道权重降低，得到过曝光区域增强效果如图5 所示。

图4 WCE 帧三通道三维直方图

图5 过曝光区域增强效果

2.3 强、弱过曝光区域分割

2.3.1 模型1：强过曝光区域分割

定义强过曝光区域为WCE 图像中很多清晰、肉眼能辨别的过曝光区域，通常显示为白色，通过模型1 即基于自适应阈值对过曝光区域分割。

RGB 颜色空间转换为HIS 颜色空间后，对分量S和I进行处理。任意给定像素Xij的S和I通道设定自适应阈值TS和TI：

式中：mean为取平均值；Sri与Scj是Xij的S分量所在的行之和与列之和；Iri与Icj是Xij的I分量所在行之和与列之和；α和β为系数，系数的大小关系到过曝光区域的完整提取。

检测图像是否为过曝光区域的条件是：

式中，S(Xij)和I(Xij)为S和I分量Xij处的值。

若满足式（11），标记为过曝光区域。将HIS变换到RGB，对标记的过曝光区域三通道均赋值为255，其他区域赋值为0，得到二值图像。改进后的算法与Othmane 方法相比较，可看出加强了过曝光区域中不明显的地方。模型1 能够分割出更加丰富和完整的过曝光区域，用Canny 算法提取过曝光区域进行对比，如图6 所示。

图6 分割效果对比结果

2.3.2 模型2：较弱过曝光区域分割算法

通过模型1 采用基于自适应阈值分割，能处理大部分过曝光区域，但是没有达到预期效果，导致分割不完整。在模型1 未分割出来的部分，这里称为弱曝光区域。此时，提出模型2 对弱曝光区域进行处理，原理如图7 所示。利用原图对M1按照领域填充得到N1，使用布特沃斯低通滤波器对N1进行滤波处理得到图像N2，使用差分重新分离过曝光区域。

图7 模型2 流程

其中，过曝光区域填充主要是通过邻域填充来获得不包含强过曝光的图像，具体操作如下：

（1）提取M1中白色区域边缘轮廓；

（4）计算单一轮廓的Xij的平均值P；

（5）在N0将P赋予轮廓内的像素；

（6）重复上述操作，直到所有轮廓填充完整得到N1。

考虑通过滤波来模糊其轮廓和内部，并使整体图像颜色均匀，提升差分效果。采用布特沃斯低通滤波器（Butterworth Filter，BLPF）进行过滤，实现能在高频和低频之间的平滑过渡。经滤波后的N2与N0作差分，得到差分函数为：

式中，N2B(Xij)为N2图像中B 通道Xij的值，N0B(Xij)为N0图像B 通道Xij的值。

式中，T2为模型2 的判别阈值，取T2=1.2。

若此处像素值大于1.2，即为过曝光区域，否则标记为正常，再经过二值化处理得到过曝光区域M2，如图8 所示。从图8 可看出，基本上所有过曝光区域都被分割出来，得到了模型1 未达到的效果。

图8 模型2 分割和轮廓检查结果

2.4 图像融合及其填充修复

2.4.1 模型1 与模型2 结果按规则融合

由于使用模型2过程中改变了像素领域的强度，此时边缘较为模糊。在此，使用拉普拉斯对图像进行锐化处理，突出边缘信息，最后再与模型1 融合。

2.4.2 图像填充修复

从模型2 分割效果图可知，掩膜存在一些的斑点，通过中值滤波进行处理后进行图像填充，采用邻域镜像替换法修复图像。

3 仿真实验与结果分析

3.1 图像质量评估标准

图像质量的评估有主观和客观两种。主观评估是根据某个尺度和个人经验对图像的视觉效果给出分数，通过判别者评分进行加权处理，最后得到图像质量的主观评估结果。客观评估是仿照人类的视觉效果用计算机处理的方式，对图像进行质量评估，通过计算图像的均值、方差、边缘信噪比等与图像进行比较，实现客观评估结果。

上述两种评估方法中，主观评估会受方法、情绪等个人因素影响，导致评估结果有偏差。客观评估与其正好相反，克服了个人因素的影响，且具有计算简便、稳定性较高等优点。所以，在评估图像质量时常采用客观评估法。

在此选用均值评估法对图像质量进行评估，根据图像的灰度值反映图像亮度的明暗程度。图像均值越小，表示图像越暗，色彩越深；均值越大，则反之。若图像输入为f(x,y)，大小为M×N，则输出公式如下：

由于灰度值方图恰好反映图像灰度值与像素点个数的关系，即在某个灰度值范围内像素点个数越多均值就越大，点数个数越少则均值越小。本文绘制图像的灰度直方图，比较图像处理前后的变化，统计过曝光点经预处理前后的个数，评估图像质量。

3.2 结果分析

文中共采用息肉、溃疡两幅图片，实验在Intel Core i7、8 GB、Windows 7、Matlab R2016b环境下进行。首先，利用算法对图像进行分割处理，得到息肉和溃疡的局部过曝光区域；其次，对局部过曝光区域进行修复；最后，输出修复图像。

从图9 和图10 可知，本文算法最大限度改善了图片质量和灰度信息，有效提升了视觉效果。从图11 和图12 可看出，在原图像中，灰度值在220～250 的像素点较多，一定程度上被认为是过曝光像素点。经过本文的算法处理后，这个区间的像素个数大幅度减少，甚至息肉修正后的直方图此区间个数基本为0。

图9 修正前后息肉帧效果对比

图10 修正前后溃疡帧效果对比

图11 息肉修复前后图像直方图对比

图12 溃疡修复前后图像直方图对比

表2 统计了修正后图像的灰度值在220～250的像素点个数（即过曝光点个数），发现在这个区间内像素点个数明显下降，息肉、溃疡过曝光区域像素个数分别下降99.8%和97.5%，总体平均下降97.8%。通过统计原图修正前后、图像直方图以及过曝光点像素个数进行对比，发现运用提出的算法能够有效修复图像局部过曝光颜色、亮度及纹理信息。

表2 过曝光像素点分析

4 结语

本文提出了一种基于分割融合算法的息肉和溃疡局部过曝光修正方法，为后续图像识别和医生诊断病灶提供了很大帮助，能够提高识别准确率。文中采用的算法可推广应用到其他场景，只需根据异常区域大小和图像大小来调整。

（1）针对传统多曝光图像融合算法会导致图像颜色失真的问题，本文基于HIS 颜色空间的亮度和饱和度分量修正图像，有效解决了颜色失真问题，同时提高了图像质量。

（2）使用本文算法对图像过曝光区域修正之后，该灰度值区间的像素点个数明显降低，总体平均下降了97.8%，得到了更加符合人眼所感知的图像，改善了图像纹理、颜色等，验证了所提算法对过曝光区域纹理和颜色增强的有效性。