融入光度信息图割的图像轮廓提取方法

任美美，张荣国，胡静，刘小君

(1.太原科技大学计算机科学与技术学院，太原 030024; 2.合肥工业大学机械与汽车工程学院，合肥 230009)

融入光度信息图割的图像轮廓提取方法

任美美1，张荣国1，胡静1，刘小君2

(1.太原科技大学计算机科学与技术学院，太原 030024; 2.合肥工业大学机械与汽车工程学院，合肥 230009)

图割算法是图像分割方法中一种高效最优化的计算方法，针对图像中目标物体光照不均匀导致的分割不准确问题，本文提出了一种基于光度信息的图割方法:该方法利用彩色图像的RGB值，得到像素的颜色值和亮度值，用其平均值表示像素的光度值，将图像的光度信息融入到主动轮廓模型的能量函数中，构建新的能量函数，利用最大流/最小割算法求解新的能量函数的最优解，得到目标的轮廓;实验结果证明，该方法能够使初始轮廓较准确较迅速地收敛到目标物体的轮廓。

光度信息;能量函数;图割;轮廓提取

图像分割是图像处理、模式识别、计算机视觉领域中的关键问题，分割结果的准确性直接影响后期的图像分析。

Yuri Boykov和Maric-Pierre Jolly将图割(graph cuts)理论［1-2］首次引入到计算机视觉领域，他们提出并实现了利用最大流/最小割算法［3］最小化能量函数而进行目标分割的方法。许多研究者针对图割算法的缺点提出了不同的分割方法:Rother等人提出的GrabCut算法［4］，是目前目标提取效果较好的一种方法;文献［5］提出了一种交互式的图割(graph cuts)方法;徐等根据图割理论对轮廓提取的方法进行研究，提出快速估计高斯模型参数来进行图割的目标轮廓提取［6］;文献［7］使用了高斯超像素来构建图割模型以提高图割算法的效率;王等将模糊C均值聚类算法和图割结合起来进行图像分割［8］;刘等将图割理论与小波变换结合起来提高图割算法的分割效率与质量并改善了提取过程中出现的shrinking bias现象［9］;Xu等人针对传统的活动轮廓算法容易陷入局部最优的缺点，提出了基于图割理论的活动轮廓(GCBAC)算法［10］;张等提出了基于共轭梯度的B样条主动轮廓边缘提取方法［11］;郑等［12］利用基于图割的活动轮廓算法实现了选择性的提取局部轮廓和全局轮廓。

基于文献［12］中全局轮廓的提取，本文提出了基于光度信息的图割方法，克服了文献中只能针对光照不明显的图像实现轮廓的提取，本文方法扩大了算法的适用范围，提出将图像的光度信息融入到能量函数中，利用基于图割的活动轮廓线模型，使用最大流/最小割算法使初始轮廓线较准确的收敛到目标轮廓。

1 基本理论及方法

1.1 图割基本理论

其主要思想是:将图像映射成一个具有终端的网络图，图像中的每一个像素与网络图中的节点一一对应，相邻像素之间的关系为网络图的边缘，边缘的权值表示相邻像素之间的相似性，根据这个权值设计合适的能量函数，通过最小化此能量函数来完成图的分割，从而实现图像的目标提取。

设G=(V，E)是一个无向图，其中V表示顶点集，E表示边缘集。对于连接顶点集V中(x，y)的一条边缘e，具有两个不同的方向，即从x到y和从y到x，分别记作(e，x，y)和(e，y，x)，网络图G中的每一条边都进行此操作，由此所获得的有向边缘的集合记为E，在E上定义容量函数c.称上述图G及其边集上定义的容量函数c构成一个网络，记作N= (G，s，t，c)，其中s，t分别称作源点和汇点。称满足如下条件的函数Φ∶E→R为网络的一个流:

此时，称Φ(x，v)=∑(e，x，y)∈EΦ(e)为流Φ的流量。根据Ford-Fulkerson的最大流/最小割定理，可以通过计算网络图中的最大流得到网络的最小割。

1.2 光照模型的建立

表面向视线方向辐射进入人眼中的光决定了物体表面呈现的亮度和颜色。建立数学模型来模拟物体表面的光照现象，按照数学模型来计算物体表面向视线方向辐射进入人眼中的亮度，就可以获得图像中各个像素的颜色及亮度。

当反射光进入表面时，只有透射光、反射光能够进入人的眼睛，进而产生视觉效果，而被物体吸收的光则转化成了热量，所以物体最后所呈现的颜色、亮度是由透射光和反射光决定的。如果物体是不透明的，那么透射光不存在，物体的颜色仅仅由反射光来决定。在光照模型中，简单光照模型只考虑光源直接照射下物体表面的反射情况。简单光照模型表示为:

式(1)中，I表示物体表面上的一点反射到视点的光强;Ie表示环境光光强;Id表示漫反射光光强;Is表示镜面反射光光强。

图像的表示方法有很多种，比如RGB、色彩格式YCbCr、LAB格式以及HSB格式等，其中色彩格式中Y表示图像的亮度，Cb、Cr分别表示图像的蓝色分量和黄色分量，表示像素的色度。综合图像的色彩格式三个分量，用其平均值来表示像素的光度值。

首先将图像表示成RGB形式，然后利用以下公式，由RGB中的各个分量得到各个像素的YCbCr中的各个分量:

最后像素i的光度用Li表示，则:

式中，Yi，Cbi，Cri分别表示像素i的亮度，蓝色分量和红色分量。

2 新的能量函数的构造

其中，f∶P→L是标签函数;P和L分别是像素和标签的集合;N表示邻域系统;Dp(fp)和Vp，q(fp，fq)分别表示给像素p和q安排标签fp和fq所消耗的能量。

利用图割的方法最小化主动轮廓模型，方法的目标就是找到使形如以上最小化能量函数的最优解，将连续的基于主动轮廓的能量函数写成离散的形如下:

式(5)中，μ是归一化常数。

考虑到光度对图像造成的影响，使得最后对图像的轮廓提取不准确，现存改善方法只考虑去掉阴影部分获得图像的整体轮廓，试图将光度信息融入到基于主动轮廓模型的能量函数中，以改善文献［11］方法对受光照影响大的图像的分割效果，由于归一化参数μ经常会很大程度上影响轮廓提取的结果，为了避免边缘项和区域项的平衡性问题，现定义不含有μ的能量函数:

图割是一种通过最小化能量函数来解决标签问题的组合最优的方法，能量函数的标准形式:

表1 彩色像素值的转换过程Tab.1 The conversion process of color pixel values

图1 RGB彩色值对应的颜色及像素位置编号Fig.1 RGB color value of the corresponding color and pixel position number

根据表1和式(6)构建网络图:对于连接相邻的像素之间的边缘的权值为Eb(p，q)*E'r(p，q);对于和终端S和T的连接的像素边缘的权重，为了方便，对于每个像素p给出如式(9)定义:

如果Φs(p)＞Φt(p)+ΔΦ(p)，边缘pT赋予权值9e+9，如果Φt(p)＞Φs(p)+ΔΦ(p)，边缘Sp赋予权值9e+9.

基于光度信息的图割方法在图像的目标轮廓提取中的步骤如下:

Step 1:用户交互性的输入初始轮廓C，根据像素在轮廓内还是在轮廓外分别初始化二进制变量xp=1和xp=0;

Step 2:根据式(8)计算cs和ct;

Step 3:根据能量函数(6)如上所述构建网络图;

Step 4:利用最大流/最小割算法［3］计算网络图的最小割，网络图G被分成两部分G0和G1，其中源端点S∈G0，汇端点T∈G1;

Step 5:如果像素p∈G0则xp=0，相反如果p∈G1则xp=1，如此更新二进制变量xp;

Step 6:利用中值滤波器平滑演化的轮廓;

Step 7:重复Step 2-Step 6直至收敛。

3 实验结果及分析

实验平台:Win7 Matlab R2012a，CPU:Intel(R) Core(TM)i3，RAM:2.00G.在此平台上对六幅彩色图像分为两组进行试验。

图2 对于光照影响小的图像分割效果比较Fig.2 The result comparison of segmentation for illumination influence small image

利用上述算法分别对受光照影响小的图像和受光照影响大的图像相同的初始轮廓进行曲线的收敛。图2和图3中的方框代表初始轮廓线，图2是原文算法及本文算法对受光照影响不大的几幅图像的轮廓提取的结果，表2和表3中，目标的周长表示轮廓线上元素的个数，目标的面积表示目标物体轮廓线内像素的个数，用这两个分割的信息来比较图像分割的效果，表2(续)是上述实验的目标提取效率及效果的对比，其中利用本文方法和原文方法得到的目标周长和面积分别与理想的目标轮廓的周长和面积的比值来表示分割的效果。图3是对于受光照影响较大的图像两种方法的轮廓提取结果，表3(续)是目标提取所用效率和效果的对比，由表2和表2续的数据可以看出两种方法提取的轮廓都与理想情况下相近，相比较之下，图名为荷花的图像误差较大，即对于较复杂背景的图像虽然能够得到目标的轮廓，但是存在的误差较大，由表2续中的提取时间的数据可以看出本文方法的收敛速度明显的优于原文方法，对于较大的图像提取时间较长，由图像名为图形的数据可以看出，对于规则的图形，本文方法能够很快的收敛到目标轮廓。从表3的数据中看出虽然本文方法和原文方法得到的目标周长和面积接近，但是从图3中可以看出原文方法得到的轮廓线并不是目标的轮廓线，而是局部或者还有除目标以外的部分，由名为荷花和Cross的提取时间可以看出，对于背景较复杂的图像，提取时间相对较长，表3和表3续的数据可以看出本文方法对于光照影响较大的图像提取的目标轮廓和理想的轮廓很接近，误差都在1%左右。图4是两种方法对六幅图像目标轮廓的提取时间的对比，将六幅图像的提取时间作成直方图的形式，横轴的各幅图像名称，纵轴为提取时间，单位为s.从曲线图中可以明显的看出本文方法的效率优于原文方法，对于提取时间越长的图像本文方法的效率优于原文方法越明显。

图3 对于光照影响较大的图像分割效果比较Fig.3 The result comparison of segmentation for illumination influence big image

表2 对于光照影响不大的图像的分割结果的比较Tab.2 The result comparison of segmentation for illumination influence small image

表2 (续)对于光照影响不大的图像的分割效果的比较Tab.2(Continued)The effect comparison of segmentation for illumination influence small image

表3 对于光照影响大的图像的分割结果的比较Tab.3 The result comparison of segmentation for illumination influence big image

表3 (续)对于光照影响较大的图像分割效果的比较Tab.3(Continued)The time comparison of segmentation for illumination influence big image

图4 分割时间的对比Fig.4 The time comparison of segmentation

4 结论

将光度信息融入到能量函数中，利用基于图割的主动轮廓模型来进行轮廓提取，从实验结果可以看出，不管图像受不受光照的影响，这种方法都能够获得较准确的目标轮廓，而且本文算法在收敛时间上优于原文算法。本文利用的是全局分割的方法，所以对于背景复杂的图像有一定的约束性，因此，本文的下步工作将利用局部分割，扩大方法的使用范围，而且再次对方法进行改进，实现选择性的对图像的某一部分的轮廓提取，比如亮面部分，暗面部分以及阴影部分。

［1］BOYKOV Y Y，JOLLY M P.Interactive graph cuts for optimal boundary＆region segmentation of objects in ND images［C］∥Computer Vision，ICCV 2001.Proceedings.Eig-hth IEEE International Conference on.IEEE，2001，1:105-112.

［2］BOYKOV Y Y，FUNKA-LEA G.Graph cuts and efficient ND image segmentation［J］.International journal of computer vision，2006，70(2):109-131.

［3］BOYKOV Y Y，KOLMOGOROV V.An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2004，26(9):1124-1137.

［4］ROTHER C，KOLMOGROV V，BLAKE A.Grabcut:Interactive foreground extraction using iterated graph cuts［C］∥ACM Transactions on Graphics(TOG).ACM，2004，23(3):309-314.

［5］刘嘉，王宏琦.一种基于图割的交互式图像分割方法［J］.电子与信息学报，2008，30(8):1973-1976.

［6］徐秋平.基于图割理论的目标提取方法研究［D］.西安:陕西师范大学，2009.

［7］韩守东，赵勇，陶文兵，等.基于高斯超像素的快速Graph Cuts图像分割方法［J］.自动化学报，2011，37(1):11-20.

［8］王晓飞，郭敏.结合模糊C均值聚类与图割的图像分割方法［J］.计算应用，2009，29(7):1918-1920.

［9］刘毅，冯国富，江效尧，等，基于小波变换与图割的彩色图像分割方法［J］.小型微型计算机系统，2012，10(10): 2307-2310.

［10］XU N，AHUJA N，BANSAL R.Object segmentation using graph cuts based active contours［J］.Computer Vision and Image Understanding，2007，107(3):210-224.

［11］张荣国，刘小君，刘焜，等.基于共轭梯度的B样条主动轮廓边缘提取［J］.中国图象图学学报，2010，15(1):103-108.

［12］ZHENG Q，DONG E Q，CAO Z L.Graph cuts based active contour model with selective local or global segmentation［J］.Electr-onics letters，2012，48(9):490-491.

Contour Extraction Method of Photometric Information into the Graph Cut

REN Mei-mei1，ZHANG Rong-guo1，HU jing1，LIU xiao-jun2
(1.School of Computer Science and Technology，Taiyuan University of Science and Technology，Taiyuan 030024，

China;2.School of Mechanical and Automotive Engineering，Hefei University of Technology，Hefei 230009，China)

The graph cuts algorithm is one of high effective optimal methods in the image segmentations.To improve the accuracy of segmentation caused by uneven illumination，a method which combines the information of luminosity with graph cuts is proposed.This method will get the color values and brightness values of pixel depending on the color image，with the average representative luminosity values，then integrate the photometric information into energy function of active contour model，and build a new energy function，finally get the optimal solution for solving new energy function with max-flow/min-cut algorithm，partial contour of target is obtained lastly.The experimental results show that this method can make the initial contour convergence to the target object more accurately and faster.

photometric information，energy function，graph cuts，contour extraction

TP391

A

10.3969/j.issn.1673-2057.2015.02.005

1673-2057(2015)02-0103-06

2014-11-12

国家自然基金(51375132);山西省自然基金(2013011017);山西省研究生创新项目(20143096)

任美美(1987-)，女，硕士研究生，主要研究方向为智能信息处理。