录播系统中图像分割与轮廓提取算法研究

赵以国，唐贵进，朱秀昌

(南京邮电大学 江苏省图像处理与图像通信重点实验室，江苏 南京 210003)

录播系统中图像分割与轮廓提取算法研究

赵以国，唐贵进，朱秀昌

(南京邮电大学 江苏省图像处理与图像通信重点实验室，江苏 南京 210003)

在基于图像识别技术的录播系统中，通常使用背景差分法检测运动目标，在当前帧与背景帧做差之后，需要进一步选取合适的阈值进行图像分割，从而最终提取出运动目标的轮廓。研究了基于最大类间方差准则的图像阈值分割，在此基础上进一步研究了掏空内部点的轮廓提取算法，并且使用轮廓缺陷修补技术改进轮廓提取算法，从而得到封闭的轮廓，最后使用Freeman链码表示提取的轮廓。实验证明，该算法为录播系统的实现提供了良好的技术保障。

录播系统；图像分割；最大类间方差；轮廓提取；Freeman链码

用于录制课堂教学现场的智能视频录播系统[1]是对传统课堂录播系统的一项重要的革新，有望替代现有的人工录制的方式。智能视频录播系统无需人工操作，只需将摄像机放置在教室的固定位置，在计算机的控制下，利用图像处理方法，使摄像机会自动录制课堂情况，并且可以实时网络直播。其中摄像机如何在复杂的课堂教学环境中对授课教师和发言学生进行准确的跟踪定位是录播系统能否有效录制的关键技术。

目前国内智能视频录播系统的目标跟踪主要采用的是红外线或者超声波定位技术，但是红外线和超声波容易受到光线和噪声等外界干扰；教师和学生需要携带无线发射装置，这样影响真实上课效果。本文研究的是基于图像处理技术的录播系统的定位技术，不需要师生携带任何设备，摄像机根据图像处理算法实现自动跟踪定位。

其中对运动中的教师和学生目标的检测与轮廓提取，是摄像机能否准确定位和录制的关键步骤之一。在本文的录播系统中，运动目标的检测采用背景差分法[2]，其中二值化图像阈值的选取对能否准确提取轮廓起着重要的作用。并且，录播系统要适用于不同的教室环境或同一教室不同时间、不同光照条件，所以阈值必须要能够实现自适应改变。本文研究了基于最大类间方差准则的Otsu阈值分割方法，在此基础上进一步研究了掏空内部点的轮廓提取算法，并且使用轮廓缺陷修补技术改进轮廓提取算法，从而得到封闭的目标轮廓，最后使用Freeman链码表示提取的轮廓。

1 图像阈值分割

图像阈值分割[3]就是利用图像中要提取的目标前景区域与背景区域在灰度上的差异，把图像看作是前景区域和背景区域的组合。在图像中选取一个合适的阈值，从而确定图像中哪些像素点属于前景区域哪些像素点属于背景区域。设灰度图像为I(x,y)，二值化阈值为T,则图像分割如下

(1)

其中：f(x,y)就是得到的二值图像。在录播系统中，为了适用于不同的教学环境，希望阈值要能够自适应地随之变更。目前主要研究的实现算法有最大类间方差法、迭代法、最大熵法和最大散度差法等。

最大类间方差法[4]是一种自适应的阈值获取算法，简称为Otsu法。Otsu的原理是按图像的灰度特性，将图像分成背景和目标前景两部分。如果前景和背景之间的类间方差越大，则表明构成图像的两部分的差别越大；若部分前景错分为背景或部分背景错分为前景，都会导致两部分差别变小。因此在图像分割中，使类间方差最大的分割意味着错分概率最小。Otsu是基于图像的灰度直方图的分割方法，相对于其他阈值分割算法，该算法简单、实时性好，目前被广泛使用。

在大多数情况下，采用Otsu算法选取出的阈值都能比较好地实现图像的分割，出现非最佳分割的情况比较少，是一种非常稳定的图像阈值分割算法。所以本文选用Otsu算法用于录播系统中的帧差图像二值化的目标提取。

2 轮廓的提取和链码表示

通过阈值分割得到二值化的图像之后，需要进一步提取出前景目标的轮廓，本文采用传统的掏空内部点的方式得到图像中前景目标的二维轮廓，并且使用轮廓缺陷修补技术改进轮廓提取算法，然后使用Freeman链码表示提取出的二维轮廓。

2.1 轮廓的提取

由二值化图像提取目标轮廓[5]，目前常采用一种掏空内部点的方法[6]，该方法计算简单、稳定有效，其轮廓提取步骤如下：

1)若当前像素点像素值为0，不论周围8邻域像素值是0或1，当前像素点像素值仍保留为0。

2)若当前像素点像素值为1，并且周围8邻域像素点像素值都为1，则当前像素点像素值置0。

3)其他情况下，当前像素点的像素值则仍为1。

对整幅二值图像所有像素执行上述操作，便可以完成对图像的目标轮廓提取，轮廓就是由所有的“1”像素组成。

2.2 轮廓的缺陷修补

在理想情况下，通过图像的二值化和轮廓提取算法可以得到封闭的图像轮廓。但在实际情况中，由于图像二值化阈值的选取和环境噪声影响等因素，往往导致提取出的图像轮廓存在缺陷，即可能出现孤立点和不封闭的轮廓。虽然可以使用形态学上的闭运算来对图像轮廓进行处理，但是闭运算会导致一些问题，例如：如果两条轮廓线相隔一个像素，则使用闭运算会导致两条轮廓线粘在一起。

本文使用轮廓缺陷修补技术来改进掏空内部点的轮廓提取算法。轮廓缺陷修补技术是对轮廓端点进行处理，其中，轮廓端点定义为：在轮廓上任意一点，其8领域按顺时针或逆时针方向像素值变化为0次或2次，则判定该点为轮廓端点，其中变化0次的为孤立点。根据轮廓端点的定义，在图1中F1、F2和F3这3点为轮廓端点，其中F2为孤立点。

图1 轮廓端点

轮廓缺陷修补步骤如下：

1)扫描图像得到所有的轮廓端点，存储在容器V中，转步骤2)。

2)从容器V中读取轮廓端点，若没有轮廓端点则转步骤4)。若有，则按公式(2)计算任意两端点距离，若小于给定阈值D，则转步骤3)，否则继续步骤2)。

(2)

3)用直线连接两轮廓端点，转步骤2)。

4)容器中所有端点判定结束。

通过以上算法即可得到封闭的、完整的目标轮廓。根据实验，本文中像素距离阈值D设定为3。

2.3 轮廓的Freeman链码表示

本文采用8连通的Freeman链码[7]表示二维图像提取的目标轮廓。Freeman链码是用边界点方向和曲线起始点坐标来描述曲线或边界的方法，常被用来在图像处理中表示二维图像的轮廓。由8连通链码得到的图像像素点链码表示如图2所示，其中P为当前像素，周围像素使用链码表示，遍历时按顺时针方向为：3，2，1，0，7，6，5，4。

图2 Freeman链码方向

用Freeman链码表示图像表示的二维轮廓时，算法过程如下：

1)对图像进行扫描得到起始的像素值不为0的像素点，记录该点为(Start-X,Start-Y)，且以起始点为当前点转步骤2)。若没有扫描到像素不为0的像素点，则转步骤4)。

2)按顺时针方向扫描当前点P的8邻域，若遇到不为0的像素点(设为Q)则立即停止，转步骤3)。若没有扫描到轮廓点，则设置符号“/”表示轮廓提取结束，并且将扫描起始点设为(Start-X,Start-Y)，然后转步骤1)。

3)存储Q点，将Q点设为当前点，转步骤2)。

4)用标志“/”表示所有轮廓提取结束。

通过以上算法就可以得到二维图像中所有的目标轮廓的链码表示。

3 实验结果与分析

本文录播系统平台搭建在Inter(R)Core(TM)2 Duo CPU T5670 @1.8 GHz、主频1.79 GHz、2.0 Gbyte内存和Windows XP操作系统的台式计算机上，使用VS2010完成相关编程。使用的摄像机为SONY D100/EVI-D100P，采集的图像大小为352×288。本文实验中模拟的是课堂中学生由坐下到站起后的运动目标轮廓提取。

图3为使用多种算法进行阈值分割的效果图。其中图3a为帧差灰度图像，图3b为固定阈值60分割结果，其效果最差，有很多空洞；图3c的Otsu法和图3d的迭代法所取得的效果差不多；图3e的最大熵法分割出来的目标效果最好。Otsu、迭代法和最大熵三种分割方法的时间耗费如表1所示。可以看出，最大熵法用时最多，迭代法次之，Otsu法用时最少，而且Otsu法所获得的阈值也更加接近于最大熵法获得的阈值。所以本文选取Otsu算法来进行图像的阈值分割。

图3 图像的阈值分割

表1 Otsu算法、迭代法和最大熵法的图像分割时间和阈值

图4为使用边缘提取算子[8]得到的目标边缘检测图像与本文算法提取的轮廓效果的对比。其中Sobel算子和拉普拉斯算子提取的目标边缘有明显的缺陷、不封闭；而Canny算子提取的目标效果比较好，但是Canny算子需要上、下两个阈值，阈值的选取对目标的检测影响很大。同时，所有的边缘检测算子只能得到目标的边缘点，还需进一步使用其他算法才能剔除掉非轮廓点。而本文的算法不但计算简单、易于实现，而且提取的目标轮廓效果也很好。

图4 本文轮廓提取算法与其他轮廓提取算法

图5为在录播系统中采用本文算法提取的轮廓过程。其中图5a为当前帧与背景帧的帧差灰度图像，使用Otsu算法得到阈值分割后的图像如图5b所示。图5c是未使用轮廓缺陷修补算法而提取的轮廓，可以看到图5c中有一些未闭合的外轮廓和内轮廓线，而使用了缺陷修补算法后，将一些孤立点和边缘线连接起来得到封闭的轮廓，如图5d所示。由实验结果看出，本文算法不但能够较准确地提取出目标的外轮廓，而且在某些情况下也能够准确地提取目标的内轮廓。

图5 目标轮廓提取和修补

4 总结

本文根据课堂录播系统的实际需求，从图像的阈值分割和轮廓提取入手，重点研究了基于Otsu算法的图像分割和掏空内部点的轮廓提取算法，并且使用轮廓缺陷修补技术改进了提取轮廓的效果，最终使用Freeman链码有效地表示了所提取的完整轮廓。实验证明，本文算法为录播系统后续的目标检测和自动跟踪提供了良好的技术保障。

[1] 吴建家，符水波.“智能录播系统”关键技术及发展趋势探析[J].中国教育信息化，2010(12)：46-48.

[2] VARMA S，SREERAJ M. Hybrid background subtraction in video using Bi-level CodeBook model[C]//Proc. Applications of Digital Information and Web Technologies (ICADIWT). [S.l.]：IEEE Press，2014：124-130.

[3] HE Shuqian，NI Jiangqun，WU Lihua，et al. Image threshold segmentation method with 2-D histogram based on multi-resolution analysis[C]//Proc. Computer Science & Education International Conference. Nanning，China：IEEE Press，2009：753-757.

[4] CHEN Q，ZHAO L，LU J，et al. Modified two-dimensional Otsu image segmentation algorithm and fast realization[J].IET Image Processing，2012,6(4)：426-433.

[5] LIU C T，LIN C C. An object contour extraction using local structure information captured by a spotlight filter[C]//Proc. IEEE International Conference on Acoustics Speech and Signal Processing. Kyoto，Japan：IEEE Press，2012：1520-6149.

[6] 吴凤和. 基于计算机视觉测量技术的图像轮廓提取方法研究[J].计量学报，2007(1)：18-22.

[7] PARK J，CHISTY K，LEE J，et al. Image retrieval technique using rearranged Freeman chain code[C]//Proc. Informatics and Computational Intelligence. [S.l.]：IEEE Press，2011：283-286.

[8] WANG Xili，ZHANG Wei，JI Qiang. Image object extraction with shape and edge-driven Markov random field model[J].IET Image Processing，2014,8(7)：383-396.

Research on Image Segmentation and Contour Extraction in Video Recording and Broadcasting System

ZHAO Yiguo,TANG Guijin,ZHU Xiuchang

(KeyLabofImageProcessingandCommunication,NanjingUniversityofPostsandTelecommunications,Nanjing210003,China)

The recording and broadcasting system based on image recognition technology usually uses the background subtraction algorithm to detect the moving object. After making the difference between the current frame and the background frame, it needs to select the appropriate threshold for image segmentation in order to extract the moving object’s contour. The image threshold segmentation is studied based on Otsu criterion, and the contour extraction algorithm is further studied based on the hollowed interior points. The technology of contour defect repair is used to improve the contour extraction algorithm, then the closed contour is got. Finally, the Freeman chain code represent the contour is used. Experimental results show that the proposed algorithm provides a good technical support to realize the recording and broadcasting system.

recording and broadcasting system; image segmentation; Otsu; contour extraction; Freeman chain code

【本文献信息】赵以国，唐贵进，朱秀昌.录播系统中图像分割与轮廓提取算法研究[J].电视技术,2015，39(13).

国家自然科学基金项目(61071091)

TP391

A

10.16280/j.videoe.2015.13.007

责任编辑：任健男

2014-11-23

赵以国(1990— )，硕士生，研究方向为图像处理与多媒体通信。