基于改进的MSR算法在软件视频会议系统上的应用*

谢小军，孔伟伟

(1.国网安徽省电力公司信息通信分公司，安徽 合肥 230061；2.国网电科院安徽南瑞继远软件有限公司，安徽 合肥 230088)

基于改进的MSR算法在软件视频会议系统上的应用*

谢小军1，孔伟伟2

(1.国网安徽省电力公司信息通信分公司，安徽 合肥 230061；2.国网电科院安徽南瑞继远软件有限公司，安徽 合肥 230088)

视频会议是一种应用广泛的会议方式，由于光照、视频采集设备品质、网络带宽等外界复杂因素的影响，常常导致视频会议视频图像质量下降。在多尺度Retinex滤波(MSR)算法的基础上，使用双边滤波获取原始图像的高低频信息，然后采用颜色约束方法和增益补偿方法增强经过双边滤波处理后的高频反射图像。通过主观体验和客观评价，改进算法增强了视频图像，同时保留了边缘细节，应用于软件视频会议系统，提高了视频图像的清晰度，改善了视觉效果。

视频会议；图像增强；MSR；双边滤波；颜色约束；增益补偿

1 引言

近年来，随着网络多媒体技术的飞速发展，人们期盼新一代多媒体通信技术能够完美融合语音、文字和图像等功能[1]。视频会议系统通过视频、声音等方式使得在地理上分散的用户得以实现即时的交流沟通[2]。

目前分组交换网上的视频会议系统都是基于嵌入式硬件实现的体系结构，各种不同的终端都需接入多点控制单元MCU(Multiple Control Unit)进行集中交换，组成一个视频会议网络[3]，实现多点交互和音视频处理以及各项会议功能，其不足之处是对带宽要求高，部署价格昂贵，且数据处理功能不足[4]。因此，软件视频会议系统模式逐渐成为当今视频会议系统发展的大趋势，它具有丰富的数据协作、会议管理和控制功能并且能个性化地定制；另外纯软件系统在硬件设备上维护量小，投资灵活[5]。但是，由于软视频系统从实际场景采集视频图像受现场环境的光照不足及摄像头配置参数的影响，再加上本身处理音视频能力的局限性，以及传输过程中造成的抖动、延时、丢包等问题[6]，使得客户端接收的视频质量受损，影响视觉效果，例如，视频图像噪声严重、亮度与对比度失衡、局部颜色失真等。本文针对这些问题，使用基于改进的MSR(Multiple Scale Retinex)算法对软件视频会议中的视频图像进行增强，实时优化视频图像帧，改善图像质量，提高视觉效果。

2 经典MSR算法

Retinex理论是一种自适应图像增强算法[7]，其理论基础是颜色的恒常性，即物体的颜色是由物体对不同波长光线的反射能力来决定的，光照无法影响物体的色彩[8]；由此可知，Retinex理论将图像视为由含有物体本质信息的反射图像与光照作用在物体上形成的干扰性的光照图像[9]。

本文基于上述原理通过在原始图像中检索或降低光照图像的影响，得到物体的反射图像，获得物体的本质信息。若原图像为彩色图像，则将其按R、G、B三分量分为三幅图像分别处理。

(1)

(2)

一般将光照图像假设估计为空间平滑图像，可由卷积项得到：

(3)

(4)

(5)

其中，c为高斯环绕函数的尺度常数，尺度c的大小决定了卷积核的作用范围。尺度c越小，图像的边缘纹理等细节突出，但图像的颜色失真严重；尺度c越大，图像颜色丰富协调自然，但是细节不明显。K为归一化因子，满足：

(6)

单尺度Retinex算法通过去除根据卷积获得的低频部分，得到原始图像的高频部分。但是，单个尺度不能满足动态范围压缩大和色彩保真度高以及边缘锐化等状态。因此，需要采用多尺度Retinex算法，即MSR，它对原始图像在多尺度下进行SSR运算，最后将结果加权线性叠加，获取最佳的视觉效果，数学形式如下：

(7)

其中，N为采用的尺度个数，ωn为对应尺度的权值，为了使各尺度对处理结果贡献相同的作用，取值1/N。

MSR算法是基于对不同尺度SSR进行加权平均处理的结果，既能很好地完成图像的动态范围压缩，又可以保证图像的颜色协调性，削弱“光晕”现象，增强图像的处理效果。但是，传统MSR算法具有如下的缺点，如放大平滑区域噪声、在明暗对比强烈处容易产生晕环。其原因在于MSR算法获得的光照图像为低频信息，而在使用高斯滤波获取光照图像的过程中会在明暗交界处造成晕环的产生。

3 改进的MSR算法

MSR算法通过去除原图像中低频的光照图像，对保留的高频反射图像归一化显示作为最后的结果。这样一来噪声不仅得以保留且后续的归一化过程有进一步增大噪声的效果。为克服经典MSR算法的这一不足，本文采用双边滤波代替高斯滤波进行光照估计，并对反射图像采用双边滤波进行处理，双边滤波可以更好地控制图像的亮度，减少噪声和光晕效果。具体如下：

‖p-q‖)Gσr(Ip-Iq)Iq

(8)

(9)

当分别增强一幅图像的R、G、B分量时，个别像素点原始的RGB比例关系可能会改变，从而对整幅图像的色彩构成造成影响。为了减小这种可能造成图像色彩失真的影响，本文引入了颜色约束方法，即通过原始图像中RGB三个通道之间的比例关系，对反射图像进行处理。该约束方法通过延续图像原有的色彩比例，对可能的色彩失真进行调整，以增强色彩的协调性。颜色约束方法如下：

(10)

(11)

上述颜色约束方法通过对处理后的图像延续原始图像的色彩比例，可以最大程度地复原原图像的色彩信息，克服图像发灰情况。但是，文献[10]指出MSR理论模型依赖于灰度世界假设，即仅在原图像符合灰度世界假设时MSR可以取得较好的处理效果，当原始图像不符合灰度世界假设(灰度世界是假设当一幅图像具有足够多的颜色变化时，任意像素三个颜色通道的平均反射分量近似相等)，即存在偏色或退化时，经过MSR算法本来已经校正的图像偏色，再采用颜色约束方法延续原图像的RGB分量比例关系将会导致色彩再次失真。为此，本文为颜色约束方法设立判据，当原始图像符合灰度世界假设时，才使用颜色约束方法，反之则不采用。

由于MSR的计算通常在对数域内进行，最终得到的反射图像像素值往往较小，其像素值的动态范围也很小，不能满足图像0～255的显示范围，为了方便观察还需将处于对数域数值范围内的反射图像进行增益补偿方法，使其值归一化到0～255，满足图像显示的要求。

(12)

其中，Rci为反射图像的像素值，Rup和Rlow为增益范围的上下限，dmax为图像显示范围的上限，一般为255。

传统MSR算法采用反射图像的最值作为增益范围的上下限，这样一来如果R、G、B三分量中的某一分量具有较其它两个分量更大的分布范围时，会使增强后的图像出现该分量上的色偏。本文将通过控制各分量的增益范围达到消除色偏的目的，考虑到反射图像的像素数值分布类似于正态分布，故采用其置信区间的大小作为增益范围的大小，集合图像中大部分像素点的置信区间作为增益范围，可仅对各分量中数值大小较为集中的像素进行归一化，从而避免了漂移像素值对归一化的影响。置信区间数学描述如下：

(13)

其中，μi和σi分别为Ri的均值和均方差，A为调节增益范围参数，A越小则对比度越高，但如果A取值过小则参与归一化过程的像素过少，导致图像色彩不丰富，一般取2～3。

4 实验结果分析

为了分析改进算法的实际效果，本文采用控制变量法，在每组对比中使相对应的处理步骤不同，而其余步骤保持相同，以展现出该步骤的效果。在这里，MSR算法的尺度数K=3，尺度分别为c1=20、c2=80、c3=140。

实验图片为安徽省电力公司软件视频会议视频图像截图，视频图像的不足主要体现在色彩对比不明显，昏暗，将改进的MSR算法嵌入基于DirectShow架构的采集软件中，对颜色分量进行增强，实现对视频图像的优化。

Figure 1 Original video capture for contrast experiment

(1)不同滤波方法对图像增强效果的分析。

Figure 2 Effect pictures of Gaussian filtering and bilateral filtering enhancement

由于MSR算法本质是通过去除原始图像中低频的光照图像，增强保留下来的高频反射图像，以获得理想的视觉效果。对高频反射图像的增强，也就意味着其中的噪声会同步得到增强，如图2a左下方的桌板处可以看到噪声的存在。本文算法将在增强反射图像前使用在细节保持方面具有良好表现的双边滤波进行降噪处理，如图2b所示，经方差为5和10的双边滤波后在同样的桌板部分噪声得到了一定程度的消除。

(2)颜色约束方法对图像增强效果的分析。

使用颜色约束方法可以使增强后的图像保持原始图像的色彩比例信息，即在色彩信息上保持与原始图像的一致性，但前提是原始图像符合灰度世界的假设。在该帧图像中RGB的比例关系为4.21∶4.26∶4.13，近似相等，可视为符合灰度世界假设。如图3a所示，经过增强的图像整体发灰，影响到主观的视觉观感。在采用颜色约束方法的图3b中，图像的色彩变得更为丰富协调。

Figure 3 Effect pictures with and without color constraints

(3)增益补偿范围对图像增强效果的分析。

Figure 4 Histogram distribution for each channel

对比两图，可以发现以最值确定增益范围的图像存在着明显的色偏。图4为各通道的直方图分布，分析RGB各分量的直方图分布可知，红色的R分量分布得最为分散且加之其最小值为-0.01，在增益补偿方法中，将过于分散的R分量置于与G、B分量相同大小的显示区间内，将造成R分量获得较G、B两个分量更大的增强幅度，使整幅图像出现色偏，呈现出淡红色，如图5a所示。而以置信区间大小确定增益范围的图5b色偏现象基本得到了抑制，这是由于置信区间缩小了需要增强的空间分量通道值，使RGB三分量像素点均保留了相似的直方图分布与相差不大的通道值区间长度，从而使各分量的增益补偿幅度相当，保持了原有的分量比例，没有色偏现象的产生。其中调整增益范围的参数A=2。

Figure 5 Effect pictures of gain compensation enhancement

(4)不同算法对视频会议图像帧增强效果的对比分析。

对比观察如图6所示的图片，可以明显感到图6e具有最佳的视觉体验。图6b为直方图均衡的结果，画面亮度改善不明显，细节处也不够精细。图6c将MSR增强由RGB空间转化到HSV空间，画面出现严重失真。图6d为经典MSR算法处理后的图像，画面色彩过于饱和，以至于人与背景间存在着明显的白色光圈，使得过渡极不自然。

Figure 6 Comparison of the four image enhancement methods

在该组对比中，除了使用主观视觉体验外，还将采用客观指标显示不同方法的增强效果。以下为各种客观指标的定义。

亮度反映了图像整体的明暗效果，方差说明图像灰度层次丰富程度。

(14)

(15)

信息熵是对图像所包含的信息量的度量。信息熵越大，表示图像的纹理越复杂，包含的信息越多。图像的信息熵可以定义为：

(16)

其中，pi表示图像的第i个灰度级出现的频率。

清晰度定义为每一点像素值向其邻域扩散程度，扩散程度越剧烈，清晰度的值越大，表示图像的局部细节越清晰。图像的清晰度可表示为：

(17)

表1为实验原图以及不同算法对图像进行处理后，采用上述定义获得的指标值。

Table 1 Parameters of different algorithms表1 图像指标值对比

由表1可知，各种增强算法都对客观指标有所改变。综合评价，本文算法的各指标值都处在较高的水平。在图像的方差和信息熵这两项指标上要高于其它方法，说明图6e具有更丰富的视觉展现，包含更多的信息量。合适的亮度与清晰度使画面显得明暗适中，过渡自然。这里需要注意的是如图6c的方法虽然大多数指标高于本文算法的指标，但其视觉体验明显要逊于本文算法。所以，在图像处理领域，并不能单纯地以指标的高低衡量图像质量的好坏，人眼的主观视觉体验往往占有很重要的地位。

(5)改进算法对局部曝光图像的处理效果。

在室内会议中往往存在着光照分布不均的情况，使视频图像出现明暗相伴的现象。由于Retinex算法对暗区域有更好的恢复能力，因此对明暗相伴的情况，本算法具有良好的优化效果，图7为采用改进MSR算法对局部曝光视频图像的处理实验结果图。

Figure 7 Original picture and the of image enhancement by our method

对比两图可以发现，经过处理后的图像暗区域的亮度有着显著的提升，细节显示得更加清晰。通过对客观指标的计算发现处理后图像的均值、信息熵和清晰度三项指标都明显高于原图像，如表2所示，说明了本文算法对局部曝光图像处理的有效性。

Table 2 Comparison of image parameter values表2 图像指标值对比

(6)不同算法处理单帧图像时间。

表3展示了上述经典算法与改进后MSR算法处理单帧图像所需时间的对比，改进的算法所花费的时间要高于这些经典算法，但是1秒钟能处理35帧左右，而视频会议1秒钟仅传输25帧，改进的算法依旧能满足视频会议图像帧的实时处理。

Table 3 Time needed for processing a single frame image with different methods表3 处理单帧图像所需时间

5 结束语

Retinex是一种基于人眼生理构造的数学模型。MSR算法是利用Retinex模型进行增强的经典方法。本文根据经典MSR算法的不足给出了改进方法，首先使用双边滤波将原始图像分为低频和高频图像信息，再利用双边滤波对高频图像进行降噪处理，最后使用颜色约束和增益补偿方法增强高频图像，使高频图像可以得到优化显示。本文在实验对比环节从人眼主观视觉体验和客观指标评价两方面将本文算法和不同的增强算法进行了比较，对比结果表明本文提出的算法有较好的增强效果。

[1] Zhou Zheng,Feng Wei-dong,Ye Lu,et al, Video conference system image evaluation and quality enhancement method is analysed[J]. Technology and Application of Network Security,2014(4):105-107.(in Chinese)

[2] Chen Xin-jun. The design and implementation of embedded video conference system[D].Chengdu: University of Electronic Science and Technology,2013.(in Chinese)

[3] Hu Min,Liu Liu-cheng,Liu Peng. The design and implementation of video conference system based on WebRTC[J]. Video Engineering,2013,37(1):141-144.(in Chinese)

[4] Li Yong-jie, Chang Ying, Wang Xin, et al. System architecture and analysis of Henan electric power video-conference[J]. TV Engineering, 2014,38(19):221-224.(in Chinese)

[5] Zheng Yan,Li Long-teng,Liu Chun-xiao,et al. Design of interactive remote video conference system based on multi-agent[J]. TV Engineering,2013,37(1):144-146.(in Chinese)

[6] Lee M.Implementation of stable video conference system[C]∥Proc of ICCE, 2013:442-445.

[7] Liu C-H,Hsu W-F.The study of video conference transmission security as an example on Windows Live[C]∥Proc of NCM, 2010:505-508.

[8] Li Ying. Image enhancement algorithm based on the theory of the Retinex research[D].Xi’an: Northwest University,2014.(in Chinese)

[9] Chen Chao. Single scale Retinex algorithm in the application of the image enhancement[J]. Computer Applications and Software,2013,30(4):55-58.(in Chinese)

[10] Lee C-H,Shih J-L.Adaptive,multiscale retinex for image contrast enhancement[C]∥Proc of SITIS,2013:43-50.

[11] Fu Xue-yang, Sun Ye.A novel retinex based approach for image enhancement with illumination adjustment[C]∥Proc of ICASSP,2014: 1190-1194.

附中文参考文献：

[1] 周正,冯伟东,叶露,等.视频会议系统图像评价及质量增强方法浅析[J]. 网络安全技术与应用,2014(4):105-107.

[2] 陈新军.嵌入式视频会议系统的设计与实现[D].成都:电子科技大学,2013.

[3] 胡敏,刘六程,刘鹏.基于WebRTC的视频会议系统的设计与实现[J].电视技术,2013,37(1):141-144.

[4] 李永杰，常颖，王欣，等.河南电力视频会议电视系统架构与分析[J].电视技术,2014,38(19):221-224.

[5] 郑炎,李龙腾,刘春晓,等. 多Agent协作可交互的远程视频会议系统的实现[J].电视技术,2013, 37(1): 144-146.

[8] 李莹.基于Retinex理论的图像增强算法研究[D].西安:西北大学,2014.

[9] 陈超.改进单尺度Retinex算法在图像增强中的应用[J].计算机应用与软件,2013,30(4):55-58.

谢小军(1975-),男,安徽泾县人，硕士，高级工程师，研究方向为视频会议系统的运行管理及研究。E-mail:xiaojunxie@163.com

XIE Xiao-jun,born in 1975,MS,senior engineer,his research interests include the research and application of video conference and enterprise information.

An application of an improved MSR algorithm in software video conference system

XIE Xiao-jun1,KONG Wei-wei2

(1.State Grid Information Communication Company of Anhui Province Power Company,Hefei 230061;2.Anhui NARI Jiyuan Software CO.,LTD.,SOEPRI,Hefei 230088,China)

Video conferences, a new type of conference in the internet age, have been widely used. Due to the influence of the external factors such as light, video acquisition device quality and network bandwidth, the quality of images of video conferences may deteriorate. Based on the multiple scale Retinex (MSR) algorithm, we divide the original images into illumination images of low frequency and high frequency reflection images by the bilateral filtering technique. And then the color constraints method and the gain compensation method are adopted to enhance the high frequency reflection images. Subjective experience and objective evaluation show that the improved algorithm enhances video images and preserves edge details when applied to soft video conferences, thus providing a better visual effect.

video conference;image enhancement;MSR;bilateral filtering;color constraints;gain compensation

1007-130X(2015)09-1730-06

2014-12-08;

2015-01-31

TN391.4

A

10.3969/j.issn.1007-130X.2015.09.022

通信地址：230061 安徽省合肥市包河区黄山路9号

Address:9 Huangshan Rd,Baohe District,Hefei 230061,Anhui,P.R.China