宽带多媒体集群系统中的图像增强与恢复技术

吴利平　卢煜

1 引言

宽带多媒体集群系统是多种通信技术的融合应用，它是以强大的固网、宽带、3G、TD-LTE等网络资源为通信基础，充分利用高速网络带宽和强大的多媒体业务服务支撑能力，实现移动办公、物联网、电子商务等业务的集群通信系统。如图1所示，宽带多媒体集群系统采用大区制组网技术，保证大区域覆盖；向下兼容窄带，实现窄带到宽带的平滑过渡。与窄带集群系统相比，宽带多媒体集群系统在语音、短数据等基本业务的基础上，增加了现场图像、高速数据传输等功能，增强了对事态的感知和信息共享能力，实现了更加高效的指挥调度。

在宽带多媒体集群系统的图像采集和传输过程中，由于采集设备性能与环境背景、信道噪声干扰等诸多种因素影响，导致接收图像会出现运动模糊、噪声干扰严重、质量退化等现象。然而，由于宽带多媒体系统通常运行为行业专网，服务对象对图像的分辨率、图像质量和实时性都有较高的要求，这给频谱资源和信道带宽有限的集群系统带来了巨大的挑战。因此，如何在不增加传输数据量和所需带宽的情况下，提高现场图像的质量和分辨率以改善用户使用效果，成为目前宽带多媒体系统亟待解决的问题。

本文将通过建立宽带多媒体系统的图像退化与复原模型，并在图像复原过程中采用消噪滤波、去模糊化、超分辨率重建等图像增强与恢复技术，来提高图像的质量和分辨率，改善服务用户对现场图像的感知与识别能力，从而进而提升集群系统的指挥调度性能。

2 图像退化与复原模型

在宽度多媒体集群系统中，视频数据的采集、传输、增强和恢复过程可以等效为如图2所示的图像的退化和复原模型，其中，退化过程包括原始数据的下采样和模糊退化以及传输过程中的噪声干扰；而复原过程则可采用噪声滤波、去模糊化和超分辨率重建等技术。在空域上，经过退化后的加噪模糊图像数学模型为[1]：

g（x，y）=h（x，y）*f（x， y）+η（x， y） （1）

其中，f（x，y）和η（x，y）分别表示原始图像和噪声，h（x，y）为点扩散函数（PSF，Point Spread Function），“”为空间卷积符号。将上式模型写成等价的频域表达式为：

G（u，v）=H（u，v）F（u，v）+N（u，v） （2）

式中

H（u，v）=∞-∞∞-∞ h（x，y）exp[-j2π（ux-vy）]dxdy为退化函数。

图像复原就是要尽可能恢复退化图像的原始面目，其原理是以图像退化模型为基础，采用各种逆退化处理方法进行恢复，使图像质量得到改善。假设原始图像f（x，y）和噪声η（x，y）都是随机变量，接收端对原始图像为的估计为，图像复原的目标就是使得它们之间的误差最小：

（3）

式中，表示求参数的期望。在图像复原过程中，降噪滤波的作用是尽可能降低噪声对复原过程和结果的干扰，去模糊化和超分辨率重建则既能有效提高图像质量又可以改善视觉效果，以便于后期图像分析与识别。

3 宽带多媒体系统的图像增强与恢复

在宽带多媒体系统的图像复原过程中，采用适合的图像增强与恢复技术不仅能够改善视觉效果，改善图像质量、丰富信息量，加强图像判读和识别效果，而且能尽可能恢复退化图像的原始面目，使图像质量得到改善，甚至可以提高图像的分辨率。接下来将对噪声滤除、去模糊化和超分辨率重构等典型的图像增强与恢复技术进行详细介绍，并对典型算法进行性能分析和比较。

3.1 降噪滤波

图像噪声是图像在采集、传输或转换过程中产生的随机干扰信号，容易造成图像毛糙、质量下降、特征淹没，对图像分析十分不利。主要的图像噪声包括高斯噪声、椒盐噪声、周期噪声、伽马噪声、指数噪声和均匀噪声等。图像滤波是去除噪声的有效方法，其原理是在空域以及频域上对图像信号进行滤波处理[2]，常用的滤波算法的性能列表如表1所示；其中中值滤波对于斑点噪声和椒盐噪声尤其有用，且计算复杂度适中，是图像处理中的常用算法之一。

中值滤波算法[2]是J·W·Jukey于1971年首先提出的，它是以排序统计理论为基础，能够有效抑制非线性噪声的图像处理技术。中值滤波器原理是基于图像滤波器周围的图像区域中像素的排序，然后由统计排序结果决定的值代替中心像素的值，从而消除孤立的噪声点，其描述为：

（4）

其中A为截取图像像素的窗口，可以是包括线段窗、方形窗、圆形窗、十字窗等的任意形状。选取3×3方形窗口的均值滤波器和中值滤波器为例，图3显示的是加入椒盐噪声（噪声方差为8）的图像经过这两种滤波器处理后的效果图，对比可见中值滤波器的效果是十分明显的。由于中值滤波器计算复杂度不高，因此在宽带多媒体系统中可以采用该滤波器来滤除部分噪声。

图3 均值滤波器和中值滤波器滤除椒盐噪声的效果图

3.2 运动模糊消除

在视频信号采集过程中，拍摄装置与被摄景物都可能以较高速度运动，二者的相对运动容易造成一次曝光的场景能量在成像平面上的非正常积累，即引起图像运动模糊。由于这种模糊具有普遍性，因此运动模糊图像恢复已是近年来数字图像处理领域研究的热点问题之一，其中经典的恢复算法有逆滤波法、维纳滤波法、最大熵恢复法、R-L法、刃边函数法、PSF法等[3]。逆滤波法在存在噪声情况下会对复原图像产生严重影响，因此不适合用于无线环境下的图像信号恢复。维纳滤波法属于反卷积算法，由于维纳滤波器的复原效果良好，计算量较低，并且抗噪性能不错，因而在图象复原领域得到了广泛的应用并不断得到改进和发展。

根据图像恢复的目标就是使得复原图像与原始图像的均方误差最小，因此由维纳滤波器（也称最小均方误差滤波器）得到原图像估计的频域表达式为：

（5）

式中γ为信噪比，在实际应用中可以采用下式进行估算：endprint

（6）

式中gi，j为滤除噪声后的图像灰度值，ηi，j为滤除的噪声灰度值。若假设图像退化函数H（u，v）已知，只需要估计出退化图像信噪比就可恢复出原始图像。图4显示的是运动模糊图像经过维纳滤波法恢复出的图像，可以看出该算法的恢复效果还是比较理想的。

然而在实际系统中，图像的点扩散函数和模糊函数往往都是未知的，因此运动模糊图像恢复的关键就在于模糊函数参数的准确估计。假设原图像中运动方向与x轴正方向成θ角，令x0和y0分别为x和y方向上的位移，曝光时间为T，则退化函数表达式为：

（7）

其中，Ω。由于H（u，v）

在（90°+θ）方向存在暗线，即零值，因此模糊图像的傅里叶频谱中会存在明显的平行暗线，如图5所示。通过提取频谱暗条纹方向和间距，就可以准确检测出退化图像的模糊参数，从而得到退化函数[4]。

3.3 超分辨率重建

在图像传输过程中，由于传输带宽有限，通常难以实时传输高分辨率图像信号。以帧率为25fps的视频编码为例，H.264和SVAC编码的码率列表如表2所示，分辨率每提高一个档次，传输所需要带宽将增大2～5倍。在大多数情况下人们都希望获得分辨率高、画面清晰的图像，分辨率低的图像往往不能达到要求，因此可以在系统接收端使用超分辨率重建技术来提高图像的分辨率。

根据式（1）图像退化模型，可得出去模糊化的低分辨率图像和高分辨率图像的离散关系表达式为[5]：

gk=DMkf+ηk，k≤p （8）

其中，p为图像序列帧数，gk表示高分辨率图像f的第k帧观察到的低分辨率图像，矩阵D和Mk分别为下采样矩阵和第k帧运动矢量矩阵。根据式（8）要求解出高分辨率图像f，就需要确定矩阵D、Mk和ηk噪声。基于多帧插值的超分辨率重建方法分为两个步骤（见图6）：首先根据各帧图像之间的相对运动信息并进行图像配置，从而获得高分辨率图像在非均匀间距采样点上的像素值；然后通过非均匀插值得到高分辨率图像栅格上的像素值，并进行消噪平滑得到高分辨率图像。在宽带多媒体系统的接收端，可以根据视频压缩编码信息中提取帧间运动信息，这将大大降低超分辨率重建的计算复杂度。

图像插值[5]是通过插值增加单位面积内的像素个数来提高分辨率，插值算法性能直接影响超分辨率图像处理的结果。常用差值方法有最近邻域值、双线性插值、双三次插值，其中双线性插值算法虽然性能比双三次插值稍差，但计算量远低于后者，比较适合于宽带多媒体系统。双线性次插值原理是根据在图像空域坐标附近的4个邻点的灰度值，在水平和垂直两个方向上根据插值点与相邻点的距离确定相应的权值，并计算出插值点的灰度值，插值公式描述为：

（9）

式中p，q∈（0，1），f（i，j）表示图像在坐标（i，j）的像素灰度值。

在本文实验仿真中，选用某段视频流的6帧QCIF图像（分辨率为176×144）来重建1帧CIF图像（分辨率为352×288），图7显示是采用基于多帧插值的超分辨率重建技术的恢复图像效果。通过对比图中的细节可以看出，恢复出的CIF图像效果明显好于QCIF图像，其中在CIF图像中人物左手侧的英文字母已经可以辨识出“oni”，而在原始QCIF图像中是非常模糊无法辨识的。

4 结束语

在宽带多媒体集群系统中，由于信道噪声干扰和传输带宽等因素的限制，通常难以满足用户对现场图像的高分辨率、高清晰度和实时性要求。为了解决这一问题，本文建立了宽带多媒体系统中的图像退化与复原模型，然后详细介绍了几种图像增强与恢复技术，并通过比较典型算法的实验性能来选取适合于宽带集群系统的图像处理算法。实验效果表明：在不增加传输带宽的情况下，所采用的图像增强和恢复算法有效提高了图像质量和分辨率，对于改善图像感知与识别性能，进一步提升宽带多媒体集群系统的图像处理能力具有参考价值和指导意义。

参考文献：

[1] 冈萨雷斯，伍兹. 数字图像处理[M]. 阮秋琦，阮宇智，译. 3版. 北京： 电子工业出版社， 2011.

[2] 尼克松，阿瓜多. 特征提取与图像处理[M]. 李实英，杨高波，译. 2版. 北京： 电子工业出版社， 2010.

[3] Yu Wing Tai， Ping Tan， Michael S Brown. Richardson-Lucy Deblurring for Scenes under a Projective Motion Path[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011， 33（8）： 1603-1618.

[4] 明文华，孔晓冬，屈磊，等. 运动模糊图像恢复方法研究[J]. 计算机工程， 2004（7）： 133-135.

[5] X S Zhang， J Jiang， S L Peng. Commutability of blur and affine warping in Super-Resolution with aplication to joint estimation of triple-coupled variables[J]. IEEE Transactions on Image Processing， 2012， 21（4）： 1796-1808.endprint

（6）

式中gi，j为滤除噪声后的图像灰度值，ηi，j为滤除的噪声灰度值。若假设图像退化函数H（u，v）已知，只需要估计出退化图像信噪比就可恢复出原始图像。图4显示的是运动模糊图像经过维纳滤波法恢复出的图像，可以看出该算法的恢复效果还是比较理想的。

然而在实际系统中，图像的点扩散函数和模糊函数往往都是未知的，因此运动模糊图像恢复的关键就在于模糊函数参数的准确估计。假设原图像中运动方向与x轴正方向成θ角，令x0和y0分别为x和y方向上的位移，曝光时间为T，则退化函数表达式为：

（7）

其中，Ω。由于H（u，v）

在（90°+θ）方向存在暗线，即零值，因此模糊图像的傅里叶频谱中会存在明显的平行暗线，如图5所示。通过提取频谱暗条纹方向和间距，就可以准确检测出退化图像的模糊参数，从而得到退化函数[4]。

3.3 超分辨率重建

在图像传输过程中，由于传输带宽有限，通常难以实时传输高分辨率图像信号。以帧率为25fps的视频编码为例，H.264和SVAC编码的码率列表如表2所示，分辨率每提高一个档次，传输所需要带宽将增大2～5倍。在大多数情况下人们都希望获得分辨率高、画面清晰的图像，分辨率低的图像往往不能达到要求，因此可以在系统接收端使用超分辨率重建技术来提高图像的分辨率。

根据式（1）图像退化模型，可得出去模糊化的低分辨率图像和高分辨率图像的离散关系表达式为[5]：

gk=DMkf+ηk，k≤p （8）

其中，p为图像序列帧数，gk表示高分辨率图像f的第k帧观察到的低分辨率图像，矩阵D和Mk分别为下采样矩阵和第k帧运动矢量矩阵。根据式（8）要求解出高分辨率图像f，就需要确定矩阵D、Mk和ηk噪声。基于多帧插值的超分辨率重建方法分为两个步骤（见图6）：首先根据各帧图像之间的相对运动信息并进行图像配置，从而获得高分辨率图像在非均匀间距采样点上的像素值；然后通过非均匀插值得到高分辨率图像栅格上的像素值，并进行消噪平滑得到高分辨率图像。在宽带多媒体系统的接收端，可以根据视频压缩编码信息中提取帧间运动信息，这将大大降低超分辨率重建的计算复杂度。

图像插值[5]是通过插值增加单位面积内的像素个数来提高分辨率，插值算法性能直接影响超分辨率图像处理的结果。常用差值方法有最近邻域值、双线性插值、双三次插值，其中双线性插值算法虽然性能比双三次插值稍差，但计算量远低于后者，比较适合于宽带多媒体系统。双线性次插值原理是根据在图像空域坐标附近的4个邻点的灰度值，在水平和垂直两个方向上根据插值点与相邻点的距离确定相应的权值，并计算出插值点的灰度值，插值公式描述为：

（9）

式中p，q∈（0，1），f（i，j）表示图像在坐标（i，j）的像素灰度值。

在本文实验仿真中，选用某段视频流的6帧QCIF图像（分辨率为176×144）来重建1帧CIF图像（分辨率为352×288），图7显示是采用基于多帧插值的超分辨率重建技术的恢复图像效果。通过对比图中的细节可以看出，恢复出的CIF图像效果明显好于QCIF图像，其中在CIF图像中人物左手侧的英文字母已经可以辨识出“oni”，而在原始QCIF图像中是非常模糊无法辨识的。

4 结束语

在宽带多媒体集群系统中，由于信道噪声干扰和传输带宽等因素的限制，通常难以满足用户对现场图像的高分辨率、高清晰度和实时性要求。为了解决这一问题，本文建立了宽带多媒体系统中的图像退化与复原模型，然后详细介绍了几种图像增强与恢复技术，并通过比较典型算法的实验性能来选取适合于宽带集群系统的图像处理算法。实验效果表明：在不增加传输带宽的情况下，所采用的图像增强和恢复算法有效提高了图像质量和分辨率，对于改善图像感知与识别性能，进一步提升宽带多媒体集群系统的图像处理能力具有参考价值和指导意义。

参考文献：

[1] 冈萨雷斯，伍兹. 数字图像处理[M]. 阮秋琦，阮宇智，译. 3版. 北京： 电子工业出版社， 2011.

[2] 尼克松，阿瓜多. 特征提取与图像处理[M]. 李实英，杨高波，译. 2版. 北京： 电子工业出版社， 2010.

[3] Yu Wing Tai， Ping Tan， Michael S Brown. Richardson-Lucy Deblurring for Scenes under a Projective Motion Path[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011， 33（8）： 1603-1618.

[4] 明文华，孔晓冬，屈磊，等. 运动模糊图像恢复方法研究[J]. 计算机工程， 2004（7）： 133-135.

[5] X S Zhang， J Jiang， S L Peng. Commutability of blur and affine warping in Super-Resolution with aplication to joint estimation of triple-coupled variables[J]. IEEE Transactions on Image Processing， 2012， 21（4）： 1796-1808.endprint

（6）

式中gi，j为滤除噪声后的图像灰度值，ηi，j为滤除的噪声灰度值。若假设图像退化函数H（u，v）已知，只需要估计出退化图像信噪比就可恢复出原始图像。图4显示的是运动模糊图像经过维纳滤波法恢复出的图像，可以看出该算法的恢复效果还是比较理想的。

然而在实际系统中，图像的点扩散函数和模糊函数往往都是未知的，因此运动模糊图像恢复的关键就在于模糊函数参数的准确估计。假设原图像中运动方向与x轴正方向成θ角，令x0和y0分别为x和y方向上的位移，曝光时间为T，则退化函数表达式为：

（7）

其中，Ω。由于H（u，v）

在（90°+θ）方向存在暗线，即零值，因此模糊图像的傅里叶频谱中会存在明显的平行暗线，如图5所示。通过提取频谱暗条纹方向和间距，就可以准确检测出退化图像的模糊参数，从而得到退化函数[4]。

3.3 超分辨率重建

在图像传输过程中，由于传输带宽有限，通常难以实时传输高分辨率图像信号。以帧率为25fps的视频编码为例，H.264和SVAC编码的码率列表如表2所示，分辨率每提高一个档次，传输所需要带宽将增大2～5倍。在大多数情况下人们都希望获得分辨率高、画面清晰的图像，分辨率低的图像往往不能达到要求，因此可以在系统接收端使用超分辨率重建技术来提高图像的分辨率。

根据式（1）图像退化模型，可得出去模糊化的低分辨率图像和高分辨率图像的离散关系表达式为[5]：

gk=DMkf+ηk，k≤p （8）

其中，p为图像序列帧数，gk表示高分辨率图像f的第k帧观察到的低分辨率图像，矩阵D和Mk分别为下采样矩阵和第k帧运动矢量矩阵。根据式（8）要求解出高分辨率图像f，就需要确定矩阵D、Mk和ηk噪声。基于多帧插值的超分辨率重建方法分为两个步骤（见图6）：首先根据各帧图像之间的相对运动信息并进行图像配置，从而获得高分辨率图像在非均匀间距采样点上的像素值；然后通过非均匀插值得到高分辨率图像栅格上的像素值，并进行消噪平滑得到高分辨率图像。在宽带多媒体系统的接收端，可以根据视频压缩编码信息中提取帧间运动信息，这将大大降低超分辨率重建的计算复杂度。

图像插值[5]是通过插值增加单位面积内的像素个数来提高分辨率，插值算法性能直接影响超分辨率图像处理的结果。常用差值方法有最近邻域值、双线性插值、双三次插值，其中双线性插值算法虽然性能比双三次插值稍差，但计算量远低于后者，比较适合于宽带多媒体系统。双线性次插值原理是根据在图像空域坐标附近的4个邻点的灰度值，在水平和垂直两个方向上根据插值点与相邻点的距离确定相应的权值，并计算出插值点的灰度值，插值公式描述为：

（9）

式中p，q∈（0，1），f（i，j）表示图像在坐标（i，j）的像素灰度值。

在本文实验仿真中，选用某段视频流的6帧QCIF图像（分辨率为176×144）来重建1帧CIF图像（分辨率为352×288），图7显示是采用基于多帧插值的超分辨率重建技术的恢复图像效果。通过对比图中的细节可以看出，恢复出的CIF图像效果明显好于QCIF图像，其中在CIF图像中人物左手侧的英文字母已经可以辨识出“oni”，而在原始QCIF图像中是非常模糊无法辨识的。

4 结束语

在宽带多媒体集群系统中，由于信道噪声干扰和传输带宽等因素的限制，通常难以满足用户对现场图像的高分辨率、高清晰度和实时性要求。为了解决这一问题，本文建立了宽带多媒体系统中的图像退化与复原模型，然后详细介绍了几种图像增强与恢复技术，并通过比较典型算法的实验性能来选取适合于宽带集群系统的图像处理算法。实验效果表明：在不增加传输带宽的情况下，所采用的图像增强和恢复算法有效提高了图像质量和分辨率，对于改善图像感知与识别性能，进一步提升宽带多媒体集群系统的图像处理能力具有参考价值和指导意义。

参考文献：

[1] 冈萨雷斯，伍兹. 数字图像处理[M]. 阮秋琦，阮宇智，译. 3版. 北京： 电子工业出版社， 2011.

[2] 尼克松，阿瓜多. 特征提取与图像处理[M]. 李实英，杨高波，译. 2版. 北京： 电子工业出版社， 2010.

[3] Yu Wing Tai， Ping Tan， Michael S Brown. Richardson-Lucy Deblurring for Scenes under a Projective Motion Path[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011， 33（8）： 1603-1618.

[4] 明文华，孔晓冬，屈磊，等. 运动模糊图像恢复方法研究[J]. 计算机工程， 2004（7）： 133-135.

[5] X S Zhang， J Jiang， S L Peng. Commutability of blur and affine warping in Super-Resolution with aplication to joint estimation of triple-coupled variables[J]. IEEE Transactions on Image Processing， 2012， 21（4）： 1796-1808.endprint