视频通信领域的图像处理技术

谭 峰

（大连新闻传媒集团技术中心，辽宁 大连 116021）

0 引言

随着互联网的发展，视频通信技术日益成熟，融合了语音、图像、数据多种信息，实现了音视频的同步传输。视频通信应用于视频会议、远程教学等领域，丰富了人们的交流方式。然而，视频通信质量容易受到网络状态及图像处理技术限制的影响。在视频通信过程中，图像信息传输占主要地位，图像处理技术直接关乎通信质量。目前，视频通信图像存在划块、模糊等问题，制约了视频通信的应用。因此，开展视频通信领域的图像处理技术研究，对于提高图像传输质量意义重大。

1 图像处理技术概述

1.1 模拟图像处理技术

模拟图像处理技术是基于光学原理和电子原理对模拟图像进行处理的技术。模拟图像主要指电视图像等活动图像。模拟图像处理的核心设备是模拟图像处理器，按照一定算法对输入的模拟图像信号进行处理，经过放大、滤波、检波等处理后输出优化的模拟图像信号。模拟图像处理的特点是处理速度快，可以实现实时处理。其使用光子并行处理的特性，处理速度可以达到光速，满足对活动图像处理的实时性要求[1]。模拟图像处理具有灵活性差、精确度低的特点。其处理精度取决于电子器件的性能，一般可以达到视频信号本身的精度，但对图像的处理判断能力和非线性处理能力较弱，难以实现复杂的图像分析处理。总体来看，模拟图像处理技术适用于对活动图像的实时处理，特别是电视系统中的图像处理，但在图像分析处理方面较为薄弱。当前，模拟图像处理技术已逐渐被数字图像处理技术所取代，但在需要实时处理的场合仍有应用。

1.2 数字图像处理技术

数字图像处理技术是利用计算机对数字图像进行处理的技术，也称为计算机图像处理。其基本过程是将模拟图像信号采集并转换为数字形式，然后在计算机内部对数字图像数据进行各种算法处理，经过处理后的数字图像再转换为模拟图像输出。数字图像处理的特点是处理精度高。它可以实现复杂的非线性处理，并具有强大的分析判断能力。与模拟图像处理不同，数字图像处理可以根据软件进行自由编程，更加灵活。另外，数字图像处理技术提高了图像处理的自动化程度，可减少人工干预。但是数字图像处理也存在处理速度较慢的缺点，难以对活动图像做到实时处理。数字图像的处理与存储都需要消耗较大计算资源，对计算机硬件的性能提出了更高要求。数字图像处理技术也受限于图像采集与转换中信息丢失的影响，但它在图像分析、图像复原等方面表现突出。未来随着计算机技术的进步，数字图像处理技术会得到进一步提升与发展。

2 视频通信中的图像处理技术

2.1 图像压缩技术

视频通信过程中，为实现图像高效传输，需要对图像进行压缩处理。图像压缩可大幅缩减图像数据量，减少存储空间及传输负荷。图像压缩技术在视频通信中应用广泛，其基本原理是消除图像中的冗余信息，提取最关键特征，再对特征数据进行编码。当前图像压缩比较成熟的技术主要有向量量化、分形编码及小波变换等。例如，分形编码利用迭代函数系统对图像进行分解与重建，可取得较高的压缩比；基于小波变换的压缩技术则可以有效保留图像边缘等重要细节特征。为获得更优效果，可将不同技术进行组合与改进。

2.2 图像恢复技术

2.2.1 凸集投影法

凸集投影法是一种用于图像恢复的数学方法。该方法将高质量原始图像看作希尔伯特空间中的一个向量，图像压缩和传输过程会导致向量发生变化，图像质量降低。为恢复图像，可以先在希尔伯特空间内建立多个封闭凸集S1,S2,…，将原始图像向量约束在其中，然后计算出与各凸集相对应的投影算子P1,P2,…。常用的约束凸集有量化限制凸集和平滑限制凸集等。接下来，可以选择恢复图像的初始估计，并通过迭代使用投影算子对其进行处理，逐步收敛至恢复结果[2]。该方法能有效消除图像块效应，保持边缘细节。例如，在量化限制凸集约束下，采用离散余弦变换（Discrete Cosine Transformation，DCT）和量化间隔控制，在平滑限制凸集约束下，可以抑制高频噪声，平滑图像。经过约10 次迭代，图像就能基本恢复。凸集投影法数学规整，计算量不大，可获得较好恢复效果。

2.2.2 贝叶斯方法

贝叶斯方法是一种概率统计方法，可应用于图像恢复处理。该方法将图像处理看作随机过程，运用贝叶斯规则估计后验概率分布。具体而言，设原始高质量图像为X，低质量受损图像为Y，根据贝叶斯公式有P(X|Y)=P(Y|X)P(X)/P(Y)。其中，P(Y|X)表示从原图像生成受损图像的条件概率，反映图像退化过程；P(X)为原图像的先验概率分布。求解使后验概率P(X|Y)最大化的X，就是恢复结果。在模型上，通常采用马尔可夫随机场建模，以表征图像局部与全局特性，如Gibbs 随机场就可用于描述图像的平滑特性。该方法通过全面分析图像特性，结合退化过程建模，能有效恢复高质量图像，但计算复杂度较高，需设计高效算法。当前研究可通过采样、稀疏表示及先验模型学习等方法进行优化，以提升贝叶斯图像恢复效果。

2.3 图像增强技术

2.3.1 环路滤波技术

环路滤波技术是视频通信领域常用的图像增强方法之一，通过在编码端和解码端采用对称的环路滤波器结构，可以有效消除因压缩编码引起的图像块效应，提高图像质量。具体来说，在视频编码端，常使用国际标准中的环路滤波器，如H.263 标准中的环路滤波器或MPEG-4 中的去块滤波器。这类滤波器能够保证滤波前后图像信号能量不变，避免引入模糊或锯齿等失真。编码端环路滤波可显著抑制图像中像素块状分布，提升图像可压缩性，一般可将压缩后的峰值信噪比提高0.5 ～1.5 dB。而在解码端，采用与编码端对称的环路滤波器，可以恢复图像细节，重构边缘轮廓，有效减少压缩编码导致的模糊感，增强图像质量。相比直接对解码图像进行滤波，环路滤波可更好地保持图像质量。环路滤波计算量较小，结构简单，可方便硬件实现，从而进行实时图像增强处理。当前，环路滤波技术已在视频会议和视频通话等系统中广泛应用，对图像效果提升具有显著效果。

2.3.2 后续滤波技术

后续滤波技术是视频通信领域的另一种常用图像增强方法。不同于环路滤波需要在编码端进行对应配置，后续滤波完全在解码端进行，仅基于解码图像信号特征来设计滤波器。其主要目的是消除由视频压缩编码引入的块效应。具体来说，块效应在频域主要表现为高频噪声，进行全局低通滤波虽可消除块状误差，但也会模糊图像细节。为解决这一问题，后续滤波技术往往采用自适应滤波，根据图像不同区域设计不同滤波器，以保留细节。例如，可先采用离散余弦变换将图像转到频域，再利用Walsh 变换得到4×4 块状结构，然后根据块内容自动分割平坦区、纹理区和边缘区，最后对不同区域分别滤波。这样可在消除块效应的同时最大限度地保留边缘细节。后续滤波无须修改编码器，仅添加解码端处理模块，易于部署。当前，多种国际标准均采用后续滤波技术。它也已在视频会议系统中广泛应用。

2.4 图像数字化处理技术

图像数字化处理是将模拟图像信号采集并转换成数字形式进行处理的技术，在视频通信系统中有重要应用。数字图像处理可利用数字信号处理器（Digital Signal Process，DSP）或现场可编程门阵列（Field Programmable Gate Array，FPGA）等硬件进行并行计算，实现复杂算法。例如，在视频采集端，可使用图像传感器获得模拟信号，再通过模数转换器（Analog to Digital Converter，ADC）量化成数字信号；经过数字滤波、增强等处理后，再通过数模转换器（Digital to Analog Converter，DAC）还原为模拟视频信号进行显示。另外，在视频解码端也需将模拟信号数字化，才能进行各种图像恢复、去噪等处理。相比模拟信号处理，数字图像处理可实现更复杂的算法，提高图像质量。

3 视频通信中的图像压缩技术的改进

3.1 视频压缩算法

为降低视频通信的带宽需求，视频压缩编码技术必不可少。目前，国际上较成熟的视频压缩标准主要有MPEG-4 和H.263。其中，MPEG-4 标准采用基于内容的编码技术，可实现较高的压缩率，压缩效果优异。MPEG-4 标准不仅可应用于窄带和宽带环境，还支持多种先进功能，如提高编码效率、支持多路复用传输、内容可扩展性等。其核心思想是基于视频对象（视频图像及音频等元素）进行编码，以提取语义信息。具体来说，MPEG-4 标准利用基于分形理论的模型进行面部特征提取，以参数化面部和身体运动，显著减少数据冗余度。另外还使用视觉感知模型移除视觉冗余，只保留关键信息。MPEG-4 使用基于小波变换的方法实现时域与频域信息整合编码。这些技术确保在低比特率下也能提供高质量压缩视频。

3.2 MPEG-4 可扩缩算法

MPEG-4 作为先进的视频压缩标准，具有良好的可扩缩性是其重要特征之一。MPEG-4 标准可扩缩算法的目的是让视频码流能够适应不同的网络带宽、解码能力等条件的变化。其实现的关键在于视频压缩器要具有可变的复杂度级别，并可以只传输解码端所需的部分码流。具体来说，MPEG-4 标准采用了层级编码结构，包含一个基本层和多个可选的增强层。基本层通过低复杂度压缩编码保证输出视频的基本质量和重要功能，提供最低限度的可视性。增强层则使用更复杂的编码工具改进视频质量，提供更好的分辨率、更高的帧率及更低的噪声等。在解码端，可以仅选择解码基本层，来适应有限的计算资源或网络带宽。资源允许时，则可以附加解码一些增强层，以提升视觉效果。这样就可以平滑地调节解码复杂度，实现可扩展性。MPEG-4 编码器的可扩缩结构如图1 所示。

图1 扩展编码器结构

MPEG-4 标准还定义了多种编解码工具以支持不同类型的可扩展性，比如信噪比（Signal-to-Noise Ratio，SNR）可扩缩性、时域可扩展性和空域可扩展性等[3]。例如，时域可扩展性通过改变帧率来适应可用带宽，空域可扩展性则通过改变分辨率进行扩展。综合运用这些工具，可以实现视频质量随比特率平滑提升的可扩缩性。

3.3 MPEG-4 可扩缩算法的改进

MPEG-4 中的可扩缩框架，特别是FGS（Fine Granularity Scalability）算法，实现了良好的比特率可伸缩性。但是FGS 算法存在运动补偿效果不佳、编码效率偏低等问题。其中，运动补偿问题是由于FGS 只使用基本层重构帧进行运动估计所致，可通过在运动预测中加入增强层信息进行改进。具体来说，可以增加一个直接使用原始视频序列的参考链路，对每一帧视频生成高质量重构图像，并作为运动预测的参考，然后进行精细的运动补偿，改进方式如图2 所示。

图2 MPEG-4 可扩缩编码改进

这种方法能明显提升FGS 编码的运动补偿效果。针对FGS 编码效率偏低问题，可通过优化扫描方式、调整比特分配方案等进行改进。例如，改进后的算法可先编码低频系数，再编码高频系数，这与视觉系统的特性更加吻合[4]。FGS 算法则可以根据基本层和增强层的复杂度动态调整比特分配。这些改进方法既提升了FGS 算法的编码效率，也改善了图像质量，更适合视频通信场景[5]。

4 结语

视频通信技术的发展，改善了人们的音视频交流方式，但图像处理仍是提升通信质量的关键。针对视频通信领域的图像处理技术进行研究，对于进一步提高图像传输质量意义重大。通过分析视频通信中的图像压缩、恢复、增强和数字化处理等核心技术，可以找出现有方法的不足，并提出针对性的改进方案。这将有助于消除图像的模糊、块效应等问题，使视频通信图像更清晰流畅。如果这些图像处理技术能够取得进一步改进，必将大幅提升视频通信的效果，丰富人们的交流方式。