一种高清视频低延时远程传输方法

蒋礼根，郝学元，颜晓红

(南京邮电大学 电子科学与工程学院，江苏 南京 210003)

一种高清视频低延时远程传输方法

蒋礼根，郝学元，颜晓红

(南京邮电大学 电子科学与工程学院，江苏 南京 210003)

针对远程高清视频传输延迟问题，提出了一种改进的DCT系数量化方法。此方法通过一个自适应取样函数对DCT压缩量化系数进行了分块取样，再对DCT系数重构量化后以百兆以太网的IP包进行实时压缩传输，且接收端通过IDCT变换进行解压，并加入均值为零的噪声处理，解决了图像压缩的块效应问题，从而实现远程实时传输高清视频，满足了民用中对高清视频远程实时传输的要求。关键词: 低时延；块效应；DCT系数量化；以太网

DVI和HDMI都是数字化视频接口技术。以分辨率2 048×1 152的高清视频流为例，红绿蓝3种颜色构成1个像素且每种颜色采用8 bit量化，每秒播放60帧，则1 s的数据量将达到约23 Gbyte以上[1]，因此数字化视频接口协议标准规定其传输距离很短。要实现长距离传输，必须通过光纤网络接口才能做到无损实时传输[2]，这样成本很高。而通过普通百兆网络传输，又存在延时大，视频清晰度不高的问题，不满足实时监控的场景，特别是在电力，空管监控场合要求视频发送到接收的延时时间在100 ms内，而普通的压缩传输方法的延迟时间远大于100 ms。针对此问题，提出一种改进的DCT系数量化方法，此算法先对高频视频流压缩处理，通过一个自适应取样函数对DCT压缩量化系数进行了分块取样，对DCT系数重构量化矩阵后以百兆以太网的IP包传输且接收端解压并加入均值为零的噪声处理，测试结果表明，此方法有效去除了视频量化过程中的块效应问题，最终生成的数据流能满足低延时高清传输的要求。

1 系统整体方案设计

此系统设计对视频流进行实时压缩到百兆内进行远程实时传输。此系统设计的流程是先将服务器输出的视频流进行实时压缩与重编，之后再将信号封装为IP包格式，通过百兆以太网远程实时传输视频流信号。接收端通过解压缩，然后将其送到显示器显示。系统功能模块如图1所示。

图1 系统模块

2 二维整数DCT算法

绝大多数图像的高频分量较小，并且人的视觉对高频信息丢失引起的图像失真并不是很敏锐，通过DCT变换能使得图像中分布较为均匀的能量向中低频部分聚集，即使大部分能量集中于较少数的DCT系数上，因此传输后接收端在解压时，只要将集中在中低频区的能量进行反变换，即可重构出原始图像的主要部分。但由DCT变换公式[3]知，DCT浮点数的运算量极大，这与所要求的低时延性、低复杂度相矛盾，并且在接收端解码浮点数运算带来精度问题。所以此系统采取二维整数DCT变换作为本帧内压缩算法。

实现一次二维DCT变换可以看作是实现两次一维DCT变换，其中先按行进行一维DCT变换，再按列进行一维DCT变换，则二维DCT变换可用矩阵[4]表示为

Y=CXCT

(1)

其中：X为像素值；C为DCT变换矩阵。

在二维DCT变换中，为了减少计算量和降低复杂度使得矩阵C元素全部调整为整数，并将比例因子矩阵放到量化过程中，从而实现了变换和量化同时进行，使其编码速度大大提高。则经过推导得二维整数DCT变换矩阵和变换矩阵Cint[5]分别为

(2)

(3)

其中：E表示比例因子。在此压缩算法中，先把图像划分成多个4×4的像素块，再分别对像素块进行二维整数DCT变换。

通过整数DCT变换算法，可以很有效地避免IDCT变换时浮点运算带来的精度误差，这误差会造成解码后的数据失配，从而引起漂移，并且把运算大大化简为加法、减法及移位运算。进一步避免了除法运算，极大地降低了运算量和复杂度，即满足了低复杂度压缩算法的设计要求，为此系统远程传输视频的低时延性提供了基础。

3 改进的DCT系数量化算法

3.1 图像失真原因

采用整数DCT变换的压缩算法， 接收端重构图像的失真是主要由整数DCT变换系数的量化过程引起的，经典的整数DCT变换系数量化过程和重构过程[6]为

FQ(u,v)=round(FD(u,v)/Q(u,v))

(4)

FR(u,v)=FQ(u,v)Q(u,v)

(5)

其中：FD(u,v)为量化前整数DCT变换系数；FQ(u,v)为量化后整数DCT变换系数；FR(u,v)为重构整数DCT变换系数；Q(u,v)为量化过程的量化步长，round(*)为四舍五入函数。

则整数DCT变换系数量化误差为

ρ(u,v)=FR(u,v)-FD(u,v)

(6)

采用整数DCT变换时，由于图像中所有的像素块(4×4)是相互独立量化的，以致于邻块之间的量化误差互不相关。所以对于邻块间的边界像素，若邻块之间量化误差连续性不强，则使原始光滑的纹理在邻块间边界上发生较大波动，即会产生块效应。

考虑到远程视频百兆网络信道带宽的限制，本地DCT系数中高频分量须进行压缩处理，所以在接收端接收量化误差越小的像素块反变换后就与本地此像素块越接近，反之，图像远程传输失真很严重。

3.2 改进的DCT变换系数量化算法

现在已有很多可以降低方块效应的算法，比如文献[6]虽然对块效应产生的根本原因进行理论分析及论证，且提出一种迭代计算降低块效应的具体算法，但是此算法并不能很好地适用于实际应用工程中，主要原因是此算法复杂度与像素块元素数呈指数形式增长，这与此系统所要求的低时延性相违背；可编程循环去块滤波算法[7]通过重构图像后对图像进行去块滤波来减少块效应，但是因为原始图像信息的丢失，此算法并不能很好地消除图像的块效应，特别是图像的真实细节处。

图2 量化前像素块1与邻块分布

(7)

其中：ρ1(u,v)，ρ2(u,v)，ρ3(u,v)，ρ4(u,v)，ρ5(u,v)为各像素块的量化误差；α为可调系数。

具体算法过程如下：

1)采用整数DCT变换且压缩DCT系数；

2)采用边缘检测算法[8]检测出整幅重构图像内容的边缘；

3)在重构图像内容的边缘中，在边缘的块效应处计算当前像素块(4×4)及其他像素块的量化误差且根据式(7)确定取样矩阵的n值大小(即取样矩阵非0值的个数多少)；

4)通过取样矩阵的n值把DCT系数划分为2个区域(左上角和右下角区域)，重新调整左上角区域量化方法的量化公式为

(8)

(9)

所以每个DCT系数就会有2种可能的量化值，这样可组成2n个互不相同的量化系数矩阵，对每个量化系数矩阵重构FR′(u,v)，且更新计算4条边的边界误差，当4条边界误差平方和最小时，量化矩阵值为整数DCT变换的量化值，即

(10)

5)对所有重构图像内容边缘中的像素块重复步骤3)和4)；

6)接收方对之前压缩的DCT系数采用人为加入期望为0的噪声处理。

经过大量实验表明，虽然大大降低了块效应，但同时经过整数IDCT变换可导致图像的信噪比稍微下降，究其原因，整数DCT变换属于酉变换，其拥有能量守恒的性质。所以衡量两者对图像主观质量上的影响，加上由于F(0,0)、F(1,0)、F(0,1)、F(2,0)、F(0,2)的DCT系数的量化过程对块效应影响很大，为了满足本系统高清视频远程传输的要求，所以适当选取n值不小于5。

3.3 重构图像比较与分析

图3 重构图像块效应大小比较

此系统对标准视频流序列News，Foreman采用帧内模式编码且使用H.264视频编码器，量化步长取10～20。根据块效应测度算法[9]，分别测量采用改进量化算法和未采用改进量化算法的块效应。图3中取α=0.9，重构图像块效应大小由图3可以看出，改进量化算法可以有效地减少块效应，特别是当量化步长较大时，改进的量化算法可以得到很好的体现。

图4 视频的第10帧重构图像比较

图4中取α=0.75且量化步长为20时视频中的第10帧重构图像。其中，图4a是未采用改进量化算法的重构图像，即通过直接压缩损失高频信息，所以重构图像效果最差；图4b是采用此改进量化算法的重构图像，并且通过加入零均值噪声解决图像失真问题，大大改善重构图像效果；图4c是采用文献[6]的量化误差迭代算法降低块效应重构图像；图4d是采用文献[7]的可编程循环去块滤波算法重构图像。经比较，从人肉眼隐约地观察出图4a的效果最差，但是从图5可以肉眼详细地看出此改进量化算法效果好。

图5 视频的第10帧重构图像局部放大比较

图5分别为图4的各个重构图像的局部放大比较。可以通过肉眼清楚地看出此改进的量化算法具有很好的效果。采用本文提出的方法可以大大降低块效应，使视频的主观质量大大改善。

4 硬件仿真与测试

图6 重量化压缩算法数据输出与解压缩算法数据输出(截图)

将矩阵Y做反变换得到X体现了此整数变换没有偏移的特性。由图6数据输出可知压缩仅需6个时钟周期，解压仅需7个时钟周期，若在1 s之内压缩、解压2 048×1 152@60 Hz的图像，则每秒处理26.542×106个4×4像素块，再考虑FPGA高速处理的并行能力，理论上完全可以满足在1 s内完成2 048×1 152@60 Hz图像压缩和解压缩。

图8 实验初步测试效果

图7 实验初步测试结构图

实验初步测试结构图如图7所示，主机(显示器的下方)上的视频流分辨率设置为1 920×1 080@60 Hz，其压缩比约为6∶1时，画面清晰流畅且具有高达约36 dB的峰值信噪比效果如图8所示，且其带宽为1 920×1 080×60×1.344×3=501.645 312 MHz，采用DVI接口传输到host(发送方)上，再将其压缩后以百兆网线向client(接收方)发送IP包，最后在client(接收方)接收后解析出视频流信息后且经过DVI接口发送给显示器显示。实验测试效果不仅满足低时延性，而且也满足高清晰视频传输，极大地满足了民用高清视频远程实时传输的要求，而目前市场上绝大部分同类产品无法满足低时延性，用户体验效果较差。

5 结论

针对远程高清视频传输延迟问题，提出一种改进的DCT系数量化方法且接收端通过IDCT变换进行解压，并加入均值为零的噪声处理。该方法不仅可大大降低视频的块效应且不能模糊图像的真实细节，极大地改善了视频的主观质量，还解决了高清视频流远程传输实时性问题。并且对算法模块进行了仿真及实物验证，在远程视频实时传输通信中具有实用性。

[1] 王哲，颜晓红，郝学元. 一种延长DVI高清视频传输距离的方法[J]. 电视技术，2014，38(11)：134-146.

[2] SCHLEPPLE N，NISHIGAKI M，UEMURA H，et al. Optoelectronic high-speed HDMI cable with compact optical sub-assembly and 4×3.4 Gbit/s plastic optical fibre link[J]. Electronics letters，2012，48(25)：1611 - 1613.

[3] YU S， SWARTZIANDER E E. DCT implementation with distributed arithmetic[J]. IEEE transactions on computers，2001，50(50)：985-991.

[4] 李清扬，伍瑞卿，樊丰. H.264整数DCT变换与量化系统实现[J]. 电视技术，2006，30(8)：29-32.

[5] 韦长江，郝鹏威，石青云. 基于整型DCT变换的图象编码研究[J]. 中国图象图形学报， 2002，7(3)：287-291.

[6] 王晓玉，杨付正，万帅. 有效降低方块效应的DCT系数量化方法[J]. 中国图象图形学报， 2011，16(2)：197-201.

[7] JANHUNEN J，JAASKELAINEN P，HANNUKSELA J， et al. Programmable in-loop deblock filter processor for video decoders[C]// Proc. 2014 IEEE Workshop on Signal Processing Systems (SiPS). [S.l.]：IEEE， 2014：1-6.

[8] LINDEBERG T. Edge detection and ridge detection with automatic scale selection[C]//Proc. 1996 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. [S.l.]：IEEE，1996：465-470.

[9] 杨付正，常义林，万帅. 基于块编码视频的无参考质量评估[J]. 电子与信息学报，2006(4)：728-731.

蒋礼根(1990— )，硕士生，主研究图像与通信；

郝学元(1976— )，高级工程师，主要研究方向为图像与通信；

颜晓红(1963— )，博士生导师，主要研究方向为物理电子学。

责任编辑：闫雯雯

Method to solve low latency and remote transmission of high-definition video

JIANG Ligen， HAO Xueyuan， YAN Xiaohong

(CollegeofElectronicScienceandEngineering，NanjingUniversityofPostsandTelecommunications，Nanjing210003，China)

To solve the problem of real-time and remote transportation of high-definition video， an improved method of combining DCT coefficient quantization is proposed in this paper. This method is to block DCT coefficient of compression quantitative by an adaptive sampling function， to reconstruct the DCT coefficients quantification matrix and high-definition video is transmissed by 100 Mbit/s Ethernet in real-time compression and transmission， data of the receiver is transformed by IDCT and adding zero-mean noise processing to solve the blocking problem of image compression in order to solve the problem of real-time and remote transportation of high definition video and meet the demand of civilian.

low latency； blocking artifact； DCT coefficient quantization； Ethernet

蒋礼根，郝学元，颜晓红. 一种高清视频低延时远程传输方法[J].电视技术，2017，41(2)：93-97. JIANG L G， HAO X Y， YAN X H. Method to solve low latency and remote transmission of high-definition video[J]. Video engineering，2017，41(2)：93-97.

TN919.3

A

10.16280/j.videoe.2017.02.019

国家自然科学基金项目(11374162)

2016-02-23