面向无线传输的实时视频压缩编码系统设计

2011-06-05 03:20陈晓曙
关键词:帧频数字视频码流

王 刚, 陈晓曙

(东南大学 移动通信国家重点实验室,江苏 南京 210096)

实时数字视频监控是安全防卫、交通管理等领域的重要应用技术,目前主要采用MPEG2或H.264数字视频编解码及有线宽带传输技术系统。由于时间、空间诸多因素所限,很多应用场景无法提供有效的有线传输网络支撑,而基于无线技术构建的传输网络具有布设灵活、建设维护经济等特点[1],成为有效的解决方案。但无线信道带宽相对较低,传输性能不稳定,易误码且丢包率高,因此要求应用的视频编码技术具有码率低且抗丢包性能高的特点,同时视频编码应具有实时性。

1 系统方案设计

目前视频监控系统通常所采用的H.264标准相比于早期技术,其编码效率已经大为提高,对于25FPS、704×576分辨率的D1图像压缩后可低于3Mb/s码流,若降低图像分辨率或帧频则可进一步降低码率。但H.264标准采用基于帧间预测和补偿的帧间编码技术[2-3],若在传输中某帧数据内发生错漏,会导致接收端因缺少与前帧相关的帧间信息而无法正确解码,出现明显的视频中断,并不适用于易产生包错漏的无线传输网络。

JPEG2000是联合图像专家组提出的新一代图像压缩标准,标准中同时包含了应用于运动图像压缩的 Motion-JPEG2000部分[4]。其基本原理是将视频中的各帧按序分别独立编码,解码时按序恢复即可得到原始的运动图像视频[5]。在编码时其与H.264标准的最大区别是没有采用帧间预测和补偿技术,而是采用了帧内编码技术,从而使得包错漏引起的解码差错被控制在当前帧内,即使在传输中某一帧出现了极为严重的包错漏,对下一帧的解码也不会产生任何影响[6]。

JPEG2000标准编码采用了离散小波变换作为核心算法,可在保持图像质量下获得高压缩比,在高达128的压缩比时,图像的PSNR仍然能保持在28左右[7],即有效实现低码流速率下的高图像质量。

另外JPEG2000标准是将数字视频各帧分别作为静止图像进行编码,所以可对数字视频进行抽帧编码,以此实现编码视频帧频的改变来进一步降低压缩后的码流速率。

JPEG2000标准还有个突出特点是支持渐进传输[8],当选择压缩码流为RLCP(分辨率等级—层次—分量—位置)渐进顺序时,码流中先出现的是低分辨率等级图像数据,当信道传输能力低时,可只提取这部分数据进行发送,此时在解码端恢复得到的是低分辨率格式图像。由于JPEG2000标准只支持图像分辨率在长宽维度上同时进行2的幂次方的渐进传输,如1/2、1/4等,不支持分辨率的连续渐进传输,以及在长或宽单个维度上的渐进传输,如D1格式(分辨率704×576)的视频无法通过这种渐进传输得到HALF D1(分辨率704×288)格式的压缩码流。对此,将视频数据流送入编码模块之前进行分辨率调整预处理,与JPEG2000编码模块的渐进传输协调配合使用,可实现灵活分辨率下渐进传输的实际应用功能。

综上所述,JPEG2000标准是非常适合于面向无线传输的数字视频编码系统技术设计路线。

2 实现系统设计

系统方案的一个实现系统设计如图1所示。模拟视频信号先经过视频解码器部分转换为BT.656/601格式的D1分辨率数字视频流输出,由图像调整控制功能部分完成所需图像分辨率调整,再送入压缩编码部分实现可控帧频及压缩比下的JPEG2000实时压缩编码。

图1 实现系统设计方案

2.1 图像调整控制部分

该部分设计采用TMS320DM6437(以下简称DM6437)实现,其是TI公司基于达芬奇技术DM643x系列DSP中的一款,CPU核心为TI的C64x+,相比于C64x核,增加了适合流媒体处理的指令,提升了DSP在流媒体方面的处理能力[9]。针对视频应用,DM6437片上集成了1个视频处理子系统,包括1个视频处理前端VPFE(Video Processing Front End,简称 VPFE)和1个视频处理后端VPBE(Video Processing Back End,简称VPBE)。

DM6437在视频处理前端中集成了1个尺寸调整(Resizer)硬件单元,通过寄存器配置即可完成输入视频数据在长、宽维度上从1/4倍到4倍的分辨率缩放,且可在2个维度上分别单独进行,因此可直接实现分辨率从D1格式到HALF D1、CIF、QIF等格式的调整。由于Resizer单元要求工作在实时变换的on-the-fly模式时,必须与外部采用标准BT.601格式的16-bit YCbCr 422接口相连,故系统选择了具有此接口的ADV7189视频编码器芯片支持设计。

DM6437的视频处理后端支持多种数字视频输出格式,可以根据需要采用对应接口与后续视频处理芯片相连,具有极强的灵活性。本系统中采用了8-bit YCbCr 422的输出接口模式将经过分辨率调整的数字视频码流送入JPEG2000压缩芯片ADV212。

另外,DM6437作为本系统的控制核心,除了具有前述的视频分辨率调整功能以外,还负责系统其他功能的调度,包括对于ADV212芯片固件加载的管理、压缩后码流的打包传输等。

2.2 压缩编码部分

该部分设计采用的是ADI公司推出的ADV212,视频和静止图像JPEG2000实时编解码单片解决方案,其内部结构示意图如图2所示,主要由视频像素接口、小波变换引擎、熵编解码器、嵌入式处理器、存储器系统和内部DMA引擎等组成[10]。内嵌的32位RISC处理器是整个芯片的控制者,具有独立的程序和数据存储器,只需在芯片开始工作前将设定好的固件程序导入,即可按照设计者的设置开始工作;芯片集成的基于ADI专利的空间高效递归滤波小波技术(SURF)的小波核,可以支持高达6层分解的9/7和5/3小波变换,并且内部还提供了3个专用的硬件熵编码器;DMA引擎则为芯片内部存储器之间、内部存储器和各个功能模块之间提供高速传输数据能力;视频像素接口支持包括PAL、NTSC在内的多种标准数字视频数据格式和用户自定义视频数据格式。单片ADV212即可完成不高于D1分辨率格式数字视频码流的实时压缩。

图2 ADV212内部结构示意图

由于本系统中进入ADV212的数字视频数据在DM6437中完成了分辨率的调整,已不是标准格式的数字视频,所以ADV212的视频像素接口必须配置为对应的用户自定义视频数据格式与DM6437的VPBE通信。接口采用具有独立行、场同步信号的8-bit YCbCr 422模式,如图1所示。以DM6437中实现D1至HALF D1分辨率的调整为例,其VPBE输出的数字视频数据格式为864×156@50Hz,其中有效像素的数据为704×144@50Hz,像素数据时钟频率VCLK为13.5MHz,对应的时序如图3所示,在ADV212中只需相应配置视频数据格式寄存器组即可实现与VPBE的无缝连接。

ADV212的编码压缩比控制是通过其内部的RCTYPE、RCVAL和LTARGET 3个寄存器的配置参数组合来完成的。同时ADV212提供了STALLPAR寄存器用来控制压缩时所跳过的视频帧数,即实现改变压缩视频帧频的功能,并且上述的压缩比及帧频控制可在配置寄存器完成后即时生效,无须重新加载固件,从而保证了视频编码的连续性和实时性。

图3 HALF D1分辨率视频数据时序图

2.3 码流输出通信接口

考虑到数字视频应用的普遍性,以及实现系统在基于IEEE802.11的无线MESH多跳传输网应用需要,通过在DM6437外围扩展1片以太网控制芯片DM9000的系统设计,充分利用DM6437自带的10/100M的以太MAC通信功能接口,结合TI提供的以太网NDK开发包,有效支持实现JPEG2000压缩码流通过以太网络以IP技术方式与各类无线传输系统或有线通信网络互联开发。

3 系统应用测试

应用场景为道路交通视频监控,支撑系统应用的传输网络为基于IEEE802.11的无线MESH多跳传输网,如图4所示,网络共由5个无线MESH路由器节点构成线状拓扑网络,沿道路一侧布设,每2个节点间距约为2km,所设计开发实时视频压缩系统位于首节点,基于PC的解码服务器位于末节点。经实际测试,经过4跳之后的首末2个节点端到端有效传输速率在2Mb/s以上,丢包率大约为8%。因为该网络还要负担其他道路交通信息业务的数据传输,所以要求压缩后的视频码流速率不超过1Mb/s。

图4 外场测试网络示意图

对于D1格式、25FPS的视频流,若按YCbCr 4∶2∶2格式进行8bit量化,其数据量为704×576×2×8×25=162.2Mb/s,考虑到压缩后的视觉效果,选择压缩比为100∶1,则压缩码流速率降为1.622Mb/s,此时仍不满足小于1Mb/s的要求。因此,在ADV212编码时配置为跳场数等于1,也即实现了帧频缩减1/2,由此码流速率减为0.8Mb/s。图5所示为D1格式视频原图与经100∶1压缩编码后在解码端的恢复图像。可以看到与原图相比,画面细节没有损失太多,并且在解码播放的过程中,没有出现画面中断情况,JPEG2000编码有效对抗了无线传输的丢包。

图6所示为CIF格式视频原图和经50∶1压缩编码后在解码端的恢复图像。

图5 D1格式视频压缩前后比较

图6 CIF格式视频压缩前后比较

在希望保持25FPS帧频以保证视频流畅度,同时压缩比不作进一步降低以保证视觉效果时,可以选择降低视频的分辨率,如从D1格式降为CIF格式,此时数据量为352×288×2×8×5=40.55Mb/s,只需将压缩比选择为50∶1,即可将压缩后的码流速率降至0.8Mb/s左右。

4 结束语

本文给出的实时视频压缩系统,由于采用基于帧内编码技术的JPEG2000标准视频压缩方案,避免了H.264等编码标准由于传输丢包带来帧间数据相关性丢失所引起的解码中断问题,同时输入视频数据的分辨率格式、帧频、压缩比能够实时灵活调整,从而可以有效降低压缩码流的速率,在面向无线传输的数字视频通信领域具有广泛的实际应用价值。

[1]Goldsmith A.无线通信[M].杨鸿文,李卫东,郭文彬,等译.北京:人民邮电出版社,2006:1-5.

[2]齐美彬,陈俊峰.基于C64x+内核的 H.264编码数据Cache优化[J].合肥工业大学学报:自然科学版,2011,34(4):501-505.

[3]毕厚杰,王 健.新一代视频压缩编码标准:H.264/AVC[M].北京:人民邮电出版社,2009:89-95.

[4]ISO/IEC JTC1/SC29/WG1.T.802-2005,Information technology,JPEG 2000image coding system:motion JPEG 2000[S].

[5]罗明凤,王淑珍,牟明朗.新一代视频压缩标准:Motion JPEG2000[J].大众科技,2010(12):57-58.

[6]张 恩.基于嵌入式的JPEG2000编解码系统的设计和实现[D].北京:北京邮电大学,2008.

[7]刘永征,刘学斌,胡炳樑,等.基于ADV212的JPEG2000静态 图 像 压 缩 系 统 设 计 [J].电 子 器 件,2009,32(3):504-508.

[8]李定川.JPEG 2000图像压缩标准及其关键算法的应用[J].影像技术,2010,22(4):26-31.

[9]李培平,杨进华,许新科.基于DSP的视频信号边缘提取算法实现[J].长春理工大学学报:自然科学版,2010,33(4):101-103.

[10]刘春风,王惠平,潘利明.基于ADV212的高清视频压缩系统设计[J].电子设计工程,2010,18(3):65-67.

猜你喜欢
帧频数字视频码流
用于高速碰撞过程拍摄的5万帧摄像系统设计
分布式码流实时监控与录制系统的设计与实现
数字电视TS码流协议简要分析
高职院校数字视频监控传输网络的思考与分析
唯快不破—从《双子杀手》看高帧频技术的前世今生
当代世界电影技术革新亮点:高帧频
浅谈视频文件帧频转换的一些方法及常见问题
数字视频矩阵平台与全数字视频监控系统整合方案研究
一种比较ASN.1码流差异的方法
基于ONVIF的高速公路异构数字视频联网监控