王 艳
(公安部第一研究所,北京 100048)
在山区或经济不发达等地区,无线基站和网络转发设备未及时更新换代,应急指挥和安装部署的现场环境异常恶劣,无线网络的上行和下行通道的带宽较窄,在现有无线网络中传输音视频数据常常会出现马赛克、卡顿和视频拥塞等现象。因此,无线移动监控系统亟需解决在低带宽情况下实现高清码流的实时传输和流畅播放的问题。音视频播放不流畅的主要原因是无线网络通道常受到多径效应、终端数量多等环境因素的影响,数据传输易导致高误码率、传输延迟和抖动。在低带宽的无线通道中传输实时音视频是否能够达到流畅播放的效果,是衡量无线移动监控系统传输性能的重要指标。
OMAP4460 是专门为便携式低功耗应用而设计的新一代开放式多媒体应用平台,广泛应用于智能手机、GPS 系统和移动终端等设备[1]。由于OMAP4460 的I/O 管脚大多为1.8 V,与同性能的双核芯片相比OMAP4460 具有功耗低的优势。OMAP4460 采用45 nm CMOS 工艺制作芯片,可实现最高级别的处理器性能,是业界同性能芯片中小体积的芯片。因此,OMAP4460 适合作为低功耗、小体积的无线传输嵌入式设备的平台。
根据易隐蔽、功耗低和便携性强的应用需求,本文提出基于OMAP4460 双核芯片研制小型便携式音视频采集设备,研究压缩传输和流媒体服务器技术,解决低带宽实际应用中码流的中断、延迟和阻塞等问题,实现无线网络信道的音视频流畅播放。
OMAP4460 采集设备处理音视频信号并对其编码后,通过无线路由器或手机透传将码流实时传输到后台系统。码流传输采用控制流和媒体流交换分离的机制,控制流由后台音视频监控系统的Web 服务器集中管理,媒体流是通过网络的处理交换以分布式的形式分发至媒体服务器。这种设计机制避免了处理媒体流的性能压力而造成系统瓶颈,可支持多种采集设备的接入和扩展。其码流的传输框架如图1 所示。
图1 采集设备的无线传输框架
OMAP4460 是TI 公司推出架构先进的双核嵌入式处理器。其CPU 主频为1.5 GHz,GPU 主频为400 MHz,具有较强的运算能力和较高的控制能力[2]。该芯片具有两个基于对称多处理SMP 架构的低功耗、高性能的ARM Cortex-A9 MP Core 处理器,双通道LPDDR2 内存控制器和Power VR SG540图形核心。IVA3 多媒体加速器可在低功耗级别下提供高性能硬编解码器,提供灵活的可编程DSP,支持全高清的1 080p多标准的音视频编解码。根据设备活动、操作模式和设备温度采用SmartReflex2 技术对电压、功率和频率等进行动态控制[3]。OMAP4460 芯片的接口框图如图2 所示。
图2 OMAP4460 芯片及其外围接口
OMAP4460 设备以音视频编解码芯片OMAP4460 为主处理器来实现音视频编码。硬件设计以编码芯片为核心[4],由音视频编码模块、电源管理模块、WiFi 通信模块、TF 卡存储模块和外围接口模块构成,充分利用OMAP4460 的高速处理能力,兼顾系统稳定性和可靠性,如图3 所示。
OMAP4460 通过MIP CSI1/CSI2 或并行MIPI 接入两路视频,支持200 万、300 万和500 万像素的摄像头模块[5]。媒体处理子系统ISS 采集SL2 接口的原始视频数据,通过SIMCOP、ISP 和BTE 将数据处理成指定格式。TWL6041 音频芯片通过PDM 接口与OMAP4460 传输音频数据,ABE 引擎中的AE 子系统完成采样转换、滤波等操作。WG7500 芯片支持WiFi/BT/FM/GSM 数据通信,通过MMC 接口进行通信。电源模块支持5 V 供电模式,整体功耗小于1 W。5 V 电源接入后LDO 进行配电,由TPS6532 转换供其他芯片和管脚使用。
无线通道容量随基站与移动终端间距离变化波动,由于多径频道干扰、阴影噪声扰动等因素影响,造成无线信道高误码率[6]。无线网络带宽受到限制,数据发送速率无法适应网络带宽的波动。突发性丢包和过长延迟对播放质量有较大的影响。因此,低带宽下高效传输实时高清媒体流是无线传输的关键技术。针对这一问题,本文设计低带宽媒体流传输控制机制,基于流媒体的RTP/RTCP 协议弥补了TCP 不足,实现端到端的实时传输和差错控制,提供拥塞控制、流量控制、时间信息和流同步等功能完成音视频播放服务。
为实现低带宽下无线网络实时传输高清音视频,有效降低媒体流的码率而不影响播放效果是低带宽传输的关键。码率控制分为编码处理和接收反馈两部分。编码处理可进行帧级和宏块级控制[7]。固定比特控制CBR 由复杂度估计、解码缓冲和网络带宽动态调整QP 值输出码率。可变比特控制VBR 由视频源和运动快慢等调节比特率。假设B 为双向预测,P 为前向预测,I 为帧内预测,优化帧间量化值的算法公式为
图3 硬件电路的正反面设计
根据无线信道的带宽变化的速度修改值,根据以下改进的公式进行调整
无线信道带宽的变化影响QP 值,改进QP 值的计算公式为
QP 值由I 帧和P 帧进行编码,根据传输延迟合理调整量化值的控制参数,调整参数的策略如下:
由网络带宽合理计算量化值,设计音频播放线程和视频播放线程,减少了传输延迟和数据丢包的现象。其流程框图见图4。
图4 算法的实现流程图
在应急事件和边远山区的无线网络环境中,长时间测试研制的 OMAP4460 设备的实时播放性能和稳定性。OMAP4460 设备的音视频传输流程:
1)OMAP4460 设备采集音视频,编码后实时传输至转发设备。
2)转发设备24 h 不间断工作,实时存储和转发接收到的音视频码流,并将码流以低码率传输机制分别转发给后台服务器和手机监控端。
3)服务器接收并解码OMAP4460 设备采集的媒体流,在PC 端进行实时播放,同时手机对接收的媒体流进行解码并实时播放码流。
在不同的网络环境下,分别测试研制的OMAP4460 设备的媒体传输和无线网络的适应能力,见表1。
表1 研制的OMAP4460 设备在无线网络环境下的测试结果
在上行带宽和下行带宽共20 Mbit/s 的无线网络环境中测试该设备,得出媒体流实时播放流畅,分辨率可达720×576,传输延时小于1 s。在恶劣的无线网络环境中,比如网络带宽小于512 kbit/s,基于海思Hi3512 芯片和TI 的DM365 芯片的网络摄像机和编码器实时传输音视频码流时,出现延迟大、卡顿、马赛克和播放不流畅等现象。而该设备采用低码率传输算法实时编解码媒体流,占用的带宽可降至2.4 kbit/s以下,有效降低了媒体流的码率,平均提高帧率3 ~4 f/s(帧/秒),提高了媒体流传输的质量和播放的流畅度,见表2 ~3。
表2 前期产品海思Hi3512 设备在无线网络环境下的测试结果
表3 前期产品TI DM365 设备在无线网络环境下的测试结果
研制的OMAP4460 设备实现了实时播放、本地存储、转发、录像、自动开关机、远程控制和设备配置等功能,具有视频监控设备的控制、播放和转发的性能,其音视频播放界面和控制界面如图5 所示。
图5 音视频播放界面和控制界面(截图)
本文采用OMAP4460 平台研制小型便携式无线音视频设备,设计低带宽数据传输算法提高媒体流在恶劣无线环境中的性能表现和适应性,充分发挥OMAP4460 高性能双核处理器的低功耗和小体积的硬件特性。研制的无线设备具有良好的便携性和伪装性能,具备功能稳定和成本低廉等优点,可广泛应用在应急事件和边远山区等作战现场。
[1]TI.Texas OMAP44xx application processor technical reference manual[EB/OL].[2015-07-12].http://www.ti.com/lit/ug/swpu235ab/swpu235ab.pdf.
[2]TI. Texas TVP5158 data manual[EB/OL].[2015-07-12].http://www.ti.com.
[3]TI. Texas TPS65930 integrated power management data manual[EB/OL].[2015-07-12].http://www.ti.com.
[4]张起贵,张胜,张刚. 最新DSP 技术:“达芬奇”系统、框架和组件[M].北京:国防工业出版社,2010.
[5]Texas Instruments Inc.Davinci mulimedia application interface[EB/OL].[2015-07-12].http://processors.wiki.ti.com/index.php/Davinci_Multimedia_Application_Interface.
[6]LIU Yakun,CHENG Xiaodong.Design and implementation of embedded Web server based on arm and Linux[C]//Proc.2010 2nd Internatioanal Conference on Industrial Mechatronics and Automation.Wuhan:IEEE Press,2010:410-416.
[7]KUANG Shunming,HE Xiaojian.Design and application of CMOS device driver based on S3C2440[C]//Proc.the Tenth International Conference on Electronic Measurement & Instruments.[S.l.]:IEEE Press,2011:113-119.