基于DSP+ARM的音视频同步压缩存储实时传输系统设计

闫亚玲， 李 博， 孟祥飞

(中北大学 仪器科学与动态测试教育部重点实验室， 太原 030051)

0 引 言

现代人对高清音视频的需求与日俱增，业内对音视频处理方法的研究也从未停止。目前音视频的处理基本都是以ARM, DSP, FPGA为核心，本文结合了DSP+ARM芯片，同时又通过FPGA芯片实现视频的输入输出，同时利用3种芯片实现音视频的采集压缩存储传输，使得处理速度大大加快，对音视频质量的损耗大大降低。该系统采用H.264/AVC压缩方法[1]，目前音视频的压缩同步方法以分开压缩后进行同步处理为主，其实H.264/AVC也是可以压缩音频的，如果使用H.264/AVC对音视频文件进行同步压缩，对压缩之后的混合文件进行存储和传输可以大大减少工作量，免除压缩传输之后的同步工作，且同步压率也较高于异步压缩，对音视频质量的影响也更少，故该系统选择基于H.264/AVC的DCT系数奇偶性音视频同步压缩方法进行压缩[2]，在进行H.264/AVC压缩中将音频信息隐藏在DCT变换系数中，因为在DCT变换的中频段稍加修改对视频的质量不会有太大影响[3]，所以选择中频段进行嵌入，压缩完成的混合文件一方面通过RTP协议传输至目的IP进行解码观看[4]；另一方面解码后分出音频信息通过SATA口写入外接硬盘进行存储[5]。

1 系统设计

该系统在DSP+ARM开发板上完成设计，以CCD摄像头作为视频采集外设设备[6]，3.5 mm的麦克风作为语音采集设备。系统的核心处理器TMS320DM6467T可实现多路H.264/AVC的编码与解码，故该系统采用以H.264/AVC为基础的DCT系数音视频同步压缩方法，同步压缩后的音视频文件一方面通过板卡的以太网口传输至目的IP进行实时播放；另一方面通过板卡的SATA口存储至移动硬盘中。系统流程如图1所示。

图1 系统图

1.1 硬件电路

为提高音视频的处理效率，选用DSP+ARM的双核处理芯片设计该系统。其中DSP的TMS320DM6467T 芯片实现H.264/AVC的音视频压缩，ARM11实现外围电路[6]。DM6467T具有2个独立的VICP视频编码协处理单元，很大程度上提高编码实现的效率;达芬奇系列处理器提供了比较大的字节寻址空间，代码和数据可以放置在任何未定义的地址空间，片上有两EMIF，其中一个EMIF直接与DDR2相连，NAND FLASH映射到CS2空间，但CS2作为子卡接口时，子卡使能管要拉高。

硬件电路的工作流程如图2所示，视频的输入输出单元采用FPGA实现各类接口的的切换。芯片采用Xlinx公司V4的FPGA，DM6467T的两个VP口经过FPGA后，通过模式选择寄存器可灵活与各类输入与输出模式相连[7]，完成各类不同视频模式的兼容。该系统选择的是CVBS输入，由CCD摄像头采集，tvp5150芯片解析,通过ADV7343输出至LCD显示器上显示未经压缩的视频；音频选择3.5 mm的麦克风采集，AIC32芯片解析，连接器采用RCA方式;音视频的压缩通过系统核心处理单元TMS320DN6467T处理器完成。系统硬盘接口实现SATA模式，由ARC772-A进行ATA到SATA的转换。

图2 硬件电路图

1.2 软件系统设计

相较于于Linux的操作复杂与难移植，Windows操作系统具有更好的兼容性、可操作性与移植性[4]，所以选用Windows操作系统作为软件系统的开发平台，在ccs3.3中进行软件编程[6]，通过XDS560PLUS仿真器实现操作机与目标板相连[5]。系统的设计包括音频采集、视频采集、视频播放、音视频压缩、音视频存储五部分[8]，如图3所示。

图3 软件框图

(1) 音视频采集。 音频信号通过MIC进入板卡，通过TI立体声编解码芯片TLA320AIC32及周边电路对输入的音频模拟信号进行采样，转为二进制比特位数字信号等待以I2S格式进入DM6467T执行同步压缩处理，处理完毕后再通过编解码芯片把数字信号转换成模拟信号进行播放[5]。AIC32编解码接口如图4所示。音频信息的采集设备选用Takstar的PCM-5560麦克风，该设备灵敏度高可达到-42 dB±3 dB；使用电压为1.5 V，通过板卡可提供；等效噪声级为S22dB(IEC581-5)，采集声音效果良好。

图4 AIC编解码过程

采集到的音频文件一方面进入DSP等待混合压缩；另一方面通过TVL320AIC32提供的立体声输出连接器上连接音响设备，实现音频采集的播放功能，显示未经压缩的原质音频信息。

视频信息通过CCD摄像头采集，采集到的BT.656格式的视频数据通过TVP5150驱动芯片及周边电路解码成数字信号，通过板卡的VPIF视频接口以I2C格式进入缓存区等待进一步的视频处理。视频采集过程如图5所示。① 初始化采集设备，实现视频解码器TVP5150使能，完成TVP5150芯片的设置；② 完成视频采集设置，选择视频采集格式，设置VPIF控制，配置控制寄存器CH0 CTRL；③ 配置存储空间，在DDR中分配两个存储空间，用于存放采集到的视频信息；④ 开始视频采集，采集过程中对采集图像进行判断，确保图像完成1帧1帧采集，避免丢帧跳帧现象。

图5 视频采集流程

采集到的视频一方面进入DSP等待压缩处理；另一方面通过VPIF输出，经过FPGA后,选择开关连接到ADV7343处理后在于摄像头相连的LCD显示器上显示出未经压缩的原始视频图像[4]。

(2) 音视频同步压缩。 由于H.264/AVC有更好的网络适配性和更大的视频压缩率[9]，受到广大的应用和视频实时通信等各应用领域的共同认可，并随之发展为成为了最主要的视频压缩标准[10]。

该系统采用的是效果更好的基于DCT变换系数的音视频同步处理方法，音视频信息进行同步采集，采集到的音频信息通过AIC32芯片转换成二进制比特流进入DSP等待处理，采集到的视频信息进入DSP进行H.264/AVC压缩处理的帧间预测编码、DCT变换、量化处理，量化之后将音频信号隐藏在DCT变换的系数中进行重排序、熵编码生成音视频混合文件[2]。具体实现过程如图6所示：① 通过System process配置好DSP和ARM的连接；② 通过H264 process设置压缩过程的动态参数,H264APP_create设置视频分辨率、帧率、比特率，H264APP_encode进行采样；③ Mpeg 4 process调整图像质量，初始化图像质量后若初始图像为0则提高图像质量两个等级，若数据量过大图像质量良好，调整为最大值31，若前后对比后前对比大于等于3，取平均，若图像质量好数据量过大，调整图像质量，降低2个等级，若图像质量差数据量少，图像质量增加2个等级；④ DCT process进行音视频同步调整图像质量得到量化后的DCT系数g_u32Qlevel，同时通过fseek()和fread()读取出音频比特流；通过H264DCT_encode将音频比特流嵌入到DCT系数中，形成音视频混合文件。

(3) 实时网络传输。 DM6467T整合了GMII/MII EMAC，板卡上使用PHY芯片为VSC8641,通过板卡的以太网接口根据RTP协议进行传输[11]。传输过程中需要将板卡和接收机由路由器为媒介通过网线连接[12]，将接收机的IP设置为与板卡IP为同一网段[13]，配置好vlc脚本文件，就可实现网络实时传输[14]。具体实现过程如图7实时网络传输流程所示。

先通过rtp_init对pcb进行初始化，由rtp_inout读入经DSP处理后的PHY芯片寄存器的音视频混合文件。ARM核在接收到编码完成的数据后，先创建时间戳函数TSC()，加进时间戳的文件UDPCtrl由init()、bind()和socket()函数完成数据打包处理，最后利用RTP sendH264()函数将编码完成的数据通过网络传输至目的IP，传输之后的音视频文件在目的IP解码分出音频信号，实现在接收端音视频的同步播放。

(4) 外接硬盘存储。 SATA接口连接器位于板卡的背面，是一个连接硬盘的SATA接口，DSP处理之后的文件运用ARM可通过SATA接口存储到外接硬盘。具体存储流程如图8所示DSP压缩完成之后，会发出DSP_CMD_H264_STREAM命令，之后再ARM中解码分出音频流[15]，通过DATA_SECTION创建写栈程缓存区，利用write_videofile和write_audiofile将视频文件和音频文件输入缓存区，进而写入外接硬盘中。

图8 存储流程

2 结果分析

设计的系统经过测试完全可以实现音视频的采集压缩存储传输功能，且采集的音视频通过高达150的压缩比压缩后音视频质量仍可达到720P，存储速度快，传输实时性好，有很大的实用价值。实验运行结果如图9所示。

图9 实验结果展示

未经压缩的音视频文件会在外接音箱和LCD显示屏上显示，压缩后的音视频文件经传输至目的IP后在PC机上观看。通过采集3 min 720P的音视频文件进行实验，压缩前数据量为55 987 MB，压缩后数据量为341MB,计算得出压缩比可达164，通过与分开压缩音视频对比采用音视频同步压缩之后的音频信息压缩比提高10%。如图10所示为实验结果对比，LCD显示的未压缩图像与经过压缩的图像对比视频质量保存完好，对未经压缩的音频信息与经过同步压缩之后分出的音频信息进行处理，测出两者的时域信号，根据信号波形图显示，音频信息几乎无失真。采用网络传输进行实时传输，每秒可传输50帧，虽有些延迟但不影响观看且实验音视频同步观看，通过SATA接口传输至外接硬盘的音视频传输速度较快，传输之后音视频质量完好，同步效果良好[11]。

图10 实验结果对比

3 结 论

系统经过测试，完全实现音视频的同步采集压缩存储实时传输同步观看功能，可推广至视频教学、视频会议等多媒体行业使用。该系统设计有以下优点。

(1) 音视频压缩比高，压缩比可达160以上；

(2) 音视频质量较高，可达720P分辨率，满足人们对音视频质量的要求；

(3) 采用直接写入外接硬盘的方式，方便对文件的提取，有很大的便利性；

(4) 传输实时性好，基本解决延迟问题，这点很适用于视频会议；

(5) 音视频同步性良好，从根源上解决音视频不同步的问题，带给人们更大的音视觉享受。