基于iOS平台的移动视频监控软件设计

肖远东,蔡声镇

(福建师范大学软件学院,福州350108)

基于iOS平台的移动视频监控软件设计

肖远东,蔡声镇

(福建师范大学软件学院,福州350108)

传统的远程视频监控系统所需软硬件资源大、视频传输协议和视频采集设备控制协议相互独立,系统传输带宽要求高、时延长、实时性不高。为解决这些问题,利用开放无线监控协议中的信息体结构,将视频信息传输、视频采集设备控制和其他信息融合在一个数据包中,并基于iOS移动操作系统和H.264视频编码标准,设计并实现一种集视频传输与控制于一体的移动视频监控软件。测试结果表明,该移动视频监控软件可有效提高移动视频监控系统的性能,具有控制响应速度快、传输带宽要求低、分辨率自适应以及实时视频播放流畅等特点。

移动视频监控;开放无线监控协议;H.264格式;iOS操作系统;FFmpeg编解码库;分辨率自适应

1 概述

在视频监控已广泛运用于各行各业的今天,随着移动网络带宽的提升和移动终端的普及,人们对传统视频监控的需求也悄然发生变化,移动视频监控迅速成为应用开发的热点。传统的视频监控多数采用实时传输协议(Real-time Transport Protocol, RTP)进行视频传输,并配合实时传输控制协议(Real-time Transport Control Protocol,RTCP)、实时流传输协议(Real-time Streaming Protocol,RTSP)进行视频数据质量控制[1-2]。这种架构的流媒体系统主要应用于大规模流媒体直播和点播等系统,需要专门的流媒体服务器支持,协议栈的逻辑实现较为复杂,因此支持RTP/RTSP客户端所需的软、硬件资源要求高、规模大,对于移动终端而言实现的难度很大[3]。此类视频点播系统虽然能得到较好的画质,但由于RTP/RTSP的附加信息多,流量开销大、带宽要求高[4-5],连接时需要进行多次握手,无形中增加了数据传输和解析的时延,降低了监控系统的实时性。此外,以上协议只对视频的播放、暂停等进行控制[6],而在远程视频监控系统中,通常需要对监控现场的视频采集设备进行控制,如摄像机视角的移动和焦距的调整等,对于这些非视频流的事务处理信息,一般需要单独进行控制指令交互的研发[7]。显然,上述实时传输协议不能适应软硬件资源相对较小的移动视频监控系统的需求。

针对以上问题,本文采用开放无线监控协议(Open Wireless Surveillance Protocol,OWSP)作为视频传输及控制信息的承载,基于iOS移动操作系统以及H.264视频编码标准[8],设计并实现一种能与多数现场主流监控设备对接的移动视频监控系统。

2 OWSP简介

实时视频监控系统与传统视频点播系统不同,它更加注重视频数据的实时性与可控制性。OWSP是针对远程视频监控设计的一种实时视频监控协议,能适应各类视频编码标准。其主要特点是附加信息的字节数少,可同时传输视频、音频和其他控制指令,而且支持用户定制的功能拓展,特别适合于注重实时性而对画质要求不高的远程视频监控系统。

2.1 OWSP数据包结构

OWSP基于可靠的TCP协议[9],每个数据包均有一个8 Byte的公共包头,其中,前4 Byte用于存储该数据包除这4 Byte以外的总长度(即length),另4 Byte用于描述该数据包在本次连接中的包序号。除公共包头外,每个数据包还具有一个或多个信息体,信息体中包含各类控制信息、设备参数和视频数据。每个信息体分为3个部分,即信息体编号(2 Byte)、信息体长度(2 Byte)和信息体内容。OWSP的数据包结构如图1所示。

图1 OWSP数据包结构

2.2 OWSP的主要特点

与传统的传输协议相比,OWSP的主要特点可体现在表1中。

OWSP仅用公共包头中的包序号和包长信息校验丢包和包信息的完整性,省略了大量的校验信息,其优势在于有效减少数据包的附加信息量;代价是削弱了数据完整性的校验能力,但对于移动视频监控系统而言,存在个别丢包或数据包不完整的现象,对重现图像效果影响不大。

OWSP特殊的信息体结构可方便地将包括控制指令在内的附加信息整合到数据包体中,对于多个现场设备的应用场合,可将相应的控制指令设计为不同编号的信息体,现场终端解析对应编号的信息体即可获得相应现场设备的控制指令。

表1 RTP/RTSP与OWSP对比

3 移动视频监控软件设计

3.1 软件架构设计

移动视频监控系统主要由视频采集端和移动客户端组成,两者通过Internet[10]建立通信链路。

视频采集端包括视频监控录像机和视频摄像机,其中视频监控录像机采用Linux内核,具有强大的二次开发功能,支持同时记录多路视频并对与之连接的摄像设备进行控制,通过其网络连接端口,可方便搭建连接服务,实现视频连接和设备控制管理。

移动客户端基于iOS移动终端开发,客户端通过移动网络或Wi-Fi网络接入Internet并连接视频监控录像机,实现设备信息或视频数据的交互。系统整体架构如图2所示,其中视频采集端软件由视频编码、数据切片和OWSP封装3个模块构成;移动客户端软件由数据缓冲、OWSP解析、视频解码和视频播放4个部分构成。

图2 移动视频监控系统架构

3.2 视频采集端软件简介

本文的视频采集端软件是在原视频监控录像机系统软件基础上进行二次开发。通过移植FFmpeg开源框架并采用H.264视频编码标准对监控视频进行编码。然后以帧为单位对编码后的视频数据进行切片,即一帧为一个数据切片。最后按照OWSP协议对切割好的视频数据进行封装,并提供给iOS移动终端调用。

3.3 移动客户端软件设计

2）建立新坐标系。根据计算的三角形边长，构建计算用三角形，其三角形顶点为M1、M2、M3，把M1点作为新坐标系的原点（0，0），M1及M2构成的边作为X轴，如图3所示，则这3个点在新坐标系下的坐标

3.3.1 软件架构设计

移动客户端软件安装于iPhone、iPad等移动终端上,使移动终端具备与视频采集端进行连接和实现监控的功能,该软件的架构如图3所示。

图3 客户端软件架构

图3 所示客户端软件分为UI、视频解码、数据解析与封装以及网络通信4个模块。其中,网络通信模块采用TCP协议,通过Internet与视频采集端连接,获取以OWSP协议封装的数据包。接着由数据解析/封装模块对接收到的数据包进行拆包和数据类型识别,并根据识别结果对不同信息采取不同的解析方式,获得H.264视频数据和设备参数等信息;同时,该模块也对UI模块下发的连接请求或控制操作指令进行OWSP封装,然后下发至网络通信模块等待发送。视频解码模块利用设备参数信息配置解码参数,再使用该参数对H.264视频数据进行解码并生成RGB数据。最后通过UI模块呈现至屏幕,完成监控视频的重现。UI模块还提供用户选择链接请求和设备控制操作输入。本设计的视频数据解码模块移植了FFmpeg至iOS操作系统作为解码内核,实现对H.264视频数据的解码。

本文客户端软件除了视频监控外,还具有监控设备控制、分辨率自适应、通道切换、连接自动检测等功能。限于篇幅,以下仅对移动客户端软件主程序进行介绍。

3.3.2 软件主程序设计

本文移动客户端软件的主程序流程如图4所示。与视频采集端的连接请求由移动客户端发起,当用户名及密码验证通过后,视频采集端则根据需求发送对应通道的视频数据;若验证失败则结束流程并提示连接失败。

图4 移动客户端软件的主程序流程

图4所示流程在实际应用中加入了iOS特有的Delegate机制[11],系统可自动检测网络状态,若网络无法连接或断开,则通知用户并释放系统资源。视频解码部分则加入SPS[12]探测技术,利用H.264数据中的SPS信息获得视频数据的真实分辨率,实现解码分辨率的自适应调整功能,可避免分辨率参数与实际分辨率不符而导致解码失败。

4 系统测试与分析

4.1 测试环境与方法

本文的测试环境由监控视频采集端和移动终端构成。其中采集端使用1台通用硬盘录像机及4台球形摄像机,硬盘录像机通过有线网络接入Internet或本地局域网;移动终端选用安装了本文客户端软件的iPhone4智能手机,并通过Wi-Fi或移动网络或本地无线局域网与视频采集端进行连接。测试在不同网络环境下,视频采集端至移动客户端之间的连接时间、视频播放流畅度、控制视频采集设备的响应时间。另外,还针对OWSP与RTSP协议进行传输及解码的时延对比测试。视频采集端所采集视频图像分辨率分别为352×288及174×144,帧率为25 f/s。

4.2 测试结果及分析

4.2.1 不同网络环境的系统响应测试

本测试使移动客户端分别通过Wi-Fi、联通3G、移动2G三种不同网络环境进行连接响应、播放流畅度、控制响应时间的测试,测试结果见表2,各类型网络测试视频画面如图5～图7所示。

表2 不同网络环境下系统测试结果

图5 Wi-Fi网络测试视频画面

图6 3G网络测试视频画面

图7 2G网络测试视频画面

4.2.2 不同传输协议的延时特性测试

使用无线路由搭建本地局域网,视频采集端采用有线方式接入局域网路由器,移动客户端通过无线网络方式接入本地局域网。分别使用RTSP及OWSP作为传输协议,统计真实环境与对应视频从采集开始到解码完成的时间差。所采集视频图像分辨率为352×288,帧率为25 f/s。由实验统计结果可以看出,同等情况下,OWSP的实时效果优于RTSP协议。测试结果如图8所示。

图8 2种协议延时对比

5 结束语

本文提出的移动视频监控客户端基于iOS操作系统研发,采用开放无线视频接入规范,通过移动网络进行数据交互,具有带宽要求低、连接快、延时少等特点。测试结果表明,即使在2G网络下亦可流畅播放监控视频,且具有较好的实时性。OWSP强大的可拓展性,还能为音频、控制、数字水印等功能的拓展提供支持。

[1] 樊 姗.基于RTP的H264视频传输技术的研究[D].济南:山东大学,2008.

[2] 徐鹏宇,许子灿.基于SIP协议的监视系统设计与实现[J].计算机工程,2013,39(11):289-294.

[3] 骥君子.浅谈HTTP Adaptive Streaming技术及其前景[J].世界宽带网络,2011,18(5).

[4] Schulzrinne H,Rao A,Lanphier R.Real Time Streaming Protocol[S].RFC 2326,1998.

[5] Schulzrinne H,Casncr S,Frederick R,et al.RTP: Atransport Protocol for Real-time Applications[S]. RFC 3550,2003.

[6] 褚 典,江春华,基于SIP、RTP/RTCP和RTSP协议的视频监控系统[J].计算机与现代化,2013(11): 139-142.

[7] 徐鹏宇,许子灿.基于SIP协议的监视系统设计与实现[J].计算机工程,2013,39(11):289-294.

[8] 毕厚杰.H.264/AVC视频编码标准的技术特点和评价[J].世界电信,2004,(9):34-36.

[9] 冯先成,李德骏.计算机网络及应用[M].武汉:华中科技大学出版社,2011.

[10] Wikipedia.Internet[EB/OL].[2014-03-16].http:// en.wikipedia.org/wiki/Internet.

[11] Apple.iOS Developer Library[EB/OL].[2014-03-16]. https://developer.apple.com/library/ios/navigation/ index.html.

[12] Grecos C,Yang Mingyuan.Fast Inter Mode Prediction for P Slices in the H264 Video Coding Standard[J]. IEEE Transactions on Broadcasting,2005,51(2): 256-263.

编辑 顾逸斐

Design of Mobile Video Surveillance Software Based on iOS Platform

XIAO Yuandong,CAI Shengzhen
(Faculty of Software,Fujian Normal University,Fuzhou 350108,China)

For large software and hardware resources required of traditional remote video surveillance system, independence between video transmission protocol and video capture device control protocol,high bandwidth requirements,large delay,and real-time differential,this paper uses Open Wireless Surveillance Protocol(OWSP)specific information structure,puts the video data transmission,device control,and other information in a packet,and based on the iOS mobile operating system and H.264 video standard,designs and implements a set of video transmission and control in one of the mobile video monitoring software.Test results show that this monitoring software effectively improves the performance of mobile video surveillance system with fast control response,low transmission bandwidth,adaptive resolution,and real-time video play smooth.

mobile video surveillance;Open Wireless Surveillance Protocol(OWSP);H.264 format;iOS operating system;FFmpeg codec library;adaptive resolution

肖远东,蔡声镇.基于iOS平台的移动视频监控软件设计[J].计算机工程,2015,41(2):268-271,277.

英文引用格式:Xiao Yuandong,Cai Shengzhen.Design of Mobile Video Surveillance Software Based on iOS Platform[J].Computer Engineering,2015,41(2):268-271,277.

1000-3428(2015)02-0268-04

:A

:TP393

10.3969/j.issn.1000-3428.2015.02.051

教育部基金资助重点项目(212087);福建省科技厅基金资助重大项目(2011H6009);福建高新技术开发计划基金资助重点项目(2012H0021)。

肖远东(1989-),男,硕士研究生,主研方向:移动平台,嵌入式系统;蔡声镇(通讯作者),教授。

2014-04-11

:2014-05-05E-mail:csz@fjnu.edu.cn