应用于P2P网络串流的实时监控系统

胡伟俊

(丽水学院工学院，浙江 丽水323000)

近几年，随着个人计算机的运算能力与网络技术的迅速发展，网络电视、网络游戏与实时转播等网络应用程序得到了越来越多的应用，随着编码技术的成熟，目前多基于网络串流视频技术来实现。随着网络应用程序用户的增加，传统客户端—服务器架构已经无法满足大量使用者同时实时收看影音串流的需求。另外，传统的架构必须花费大量代价来进行所需要的带宽和服务设施建设(如编码服务器、影音串流服务器及网络服务器)。这种相对较高的带宽和媒体服务器部署的巨大成本，对大量服务的用户的流媒体直播服务供货商是一个严峻的挑战。

为了解决这个问题，点对点(Peer-to-Peer，P2P)传输架构的新技术开始被用于实时影音串流系统中，以克服上述提到的诸多问题［1］。这种点对点的实时影音串流利用用户的网络带宽以及运算能力，来有效地分担串流服务系统的负担，以达到使网络容纳更多的用户，同时降低网络带宽以及服务设备成本的目的［2］。在这样的点对点网络中，主要的思想与模式是:用户在网络中共享彼此的媒体文件，而不是仅仅从服务器上下载文件，即每一位使用者既是一个客户端，也是一个服务器。这种模式通过共享加载的流媒体服务器，降低了所需的带宽，为使用者提供服务［3］。目前，有许多网络上的P2P流媒体如PPLive、PPStream、悠视网等。然而，基于点对点的实时影音串流技术的网络存在动态的特性，用户可以随意加入或离开网络，使得网络中的用户数目实时变化［4］。在该模式下，对于网络进行实时监控来跟踪点对点网络中用户的网络状况、收看质量以及系统状态来评估系统的效能，是非常重要的一项研究内容，并且成为近年来的一个研究热点［5-7］。本文分析了点对点串流实时监控系统的需求，指出跟踪监控的3类主要方法，即网络级别的监控，被动的应用程序级别的监控和主动应用程序级别的监控。提出了一种用于P2P网络串流的主动应用程序级的实时监控系统的架构，分析了系统的各个主要组成部分与功能。

1 P2P直播系统监控

图1给出了3G平台移动视频直播网络模型。在该模型下，目前已有很多对于P2P网络流媒体直播系统进行监控的研究。在这些监控方法中，主要有3种类型的跟踪监控方法:网络级别的监控，被动的应用程序级别的监控和主动应用程序级别的监控。

图1 3G平台移动视频直播网络模型

网络级监控的原理是:执行监控任务的监控代码到网络设备，如路由器、交换机和网关收集IP层的数据报监控信息。它可以进一步分为路由器和基于非路由器监控工作。监控的功能是内置到路由器并没有额外安装硬件或软件，SNMP(RFC1157)，RMON(RFC1757)和NetFlow(RFC3954)是在路由器监控的典型例子。

被动应用程序级别监控的原理是:通过收集应用程序级信息被动的方式，如嗅探，通过对比度实现网络级的跟踪，被动应用程序级的监控不需要网络基础设施的访问。

主动应用程序级别的监控原理是:系统收集关于目标P2P应用程序的活动，跟踪传播的代理，如“爬虫”，对数据流量和同行的伙伴关系作进一步的分析。本文讨论的就是主动应用程序级别的监控。

2 主动应用程序级别的P2P实时监控系统

所提出的主动应用程序级别的实时监控系统的体系结构如图2所示。主要组成部分有:日志服务器，日志缓冲区，日志分析器，监控代理和Web GUI接口。

图2 主动应用程序级别实时监控系统

流媒体服务器接收数据流源，如媒体编码器能够从数字摄像机、数字电视卡或摄像头获取视频/音频信号，然后进行编码，作为待处理的视频流信号。一个流媒体服务器如果具有足够大的带宽，来自流媒体服务器的种子用户上传的流媒体，就会共享分流到其他对等端。在实时监控系统中，Web GUI接口下提供以下信息的输出:

1)系统信息，即流媒体服务器使用的CPU/内存;

2)内容质量信息，即最终用户接收信息的质量;

3)通信信息，即流媒体服务器和最终用户上传/下载速度和数量。

数据库是一个可以访问的资源集合或存储库，是一个组织好的电子存储的数据检索信息。来自该系统的数据库中的数据还包括一些日志文件。这些日志数据存储到数据仓库ETL进行3步操作:1)在提取阶段，数据被分析、解析和进行格式转化;2)转换阶段是用一系列的规则对源数据转换，如数据清洗和数据聚合;3)加载阶段的最终目标是将数据加载到最终目标。

使用该系统能够进行实时监控，可以跟踪点对点网络中用户的网络状况等内容，主要包括设备信息与服务器信息。设备信息的主要内容包括:网络设备的基本信息，包含设备名称、该设备服务的终端设备数目、当前开放服务的数目、设备的IP地址、当前网络输入输出速率、设备当前服务的用户数目等;输入/输出流量速度，即实时监控系统提供不同的时间间隔的输入/输出流量速度;输入/输出流量，即输入/输出流量是在上一个时间间隔内设备的流量变化，其余还包括系统信息、设备信息、终端用户信息、P2P基本信息、P2P终端用户信息和客户—服务器基本信息与终端用户信息等。在服务器信息部分，主要信息包括服务器基本信息、流量速度、流量、终端用户信息、P2P基本信息、P2P终端用户信息、客户—服务器基本信息与终端用户信息等内容。

为了评价所构建系统的性能，特别设计了一个最终用户流量日志数据包发生器，建立从50到15 000个连接，并发送流量日志数据到实时监控服务器，来为监控服务器产生工作量。此外，选择在2台机器上进行实验，以得到更加全面的观察结果。这2台机器的硬件信息如表1所示。

表1 机器配置

首先，发送2 000流量日志(1 000记录一次)到监控服务器，在第5 s，最初的1 000日志包存放于日志缓存中，其他的1 000日志包在第5 s被接收到。在实验开始时间后约7 s，启动日志分析器，日志数量减少。服务器1需要1.45 s，服务器2需要2.1 s来处理日志。日志存储时间服务器1和服务器2采用的是1.25 s和1.95 s。统计在不同节点属下的数据聚集时间，得到的结果如表2所示。

表2 数据聚集的时间对比

3 结论

随着网络应用程序用户的增加，P2P传输架构的新技术开始被用于实时影音串流系统。然而，这样的网络存在动态的特性，每位用户既是一个客户端，也是一个服务器，用户可以随意加入以及离开点对点的网络，对于该网络进行实时监控来跟踪点对点网络中用户的网络状况、收看质量以及系统状态来评估系统的效能，是非常重要的一项研究内容。本文分析了应用于P2P网络串流的实时监控系统，指出跟踪监控的3类主要方法，即网络级别的监控、被动的应用程序级别的监控和主动应用程序级别的监控。最后，提出了主动应用程序级别的监控模式下监控系统的架构与组成，并进行了实验，分析了其监控性能。

［1］杨文涛，易志雄，刘卫忠，等.P2P网络流媒体播放系统研究［J］.电视技术，2005，29(6):66-68.

［2］HEI X，LIANG C，LIANG J，et al.A measurement study of a large-scale P2P IPTV system［J］.IEEE Trans.Multimedia，2007，9(8):1672-1687.

［3］MATHUR A，MATHUR A，ZHANG H.Measurement of commercial peer-to-peer live video streaming［EB/OL］.［2012-11-12］.http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.61.1906&rep=rep1&type=pdf.

［4］凌燕，蓝善祯，徐品，等.P2P流媒体系统关键技术概述［J］.电视技术，2012，36(3):58-61.

［5］SILVERSTON T，FOURMAUX O.Measuring P2P IPTV systems［EB/OL］.［2012-11-12］.http://rp.lip6.fr/site_npa/_publications/796-silverston-nossdav07.pdf.

［6］詹晓涛.CDN与P2P相结合的流媒体系统设计［J］.电视技术，2009，33(6):67-70.

［7］XIE S，KEUNG G Y，LI B.A measurement of a large-scale peer-to-peer live video streaming system［C］//Proc.ICPPW 2007.［S.l.］:IEEE Press，2007:153-162.