李星星
(国家知识产权局专利局专利审查协作四川中心,四川成都,610000)
随着网络技术的进步,人们对流媒体的质量和分发速度提出了更高的要求。而在流媒体分发领域,CDN和P2P是流媒体分发中最常用的两种技术。
(1)CDN概述
CDN最早由麻省理工学院的一个小组于 1996年提出,其提供了一种传送内容的新型体系结构[1-2]。随着多媒体技术的不断发展,图像、音频、视频服务所占的比重越来越大。传统的缓存技术只能存储静态HTML文件、图片等比较小的文件,而对交互性强和比较大的文件并不支持,因此迫切需要一种新的传输结构解决这一问题。CDN增强了C/S模式中服务器端的能力,是随着web体系结构中的缓存技术的发展而发展起来的,并在web体系结构中起着越来越重要的作用。和缓存类似,CDN也设立若干分支节点,尽量将用户请求的内容存储到距离用户只有“最后一公里”的边缘节点上,使得用户请求可以在本地进行,改善用户的访问效果,CDN的基本结构,如图1所示[3]。一个CDN通常包括边缘节点传输、内容路由、集中式内容分布和管理(负责内容在不同节点的同步和复制)等功能。具体功能模块包括:存储和传输节点:存储内容,并向终端用户提供内容;中心控制器:主动预定位内容,管理交易报告和计费;中心管理器:监视CDN中节点的性能以及网络流量;转向请求管理器:重定向用户请求到最近的可用存储节点;中心数据存储:对原始内容服务者的内容进行存储。中心数据存储器接受源站点(内容提供者)的数据(Push),并在中心控制器的指令下向其他CDN节点发送数据。
CDN技术最初用于Web服务。当用户向Web服务器发送请求时,利用DNS的重定向机制,将其重定向到离用户最近或负载最低的CDN服务器上,以加快响应速度和优化热点内容分布,达到平衡Web服务器负载和降低网络带宽消耗的目的。这一技术同样可以应用于网络流媒体服务。由于流媒体本身的特点,大量用户对热点文件的重复请求,使得网络中存在大量冗余数据,CDN服务器的处理能力和出口带宽就成为系统瓶颈;另外,CDN服务器部署和维护的高费用,也增加了服务提供商和客户的成本。当前相关研究主要从副本放置算法、内容路由、负载均衡和重定向机制等方面对CDN技术进行了改进,使得系统的服务性能和健壮性得到了提高。
图1 CDN基本结构图
(2)P2P概述
早在1998年就出现了利用P2P实现大规模流媒体应用的系统。P2P是对客户端能力的增强,可解决C/S架构下服务器性能及网络资源的瓶颈问题。与CDN不同,P2P内部所有节点的地位均等,节点之间不需要互联网路由器和网络基础设施的支持,成本低、易于部署。同时,P2P节点在下载文件时还上传给其他请求节点,扩大了用户组的规模,提高了系统效率。它打破了传统的C/S模式,网络中没有集中的服务器,每个节点(peer)既可作为服务器提供者,又可作为客户接受服务。它充分利用分布在不同位置上的普通用户终端资源,将计算或存储任务分布到所有节点来提供服务。通常P2P拓扑结构可以分为集中式、完全分布式非结构化,完全分布式结构化以及混合式四种结构、图2为混合式P2P系统结构图[4][5]。
图2 P2P基本结构图
由于P2P网络中没有中心控制服务器,节点随机进入和退出P2P网络,用户间的交互也随机发生,甚至会跨越多个骨干网而占用大量带宽。而且节点之间资源差别较大,这样会造成某个持有特定资源的节点在某个时刻的访问负载超载;或由于该节点突然退出,导致该资源的缺失。目前大量研究分别从文件访问控制机制、容错机制和节点激励机制角度,对P2P进行了改进,但仍不能有效降低主干网络流量,流媒体分发的启动速度仍然与种子节点的数量密切相关[6][7][8]。
随着流媒体业务量的激增,视频业务成为互联网应用最普遍的业务时,CDN将面临巨大的挑战。而大规模扩充带宽、内容存储容量和提高服务器能力等措施会增加开销和成本,也无法从根本上解决问题。另外,用户如果在边缘服务器没有命中所请求的内容,则该请求被调度到中心服务器上,并由中心服务器响应用户请求,此时内容分发的路径又不可避免的绕到骨干网上,将大大增加延时并严重影响用户的业务体验。P2P与CDN技术各有优缺点,并且某些方面是互补的,因此,将二者融合也成为很多研究团体的主要研究方向。
为了研究P2P和CDN混合组网领域专利技术的发展情况,使用其相关的关键词:“P2P”、“CDN”、“对等”、“peer to peer”、“内容分发网络”,在CNABS数据库、VEN数据库、SIPOABS数据库中进行检索。在此基础上,笔者主要对全球和国内专利申请状况的趋势以及国内专利重要申请人进行分析,从中得到相关的P2P与CDN混合组网的发展趋势。
如图3所示,P2P与CDN混合组网的相关专利在2005年之前,每年的申请量都不超过5件,而在2006-2011年之间专利申请量达到了高峰,说明在此阶段是P2P与CDN混合组网的研究高潮。2011年之后数据出现回落现象,虽然这与专利申请公开时间滞后有一定的关系,但是也已表明相关申请量呈现降低趋势。
在此基础上,笔者通过分别对P2P网络和CDN网络相关专利的申请进行分析发现,虽然P2P网络在1998年就已经提出,但在2004年之前有关P2P技术的专利申请依然很少,而自2005年起,P2P流媒体技术研究才成为热潮,之后相关申请量呈现一个快速增长状态。这也恰好与本文中P2P与CDN混合组网在2006-2011年之间申请量的快速增长相吻合。
图3 P2P与CDN混合组网全球历年专利申请量分布
本文对P2P与CDN混合组网技术领域的申请人分布进行了统计分析,如图4所示,为全球申请人排名前10的申请人的数量分布。由图4也可以看出,相关专利的申请主要集中在国内,且国内申请人以企业居多,其次是科研院所和高校。申请量排列前 10的申请人中,除了阿卡麦科技公司、微软和Interdigital patent holding外,其余都是国内申请人,其中,排名前3中的合一网络技术(北京)有限公司和乐视网信息技术(北京)股份有限公司的主要业务都是视频网站,而其申请量分别为:24件和16件。这也说明P2P与CDN混合组网技术的发展与国内互联网市场的繁荣有着直接关系。而国外申请人主要是由阿卡麦科技公司,申请量为22件。另外,中科院声学研究所虽然专长声学研究,但其在通信领域的技术也不容忽视。
图4 全球申请人申请量分布
P2P与CDN混合组网专利技术领域总体分支主要体现在H04L(数字信息的传输)和G06F(电数字数据处理)和H04N(图像通信)三个小类中,特别是H04L所占的比列高达58%,如图5所示。由此可以看出,P2P与CDN混合组网相关的技术创新主要集中在通信领域,这与近年来中国对于基础网络通信的大力发展有着密不可分的联系。
图5 P2P与CDN混合组网技术领域总体分布
图6 P2P与CDN混合组网中国历年专利申请量分布
由图6可知,国内有关P2P与CDN混合组网的专利申请最早出现在2006年,2006-2011年是其快速发展的一个阶段。之后,除了2015年出现申请量较大的情形外,总体呈现数据回落的趋势。笔者通过对2015年的数据分析,在2015年申请的专利中,合一网络技术(北京)有限公司所占的比重最大。在此基础上,笔者对该公司的专利申请量进行了分析,其在 2011-2016公开的与CDN和P2P相关的申请量共计29件,而2015年的专利申请量就占有10件。这可能是引起在2015年国内和全球有关P2P与CDN混合组网相关申请量有所回升的重要因素之一。
通过对检索出来的专利申请样本进行技术分支分析,发现其申请保护的主题主要涉及数据调度,数据缓存、架构部署及应用、安全四个方面。下面对各个分支下按照时间演进方向进行重点专利分析。
经过分析发现,数据调度包括数据路由和传输,以及流量控制等方面的技术研究。如图7所示,为了解决上行链路过载的问题,2006年的专利申请EP1987648A1提出根据内容列表对数据进行路由和传输,由对等方从目录服务接收包含内容可用性的内容列表,向内容服务请求内容,从与第二对等方相关联的第二个人网络存储区将所请求的内容下载到与请求对等方相关联的第一个人网络存储区,其中,第一和第二个人网络存储区以接入网内的服务器为主机,从而在对等方相关联的个人网络存储区之间执行下载服务。为了缓解CDN服务器的压力,专利CN100405773C提出首先初始用户端从服务端接收并播放内容分发网络系统的音视频数据,将音视频数据打包,并编号缓存;后续用户端对从服务端接收音视频数据的速度进行判断,若速度小于设定的阈值 N,则通过点对点内容分发系统中的检索服务器,获取正在接收并播放同样内容的多个用户端,并与其连接后按编号接收并播放音视频数据,并将音视频数据打包,并编号缓存。随着互联网流媒体的发展,人们对视频播放速度的要求越来越高,为了减少播放延迟,专利 CN101102312B提出客户端根据用户选定的频道确定对应的媒体服务器及该客户端在点对点系统中的父节点;该客户端根据父节点的相关信息确定本次数据处理的起始分片组标识,并向该媒体服务器发送请求该频道数据的消息,该消息中携带该起始分片组标识;该客户端接收该媒体服务器根据该起始分片组标识发送的该频道的数据,且接收各父节点发送的该频道的数据,从而可以减少选定频道的播放延迟,并且可以支持高画质视频文件的传输。CN101237429B在CDN服务节点中设置标准直播单元,用于向客户端提供流媒体数据;P2P直播单元,用于维护在线客户端的信息并响应对该信息的获取请求。CDN服务节点可以向客户端分发流媒体数据,同时还维护在线客户端信息,使得客户端不仅可以从CDN服务节点获取流媒体数据,还可以在获知在线客户端信息后从在线客户端获取流媒体数据,同时,具有流媒体数据的客户端还可以作为种子节点向除自身之外的
图7 数据调度技术演进路线图
其他客户端提供流媒体数据。EP2616951B1提出多层内容分发网络,CDN由一层边缘服务器(第一层)和一层父服务器(第二层)组成。一些或者全部的边缘服务器能够与一些或者全部的父服务器通信,边缘服务器被分成 n个边缘服务器组,父服务器被分成m个父服务器组。对于某些指定的内容,在高速缓存操作的填充侧中插入流行度检查,假定客户端的请求已被定向到边缘服务器,客户端向边缘服务器请求内容,边缘服务器检查以了解对象是否存在(在本地或者在对等体上),并且是最新的,来确定是否通过从对等体获得该对象。在边缘服务器和对等体都不能获得对象时,则根据流行度提供对象,如果对象未达到第一/最低水平的流行度,则将请求重定向到原始服务器(CDN原始高速缓存)中。CN102368776B在内容分发网络中设置优化功能模块,在内容分发网络的Cache网络层范围内通过对等缓存节点自身以及对等缓存节点之间链路的检测,获取与对等缓存节点可提供服务性能有关的信息和指标,根据这些信息与指标对可提供服务的对等缓存节点进行评估,选择优化过的节点为数据请求客户端服务,使得用户能可以从“最近最好”的服务节点上,快速访问到所需的内容,从而大大提高终端用户的访问速度,提高整体系统的性能。专利申请CN105392068A将实时直播流变成了若干个子流,然后再通过CDN和虚拟化的传输通路进行分别传输,最后在播放器端进行重组,客户端通过P2P方式与其他客户端建立P2P连接,向其他客户端请求缺少的子流。
随着流媒体技术的发展,网络的存储容量成为影响网络性能的重要因素之一。由图8可以看出,与数据缓存相关的专利申请主要集中在2009年之后,且数据缓存主要涉及数据的分片存储,而数据缓存的优化又服务于数据调度,由此,数据缓存和数据调度两个技术分支的专利申请会有耦合。
图8 数据缓存技术演进图
2006年中兴公司的专利申请CN101193294A将视频数据分成等长块交错均与存储于CDN节点的多个媒体单元中,根据需要在P2P-CDN网络中按块进行媒体分发和存储。CN101645919B提出为文件设置等级数,一个文件的等级(level)数越低,所需的跳数越少,表示更容易找到其副本,一个内容分发网络是一个两层的结构,包括管理层和副本放置层。管理层主要负责所有文件索引的维护以及内容分发所需要的计算过程;副本放置层则负责对数据副本的备份。管理节点存储所有文件的流行度等信息,且主要对媒体文件进行分发,根据文件在整个地区的流行度,计算副本文件等级,根据DHT路由算法,找到当前文件的主节点,主节点得到数据后,察看文件所需放置的副本等级,通过主节点的路由表,找到与主节点的ID匹配L位的所有节点,将文件复制到这些节点上完成副本放置。CN101645921B在根据流行度计算副本等级的基础上,还定期收集用户访问信息并在尽量少的重新切片和分发的前提下对数据片段 block的流行度进行更新,使其更加接近用户的真实访问规律,并依据新的流行度计算副本放置方法,调整副本数目。CN103166991A提出文件跨域存储,跨域共享,不同物理位置的云存储资源全网共享、统一管理,通过对原始上传的流媒体内容文件进行P2P切片,执行本地缓存,更新本地目录,并发起P2P全网分发操作,在存储层面进行物理分片,并将这些物理分片的地址进行存储索引。云存储访问客户端根据该索引查询获取本地保存的内容。为了提高副本服务器的缓存命中率,CN103237068B提出将副本服务器缓存空间划分成前缀缓存区和后缀缓存区;将中心服务器中的原流媒体内容分成前缀和后缀两部分,并将前缀和后缀部分分别存入所述副本服务器的前缀缓存区和后缀缓存区中;当用户请求到达时,依据副本服务器当前的缓存空间状况、系统中访问日志记录的所有流媒体内容的熵值及副本服务器中内容片段的流行度值、用户请求的流媒体内容的熵值及内容片段的流行度值,进行副本服务器中流媒体内容的缓存替换。
通过对样本专利的分析和统计,P2P与CDN混合组网的应用主要集中在流媒体直播领域。而架构部署也主要集中在两类:1)以CDN为中心P2P自治域为边缘;2)在边缘服务器间建立 P2P网络。且其主要涉及直播、IPTV应用领域。阿卡麦科技公司的专利申请US8332484B2提出一种混合型内容分发网络和对等网络架构,其结构如图9所示。P2P网络包括多个对等机,并且至少一个对等机器属于CDN的一部分,或具有访问并使用给定CDN基础架构或组件或数据的能力,以当希望取得给定内容时确定附近的对等端的位置,增强了CDN映射体系结构,以便在CDN映射中包括P2P网络节点。这类模型的核心思想在是在部署内容分发网络的地区,在网络的边缘节点上引入P2P网络自治域,该P2P自治域由单个或多个边缘缓存服务器和其覆盖网络的接入用户共同构成了。该类模型将分发网络分为两层“上层为内容分发网络”通过在内容分发步骤合理部署边缘服务器,将内容推送到靠近用户端的地区“下层主要使用P2P技术,以不同的边缘服务器为中心,组成了P2P自治域”边缘服务器作为下层P2P网络的内容源服务器,为下层的P2P网络提供稳定的超级种子,在没有接入内容分发网络的P2P自治域,可以通过本域的原始流媒体服务器或者接入其它P2P自治域以获得服务。CN101146022A提出的节点重复内容分发网络,包括至少一个核心节点,核心节点包括应用及服务中心和管理中心,核心层执行 CDN协议,主干层连接核心层,根据CDN协议与核心层的核心节点进行数据交换,并执行CDN协议和P2P协议的转换,同时主干层与P2P自治区域连接,主干节点作为该P2P自治区域的超级种子SUPERSEED为该区域提供服务并对该P2P自治区域进行管理和控制。其同样属于上述第一类模型。CN102118323A提出由多个CDN服务器组成对等通用内容分发网络,所述多个CDN服务器中的部分或全部CDN服务器组成所述对等通用内容分发网络的对等叠加网,所述对等叠加网采用对等的分布式存储方式存储内容的位置信息,具体模型如图10所示。该类模型主要是以P2P技术对CDN网络进行优化,改造。在传统CDN中,从中心到边缘服务器之间的数据链路需要相当大的投资,同时资源的效率不高!带宽复用率低;另外在跨ISP等情况下,链路的畅通也难以得到保障“针对这一问题,可以采用以P2P的方式组织CDN节点设备,利用P2P的目录服务和多点传输能力,实现 CDN节点设备之间的内容交换!互相备份,由此可增强从中心到边缘节点的 CDN网络的内容传送效率!使系统冗余性得以提高,从而提升CDN的内容分发能力。CN101477669A提出的网络音箱制品零售电子商务,采用CDN和P2P叠加网络,将节点CDN服务器以P2P的方式组织,以P2P为零售服务边缘的架构,这种P2P架构下,用户终端可以通过P2P的客户端来获取零售网点的CDN服务。
图9 以CDN为中心P2P自治域为边缘
图10 在边缘服务器间建立P2P网络
随着网络架构部署及应用的越来越成熟,安全问题必然也成为网络的重点研究课题。针对P2P与CDN混合网络的数据传输安全主要通过数据加密、证书以及校验机制来实现。CN101383700A提出在簇内各节点中预置与该簇对应的簇密钥,当所述簇内的节点变化时,更新所述簇内各节点中预置的簇密钥;接收所在第一簇的管理节点发送的、并且经过与所述第一簇对应的簇密钥加密的会话密钥;利用预置的与所述第一簇对应的簇密钥对接收的会话密钥进行解密;利用解密后的会话密钥对所述管理节点发送的、并且经过会话密钥加密的流媒体数据进行解密。CN101534309B提出通过证书对P2P网络节点的接入进行身份验证。CN101714993B提出为节目产生有时效的令牌,根据令牌和对应 P2P URL地址产生链接URL,接收NP客户端从链接URL解析出的令牌,将令牌发送给BOSS服务器以进行验证,接收BOSS服务器返回的验证结果,将验证结果发送到NP客户端。CN102255695B提出先根据视频文件的MDR值向数据校验服务器获取视频文件的CRC32值,在传送视频数据之前,算出该段数据的CRC32值,两者进行比对,相同则发送,不同则禁止。
本文基于对专利申请的统计分析,对P2P与CDN混合组网方面的专利技术进行了国内外的专利申请趋势、主要申请人和技术发展路线进行分析,梳理了各个主要技术分支及相关技术分支下的专利技术。有助于相关领域的审查员了解技术实质和基本发展态势,为相关领域的审查工作提供一定帮助。
[1]刘艳君, 张继荣.关于P2P与CDN混合的流媒体技术综述[J].西安邮电学院学报, 2011.
[2]臧运港, 陈光喜.基于P2P和CDN的混合流媒体分发模型及分析[J].计算机应用研究, 2010.
[3]张云飞, 陈常嘉.内容传送网络(CDN)技术综述[J].信息通信网络技术委员会年会征文, 2003.
[4]翟伟.一种CDN-P2P混合流媒体模型的研究[D].华南理工大学, 2010.
[5]曹蕾.计算机对等网P2P技术综述[J].甘肃科技, 2009.
[6]詹晓涛.CDN与P2P相结合的流媒体系统设计[J].2009.
[7]邓江.基于P2P的内容分发网络体系结构及路由研究[D].电子科技大学,2007.
[8]Zhihui Lu.An Analysis and Comparison of CDN-P2P hybrid Content Delivery System and Model[J].JOURNAL OF COMMUNICATIONS, 2012.