CDN与Cache的技术特点及融合思路
宋兵
(中国移动通信集团设计院有限公司安徽分公司,合肥 230041)
摘 要结合现阶段需求,重点分析了CDN与Cache的技术特点、分散建设模式下存在问题,并提出了CDN与Cache的融合思路。
关键词Cache; CDN; 调度
视频流早已成为互联网最主要流量,随着视频业务高清化及OTT等业务的发展,运营商网络压力越来越大。通过网络扩容或部署DPI进行封堵难以解决根本问题,而CDN与Cache可实现将内容引入网内,并推送至用户边缘,这在提高本网率、提升用户体验、节省传输带宽、降低网间流量等方面均可发挥重要作用。
而当各省独自建设网络时,会缺少对内容、管理及调度上的协同,CDN与Cache的差异、能否融合以及融合型CDN的建设思路是本文重点探讨的问题。
2.1 CDN与Cache的技术特点
CDN可以实现将分散于互联网各处的内容汇聚于网内,并推送至靠近用户的边缘节点,就近为用户提供服务。Cache是通过分光或DNS重定向方式截取用户的正常互联网访问需求,根据用户的请求热度对内容进行缓存,再次发起请求时,将用户的请求重定向至Cache系统,由Cache系统向用户提供服务。两者既有相似也有不同点,从业务流程的差异上可比较出两者的技术特点。
2.1.1 CDN的业务流程
在未使用CDN时,用户的域名解析请求通过本地DNS定向至源站授权DNS,授权DNS将资源的IP地址返回至用户,用户向此IP发起访问请求。而当使用CDN后,源站授权DNS并不是将资源的IP地址直接返回用户,而是返回一条CNAME记录至本地DNS(因与源站的签约合作关系,所以源站会这么做),然后本地DNS定向请求至CDN的流量调度系统,流量调度系统负责将网内最优的服务节点的IP地址返回给用户。流程如图1所示。
2.1.2 Cache的业务流程
以WebCache为例,解析用户原始请求,发送重定向报文引导用户访问本地的缓存系统,若已缓存,直接下发至用户。若未缓存,下载至缓存系统为用户提供服务。 业务流程如图2所示。
(1)用户发起对某域名的DNS解析请求;
(2)本地DNS在转发策略中将需要加速的域名列表指向WebCache的重定向子系统;
(3)重定向子系统将域名解析为缓存子系统IP地址,并返回至用户;
(4)用户向缓存子系统IP地址发起HTTP请求;
(5)缓存子系统根据请求的URL返回相应内容。
通过上述流程可看出,CDN方式与源站有关(源站授权DNS),而Cache与源站无关;CDN适合对签约内容的主动注入,Cache主要实现对热点资源的被动缓存。
2.2 CDN与Cache的比较分析
目前,两者在运营商均有大规模的部署应用。结合技术特点以及在网络中的实际部署情况分析,二者在支持文件类型及分级部署的架构上相似,但在业务支持、缓存方式、调度方式以及控制、回源和运营方面存在差异,如表1所示。
随着宽带用户规模和网络流量的快速增长,各省运营商陆续进行互联网电视CDN、省内Cache等相关平台的建设,为本省互联网用户提供加速服务。在流量本网率的提升方面效果明显,但也存在一些问题。
表1 CDN与Cache的比较
图1 CDN的业务访问流程
图2 WebCache的业务访问流程
3.1 重复的缓存和回源,增加建设成本
主要存在CDN与Cache间内容的重复、不同省份间内容的重复。重复内容造成硬件平台的重复投资,另外相同内容多次回源形成了结算的增加。
3.2 竖井式发展,缺乏调度协同
省内在进行内容引入时,在调度机制上框定了本省的地址范围,即使相邻省份的访问也是被内容源站所调度,往往难以得到最优的访问路径,即对于A省已引入的资源与B省难以有效共享。此外,多个省份往往与同一个内容源站进行签约合作,这也增加了经济和人力上的重复开销。
3.3 规模效应不明显
因为缺少统一的内容管理和调度机制,难以形成CDN与Cache间、不同省份间资源的协同,形成庞大的规模效应。
因此,优化建设模式、整合内容资源、统一管理和调度,使内容源自全网、服务于全网,建设一个融合型CDN已成为发展趋势。
4.1 关键问题分析
4.1.1 融合不是取代,两者将长期共存
CDN面向自有业务及签约互联网内容,根据业务需求以主动授权方式进行分发加速。Cache面向开放的互联网内容,是非签约内容。CDN主要负责大型的、服务流量靠前的内容源站以签约的方式引入。数百万计的庞大规模使得CDN不可能更无必要去完成对所有网站的引入。因此,当CDN覆盖不到时、或新增内容CDN来不及覆盖时,由Cache完成其中的热点资源的引入。两者在引入内容的范围上互为补充,而如何实现Cache基于访问热度缓存的内容与CDN方式下有计划的引入的内容的互斥、如何实现分省引入内容的全网服务和最优调度,便成为两者存在融合点之所在。CDN建设初期,与Cache作为网内两种独立的方式进行流量疏导,当签约内容成为网内主要流量成份时,Cache的需求将逐步降低,但也不会被替代,两种将长期共存,共同提供服务。
4.1.2 管理与调度的统一,是融合的目标
内容引入方式、覆盖范围不同,CDN和Cache的服务器节点将会共存,只是容量上此消彼长而已。那么融合的概念主要体现于管理与调度等方面的统一。融合时,需要解决的问题主要包括:
(1)统一的调度、回源、呈现和监控;
(2)既能支持全国范围内的运维,又可支持分省的运维;
(3)各省已建CDN和Cache可利旧,各省可自主平滑扩容平台;
(4)各厂家可协同建设,支持统一的规范及演进思路;
(5)能够支持自有业务和互联网业务的加速,支持能力的对外开放和运营。
能解决上述问题的系统可称之为“融合CDN”。
4.1.3 解耦,是实现融合的关键点
对软件的掌握和开放能力构成了对CDN运营的基本要求,要实现对系统的自主掌控必须解耦(包括不同子系统间接口的解耦、软硬件平台的解耦),需由运营商通过制定标准的接口规范、设备规范、技术要求来实现不同厂商平台间的对接,承建厂商也应在承诺开放接口、支持接口规范和相关能力的厂商中选择。 解耦后的系统架构会更清晰,升级、替换、利旧、维护更便捷,可以打破垄断和缩短建设周期。
4.2 建设思路建议
建设融合型CDN网络时,在实现内容的管理与调度、业务的快速对接、良好的视频体验以及稳定易维护等方面需具备解决方案,特别是对已建设的Cache和CDN需能平滑演进。
4.2.1 统一的内容管理和调度
CDN的签约内容与Cache的热点内容在管理和调度上需达到协同,以实现内容的精细化运营,建议建设内容资源管理平台,平台同步接受来自于CDN、Cache(也包括IDC中直接引入的内容)的内容视图,实现对引入的互联网内容的视图呈现、统计分析以及智能调度等功能,并能保证存储内容的互斥。在调度机制方面,将CDN的签约内容在Cache上设置为黑名单,由CDN进行调度。对于非签约的内容由Cache提供服务,内容资源管理平台辅助参与调度。如图3所示。
4.2.2 实现灵活快速的内容引入
融合CDN需能支持多种对接模式,适应不同的内容与业务的快速接入。对于非签约热点网站,采用透明Cache技术(网站无需修改),实现互联网网站内容的快速引入;对于签约的政企网站,采用HTTP+URL或者回源接口,对不同网站的URL规则和参数进行适配;对于与运营商自营业务或互联网电视牌照方的对接,采用HTTP+XML接口,通过接口定义完善的交互消息和过程,功能全面且能灵活扩展。
4.2.3 业务体验的保障
融合CDN需能通过多种技术保障业务体验,尤其是视频业务体验。在CDN核心节点内容注入与处理上,通过4 k+H.265的组合,在带宽可控的情况下提供清晰度更高的视频质量。在CDN的边缘节点,通过流量整形,避免视频码率突发造成分组丢失,减少对网络的需求。在用户侧,通过FCC、FEC、RET等技术,缩短频道切换时间并在丢包产生时进行有效补偿。此外,通过分片预取技术、TCP单/双边加速、快速码率切换等技术的引入进一步提升用户的体验。
4.2.4 稳定可靠,易维护
融合CDN平台服务用户多、网络覆盖广,必须稳定可靠方便维护。稳定可靠性方面建议对内容库进行容灾备份,链路方面通过智能路由判断链路健康度并选择合适路由进行分发,此外节点内采用服务器负载均衡技术避免单机负载过高、采用服务节点互助机制保障某节点故障时可由互助节点接管服务。维护方面通过部署探针进行业务拨测,监控不同节点间流量情况以定位业务故障点。
4.2.5 节点下沉,实现存储换带宽,流量本地化
CDN建设中应根据承载业务和流量规模逐步向用户边缘下沉,初期在省网部署边缘CDN节点,随着业务和流量的规模发展边缘节点下沉至地市节点,当LTE流量爆炸式增长时,可考虑将CDN服务节点与无线网络(PCC)配合,为重点客户提供服务保障。服务节点的下沉分为服务于有线用户和无线用户两种方式,如图4所示。
4.2.6 对现网平台的融合建议
建议省网OTT CDN、Cache通过软件升级支持与全网CDN的互联互通,各省CDN与Cache作为服务节点为各省用户提供加速服务,定时上传用户访问日志并可支持全局报表的展示;在调度、回源层面通过智能DNS系统进行全局调度和回源控制;在运营与管理层面,通过数据分析平台进行报表展现,运营系统实现支持B2B操作。
融合时,建议分阶段实施,先完成纵向互联、再进行横向协同、最后实现内容的融合:
(1)第一阶段,实现省级节点与全网节点的纵向互联,Cache与CDN各自实现全网的统一回源。
图3 内容的统一管理和调度组网示意图
(2)第二阶段,实现系统间的横向协同,完成内容的统一管理,CDN分发内容Cache不再缓存,完成CDN全网统一的调度能力,并实现报表和管理的统一。
(3)第三阶段,打开一级Cache与CDN内容中心的接口,将Cache内容注入CDN。省公司层面实现省内Cache的内容注入CDN省内服务节点。使得更多的Cache中缓存的内容能够被CDN所调度,提供更好的全网服务。
对运营商而言,CDN身兼多重价值。可以实现以提升网内用户互联网感知为目标,满足管道业务发展需要;以提升运营商自营业务体验为目标,满足自营业务发展需要。除此之外,CDN还可以成为拓展IDC营收能力的重要增值业务,为客户提供分发加速服务。再往后,随着技术的成熟,CDN可结合SDN技术进行更精确有效的用户访问调度和流量管理,实现其承载路径的优化,进一步提升内容分发的质量。总之,现阶段做好Cache与CDN的融合非常重要。
图4 CDN服务节点下沉思路
Technical features and integration ideas of CDN and Cache
SONG Bing
(China Mobile Group Design Institute Co., Ltd. Anhui Branch, Hefei 230041, China)
AbstractCombined with the present stage based on demand, this paper focuses on the analysis of technical characteristics, CDN and Cache dispersion construction mode existing problems, and puts forward the integration of CDN and Cache.
KeywordsCache; CDN; scheduling
收稿日期:2014-08-20
文章编号1008-5599(2015)01-0073-05
文献标识码A
中图分类号TN915