刘华,金志坚
移动互联网流量加速技术研究
刘华1,金志坚2
(1.中国移动通信集团广西有限公司,广西 南宁 530022;2.中国电信股份有限公司广西分公司,广西 南宁 530022)
为了避免用户流量迅速增长给移动通信网络造成的影响,通过介绍移动通信网络可用的流量控制、流量加速等管控技术,重点对流量加速相关的Cache、CDN、ICP调度优化等关键技术进行了研究和总结,并为运营商部署这些流量加速关键技术提供了方案和建议,以提升用户感知。
移动互联网 流量控制 流量加速
随着智能终端及移动互联网的快速发展,数据业务流量呈现爆炸式增长态势。如何消除端到端业务链条的网络瓶颈,利用有限网络资源提升用户感知,成为运营商亟需考虑的问题。本文着眼于用户上网链路的优化调整以及内容的适配和加速,研究了可用于移动互联网的流量控制和流量加速技术,并针对每种技术进行了利弊分析,提出了可行的部署建议,从而解决了运营商采取传统的“开源”或“节流”方式均不能兼顾提升投资收益和用户上网感知的难题。
流量控制属于“节流”措施,通常包括数据控制和数据压缩。
2.1 数据控制
数据控制技术是通过限制低价值业务用户的速率来解决出口拥塞问题,保证高价值业务用户的业务体验。数据控制系统包括采集、检测、控制三大过程。DPI(Deep Packet Inspection,深度报文检测)是通过深度分析报文净荷中的特征进行业务识别,对关键业务报文进行分析、丢弃等操作,实现业务的分析和控制。
虽然数据控制系统具有部署快捷灵活、效果直接等优点,但该方式往往“治标不治本”,只能缓解现象而不能解决拥塞本质问题,并且应用协议众多,DPI协议识别准确度不足也会导致正常流量被“误杀”,建议运营商只针对个别典型的业务进行小范围部署。
2.2 数据压缩
数据压缩技术是通过在网内部署数据压缩服务器,判断数据的传输协议,对支持的协议数据,通过智能压缩对用户数据进行压缩后发送给移动终端,从而减少数据的传送流量,节省整体的传输时间,以提升传输速率。
数据压缩技术需要客户端软件和服务器端配合。根据实验数据验证,对HTTP(Hyper Text Transfer Protocol,超文本传输协议)进行压缩后(压缩的内容包括文本、图片、Flash等),应用效果一般。考虑到数据压缩技术受使用的网络环境及应用协议影响,效果提升存在一定的限制,建议运营商考虑与Web网关、Cache(缓存)系统、综合网关等功能整合。
流量加速的本质是内容资源管理和优化,网络侧根据手机终端的能力,利用Cache、CDN(Content Delivery Network,内容分发网络)、ICP(Internet Content Provider,因特网内容提供商)调度优化等技术进行上网链路优化、内容适配和加速,可有效提升网络吞吐率和用户感知。
3.1 Cache
Cache的本质是将用户访问的互联网热点资源作为副本缓存到本地,当内容资源再次被访问时,由Cache中保留的副本直接提供,实现了“存储换带宽”、“一次外网访问,多次内网服务”。通过部署Cache功能,可大大减少网间和网内的流量压力,加快网络访问速度,并降低对其他运营商间互联网络的依赖。
Cache通常分为Web Cache和P2P(Peer-to-Peer,对等网络) Cache,具体如图1所示:
图1 Cache系统示意图
(1)Web Cache
Web Cache用来解决HTTP流量“小带宽”需求问题,但不适用于包含动态内容较多的网站及页面。通过对用户DNS(Domain Name System,域名系统)请求进行重定向,最终将用户访问HTTP的请求引导到Cache,而不是源Internet。
如何将用户引导到Cache,推荐采取以下措施:
1)部署Cache重定向设备
利用DPI设备,识别用户发出的特定请求报文,Cache重定向设备将需加速的网站域名地址解析为Cache系统IP地址,回复给用户。
2)部署智能DNS系统
由Local DNS根据用户访问的内容,对于在加速白名单中的域名,直接在解析结果中向用户返回Web Cache的IP地址,将应用引导到Cache系统。
(2)P2P Cache
P2P Cache用来解决P2P流量“大带宽”需求问题,基于对用户请求的分析,缓存用户最需要的热点资源,通过对用户的P2P业务请求进行重定向,将用户的下载请求引导到Cache。
目前存在以下3种重定向模式,建议优选破解模式。
1)破解模式
对P2P交互报文进行破解,对于已缓存的内容加以引导,该方式在运营商侧实现即可。
2)合作模式
与P2P服务提供商合作,在网内部署节点,由P2P应用进行调度,该方式过度依赖P2P服务提供商,实施难度较大。
3)授权模式
Cache系统经授权后可合法使用P2P私有协议,该方式过度依赖P2P服务提供商,对现网改造较大。
(3)部署建议
Web Cache不宜应用于更新较快的网站和网页,建议运营商优选智能DNS系统,最终将用户访问HTTP的请求引导到Cache。P2P Cache为了避免对P2P服务提供商的依赖,建议可采用破解模式对已缓存的内容进行引导。
需要说明的是,Cache运营会存在由于缓存内容不当导致用户无法访问、版权和法律风险等问题,需要重点关注。
3.2 CDN
CDN是由众多服务器组成的分布式网络。它是一种智能虚拟网络,通过一定规则将内容源发布到最接近用户的边缘,用户可以就近取得所需内容,使得内容传输速率更快、更稳定,响应更及时。
(1)CDN应用模式
目前CDN应用模式分为自建、租用和混合三类,具体说明如下:
1)自建模式
企业自建CDN并为自身业务提供服务,如电信运营商、互联网企业。
该模式的优点如下:
◆针对性强,可以与业务结合得更紧密,系统控制权及技术可自主掌控,方便灵活调整;
◆安全性高,无需将内容发布至第三方;
◆一次性投入,不必定期支付费用。
该模式的缺点如下:
◆需投入额外的研发成本与时间,成本较高;
◆节点数通常较少。
2)租用服务模式
租用专业CDN运营商的CDN服务,如蓝汛、网宿等。
该模式的优点如下:
◆商用产品成熟度高,初期可快速实施部署;
◆运营及技术积累深,服务团队专业;
◆服务成本逐年降低,投入产出比较高;
◆节点规模大,冗余性、可靠性更高。
该模式的缺点如下:
◆支出总成本较高;
◆安全性不如自建CDN系统。
3)自建与租用共存模式
部分互联网站点通过自建CDN提供服务,但为增加覆盖区域、应对高峰流量、实现业务快速上线等原因,同时也会租用第三方CDN,如新浪、腾讯、搜狐等。
(2)自建CDN实现网内内容的加速
基于自建CDN实现流量加速举例如图2所示,通过整合现网Cache节点、部署新的CDN服务节点,引入全网管控中心、内容中心构建新的CDN体系,实现对业务层内容在网内的加速。
图2 基于自建CDN实现网内内容的加速
具体说明如下:
1)CDN获取内容热点、网络负荷
CDN通过DPI、DNS日志等手段获取用户
热点和网络负荷等信息,判断哪些内容热点需
要进行分发。
2)CDN分发内容
CDN根据网络和内容节点负荷、链路质量,
形成分发策略,将内容分发至各内容节点。
3)CDN调度用户最优访问
CDN根据网络和内容节点负荷、质量、距
离,形成调度策略,将用户调度至最优内容节点
访问。
(3)第三方CDN实现网内内容的加速
基于第三方CDN实现流量加速举例如图3所示,通过租用第三方CDN服务,在网内部署CDN服务节点或建立专用电路,由第三方CDN将内容分发至靠近运营商网内,并引导用户访问,加快用户的访问速度。
图3 基于第三方CDN实现网内内容的加速
(4)第三方CDN实现外网用户访问网内内容的加速
基于第三方CDN实现外网用户访问网内内容的加速举例如图4所示,通过租用第三方CDN服务,可以实现网内资源(如中国移动同一门户、自有业务)面向网外用户的分发,避免网间链路访问质量差引发的访问延时等问题。
(5)运营商CDN部署建议
图4 基于第三方CDN实现外网用户访问网内内容的加速
为了保证数据安全且做到业务可控,在网络投资不受限的情况下,建议运营商优选基于自建CDN实现流量加速;在网络投资受限的情况下,建议运营商优选基于第三方CDN实现流量加速。
3.3 ICP调度优化
通过ICP调度优化可以为用户上网提供最优链路,优化用户上网路由,提升用户感知。ICP调度优化通常针对HTTP用户和P2P用户进行,实现原理如下:
(1)HTTP用户调度原理
ICP针对HTTP用户进行调度优化原理,具体流程举例如图5所示。该流程包括:DNS解析流程(步骤1至6)、ICP调度流程(步骤7至8)、访问服务器流程(步骤9)。
具体实现过程如下:
1)通过解析流程,本地DNS向163.com授权服务器发起针对www.163.com的域名解析请求;
2)通过ICP调度流程,163.com授权服务器发现全网共存在三处服务器,同时发现用户来自于中国移动,返回中国移动网内服务器地址;
3)通过访问服务器流程,用户访问位于中国移动网内的163页面内容。
(2)P2P视频调度原理
ICP针对P2P用户进行调度优化原理,具体流程举例如图6所示。该流程包括:DNS解析流程(步骤1至8)、ICP调度流程(步骤9至10)、访问服务器流程(步骤11)。
具体步骤如下:
步骤1:用户打开暴风影音软件,软件发起针对暴风影音调度服务器的域名解析请求;
步骤2至8:本地DNS通过根服务器、COM服务器、暴风影音授权服务器,逐级递归,获得暴风影音调度服务器的IP地址a.a.a.a;
步骤9:用户向调度服务器发起Peer请求;
步骤10:调度服务器根据用户源IP,发现其位于中国移动网内,将归属于中国移动网内的用户地址返给用户访问服务器;
步骤11:用户利用获得的其他用户IP地址进行视频资源共享。
(3)部署建议
运营商在部署ICP调度时,应尽可能地减少网间访问。建议基于以下配置规则:
1)对于跨网调度,建议按照本网、对等网和付费网的优先次序进行;
2)对于跨区调度,建议依次按照本大区内、相邻大区间疏导的优先次序进行。
3.4 其他加速技术
(1)引入IDC
IDC(Internet Data Center,互联网数据中心)是运营商利用已有的通信网络、带宽资源等,建立标准化的电信专业级机房环境,为企业、政府提供服务器托管、租用以及相关增值等方面的服务。
该方式适用于数据业务用户规模较大的运营商,运营商通常会邀请流量TOP N(如TOP300)的互联网企业入驻IDC机房,将互联网热点资源存储在本地,减少跨网访问的费用和时延,从而提升用户感知。
图5 HTTP用户调度原理
图6 P2P视频调度原理
(2)引入第三方网络
运营商可以通过第三方公司的网络互联节点和其他运营商实现间接互联,在骨干网间出口拥塞的情况下较好地提升业务质量。
该方式适用于省内互联网出口带宽不足的运营商,通过第三方公司的网络互联节点和其他运营商实现间接互联。例如,对于中国移动来说,第三方电路是指通过除中国电信、中国联通之外的第三方运营商疏通CMNET网外流量的互联网接入方式,通过配置路由策略,引入第三方电路访问网外内容,可以扩展省内互联网出口带宽,快速疏通本省网间访问流量,从而提升业务访问速率。
(3)与大型CP/SP进行对等直连
CP(Content Provider,内容提供商)为运营商提供内容服务;SP(Service Provider,服务提供商)和运营商合作,与运营商建立相连的服务平台,为手机用户提供一系列信息服务。
该方式适用于数据业务用户规模较大的运营商,运营商可通过与大型互联网CP/SP进行传输链路直接互联,流量疏导不再通过其他运营商的骨干网络,实现流量本网化,从而提升业务访问速率。
移动互联网业务流程涉及端到端众多业务流程和节点。为实现不同系统之间的流量最优化,针对运营商的实际情况,本文研究了基于数据流量管控技术的多种流量加速技术,并为运营商部署Cache、CDN、ICP调度优化以及IDC等关键流量加速技术提出了解决方案和建议。下一步,可在此成果基础上,进一步研究不同流量管控手段、不同协议的流量疏导和流量加速技术,实现不同加速技术之间的协同。
[1] 中国移动研究院. 互联网应用层协议原理[R]. 2012.
[2] 官建文. 移动互联网蓝皮书:中国移动互联网发展报告(2016)[M]. 北京: 社会科学文献出版社, 2016.
[3] 张宏科,苏伟. 移动互联网技术[M]. 北京: 人民邮电出版社, 2010.
[4] 吴大鹏. 移动互联网关键技术与应用[M]. 北京: 电子工业出版社, 2015.
[5] 崔勇,张鹏. 无线移动互联网:原理、技术与应用[M].北京: 机械工业出版社, 2012.
[6] W Richard Stevens. TCP/IP详解 卷1:协议[M]. 范建华,胥光辉,张涛,等译. 北京: 机械工业出版社, 2014.
[7] Doyle J, Carroll J D. TCP/IP路由技术(第二卷)[M].夏俊杰,译. 北京: 人民邮电出版社, 2009.
[8] 李昌,李兴. 数据通信与IP网络技术[M]. 北京: 人民邮电出版社, 2016.
[9] Chris Sanders. Wireshark数据包分析实战(第2版)[M]. 诸葛建伟,陈霖,许伟林,译. 北京: 人民邮电出版社, 2013.
[10] 3GPP TS 29.061 V4.10.1. Interworking between the Public Land Mobile Network (PLMN) supporting packet based services and Packet Data Networks (PDN)[S]. 2005.★
Research on Traffic Acceleration Technique in Mobile Internet
LIU Hua1, JIN Zhijian2
(1. China Mobile Group Guangxi Co., Ltd., Nanning 530022, China; 2. China Telecom Co., Ltd., Guangxi Branch, Nanning 530022, China)
In order to avoid the influence of the rapid growth of user traffic on mobile communication networks, the traffic control and traffic acceleration techniques available to mobile communication networks were introduced. Key optimization and scheduling techniques such as Cache, CDN and ICP relevant to traffic acceleration were investigated and summarized. The solution and proposal to deploy mentioned above key traffic acceleration techniques for operators were provided to enhance user perception.
mobile Internet data control traffic acceleration
10.3969/j.issn.1006-1010.2017.16.004
TN915.43
A
1006-1010(2017)16-0017-06
刘华,金志坚. 移动互联网流量加速技术研究[J]. 移动通信, 2017,41(16): 17-22.
刘华:中级工程师,工科学士毕业于北方工业大学,现任中国移动通信集团广西有限公司网络优化技术专家,从事通信领域工作12年以上,主要研究方向为移动通信网络优化技术。
金志坚:高级工程师,工科学士毕业于西安电子科技大学,硕士毕业于武汉大学,现任中国电信股份有限公司广西分公司网络优化高级主管,从事通信领域工作15年以上,主要研究方向为移动通信网络规划、优化技术。
2017-04-26
责任编辑:袁婷 yuanting@mbcom.cn