王跃辉,何晓锋,魏 芳
(①上海交通大学,上海 200240;②上海贝尔股份有限公司,上海 201206;③复旦大学,上海 210000)
近年来,随着随着全球电信运营商3G网络的建设和成熟,以及即将启动的从3G向4G的演进,无线上网的速度不断提高。由于高速无线接入速度追上甚至抛离同期固网宽带,再加上在广袤的农村地区,铺设无线网络显然比拉固网网线来得经济实惠,以致无线接入互联网成为了互联网访问的重要方式。在一定的应用环境下,甚至可能大量取代有线方式接入互联网。根据爱立信在 2011年 1月发布的报告[1]显示,到2011年底,全球移动宽带用户数将超过10亿并在未来5年内高速增长,有望在2015年底达到40亿,其中约半数用户集中在亚太地区。
在中国,随着3G上网卡的普及,选择直接采用无线上网卡接入互联网的用户越来越多。移动数据业务快速增长,将来会超过语音收入,且数据ARPU值将高于语音ARPU。近日更有电信设备商乐观估计,4年后,随着3G/4G技术的进一步成熟,全球将有八成用户采用无线方式接入宽带互联网[1]。
随着上网卡业务在中国运营商的推广,用户规模、使用频率、数据量不断增长。需求的增长速度远远超过了无线频谱利用效率的增长速度和覆盖率的增长速度。
因此在业务推广、用户使用反馈和运营维护中,反映出上网卡业务较话音业务对无线资源的占用多,人口密集地区、高峰时段、基站覆盖率较低的地区资源不足和争抢现象较多的现象。
多用户情况下用户共享载频和时隙,每个用户获得的带宽明显下降,部分用户甚至无法浏览网页、视频,这样会增加用户的投诉,影响运营商的品牌形象,甚至有可能造成用户离网。因此开发针对无线上网用户的网络加速系统就显得非常必要。
随着互联网的蓬勃发展,网络应用也变得越来越丰富,不同类型的网络应用的通讯方式、对网络的需求各有不同,因此有必要做一些有针对性的开发,以使得无线网络加速系统的加速效果能够更加有效。在这些应用中,基于Web的网络应用仍占据了主导地位。根据CNNIC 2011年5月发布的《互联网发展信息与动态》[2],目前中国网络用户的网络使用中,基于Web的应用,如搜索、新闻、社区、博客等的应用使用率均超过 70%,如果能提升用户的 Web访问速度同时对于Web访问的流量做适当的缩减,则可以有效的提升用户体验,同时节约部分无线侧的网络资源。出于这样的考虑,开发了主要针对上网用户的Web应用的无线网络加速系统,并对该系统的性能做了现网测试。
在加速系统中,主要通过Web缓存和数据压缩技术来实现对移动上网Web应用的优化。
(1)Web缓存技术
Web缓存技术是Web应用部署中的常见技术[3],它通过在缓存服务器中存储目标文件的副本,实现提供http请求访问目标的功能。一般来说,使用Web缓存技术有2方面的好处:一方面,从网络资源的角度来说,由于缓存过多数据不需要再从互联网网站服务器传输,因此可以节约网络出口的流量;另一方面,把缓存服务器部署在靠近用户的网络边缘节点处,可以减小网络中的延时和瓶颈点拥堵造成的传输速率下降,加快用户请求响应速度,从而提高用户的使用体验。
目前,主要的互联网网站都采用了部署基于Web缓存技术的CDN(Content Delivery Network)[4]节点的方式对其内容进行优化部署。但是这些节点的网络位置选择主要还是考虑固网宽带用户的使用,并不完全针对移动网络;而且由于不同的网站选择的CDN节点也会有差别,因此也会导致用户使用网络时,不同网站之间的响应速度差异很大。
在现行的移动网络构架体系中,所有移动上网的通讯数据,都要GGSN或者PDSN[5],因此在GGSN或PDSN附近就近部署针对所有互联网网站的缓存服务,则可以最大限度地利用Web缓存技术的优势,进一步提高移动上网用户的访问体验。
(2)数据压缩技术
与固网宽带的充裕的网络接入资源不同移动上网接入的无线空口处的网络资源相对紧张;因此如果能够利用数据压缩技术将传输给用户的数据缩减,则相当于提高了空口侧的网络资源利用效率。另一方面,对于无线上网用户来说,在有限的传输速率下,要传输的数据量越小,则传输时间越短,因此,将数据进行压缩后传输给用户,可以进一步提高用户访问速度,从而提升用户体验。
考虑对传输数据进行缩减,则要分析Web应用的目标文件特征。在绝大部分Web应用中,基本都通过http协议进行,主要的传输文件可以划分为3大类:文本类文件、图片类文件、媒体和应用类文件。文本类文件一般包括html、xml、txt、css、java script等,以文字内容或者页面脚本为主;图片类文件一般包括jpg、png、gif等格式的文件,主要是一些图像和页面构图等;媒体和其他应用类是以flash、mp3为主体的媒体广告类文件和以exe为主的一些软件下载、升级类文件。
在上述3类文件中,文本文件由于采用了大量的文本数据,进行无损压缩(即不损害文件内容的前提下缩减文件的数据量)的技术相对成熟,而且得到了http协议的支持[6],多数浏览器可以在http协议标准内,对无损压缩过的文本文件进行解压缩操作,不影响该文件的打开;图片类文件难以进行无损压缩,而且也没有相关的http标准协议支持类似的操作,然而,对于图片文件的有损压缩技术相对成熟[7-8],在适当的牺牲一小部分图片质量的情况下,进行适度的有损压缩可以大幅度的缩减图片文件的数据量,同时对图片观感的影响很小,如图1所示;对于第三类文件的压缩则比较困难,但是可以通过 url分析的方式,屏蔽掉部分广告类的文件,以减小不必要的数据传输。
为了便于系统的推广和扩展,无线加速系统采用对用户完全透明的部署方式,也不需要用户在个人电脑上做任何设置或安装额外的客户端软件。加速系统的网络部署架构如图2所示,逻辑上,加速系统旁挂在从PDSN或GGSN之后(设备到互联网方向)的核心交换机上,为了保证需要进行网络加速的用户能够接受网络加速服务,在核心交换机上需要配置策略路由,使得源IP匹配要加速用户地址池的IP数据包下一条转发到负载均衡器上(如图2中实线、虚线所示)负载均衡器将根据用户的会话请求将用户的会话负载均衡到加速服务器上。加速服务器接收到用户发来的会话请求后,伪装成互联网网站的IP地址对请求进行处理,这样,从用户的角度上来看,自己是在跟互联网网站的服务器进行会话通信,因此加速系统对于无线上网用户来说完全透明。
图2 加速系统的网络部署架构
对于加速服务器本地没有保留缓存副本的用户请求来说,加速服务器需要代替用户向互联网网站服务器发送请求以获得未缓存内容,这时,加速服务器有两种方式向互联网网站发起请求。一种方式是将用户的源IP地址修改为加速服务器的地址,这样互联网网站返回到数据可以直接发到加速服务器上,这种方式要求为加速服务器分配可以访问互联网的IP地址,由于修改了源IP地址,从互联网网站的角度上看,请求来自于加速服务器,而不是无线上网用户,这种方式对用户透明,但对互联网网站不透明,称为单向透明模式;另一种方式是不修改用户的源 IP地址,直接利用用户的源IP地址将请求发送到互联网网站,同时在核心交换机上另外配置一条策略路由,将源地址为互联网IP,目的地址为加速服务用户地址池的数据包下一条设置为负载均衡器地址(如图2中的虚线曲线所示),这样才可以保证互联网网站返回给“用户”的数据能够达到加速服务器,这种方式对用户和互联网网站来说,加速服务器都是不存在的,称为双向透明模式。2种模式的差别如表1所示。
表1 单向透明模式和双向透明模式的异同
使用双向透明模式的好处是互联网网站和用户对加速服务器的存在完全不可知。为了实现这一功能,需要在核心交换机上新增一条从互联网到加速服务用户的策略路由,在负载均衡器上同时处理用户的上行和下行数据。由于多数http会话中,用户的上行数据远远小于下行数据,这意味着使用双向透明模式也大大提高了对核心交换机和负载均衡器处理能力的要求。在实际部署的过程中,可以根据实际需求进行取舍。
加速服务器对用户请求的处理的逻辑过程如图3所示。
图3 加速服务器对用户请求的处理过程
加速服务器接收到用户请求后,首先根据http请求头中的 url地址判断该请求是否是动态请求,如搜索查询等等,如果是直接转发该请求到网站,否则发送到缓存模块处理;缓存模块根据 url地址判断本地是否留有缓存,如果没有则转发到网站,否则直接将本地副本返回给用户;未缓存请求转发到互联网网站并接收到相应文件后,首先判断是否需要压缩,对于需要压缩的数据,首先转发到对应的压缩模块进行数据压缩后,然后判断是否需要缓存,对于需要缓存的数据在本地保存缓存副本,同时转发数据给用户,否则直接转发给用户;对于不需要压缩的数据,需要进一步判断该数据是否需要缓存,如果需要缓存则在本地保存缓存副本后转发给用户,对于不需要缓存的数据,直接转发给用户。
为了测试加速系统的效果,在1台现网运行的PDSN设备之后部署了实验性的无线上网加速服务系统,对该系统的实际运行效果进行了测试。测试分成2个阶段进行:第1阶段进行了单用户测试,主要评价使用加速服务系统对用户Web上网体验的改善能力,主要表现为Web页面打开时间和所耗用流量的影响;第2阶段进行了现网流量测试,主要评价在实际的网络运行过程中,加速服务系统节约网络资源的能力。
考虑到真实网络部署过程中,实际网络流量的增长可能给核心交换机和负载均衡器带来的流量压力,本次测试采用了单向透明的部署方式。测试时,首先划定一定的测试 IP地址池,并通过PDSN上的配置,为测试用户分配该地址池中的无线上网 IP,然后通过在核心交换机上的策略路由配置,将测试用户的上行数据导入无线加速系统中,以此将测试数据导入加速系统中;加速服务系统会只对需要加速的Web上网数据做处理,而对其他上网通讯数据包直接转发,不做处理,以保证部署加速系统后,不影响其他上网业务。
单用户测试主要看在网络环境和个人电脑能力基本一致的情况下,使用加速系统的数据和不使用加速系统的用户相比,打开相同网页所需的流量和时间对比。测试使用2台相同的笔记本电脑,安装相同的windows XP系统,使用IE6浏览器进行测试效果对比。2台测试用的笔记本使用相同的3G EVDO数据卡上网。测试时,通过在PDSN上设置,其中一个数据卡使用的IMSI卡号与测试IP地址池进行绑定,使之对应的上网电脑数据被导入无线加速系统;另一台电脑对应的数据卡按照正常上网用户进行IP地址分配,因此不经过测试的无线加速系统。
测试选择 10个代表性的网站首页作为测试样本,进行网络打开时间和流量的测试。测试中通过 du meter[9]软件上的流量统计和计时功能,对 IE浏览器打开网页的时间和打开网页的流量进行测量。每次打开网站之前,对 IE浏览器的本地缓存文件做清空处理,以免浏览器本地缓存干扰测试结果。
由于无线上网时,无线环境变化比较快,测试地点选择在无线干扰少,空口资源丰富的地方进行;考虑到2台测试终端会竞争无线空口资源的问题,测试时要基本保证2台机器在同一时间点击同一网页,且通过反复测试5次,取平均值的方式,尽量减少无线环境变化对测试结果的影响。
在加速系统中,对图片的有损压缩比例设置为中度,并通过测试员目测,确认该压缩比例对网页观感无显著影响。
由于不同的网页大小不同,因此其流量和打开耗时差异较大,为了便于对比,在图4给出了经过加速系统和不经过加速系统的两个数据的归一化对比情况,从中可以看出,在使用了加速系统后,用户的网页打开时间普遍减少到不经过加速系统的40%~60%,所需流量也减到50%~80%。打开时间的缩减效果要更加优于流量的缩减,这主要是加速系统中的缓存所带来的好处。
单用户测试的结果表明,使用无线加速系统,确实可以提高用户的网页打开速度,也即提高用户的使用体验。
为了测试引入加速系统后,对网络资源的节约效率,进行了现网流量测试,测试时间为连续的5天,将选定的部分基站覆盖下的上网用户绑定到测试IP地址池中,从而将真实的用户无线上网流量导入到无线加速系统中。
为了分析无线加速系统对网络资源的节约效率,系统对每一条用户的http会话都记录了相应的访问日志,从而得到通过无线加速系统的无线上网用户日志库。日志的主要字段含义如表2所示。
图4 网页打开时间和使用流量的归一化对比(设不加速测试结果为100%)
表2 用户日志的主要字段及含义
如前所述,加速系统对于网络资源的节约包括两部分:缓存模块节约网络出口处的网络资源,以下简称缓存流量;压缩部分节约接入网络一侧的网络资源,以下简称压缩流量。通过如表 2中的日志数据参数,可以统计出缓存流量和压缩流量的大小。进一步的,定义在完成相同的 http会话的情况下,当数据全部不经过加速系统时,所需的网络流量为原始流量,则可以计算得到缓存流量和压缩流量与原始流量的占比,用来衡量资源节约的效果。具体的计算方法如下:
现网测试的统计结果如图5所示,在测试进行的5天中,针对移动上网用户的Web数据,加速系统无论在网络出口一侧(缓存流量)还是在接入网络一侧(压缩流量)均有16%以上最高超过20%的优化效果,表现出很好的网络资源优化效率。
图5 现网测试中,加速系统对Web流量的节省比例
移动通信技术的发展导致了移动上网用户的迅速增加,这使得开发针对性的网络加速和优化系统的需求越来越迫切。针对移动上网用户的 Web应用开发了无线网络加速系统。该系统结合了缓存和加速技术,一方面可增加移动上网用户的Web应用响应速度,提升用户使用体验;另一方面可节约无线侧和网络出口侧的网络资源利用效率。在具体部署时,无线网络加速系统可以根据现实情况选择采用单向透明或者双向透明的方式进行部署,用户无需做任何额外的配置或软件安装,降低了服务的提供门槛。
在现网测试中,分别进行了单用户测试和现网流量测试。测试结果表明,应用无线网络加速系统之后,无论是用户的网页打开速度还是网络资源的利用效率都有了显著的提高,体现出较高的商业价值。
在现有的无线网络加速系统的基础上,还可以拓展针对Web应用以外的其他类型的移动网络应用,如网络视频、网络游戏等业务的加速服务功能,以便更进一步提升用户体验和网络资源的利用效率;同时,以网络加速服务系统提供的用户访问日志为基础进行的深度数据挖掘工作,还可以获得更多的用户行为习惯的信息,为网络的精细化运营提供重要的参考。
[1] 爱立信.Mobile Broadband Subscriptions to Hit One Billion Mark in 2011 [EB/OL].(2011-01-14)[2011-04-15]. http://www.ericsson.com/thecompany/ press/releases/2011/01/1478480.
[2] CNNIC.第 27 次中国互联网络发展状况统计报告[EB/OL].(2011-01-09)[2011-04-12].http://www.cnnic.net.cn/dtygg/dtg g/201101/ P0201 10119 3289601922 87.pdf.
[3] GEOFF Huston, TELSTRA. Web Caching[EB/OL]. (2009-09-10)[2010-11-02]. http://www.cisco.com/web/about/ac123/ac147/ac174/ac199/about_cisco_ipj_archive_article09186a00800c8903.html.
[4] ViSolve.Optimized Bandwidth + Secured Access = Accelerated Data Delivery[EB/OL].(2010-08-11)[2011-1-15]. http://www.visolve. com/squid/whitepapers/ ViSolve_Web_Caching.pdf.
[5] 戴刚,乐志星.3G传输网技术及演进策略[J].通信技术,2011,44(01)72-74.
[6] FIELDING, IRVINE, GETTYS, et al.RFC 2616: Hypertext Transfer Protocol——HTTP/1.1[EB/OL].(2004-09-01)[2009-06-14].http://www.w3.org/Protocols/ rfc2616/ rfc2616.html.
[7] 郑伟,崔跃利,王芳,等.基于小波变换的图像压缩编码研究综述[J].通信技术,2008,41(02):83-85.
[8] 李强,王喆.基于小波分析的图像压缩[J].通信技术,2010, 43(08):237-241.
[9] HAQEL Technologies. Du meter软件官方说明[EB/OL].(2004-11-04)[2011-04-22]. http://www.hageltech.com/dumeter/about.