Cache打破网络速度与成本瓶颈

文/闫龙 方洋

Cache打破网络速度与成本瓶颈

文/闫龙 方洋

传统的解决出口带宽之道是牺牲用户的体验，保障关键业务数据的处理带宽。有没有一种既能提高用户体验，又能节省高校在校园网出口的成本的方法?

融合了Cache技术的“疏堵结合”出口解决方案，不但注重智能地处理数据，控制带宽的消耗，还提供外网资源内网化的智能处理方法，保障校园网的关键应用。

随着互联网业务的发展，网络和用户规模快速增长，据中国国家统计局统计，2011年我国互联网上网人数达4.57亿人，其中宽带上网人数4.50亿人，互联网普及率达到34.3%。图1是摘自《中国互联网发展状况统计报告》，显示从2007年12月到2011年6月期间的中国网民规模、增长率及普及率。伴随而来的是，互联网每月产生的流量为280亿GB，预计这个数字在2015年将翻4倍。同时，物联网的到来也必将影响人们的生活、学习和工作。可谓网络无处不在，互联网的时代已经到来。

校园网络经过多年的积累与发展，从简单的网络接入发展到采用最先进的IPv6技术构建高速、安全、融合、智能的校园网。现今的校园网不仅应具有更高的带宽、更强大的性能以及保证校园网无中断运行的高可靠性，还必须对不同数据流进行合理有效的管理，以便有效和充分地利用网络传输带宽。

伴随着互联网业务的发展及各高校校园网大规模的建设，网络和用户规模在不断地快速增长，网络流量也在不断地刷新纪录，但网络流量的增长速度远高于用户数量的增长速度，校园网网络带宽扩容的压力与日俱增，网络流向很不均衡；对网络内的流量及各种应用协议急需进行管理与统计分析，为网络规划和优化调整提供基础依据。近些年，校园网内传统的流量模型与应用模型被打破，从简单的网页浏览到现在的视频、游戏、应用大行其道，带宽问题摆在校园网建设的首要位置。如何优化流量，如何充分利用带宽？如何加快用户的速度体验？如何降低院校在带宽上的成本？

图1 中国网民规模、增长率及普及率

三大传统校园网出口方案

出口网关设备提高数据处理能力

目前，国内由于IP地址资源紧张、难以申请，NAT（网络地址转换）技术成为网络出口设备的必备功能，加上国内校园网的出口带宽也从原来的10M升级到现在的100M或者1000M，甚至多条1000M线路共用，传统路由器模式、X86防火墙模式、服务器模式下的NAT性能成为出口瓶颈，另外，为了提高不同ISP之间资源的互访速度，在校园网用户逐渐增多和带宽一定的前提下，出口设备的PBR（策略路由）面临巨大考验，因此，专业的出口加速网关设备应运而生。以锐捷网络推出的NPE（Network OutPut Engine，网络出口引擎）为例，其具备转发高性能，内嵌状态防火墙、URL过滤，支持大流量下的日志记录等功能，设备自身还具有强大的抗攻击性。NPE系列网络出口引擎采用全新双NP架构设计，在启用NAT、ACL、PBR（策略路由）的情况下，在通常情况的报文流情况下（平均报文长度为500byte左右的混合报文），双向可以达到8Gbps的线速转发，每秒可以创建30万条以上的NAT会话，在2Gbps的NAT线速转发情况下，每秒仍然可以达到新建7万条的NAT会话，达到200万条的并发NAT会话。

利用专用的出口网关设备可以很好地并发处理用户大量访问互联网的流量，提高整个校园网出口流量的处理能力。

带宽嵌套技术合理控制用户带宽

利用出口加速设备的NAT转发加速等技术提高校园网整体用户访问互联网的体验。随着校园网各种应用模型的增多，视频、音频、游戏等流量剧增，特别是P2P流量，根据I P服务控制系统方案提供商Ellacoya网络公司对北美的100万名宽带用户进行的调查，发现HTTP在所有网络流量中占到约46%的比例，P2P排名第二位，在所有网络流量中占到37%的比例。针对如此大的P2P及大量的视频流量，应合理分配校园网的带宽，避免带宽被这些用户消耗掉，也就是说无论出口带宽高低，应用丰富与否，网络管理者都必须对有限的带宽资源进行合理的分配，保证关键业务的服务质量，从而为每个用户提供最优最快的网络服务。

人们利用相关的策略来控制校内每一类用户的带宽以确保校园网关键业务的应用。业界有很多具备这类功能的设备，如H3C的ACG，锐捷的ACE等。以ACE为例，它不但具有丰富的协议识别能力，还能对用户的应用级IP数据流实施分类和控制。ACE以DPI（Deep Packet Inspect，深度包检测）技术为核心，能够全面识别和控制包括P2P、VoIP、炒股软件、视频/流媒体、HTTP、网络游戏、数据库及中间件等在内的各种应用，从而有效地检测和防止某些应用对带宽资源的非正常消耗，保证关键应用带宽。利用ACE的带宽嵌套技术可以很好地实现带宽智能分配（见图2）。

带宽嵌套的步骤分为三步，分别是：

1. 按照网段的分类给不同的网段分配一个总带宽。

2. 把获得总带宽的网段按照每个用户的方式分配一个带宽。

3. 在每个用户中分配每个应用相应的带宽流量，如一个用户的网页浏览分配多大带宽，迅雷下载使用多大带宽。

带宽嵌套技术可以很好地控制每个网段、每个用户、每个应用的带宽，可以保障校园网内关键的业务带宽，是一种先进的流控策略。

智能选择最优路径技术实现快速访问

出于对网络出口的性能和可靠性的考虑，向多个运营商同时租用多条互联网线路的情况在国内是非常普遍的。但是，对于拥有两条或两条以上的互联网链路的用户，如何既保证多条链路带宽被充分利用而不被浪费，又保证对内对外访问所选择的路径是最快速的、最优的？在内网访问外网方面，利用多链路负载均衡技术，对多个ISP链路的可用性和性能进行监督，对双向数据流进行智能路径选择，从而保证用户拥有最佳的互联网接入体验。

另外，由于各ISP接入商的限制，造成电信用户对校园网内联通服务器访问速度过慢，使得用户体验不好，针对这种情况，业界普遍的解决方法是利用智能D N S技术，通过智能判断访问用户所在的运营商，而将访问数据智能解析定位到对应的ISP链路上，从而加速对服务器的访问。

图2 ACE带宽嵌套技术实现

用户体验和带宽成本的博弈

上述传统的出口设备解决了大部分出口的问题，但解决方法在于控制，比如，限制P2P用户的带宽以保证HTTP用户的访问速度；限制经常访问视频用户的上网速度，用来保证校园网的关键业务，诸如此类，但这样的方法无疑是牺牲部分用户的体验。是否可以不进行流控？实际上，不进行流控，网络出口流量将拥塞，大部分带宽都将被视频及P2P流量占用，使校园网的关键业务无法得到保障。网络出口的问题归根结底是带宽不大所造成的。

图3 Cache工作原理

利用足够大的带宽是否就能解决网络出口问题，不用流控设备也能让用户感受到很好的上网体验？我们说足够的带宽应该能解决。但随之而来的是成本的问题。目前，国内ISP接入的成本非常高。据《中国教育网络》2011年12月期刊的报道，超过四成高校出口带宽在千兆以上，而制约校园网发展的主要问题仍然是资金问题。国内主流运营商1G链路每年价格大多在100万上下，对于资金来源有50%是科研经费、44%向师生收取上网费的高校而言，如何利用有限的成本去优化用户体验已经成为不可避免的难题。

Cache开启出口优化新时代

传统的解决出口带宽之道是牺牲用户的体验，保障关键业务数据的处理带宽。有没有一种既能提高用户体验，又能节省高校在校园网出口成本的方法?

在2005年左右，流控产品开始被各大高校所使用，它有效控制猖獗的P2P流量，以保障关键应用得到充分带宽资源。未来几年内，虽然流控产品依然是控制P2P的主要方式，但单纯依靠流控已经无法满足优化用户体验的需求。时势造英雄，近一年来，业界为更好地解决出口带宽的问题，找到一个很好的方法，即利用Cache（缓存）技术来实现。

Cache可以通过监控网络出口流量信息，分析互联网资源的热度，将热点资源缓存在本地。如果用户访问的资源在Cache中已缓存，Cache就可以通过重定向等技术，让用户直接从缓存处下载，把之前校园网用户通过出口访问外网资源变成访问校园网内部的资源，达到外网资源内网化，以此来提高校园网用户访问的速度，提升用户的上网体验。

Cache原理及关键技术

1. 系统工作原理

（1）1.a客户端（包括浏览器、下载客户端、P2P客户端等）发出访问下载请求到互联网上的资源服务器（包括HTTP服务器、CDN服务器、P2P服务器、P2P客户端等）。

（2）1.b通过端口镜像或分光技术采集客户端的访问请求到内容加速监控设备，监控设备分析访问请求，判断该请求资源是否已经缓存在系统中，如果已缓存，就进入2.a发出访问重定向指令；如果未缓存并已达到热点资源的阀值，就调度缓存设备进行2.b缓存操作。

（3）2.a监控设备发送访问重定向指令到客户端，将客户端的访问重定向到缓存设备已缓存资源。

（4）2.b缓存设备从互联网资源服务器上下载缓存资源文件。

（5） 3客户端从缓存设备访问下载已缓存的资源文件。

具体工作原理参见图3。

2. 监听技术的应用

以锐捷网络的PowerCache为例。没有部署PowerCache之前，校园网内部用户通过主干网及出口设备访问互联网或CERNET资源。部署PowerCache后，核心交换机可以通过SPAN或分光的方式，将出口上行流量镜像到PowerCache（缓存设备）。PowerCache识别这些请求数据，并分析其请求资源的URL名称，将这些资源记录在本地，作为判断是否是“热点”的依据。当某个资源被请求次数超过管理员设置的阀值，PowerCache认为这是一个热点资源，便会自动到互联网或者CERNET下载此资源。下载完成后，这便是一个已缓存资源。

3. 重定向技术的应用

热点资源缓存后，当PowerCache监听到用户请求的资源是一个已缓存资源后，就会通过重定向的方式，让用户重新到PowerCache来请求这个资源。当然，不同的协议有不同的处理方式。以下分别对DNS、HTTP及P2P重定向进行说明：

图4 PowerCache监听及重定向原理

图5 Cache典型部署

（1） DNS重定向：系统支持将用户访问的DNS请求重定向到缓存服务器，以提供Web Cache服务，如果本次访问命中缓存服务器，缓存服务器就返回已缓存的数据，否则缓存服务器通过互联网出口链路回原到原始网站服务器以获取内容，再返回用户，同时进行缓存。

（2） HTTP重定向：系统支持将用户访问的HTTP请求以HTTP 302响应方式重定向到缓存服务器，以实现下载、流媒体类内容的缓存。

（3） P2P重定向：系统支持将用户访问的P2P、eMule等P2P访问请求重定向到缓存服务器或主动提供Peers给用户，以实现P2P缓存。

图4显示的是PowerCache监听及重定向原理。

4. 集群

Cache缓存了大量的热点资源，由于受制于性能及硬盘容量，在一些大型校园网中，一台Cache设备很可能无法支撑整个网络，这时，就需要多台缓存并行处理。目前，业内有两种并行处理方式：普通集群与云缓存。

（1） 普通集群：多台缓存设备之间存在父子关系，父缓存设备负责所有缓存的调度及维护一张所有缓存资源列表。当子缓存设备发现用户的请求在这张表中时，它就将请求发给父缓存设备，由父缓存设备负责调度。

（2） 云缓存：与集群模式不同，云缓存不存在父子关系。所有Cache产品均是云成员，可以选择与哪些云成员建立邻居关系，共同维护一张缓存资源表。

值得一提的是，这种集群模式还可以部署在几个高校之间。比如，几所高校通过核心千兆光纤互联，每个学校至少有一台Cache，通过云缓存模式建立邻居关系，这样，几所高校就可以共用他们的缓存资源，其投入产出比非常高。

图6 设置IP地址段

Cache典型部署

具体的Cache典型部署如图5所示。

1. 旁路部署

图7 缓存基本设置

系统支持旁路部署，以端口镜像、流镜像或无源分光、分光+DPI等方式监听获取GE/2.5G/10G链路中的互联网流量，如表1所示。

图8 缓存加速的HTTP设置

表1 旁路部署方式

2. 分布式部署

系统支持多台设备分布式部署，每台设备上均可以部署重定向引擎，负责各自监听范围内的缓存重定向任务，并由管理模块统一进行调度，实现流量负载均衡。

3. 部署步骤

（1）在核心交换机上设置端口镜像或流镜像，也可以利用无源分光的方法，将上行流量复制给PowerCache。

在网络交换机上设置端口镜像功能，将指定端口或VLAN的数据复制一份到镜像端口，从而得到被镜像端口的数据流量。绝大多数的网络交换机支持该功能，并且该功能对交换机的性能影响一般可以忽略不计。在部署PowerCache时，一般可以将互联网出口做双向端口镜像，也可以仅镜像TX/Outbound单方向的流量。

利用无源分光的方法为在互联网光纤线路上增加无源分光器，采取7∶3的分光方式，将原有的光数据70%强度沿原路收发，另外30%强度的光数据连接到网络监控系统，此时，一般只需要在TX/Outbound方向的光纤上做分光即可。

（2）将PowerCache设备连接到校园网内放置服务器群组的接入交换机，在PowerCache 设备上配置IPv4/IPv6 地址、掩码和网关参数信息。

（3）在设备管理界面上配置校园网内IP地址段，完成此步骤，即可快速开启缓存功能。

在缓存区域，设置热点资源的阈值，并且调整PowerCache下载热点资源的时间，通过如图6、7、8的简单配置，即可实现PowerCache简单的缓存功能。另外PowerCache还有诸如黑白名单设置、防病毒设置、数据库更新、报表设置等等，这里不再详细赘述。

图9 部署前后福州大学带宽使用对比

Cache带来的价值

福州大学通过校园网部署PowerCache后，其用户体验成级数增加。减少出口流量600Mbps，部署前后对比见图9。

福州大学的各种应用速度得到明显的提高：

1. HTTP访问速度从未部署PowerCache时的9.47KB/S提升到部署后的1.94MB/S，整整提高209倍。

2.在线视频访问速度从没有部署PowerCache时的207KB/S提升到部署后的1.08MB/S，整整提高5倍。

3. P2P下载速度从未部署PowerCache时的6.5KB/S提升到部署后的2.2MB/S，整整提高346倍。

通过部署Cache产品，带来以下的价值：

1. 降低带宽成本

通过透明缓存H T T P和P 2 P内容，PowerCache减少了高校网络为支持订阅用户需要的互联网骨干带宽总量。对于有线电视网络，PowerCache能够有效地延缓高校网络对增加CMTS上行端口和端点分离的需求，减少大量的资金投入和占用。

2. 提高网络效率

PowerCache自动按需缓存内容，在网络使用高峰期减少HTTP下载和P2P下载对互联网骨干的流量压力，帮助高校网络获得更高的网络带宽使用效率。同时，PowerCache还有效地改进了对HTTP、P2P和非P2P应用的网络响应速度，增强用户体验。

3. 增加客户满意度

通过减轻HTTP下载和P2P下载对互联网骨干带宽的压力，PowerCache改善了网络质量，减少了技术支持电话、客户投诉数量和客户流失率。对于经常使用P2P下载和在线视频的用户，他们可以用更快的速度透明地从PowerCache中访问到已缓存的内容，而无需占用互联网骨干带宽。

4. 先进成长平台

PowerCache帮助高校网络同等对待P2P流量和用户，而不再通过限制和禁止等手段来控制HTTP下载和P2P下载对网络的影响。PowerCache把占用大量带宽的HTTP和P2P流量限制在高校网络网络内部，帮助高校网络优化网络流量，提供更多增值服务，例如VPN、宽带视频、VoIP和P2P文件共享。

随着网络应用的逐步发展，校园网出口流量会越来越大，单纯的提升带宽已不是解决问题的唯一方法， Cache的应用不但丰富出口优化的方式，而且还大大地提升用户的体验。融合了Cache技术的“疏堵结合”出口解决方案，不但注重智能地处理数据，控制带宽的消耗，还提供外网资源内网化的智能处理方法，保障校园网的关键应用。未来，Cache技术必定发挥它独有的魅力，开启一个出口优化的新时代。

（作者单位为星网锐捷网络有限公司）