宽带城域网络建设优化纵横谈

沈 韬，杜 军

（1.中国联合网络通信有限公司湖北省分公司 武汉 430040；2.华中科技大学 武汉430074）

1 引言

2010年第3季度，中国联通固网宽带用户总数突破4 598万户。数据显示，全球排在前两位的中国联通、中国电信的宽带用户数占全球宽带用户数的20%，宽带已成为全业务经营的一项重点工作。由于宽带城域网（merto area network，MAN）是根据业务发展和竞争的需要而建设的城市范围内的宽带多媒体通信网络，是宽带骨干网络在城市范围内的延伸，并作为本地的公共信息服务平台组成部分，负责承载各种多媒体业务，为用户提供多种接入方式，所以宽带城域网的能力高低已成为衡量运营企业核心竞争力的关键参数之一。对宽带城域网进行全生命周期建设和优化，使其成为一个经营效益突出、性能优良、可运营、可管理、可扩展的安全精品网络，满足各项全业务发展的需要，正成为当前运营企业重要的基础工作。

2 宽带城域网建设现状及主要问题

随着业务的高速发展，湖北联通宽带城域网暴露出一些问题，如由于用户规模的发展，IP地址需求增大，最终造成宽带城域网路由条目的增多以及路由收敛时间的增长；因为网络覆盖区域的扩大，造成少数网络接入不规范而影响新业务的及时开通。

典型宽带城域网分为骨干层、汇聚层、接入层3层结构。骨干层网络又称为核心层网络，为城域网提供骨干数据流传输的服务，必须为整个网络提供一个高速、宽带的全网状连接，并能提供城域网访问所需的路由服务。湖北联通IP骨干网和宽带城域网运行BGP和IGP路由协议，其中IGP只承载城域网路由器或交换机的Loopback和互联接口IP路由，用户业务路由和Internet路由由BGP承载。目前湖北联通IP骨干网每个地市都采用一个私有AS号，与国家骨干网（自治域AS4837）之间采用EBGP互联，为了实现流量的冗余和负载均衡，均采用Loopback地址并以EBGPMultihop的方式进行互联。在IBGP部署中，各本地网核心路由器GSR（武汉为CRS-1和GSR 12816）作为该RR的路由反射器。以后调整网络结构时，只需对城域网出口路由器进行配置即可，降低了网络风险，提高了可靠性。

湖北联通IP骨干网和城域网内的IGP采用统一的OSPF路由协议，OSPF域采用一级结构主干域（backbone），即Area0。各地市SR和BRAS采取Loopback与出口路由器建立邻居关系。OSPF通过强制下发默认路由方式引导流量上行，只承载宽带IP网内Nexthop（下一跳）路由，用户业务路由和Internet路由由BGP承载，宽带IP网和骨干网之间运行EBGP交换路由信息。湖北全省IP城域网结构如图1所示。

图1 湖北联通宽带城域网结构

通过全网分析，当前省内宽带城域网存在的主要问题是：部分核心出口路由器性能不足；部分SR、BRAS设备老旧，不能有效支持MPLS VPN等技术，影响地市全面开展VPN业务；部分地市IGP协议部署不合理，造成路由条目数激增，存在黑洞路由、次优化路由等硬环，增加设备运行压力及网络稳定性；部分中继带宽不足，忙时易出现延时增大、丢包现象，影响用户感知。

因此，为进一步提升核心竞争力，急需全面统一规划IP城域网架构，根据路由协议及流量模型持续进行网络优化已成为一项重要工作。

3 宽带城域网路由协议及路由策略优化

经过比较并结合实际情况，湖北联通宽带城域网路由协议部署的总体策略是将BGP用于承载业务路由，IGP用于承载城域网设备互联及管理地址路由。各城域网的外部网关协议采用BGP路由协议，城域网与China169及CNCNET骨干之间采用EBGP互联，城域网IGP采用OSPF协议。宽带城域网优化工作的重点是实现城域网与CNCNET的互联，城域网出口路由器与CNCNET骨干接入路由器之间采用普通EBGP路由协议，相互交换高质量业务路由。城域网内部采用IBGP路由协议，根据城域网的规模和业务需求接收全部或部分Internet路由及缺省路由。对于城域网内需要部署MPLS-VPN的PE路由器，需要配置MP-IBGP路由协议。

3.1 EBGP策略

根据湖北联通城域网优化改造的需求，湖北联通本次城域网改造共设置了3个城域网出口，具体如下：城域网核心路由器与China169骨干EBGP出口，用于传输普通Internet流量；城域网核心路由器与CNCNET骨干EBGP出口，用于传输高质量业务流量；城域网新增SR（专用于PE-ASBR与CNCNET PE路由器MP-EBGP出口），用于传输跨域VPN流量。

3.2 流量分流设计思路

目标城域网具有独立的自治域编号，与China169和CNCNET之间为EBGP邻接关系。城域网必须实现对穿越China169和CNCNET流量的双向可控，保证有高质量用户参与的业务优选CNCNET传输，普通用户间的业务优选China169传输，从而为城域网各类用户业务提供不同等级的服务质量保证。宽带城域网络流量分流如图2所示。

根据城域网与China169、CNCNET间的网络互联结构，采用BGP路由策略并结合策略路由技术，实现城域网到China169、CNCNE的流量流向控制。通过城域网向China169和CNCNET发布精确度不同的路由信息或者相应的（粗/细）中国联通IP路由，运用相应的路由控制策略（使用相应的BGP路由属性）实现所有对城域网高质量用户的访问经CNCNET传输，城域网普通用户间的访问经China169传输（入城域网流量）。针对城域网高质量用户出城访问业务，使用策略路由进行引导，将流量导向CNCNET传输（出城域网流量）。China169和CNCNET的路由信息及流量不应穿透城域网。

3.3 流量分流设计

城域网与China169之间。

出流量策略：要实现对China169的出流量策略，主要通过控制接收来自China169的路由方式实现。大型IP城域网以及部分有特殊需求的城域网可接收全路由（包括其他各城域网通告的所有用户聚合路由、CNCNET直连用户路由、China169直连用户路由、全部Internet路由）以及缺省路由；中型IP城域网接收China169的域内路由、CNCNET域内路由、部分Internet路由和缺省路由；小型IP城域网只接收China169的域内路由、CNCNET域内路由以及缺省路由。对于接收BGP路由的城域网，在出口路由器上采用Local Preference BGP属性的参数设置，设定外出流量经哪台城域网骨干路由器出网，可以实现出网流量的均衡负载。

图2 湖北联通宽带城域网流量分流

入流量策略：要实现对China169的入流量策略，主要通过控制向China169对外公布的路由方式实现。在城域网出口路由器上，向China169公布城域网汇总路由，并采用MED属性控制两台出口路由器上不同的China169入流量。对于城域网内无法汇总的高质量业务路由，利用Community属性标识这些高质量业务路由，然后在出口路由器上利用AS-Path属性控制，向China169公布这些路由具有比CNCNET更长的AS-Path，从而实现高质量业务流量从CNCNET进入城域网。

城域网出口路由器上配置AS-Path过滤，使城域网向China169只公布本AS内的路由，不会使城域网成为China169和CNCNET的穿越AS。

3.4 IBGP策略

城域网的IBGP部署包括两部分，一部分是用于传输Internet流量的全局IBGP，另一部分是用于传输MPLS-VPN流量的MP-IBGP。以下对普通IBGP的部署策略进行描述。

IBGP部署的原则主要为优化路由，以最优路径输导城域网流量，减少路由器间的穿越流量，提高路由器的传输效率和性能。湖北联通各城域网根据规划的AS号部署IBGP，BGP路由协议部署在两台城域网核心路由器上。汇聚层以及业务接入控制层路由器（SR及BRAS）是否配置IBGP路由协议，取决于城域网内的出口流量情况。

3.5 城域网出口路由器流量穿透问题建议

China169骨干网设备和城域网核心设备之间建立EBGP邻居关系，China169骨干网设备将骨干网的路由宣告给城域网核心设备，并将ISIS Metric值转化为BGP MED宣告给城域网核心设备，以引导城域网出流量在城域网内穿越，减少China169骨干网设备之间的流量穿越。

在城域网核心互联链路上穿越的流量包括：地市内部的流量，单归到不同核心设备的节点之间的互访流量；从骨干网回城域网的流量，地市节点单归到一个核心节点的部分回流量；城域网的出流量，如果城域网核心和汇聚层内部没有运行IBGP，城域网的出流量主要依赖缺省路由引导到核心节点，然后根据BGP MED值选取不同的核心出口出城域网。

城域网核心链路上的主要穿越流量为第3种流量。减少这部分穿越流量的方法主要有5种。

·在城域网汇聚设备上运行IBGP协议，这样汇聚设备会根据BGP MED进行选择，从而减少了城域网核心设备之间的穿越流量。

·城域网核心设备采用交叉上联方式：城域网汇接层路由器将流量送到城域网核心路由器上，由于核心路由器上有2个上行方向的链路，因此流量不需要穿越。

·改造现网汇接、SR、BRAS路由器中存在单归问题的网络结构，使之能够对称（等带宽）双归至两台城域网核心路由器，从而可避免城域网核心路由器之间的流量穿透问题。

·在城域网核心路由器上show出产生穿越流量的Internet路由，利用 BGP 的 Local Prefrence、AS-Path、MED等属性调整这些路由的BGP属性，使这些流量直接上行到省网接入路由器，而无需穿越。

·对于城域网内汇接、SR、BRAS路由器已双归至两台城域网核心路由器的，在带宽允许的情况下，调整上行链路的Cost值，使流量只上行至一台核心路由器出网。这种方法只适用于临时流量疏导，正常情况下不建议采用。

3.6 IGP Metric策略

经过网络优化改造以后，湖北联通各地市城域网的路由器数量一个地市不超过30台，并且这个数量不会有太大的变化。因此，建议各地市仍延用OSPF作为城域网的IGP，同时，将城域网内业务接入控制层以上的路由器部署在OSPF Area0内，各区县根据上期工程的规划分配相应的子Area值。

城域网内OSPF Metric值的设置原则上要尽可能地降低核心层路由器间的穿透流量，降低核心路由器的压力，优化路由的路径，选择最优的路径实现转发。

当城域网中全部中继链路都正常时，城域网中的用户流量如图3所示，由于市局的汇聚路由器一般采用双上联连接到核心层，所以正常情况下城域网的流量不会在核心层之间穿越，根据OSPF的选路原则，会选用一条Cost值最小的路径访问。

当部分中继链路中断时，如果不修改核心层之间的10 Gbit/s链路 Cost值，采用默认的 Cost值 10，根据 OSPF的选路原则，城域网流量会穿越核心层，具体流量走向如图4所示，将增加核心路由器的压力。

因此，为了减少核心层之间的穿越流量，避免产生次优路由，建议将城域网核心层之间的10 Gbit/s链路Cost值手工更改为100。在修改完Cost值后，流量不再穿越核心层，流量走向如图5所示。

图3 湖北联通宽带城域网IGP Metric策略部署

图4 湖北联通宽带城域网部分链路中断时优化前流量流向

BRAS与城域骨干网之间原则上采用静态路由的方式进行配置，随着业务的不断发展，上行链路的带宽需要逐步扩容，为方便后期的运维工作，满足BRAS上行链路动态路由的冗余能力，建议将静态路由逐步改造成OSPF动态路由模式。

3.7 城域网内引入BGP、ISIS的可行性

随着用户和网络规模的发展，部分地市OSPF路由表条目过多，给路由控制带来了较大的难度，所以考虑引入BGP协议提升路由控制能力，或者采用ISIS扩大城域网的路由承载能力。

建议在省内大的地市采用BGP路由实施，其他中小地市不建议实施，原因是中小地市的城域网路由OSPF路由表条目规模不大，而且由于BGP的运维技术要求比较高，对运维人员的路由控制技术能力要求也较高，所以会有很大的运维难度。如果引入BGP路由，采用私有AS号，号码就是原来分配给各地市的AS号，同时需要考虑原来的2/3层VPN的承载，建议加入AS的BGP路由采用2个Loopback地址，其中一个承载2/3层VPN，另外一个承载城域网路由。

采用ISIS路由的具体实施原则如下：新建一个Loopback地址，作为ISIS路由的Route ID。在实施的过程中，建议同步配置ISIS和OSPF路由，然后再逐步割接到ISIS路由中。全部的城域网路由配置为L2/L1模式。根据原来的OSPF的Area的划分，继续进行ISIS路由的Area划分。需要注意MPLS/VPN的问题。

考虑到ISIS路由的多厂商兼容问题，建议采用在城域网中引入BGP路由的方式解决OSPF路由表条目出现过多的问题。

3.8 MPLS环境下的多链路负载均衡

随着MPLS VPN业务的开展，业务控制层以上设备均要开放MPLS VPN功能，提供多种MPLS VPN业务的接入能力，而湖北联通城域内各节点路由器设备间的互联采用了多条电路，这就涉及到MPLS环境下的多链路负载均衡问题。

在MPLS环境下，实现多链路负载均衡有如下两种方法。

·需要实现负载均衡的两台设备间的多链路是对称（相等带宽）的，即采用两条1 Gbit/s、两条2.5 Gbit/s或两条10 Gbit/s等链路，使之达到IGP的负载均衡能力，在这种环境下，MPLS也将自动建立两条不同的LSP，从而实现负载均衡。

·两台需要实现负载均衡的设备间的多链路是非对称（不等带宽）的，在这种环境下，IGP无法实现自动负载均衡。缺省情况下，MPLS只会建立一条最优化IGP路径作为LSP，即使主链路的带宽饱和，流量也不会从备链路走，从而无法实现负载均衡。要实现非对称多链路环境下的多链路负载均衡，需要采用MPLS的流量工程（TE）技术，在两条或多条不相等带宽的链路上，建立相应的流量工程隧道，并为各隧道分配一定比例的带宽，当第一条隧道（主链路）的带宽趋向（或达到）饱和时，自动启用第二条隧道，从而实现非对称多链路环境下的多链路负载均衡。

4 宽带城域网优化案例

以湖北黄冈宽带城域网优化改造为例，详细介绍典型宽带城域网优化改造实施过程。

图5 湖北联通宽带城域网部分链路中断时优化后流量流向

4.1 黄冈宽带城域网现状及问题

黄冈IP城域网共有2台城域网出口路由器7609，分别放置在XX大楼机房和YY机房，XX大楼7609通过2.5Gbit/s POS上联GS A1国干路由器NE500E，YY大楼7609通过2.5 Gbit/s POS上联CL A2国干路由器NE5000E，之间建立EBGP（AS4837）邻居关系，黄冈IP城域网内SR和BARS通过Loopback地址建立OSPF邻居关系。黄冈宽带城域网网络结构如图6所示。

黄冈宽带城域网当前存在的主要问题如下：核心出口路由器为Cisco 7609，更适合作SR，作为核心设备稳定性不足；城域网SR设备采用华为NE40系列，对MPLS VPN、组播技术支持能力不足，无法在全市开展MPLS VPN及IPTV业务；城域网结构不合理，SR到核心出口路由器为GE互联，忙时带宽不足。

4.2 黄冈宽带城域网网络优化改造

由于目前黄冈IP城域网的流量日益增大，满足不了IP城域网的长远发展。故对IP网进行设备替换和链路扩容，并且对IP城域网作网络优化。改造后的黄冈IP城域网由GSR12416替换原核心出口路由器7609，并且上联武汉，更扩容一条2.5 Gbit/s POS，原7609下沉作为汇聚层路由器。改造后的GSR12416通过4GE与7609互联，两台GSR 12416之间通过2GE互联。目前WX和RF机房这两个POP接入点日常流量比较大，SR和BRAS直接与GSR 12416互联，其余POP点直接接入汇聚路由器7609上。下沉7609启用PE功能，核心GSR作为P设备，在城域网启用MPLS VPN业务；同时，具备IPTV业务部署与开展能力。改造后的宽带城域网网络结构如图7所示。

图6 湖北联通黄冈宽带城域网改造前网络结构

4.3 黄冈宽带城域网优化割接过程

在黄冈宽带城域网优化割接过程中，应该提前准备好相关割接工作，在确保XX大楼7609路由器正常工作的前提下，进行YY7609路由器的割接，用户上网没有明显的感知区别。在割接时应将流量从YY7609路由器牵引到XX大楼路由器上，确认业务正常后，进行邮政GSR和7609路由器的割接。

做好割接前各项准备工作是优化割接过程中的一项重要工作，重点内容是确定割接前和割接后拓扑（如果拓扑有变化），确定割接需要用到的技术参数，如路由协议参数、新用到的IP地址等；割接前需做好备份工作，包括XX大楼和YY7609相关光纤线路和尾纤、现有的路由器系统软件和配置文件等；可以提前调试的内容、割接工作和割接配置，包括每一步配置的目的、命令、效果检查方法和回退、确定割接各方的具体人员、任务职责、时间安排统计、确定割接时各方联系人和联系方式、讨论并确定割接方案、割接前做好用户通报工作、割接前测试和割接后测试报告和确认、对全网所有设备配置进行备份，设备包括BRAS、SR、核心路由器。备份的主要内容包括：设备配置、OSPF邻居关系、BGP IPv4邻居关系、端口描述、端口流量。

图7 湖北联通黄冈宽带城域网改造后网络结构

表1 黄冈宽带城域网优化割接工作说明

对于实际割接工作，建议割接时间选择城域网流量最小的时间段，一般为凌晨。割接团队由两人组成，一人负责割接，一人负责BGP、OSFP的状态检查以及业务的检查。割接操作建议时间为0:00-6:00。具体割接工作说明见表1。

如果在割接过程中出现异常情况，应及时进行回退操作。回退步骤如下。

·断开GSR与武汉A1设备互联，把尾纤插回7609路由器。

·关闭GSR与7609所有接口。

·修改7609 Loopback地址以及和7609建立BGP对等体中Neighbor的Loopback地址。

·将路由策略调整恢复至割接前。

·通过show run备份出目前的配置，通过对比软件观察与割接之前的配置差异。

·业务测试，主要观察路由路径是否与割接前一致。

·保存配置。

5 结束语

随着宽带移动互联网时代的到来，在全业务运营的环境下，如果按照“起于用户需求、止于用户满意”的服务理念，在盘活现有全部资源的条件下，高度重视城域网络持续路由策略优化和流量的分担管理问题，通过全省网络工作人员的团结、求实、严谨而务实的工作，宽带城域网必将成为中国联通核心竞争力的基础。

1 马磊.中国电信IP城域网优化研究.广东通信技术,2010(12):13～16

2 苏洪斌,潘晓峰,陈华峰.IP城域网优化策略及现网改造.邮电设计技术,2008(12):19～23

3 宋强.IP城域网优化技术探讨.电信科学,2007(10):53～56