重庆教育城域网建设与升级

文/唐学文 熊忠阳 涂光友

重庆教育城域网建设与升级

文/唐学文 熊忠阳 涂光友

重庆教育城域网顺利完成了光纤系统建设，借助211-3期网络工程完成设备的更新升级，新教育城域网拓扑更加合理、可靠。

重庆教育城域网是利用西部校园网工程资金，由国家投资建设，2002年进行方案设计，2003年进行招标、实施，2004年建成投入运行。城域网方案分成城域光纤网和网络设备两部分，总共投资600万，其中城域光纤网投资300万，租用10年，网络设备投资300万。重庆教育城域网采用NE系列路由交换机组网，并与原有网络设备Cisco7206路由器共同组成重庆教育城域网，分别在重庆大学、工商大学、原工学院、市教委建立节点，采用2.5G RPR环网组网结构。目前城域网连接30多个学校和教育科研单位。主城区本科院校采用千兆光纤接入，其他院校采用2～100m VPN、DDN、FR等方式接入。重庆教育城域网对重庆市教育、教学活动的支撑作用是巨大的，但是在网络技术日新月异的今日，也暴露出了一些问题，主要体现在以下几个方面：

1. 重庆教育城域网建设时间较早，运行至今已经10年，主要节点设备已经逐渐老化、陈旧，早已经超过了质保期，属于超期服役，存在故障隐患；

2. 重庆教育城域网主要节点之间采用2.5G RPR环网技术建设，而以前采用的RPR是私有协议，非标准化，与其他网在主干上互连存在一定困难；

3. 重庆教育城域网没有运行维护经费，目前已经过了保质期，一旦出现故障，网络将会瘫痪。

4. 重庆教育城域网光纤租用到期，需要寻求资金解决城域网光纤租用问题。

5. 重庆教育网发生变化，需要重新建立重庆教育城域网结构。

线路建设

重庆教育城域网线路最初由各学校租用线路到重庆大学主节点。租用的线路早期采用DDN、FR，后来采用VPN专线，线路的带宽比较低一般不超过10M，2003年利用西部项目资金建设了重庆教育光纤城域网。光纤城域网采用的是租用方式，租期10年，到2013年以后租期，重庆教育城域网将面临断网的危险。2011年以后我们开始寻求新的联网方式，经过分析发现，10年来重庆高校也发生了一些变化，学校迁移，有的学校存在多个校区，重庆大学城在虎溪建立。我们需要重新规划重庆教育城域网的光纤拓扑结构，需要寻求资金解决光纤线路问题。重庆大学城网络是重庆市教委信装中心负责的项目，重庆大学城网络本身是有光纤资源的，我们把原重庆教育城域网与重庆大学城网络融合在一起，改变原重庆教育城域网的网络拓扑结构，2003年租用的16条光纤改为11条，建立重庆教育城域骨干网，将骨干网光纤资源纳入到重庆市教委的信息资源建设中，由重庆大学城信息中心负责光纤资源的预算与执行。这样就解决了重庆教育城域网10年租用线路到期的线路问题。

重庆教育城域网采用裸光纤方式，采用万兆建主干环，千兆接入。光纤由移动公司负责建设。2014年5月完成了9条移动光纤建设。重庆工商大学——大学城，大学城——西南大学裸光纤距离太远，衰耗大，暂时用千兆带宽方式解决互连。重庆教育城域网线路只解决重庆主城区包括北碚的线路问题，远郊及不在教育城域骨干网上的学校仍采用用户租用运营商VPN的方式接入重庆主节点。

重庆教育城域网2003年以后采用NE80 、NE40路由器，以重庆大学、重庆市教委、重庆工商大学、重庆理工大学组成城域网主干环，采用NE80 、NE40组成RPR 2.5G环。设备已经过了维保期。城域网是西部项目建设的设备，没有后续资金进行维保，2008年设备板卡出现问题以及市教委搬迁更换过设备板卡后厂家就不再提供设备的维保。2009年重庆高校共同出钱买了一次维保。由于NE80 、NE40是华为的老产品，2010年以后该产品早已停产，再想买维保已经不可能。另外低速线路采用上世纪90年代的产品Cisco 7206共享100M，低速用户明细感觉带宽不够，2010年以后设备故障率增多，必须寻找新的维保方案。曾经维保是每年买，可以用3年的维保费用来购买一套新的设备，当然这要求厂家对教育城域网的支持。当我们正准备实施城域网更换升级时，国家211-3期网络工程开始。利用211-3期网络设备来建设重庆教育城域网使城域网的档次更高、接入能力更强。以前主干2.5G,新的城域网主干10G。新城域网建成以后Cisco 7206就不再使用，消除了低速用户共享100M的瓶颈。

图1 教育城域网现有规划拓扑

升级方案拓扑

本次升级方案采用双环拓扑结构，以重庆大学、工商大学、大学城节点组成一个环，重庆大学、大学城、西南大学组成另外一个环。以重庆大学做为主节点，接入各区教育城域网及各高校。具体接入方式如拓扑图1。以重庆大学、西南大学及大学城节点形成备用环，以重庆大学做为主节点，接入北碚、合川各高校及北碚、合川区教育城域网。其中重庆大学节点采用211-3期路由器NE40EX8-cq1，大学城节点及西南大学采用SR8805骨干路由器、工商大学采用SR6608汇聚路由器升级成10G平台，三台路由器之间采用10G光纤采用以太网技术连接起来，而市教委仍然采用原有路由器通过GE光纤直接连接到重庆大学主节点路由器上，原有路由器可以作为市教委路由器的备份路由设备；虎溪大学城的链接方式保持不变。升级后的路由器直接替换原有NE路由器，连接方式保持不变。

升级方案实施

重庆教育城域网建设涉及到CERNET 211-3期主干网络建设、重庆教育城域网本身的设备更换、10年光纤租用到期的光纤拓扑调整以及用户的变化。在城域网升级以前重庆教育城域网IPv6是打通的，升级以后IPv6将重新部署。网络升级以后涉及网络管理权问题，按照CERNET管理要求，211-3期主干设备管理由CERNOC管理，大学城网络以前由大学城管理，CNGI-CERNET2主干由清华CNGI-CERNET2管理，老城域网由重庆主节点管理。光纤及用户传输线路，主干光纤由CERNET传输负责，重庆教育城域网光纤由移动负责实施，用户传输线路有电信、联通、广电的线路。重庆主节点积极协调各方面力量方案的顺利进行。重庆教育城域网用户切换不可能立刻切换到新的城域网上，新旧城域网要并存一段时间，这给网络规划设计与部署带来一定困难，需要有一个过渡，过渡时期网络路由比较乱，以前城域网建的BGP不能使用了，缺省路由不起作用，需要在新旧城域网协同配合完成对用户网络路由。整个网络建设分成了四个阶段。

第一阶段：重庆主节点设备及用户切换

2013年12月完成对重庆主节点的路由切换和用户切换。完成211-3期主干设备更换。重庆主节点两台主干Cisco CRS，两台接入NE40EX8上线，形成互为备份。将原主干设备Cisco12404、Cisco7609旁路备份，主节点出口10G，用一台NE40EX8接替NE80作为重庆教育城域网的核心设备，将原NE80的用户以及Cisco7206下的低速用户切换到NE40EX8上。NE80下挂在NE40EX8下继续与老城域网的NE40形成互连。

第二阶段：完成大学城网络用户及IPv6网络互连

大学城网络与重庆教育城域网原采用2.5G POS连接。重庆大学——大学城新光缆调试通以后就可以把大学城的网络及用户切换到新的网络中。2014年3月完成大学城的网络及用户切换。在此期间我们将重庆主节点NE40EX8升级启用IPv6协议与CNGI-CERNET2重庆核心节点建立IPv6互连，采用分区方式与大学城节点，工商大学节点建立IPv6互连，在三台路由器的用户接口下配置IPv4/IPv6接口地址，使用户能以双栈方式接入CERNET和CNGI-CERNET2。校园网一般有计费认证系统、防火墙，这些设备一般不支持IPv6协议，可以在出口加二层交换机分流或者采用支持IPv6的路由器建立v4、v6网络，然后采用跨线技术跨过计费认证系统和防火墙。用户网络可以根据自己网络支持IPv6的情况接入IPv6，不支持的IPv6校园网可以建立IPv6实验网，支持IPv6校园网直接在校园三层交换机上启用IPv6协议，在接口配置双栈，用户就可以使用IPv6网络。目前工商大学、重庆巴南区公司、城市管理职业学院等已通过此方式接入IPv6，西南大学、重庆师范大学采用DWDM方式接入CNGI-CERNET2。城域网升级到万兆以后，现有的DWDM设备就不再使用，今后西南大学、重庆师范大学仍采用双栈方式接入IPv6。重庆大学距离CNGI-CERNET2重庆核心近直接通过光纤接入IPv6。

第三阶段：完成工商大学网络用户切换及城域主干环形成

工商大学节点连接的学校一直没有切换到新的系统上，是因为移动光纤一直没有形成环。在移动光纤建设过程中，城域网主干没有形成环是相当危险的，重庆城域网是租用的移动光纤。移动光纤不仅为教育网服务，还为其他行业服务，移动采用基站跳接方式，在多年的运维中发现很容易断。工商大学到大学城的裸光纤衰耗不能满足万兆网络连接需求，经过移动的努力一直不见成效，工商大学到大学城距离较远，需要远距离铺设跨区光缆，短时间无法解决。工商大学节点连接的学校一直在老的城域网上运行也不太可靠，我们暂时采用一种折中方案，借助重庆移动的城域网建立千兆带宽链路。这样重庆教育城域网主干环就形成了。重庆大学——工商大学、重庆大学——大学城采用万兆裸光纤连接，工商大学——大学城采用千兆带宽链路。2014年6月完成工商大学节点设备的切换和用户切换，形成了主干网断，用户网络路由自动切换。

第四阶段：完成西南大学网络切换形成第二个主干环

目前西南大学、市教委、重庆医科大学仍然在老城域网下，预计2014年9月以后向新的城域网上迁移，西南大学配置支持万兆接口的设备以后就可以与NE40EX8实现互连，大学城——西南大学千兆带宽已调试通可以建立第二个主干环，重庆大学——大学城——西南大学。市教委目前在NE40的RPR环下，需配置千兆交换机直接与NE40EX8实现互连。重庆医科大学进行校区网络迁移，将网络迁移到虎溪校区。这样整个网络用户迁移完成，老城域网就可以下线了。

具体实现技术

重庆教育城域网成功的实现了网络平滑迁移，在不同厂家产品之间实现了主干断网用户路由自动迁移，主要采用分区OSPF协议，直接接在NE40EX8上的学校建立静态路由，接在大学城和工商大学节点的学校不建立静态路由，通过OSPF协议学习大学城和工商大学节点的路由。在大学城和工商大学节点采用OSPF和静态路由相结合，将用户网段的路由发布出去。NE40EX8上用于主干已经使用OSPF，为了区分重庆教育城域网OSPF进程号采用23。在IPv6方面启用OSPFv3协议，城域网主干采用area 0.0.0.0，大学城节点采用area 0.0.0.5，工商大学节点采用area 0.0.0.6，在每一个路由接口下配置按64位配置IPv6接口地址，如2001:DA8:B1:501::1/64，用户网络接口配置2001:DA8:B1:501::2/64。已申请IPv6地址学校把路由做到用户接口上，如ipv6 route-static 2001:DA8:C801:: 48 2001:DA8:B1:501::2，没有申请IPv6地址学校，仍然可以以路由IPv6接口地址为网关，使用同一64位地址段上网，既是用户网络没有支持IPv6的路由器仍然可以建立一个小的IPv6实验网借助节点路由上网，要实现这一功能需要在校园出口串接一个二层交换机将v4、v6流量分离。NE40EX8的上连CRS并不配置IPv6地址，它与CNGI-CERNET2的设备采用光纤连接，并分别配上IPv6接口地址，NE40EX8上IPv6缺省路由指向CNGICERNET2的设备。通过上述处理后实现了主干断网用户路由自动迁移，城域网IPv4和IPv6信息流正确路由与分离。

重庆教育城域网顺利完成了光纤系统建设，借助211-3期网络工程完成设备的更新升级，新教育城域网拓扑更加合理、可靠，旧城域网是单环2.5G，新城域网双环10G，城域网出口过去是两个2.5G，现在是2个10G、2个100G。2014年6月完成设备更新，用户切换，在网上招生前城域网主干环路形成，确保了2014年网上招生任务。城域网将大学城网络与旧城域网有机融合在一起，形成了重庆教育城域骨干网，新城域网接入范围能力更强，低速网络共享100G问题得到解决。同时，解决了光纤10年租用到期的费用问题，将城域网光纤与大学城网络光纤一起纳入到正规的预算中。重庆教育城域网实现了IPv6技术升级，能为用户网络提供IPv4/ IPv6双栈接入形式，能与CERNET、CNGICERNET2实现很好的对接。

（作者单位为重庆大学信息与网络管理中心）