山西电力骨干数据通信网优化方案研究

段 敬，张淑娟

（山西省电力公司电力通信中心，江西 南昌 330200）

0 引言

2009年国家电网公司提出了建设坚强智能电网的目标，可以预见，电力信息化将会飞速发展，山西电力数据通信网承载业务种类和数据量将会不断增加，业务数据敏感性、安全性也会不断提高，这就对网络提出了更高的要求。为了适应发展的要求，针对山西电力数据通信网的实际情况，提出了相应的优化建议。

1 网络拓扑及网络带宽优化

针对山西电力数据通信网核心层网络拓扑和骨干层网络拓扑以及网络带宽进行了分析，并提出了优化建议。

1.1 核心层网络拓扑优化

1.1.1 优化前核心层网络拓扑

山西电力数据通信网优化前核心层拓扑见图1。

1.1.2 核心层网络拓扑分析

目前，山西电力数据通信网核心层由2台思科12016和1台思科7609路由器组成，其中2台12016路由器既作为整个数据通信网核心路由器PR（Provider Router），又做为供应商边缘路由器PE（Provider Edge Router）用于省调信息网业务接入。2台12016路由器做为PE路由器有如下问题。

图1 优化前核心层网络拓扑

a）12016路由器既做为整个数据通信网的核心路由器又做业务接入路由器，运行压力大，数据转发效率低。

b）12016路由器是山西电力数据通信网全省骨干路由器的第一汇聚点，如果其同时作为PE路由器，配置的频率增高，如果配置出现问题，会影响数据通信网的稳定。

c）12016路由器板卡集成度低且都是广域网接口，如果用于本地业务接入，成本高。

1.1.3 核心层网络拓扑优化建议

a）目前，山西省电力公司有1台冷备份思科7609路由器，建议将省公司端冷备份7609路由器和目前在用的7609路由器作为省公司端的PE路由器，互为冗余。

b）将2台12016路由器所接的数据通信网业务平移至2台7609路由器上，将2台12016做为P路由器。

c）省调7609路由器与省调12016路由器成口字型结构，两两之间采用端口绑定（Port-channel）技术绑定两条线芯千兆以太网GE（Gigabit Ethernet）通道，提高链路冗余性。

d）将省调互为冗余的2台7609路由器和2台12016路由器分别部署至不同楼层的机房，提高设备的冗余性。

1.1.4 优化后核心层网络拓扑

山西电力数据通信网优化后核心层拓扑见图2。

图2 优化后核心层网络拓扑

1.1.5 优化后的优势

a）优化后省调2台12016路由器做为P路由器，2台7609路由器做为省调PE路由器，层次清晰、分工明确、便于管理，加快了核心12016路由器的转发效率。因为P路由器是不需要进行IP路由转发的，它只需要根据边界网关协议BGP（Border Gateway Protocol）路由的下一跳进行标签转发。

b）优化后省调2台12016路由器和2台7609路由器之间的链路冗余性和设备冗余性都有很大的提高。

1.2 骨干层网络拓扑及网络带宽优化

1.2.1 优化前骨干层网络拓扑

优化前骨干层网络拓扑见图3。

1.2.2 骨干层网络拓扑及网络带宽分析

数据通信网的骨干路由器7609汇聚至核心层时，除了太原地区2台7609路由器与省公司端核心层12016路由器组成口字形环网，其余地区都是两两串联与省公司端核心层2台12016路由器组成环网。

图3 优化前骨干层网络拓扑

这种连接拓扑的优势是以最小的链路资源，将骨干层7609汇聚至核心层12016，并实现了链路冗余。但是从网络发展的长远角度看，环形双归结构有如下不足。

a）地区2台7609无法做到流量负载均衡。根据OSPF路由算法，每个地区的所有网络流量都只会通过7609-1与核心12016互联的155 M通道上下行。地区间互联的155 M通道不会有任何流量，除非7609-1与核心12016的155 M通道出现问题。也就是说每个地区的实际上联带宽是155 M，地区之间的155 M链路没有被充分利用，7609-2的性能也没有被充分发挥，转发效率降低一半。

b）大大增加了在骨干层7609路由器上作服务质量保证QoS（Quality of Service） 的难度。随着山西电力信息化建设步伐不断加快，数据网不再只是承载数据业务，也需要为实时性要求高的业务（如网真、NGN）提供高质量的服务保障，只有这样在网络出现拥塞、链路异常等情况时仍能保证这类实时性业务的服务质量。在环形双归结构中部署QoS面临两个问题：首先QoS配置涉及环网上两个地区的流量，需要在两个地区的设备上相互做配置，配置相当复杂；第二，如果在一个地区做QoS配置时，一旦出现问题会同时影响环网上两个地区的业务。

c）随着国家电网公司建设坚强智能电网目标的提出，可以预见，山西电力数据通信网承载的数据流量将会快速增长，为了适应发展的需求山西电力数据通信网需要进行带宽扩容。

1.2.3 骨干层网络拓扑优化建议

a）利用已建成的密集波分系统DWDM（Dense Wavelength Division Multiplexing） 为每个地区至省公司提供两条GE链路替换现有的155 M链路，用于地区的2台7609骨干路由器和省公司两台12016核心路由器互联；同时，将原骨干网中除太原地区外其他地区的环形双归结构改为双归口型结构。

b）2010年山西省电力公司在长治建立备用调度中心做为第二信息汇聚点，为了加强数据通信网的通道冗余性，利用原有的2.5 G传输网为每个地区骨干路由器至长治备调核心路由器提供155 M通道，作为备份电路。

c）分别用DWDM传输网和同步数字体系SDH（Synchronous Digital Hierarchy） 为长治备调至省公司2台核心路由器提供622 M通道，保证通道的冗余性。

1.2.4 优化后骨干层网络拓扑

优化后骨干层网络拓扑见图4。

图4 优化后骨干层网络拓扑

1.2.5 优化后的优势

a）优化后各地调2台骨干路由器与省调2台核心路由器单独成环，结构简洁，各地调上下行流量可以充分利用两条GE通道的带宽做到流量负载均衡且地调间流量不会相互影响，便于部署QoS。

b）增加备调作为全省第二汇聚点，大大增加了网络的冗余性。省调各系统将在备调建设灾备中心，当省调不能正常运转时，数据通信网路由可瞬间切换至备调核心路由器，不影响地调与备调以及地调间的通信。

c）优化后省到地主用通道带宽由155 M升级为2 G，备用通道带宽由2 M升级为155 M，为今后智能电网建设打下了良好的网络承载平台。

2 网络路由优化

2.1 骨干网络BGP路由分析

山西电力骨干数据通信网BGP路由设计为2台核心12016路由器作为各地调骨干7609路由器的路由反射器RR（Route Reflector）。全省变电站、电厂路由器与地调骨干7609路由器建立内部边界网关路由协议IBGP（Internal Border GatewayProtocol）会话。

这种设计是一种非标设计，因为IBGP具有一种水平分割的防环机制，即从一个IBGP邻居学来的路由，默认情况下不能转发给另外一个IBGP邻居。这种机制在本网中体现为地调7609路由器不会将从省核心12016路由器学习到的路由转发给地区变电站路由器，同理也不会将从地区变电站路由器学到的路由转发给省核心12016路由器。造成了省核心路由器与变电站路由器路由转发的断裂。目前在骨干数据通信网中为了使省核心12016路由器和变电站路由器路由互通，在地调骨干7609路由器上，每个业务分别指两条静态汇总路由到null 0，并将静态路由重分布进IBGP分别送给核心12016路由器和变电站路由器。核心12016路由器和变电站路由器靠静态路由达到互通的目的。这样做的缺点是每增加一个虚拟专用网业务VPN（Virtual Private Network），地调骨干7609路由器上就必须多指两条静态路由，一方面增加了配置量，另一方面降低了省骨干网的可管理性，更重要的是造成了标签转发路径LSP（Label Switch Path） 的断裂。

为了解释LSP断裂问题，以太原地区为例说明，见图5、表1。

图5 标签转发路径示意图

表1 假设图5中设备地址分配

在理想情况下，省调7609和变电站路由器通过IBGP路由协议能够学习到对方的明细路由。当省调7609-1向变电站递送VPN A的数据包时，数据包会被压入两层标签，底层标签是变电站路由器为VPN A业务路由10.1.1.0/29分配的标签，顶层标签是省调7609-1的真实下一条省调12016-1为变电站路由器环回口1.1.3.1分配的标签。当路由传递到省调12016路由器后，顶层标签会被交换为BGP的下一条地调7609-1为变电站路由器环回口1.1.3.1分配的标签，继续传递。当数据包递送到地调7609-1，会弹出顶层标签，将数据包继续递送到变电站路由器，数据包到达变电站路由器后会弹出底层标签，进行IP路由查找，进而递送到VPN A业务交换机3。这是一条完整的标签转发路径，见图5，LSP1。

目前，骨干数据通信网的实际情况是由于IBGP RR设计问题，省调7609-1和变电站路由器互相学不到对方的明细业务路由。之所以业务能够被正常路由，是因为在地调7609上指了两条静态路由，并将静态路由重分布进BGP中，以图5中VPN A业务为例两条路由分别为

ip route vrfMIS10.0.0.0 255.0.0.0 null 0

ip route vrfMIS10.1.1.0 255.255.255.248 null 0

省调7609-1学到去往变电站VPN A交换机3的路由是静态路由10.1.1.0/29 null 0，下一跳是地调7609。变电站学到去往VPN A交换机1的路由是静态路由10.0.0.0/8 null 0，下一跳也是地调7609。当省调7609向A站递送VPN A业务数据包时，只会压入一层标签即地调7609为10.1.1.0 255.255.255.248 null 0这条静态路由分配的标签，当数据包到达地调7609后，标签会提前弹出并进行IP路由查找。由于地调7609和变电站路由器相互能学习到对方的明细业务路由，地调7609经过IP路由查找后，可知去往10.1.1.0/29的下一条是变电站路由器，数据包会再次被压入一层标签，即变电站路由器为业务路由10.1.1.0/29分配的标签。数据包递送到变电站路由器后，弹出标签进行IP路由查找，进而将数据包递送到VPNA业务交换机3上。

通过以上分析可以看出，一条完整的标签转发路径被断裂成两条路径，如图5，LSP2、LSP3。造成的后果是业务数据包从省调递送至变电站需多增加一次路由查找、多增加一次标签压入，大大降低了转发效率。

2.2 网络路由优化建议

将每个地调的2台7609路由器做为二级RR。

2.3 优化后的优势

优化后IBGP承载的业务路由全网互通，不必在每个地调的7609上指静态汇总路由，以达到业务路由互通的目的。业务路由转发过程中标签转发路径完整，转发效率高，真正体现了多协议标签交换MPLS（Multiple Protocol Label Switch） 技术的优势。网络更加规范，便于管理。

3 网络安全优化

目前，山西电力数据通信网在广域网层面缺乏有效的安全监控手段，而所承载业务的信息量不断增加，数据敏感性不断提高，网络安全显得越来越重要，需要加强广域网安全建设。

3.1 网络安全问题分析

据统计，绝大部分网络攻击来自于网络内部，攻击者通常是通过探测攻击发现网络中的漏洞进而进行进一步攻击。探测攻击的攻击手段有：抓包、端口扫描、Ping扫描等。另一种常见的攻击方式是访问攻击，攻击者通过攻击获得网络系统的操作权限，进入网络后可以对数据或配置任意修改，一旦攻击者得逞后果不堪设想。

3.2 网络安全优化建议

a）在网络中部署入侵检测系统IDS(Intrusion Detection System)，用于检测端口扫描、Ping扫描等攻击手段。

b）在省调增加1台动态密码服务器，配合原有访问控制系统ACS（Access Control System） 进行身份认证。

c）禁止在数据通信网中使用Telnet协议，利用SSH等密文协议进行登录。

3.3 优化后的优势

a）部署IDS后，可以对数据通信网中的端口扫描、Ping扫描等探测攻击进行监控，能够及时发现一些内网的网络病毒、系统漏洞、异常攻击等高风险事件并进行有效预防和处置。

b）在网络中部署动态密码服务器后，每个网管人员同时会配备一个口令卡，口令卡的密码与密码服务器中RSA加密算法同步，每隔两分钟变换一次。网管人员登录数据通信网中任何一台路由器进行操作时，会被要求输入ACS静态认证用户名和密码以及口令卡密码，如果多次输入错误，改口令卡会被锁定，提高了身份认证的安全性。

c）Telnet是明文协议，如果在网络中使用Telnet协议，那么攻击者可以利用抓包工具抓获用户名和密码，使用SSH等密文登录协议配合动态密码访问控制系统可以很好地抵御访问攻击，防止攻击者或非授权人员对网络数据进行篡改。

4 结束语

山西电力骨干数据通信网经过优化后，网络拓扑简洁、合理，骨干层网络带宽扩展了13倍，网络路由更加规范，便于维护与管理，网络安全防护能力大大提高。为省公司的生产、经营、管理及信息化和智能电网建设搭建了坚强的网络承载平台。

［1］ Randy Zhang Micah Bartell.BGP设计与实现［M］.人民邮电出版社，2008：196-205.

［2］ Luc De Ghein.MPLS技术架构［M］.人民邮电出版社，2008：151-152.