剖析环路故障

故障现象

某个工作日下午，用户反映访问内部业务系统非常缓慢，不少页面无法打开，查询数据也经常出现超时现象。通过Ping命令进行测试，发现访问外网一切正常，但是访问业务系统服务器则出现严重丢包现象，访问其他用户网段也正常。通过网络设备状态监控系统观察，所有设备状态正常，各条链路的流量也在正常范围内。笔者以为是业务系统服务器自身出现了问题，于是检查服务器的资源使用情况以及进程和服务的运行状况，均未发现异常，即使将服务器重启，仍然无济于事。

考虑到该业务系统对互联网用户也开放，有可能遭受外部的攻击，于是登录到防火墙和入侵防御设备上查询相关安全日志，并未发现针对该业务系统的攻击行为，而且该服务器也安装了卡巴斯基企业版杀毒软件，病毒库也保持在最新状态，感染病毒的可能性也比较小。随后通过Sniffer软件进行抓包分析，也没有发现异常情况。

图1 数据中心网络架构图

故障分析

通过上述初步诊断，可以基本排除外部网络攻击和服务器自身的因素。既然突然出现了连续丢包现象，肯定是整个数据中心网络架构的变更造成的，但是网管人员最近并未对网络做任何变更操作，也没有任何新的设备或者服务器接入网络。要找到原因，只能挨个询问服务器维护人员最近是否有任何操作，最终一位入职不久的同事告诉笔者，上午他从服务器接入交换机上接了一根网线到刀箱交换机上，目的是做线路冗余。笔者立即赶到机房，拔掉了这根网线，果然，业务系统访问恢复了正常。

很显然，这是一起网络环路引发的故障，问题虽然解决了，但是内部原因必须要分析清楚，避免以后出现类似的问题。数据中心的网络架构如下图1所示。

从图1可知，数据中心网络架构呈现树状结构，刀箱交换机仅与接入交换机1相连，这样所有数据都会找到惟一确定的路径进行转发，即使各交换机不启用生成树协议，如果严格按照这种架构接入，也不会存在环路的风险。将刀箱交换机多接入一条线路作为冗余，如图2所示。

图2与图1相比，仅仅只是多了一条刀箱交换机与接入交换机2之间的线路，其他配置完全保持不变，这种方式表面看是增加了网络线路的冗余性，即接入交换机1和接入交换机2任意一者故障，数据仍然能够通过另外一台交换机进行转发，不会影响业务运转。实际上，交换机如果配置不当，很可能发生环路故障。

由于接入交换机1和接入交换机2与刀箱交换机互连的接口都配置为Access模式，且在同一个VLAN中，如果交换机不启用生成树协议，那么在该VLAN中的广播包将会不停复制、转发，导致该VLAN中充斥着大量的广播包，从而影响该VLAN的转发性能。由于生成树协议收敛时间较长，也会占用交换机一部分资源，所以很多网络管理人员会在Access接口上配置“spanning-tree portfast”这条命令，从而禁止Access接口参与生成树的计算过程，加快Access接口的启动速度，但是这种方式也大大增加了发生网络环路的概率。

图2 接入冗余线路的网络架构图

笔者本以为服务器接入交换机是网络架构的最后一层，所以在所有接入交换机的Access接口都配置了“spanning-tree portfast”，但是实际刀箱交换机才是最后一层，此次故障的根本原因就在于此。

解决方案

要解决这类环路问题，有如下三种方案供网络管理人员参考。

1.交换机之间确保只有一根线路连接，物理上实现树状网络拓扑。

这种方式就需要严格制定物理线路管理规则，任何设备接入网络前必须经过网络管理人员的评估与审核，彻底杜绝物理环路的出现。这种方案更加侧重于利用管理手段，只要所有人员严格执行规定，肯定不会出现网络环路，但是网络管理人员的工作量将会大大增加。

2.所有交换机启用生成树协议，从逻辑上实现树状网络拓扑。

首先需要所有交换机支持生成树协议，启用后定期将会对网络情况进行检查，如果发现环路，将会根据相应算法选择一条冗余线路阻断，保证网络拓扑始终处于树状结构，这也是目前数据中心最常用的方案。由于生成树收敛过程时间较长，也会产生较多广播流量，对交换机的性能会产生一定影响，而且逻辑线路复杂，对网络排错也会造成一定影响，对网络管理人员的技术要求也比较高。

3.对刀箱交换机进行统一配置管理。

将刀箱交换机作为网络基础架构的一部分，与其他接入交换机一样进行相关配置并管理，这样交换机和服务器层次比较清晰，服务器管理人员不用再频繁进行插拔线操作，降低了网络环路的风险。由于刀箱交换机与刀片服务器之间存在端口对应关系，这种方式需要服务器和网络管理人员通力配合，网络管理人员按照服务器管理人员的需求对刀箱交换机进行合理配置。

上述三种方案各有利弊，其中方案一和方案三适合在网络规模较小的环境下采用，方案二适合在网络规模较大的环境下采用。

经验总结

由于各类新技术在数据中心的广泛应用，数据中心各类基础设施朝着“超融合”的方向发展，各类基础设施难以用传统的方式进行区分，网络架构随之变得愈发复杂，增加了网络环路的风险，给网络排错也带来诸多困扰，企业可以根据自身实际情况，采用技术+管理的手段对网络环路进行防范，合理设计网络架构，规范网络运维流程，保障数据中心网络的正常运转。