网络添加设备遇麻烦

网络环境

网络安全法相关条款规定，采取监测、记录网络运行状态、网络安全事件的技术措施，并按照规定留存相关的网络日志不少于六个月。为了留存网络日志要至少180天，单位上了一台深信服的万兆上网行为12000，日在线最高IP地址数3万个左右，出口带宽最高下行近24G，上网最高超过6G，每天的日志空间在300G左右，每天有约3000万条的日志，当然这些数据是记录后得到的。

按照设备上的建议，超过2万用户数时不开流量审计，所以只开上网行为审计中的应用审计和网页内容审计，没开流量审计、没开终端接入管理。在设备上架过程中遇到了一些意想不到的问题，做了一些改变才使设备正常运行。改变后的网络拓扑图如图1所示。

图1 网络拓扑结构

问题一：上网行为的外置日志中心无法收集日志

因网络安全法要求日志要保存180天，考虑到有3万多用户，上网行为本身带的内置日志中心无法满足要求，所以选择外置日志中心。外置日志中心用服务器+专用存储来保存日志，服务器用老的IBM3650，存储用的是新的华 三UniStor X10516三台做的集群，每台是14个4TB硬盘，为提高容量采用一副本，没有采用标准的三副本配置，显示可用150TB，实际可能用到75TB。

UniStor X10516网络共享目录是在CIFS文 件 夹 下，NFS共享目录是在NFS文件夹下。服务器选用Windows 2008系统，通过网络共享的方式即\172.16.72.21把华三存储挂在服务器上，把共享文件夹映射成K盘，安装了上网行为的外置日志中心服务，日志数据存在华三存储上的这个K盘上。

外置日志中心开启服务后，发现日志数据没法收集在存储上，反复查找原因都找不到。最后，深信服的研发回答，是因为外挂硬盘（网络共享映射的盘）不能超过5TB，否则收集不了数据，必须用物理硬盘。没想到是这个原因，找不到有几十个T空间的服务器，此路不通只能另想办法。

解决方法：

想到ESXi可以挂载NFS存储，于是把服务器IBM 3650安 装 ESXi 6.5，然后安装一台虚拟服务器，通过ESXi 6.5上面加挂华三存储（如图2所示），再给虚拟服务器增加一个60TB的硬盘从华三存储上，日志还是保存在华三存储上，这样外置日志中心才正常运行，可以收集日志数据了。

通过几天的时间才把日志数据基本同步到外置日志中心，但华三存储的NAS特点即可以在所有服务器上都查看存储 上内容现在没法看到了，在华三存储的目录管理中只能看到一个扩展名为vmdk的60TB的文件（如图3），里面具体的上网行为日志记录无法看到，但在外置日志中心服务器里还是可以看到日志记录的，华三存储的文件共享的功能没有了。如果外置日志中心服务器坏了，日志数据如何读取这个只能以后再考虑。

图2 ESXi上面的存储挂接

图3 华三存储管理界面上面目录管理

图4 服务器汇聚交换机接口带宽

问题二：服务器汇聚交换机带宽占比高

上网行为的日志文件能保存后开始数据收集数据较慢，有个同步时间，等几天后数据基本正常了，即可以查看当天的日志。这时发现,日志服务器的接口每天带宽有500M－ 600M，最高有700M（如图 4），而平时服务器汇聚的平均带宽只有20M左右，带宽增加非常明显。

解决方法：

原来服务器汇聚是单链路，接口只有1G，考虑到有时服务器峰值带宽有几百M，感觉目前服务器汇聚交换机的带宽用得较满。

为保障服务器汇聚带宽决定增加带宽即增加线路，但因服务器汇聚前面是经过WAF的，而这个WAF只有6个千兆电口，线路最多只能三进三出。马上增加跳线和找两边交换机的空端口，在服务器汇聚交换机与办公核心交换机两边做三条线路做聚合，这样接口带宽就达到了3G，肯定能满足服务器汇聚交换机带宽的需求。

因线路聚合的原因，三条线路的流量不均衡，一条20M左右，一条300M左右，一条200M左右，因交换机聚合端口只按源与目的MAC、IP配置，无法使三条线路带宽均衡。

问题三：服务器汇聚交换机网络不通

服务器汇聚交换机与办公核心交换机两边做三条线路做聚合后问题也马上来了，服务器的网络都不通了！

解决方法：

这个问题就大了，立即动手查原因，首先把交换机三条线路聚合后直接两边交换机不通过WAF，这时网络是正常的，而接入WAF后网络不通，肯定是因为WAF阻拦了。WAF是绿盟的，马上进入WAF查看，在安全管理中ARP欺骗防护增加两边的网关网络也不通，在网络层访问控制里每对线路上放行接入网关，还是不行。

最后，关掉安全管理中-策略启停中的的ARP欺骗防护（如图 5），网络才恢复正常，悬着的心总算落地了。因服务器都需要7×24小时提供网络服务，且WAF是其他人在管理，没有更深入再去调试这个WAF。

图5 WAF上面安全管理

图6上网行为管理界面

问题四：上网行为12000的吞吐超过20G

深信服的上网行为12000的吞吐厂家说只有20G左右，设备上架后实际最高跑到下行24G，上行为6G，合计30G，CPU最高60%左右，且每天只有晚上几个小时在最高值左右运行（如图6）。零点以后学生宿舍是断网的，白天上班时间吞吐较低。

解决方法：

这学期开学以来因晚上联通用户的学生反映网络问题较多，虽然原因很多，但考虑到上网行为12000的吞吐只有20G，于是把联通的线路从上网行为拨出来，直接接出口上了，上网行为上面流量带宽下降了有三分之一多，下行的峰值有14G，上行峰值有4G，CPU下降到30%－40%，但用户数没有下降多少。目前还在观察中，如果条件允许，可再增加一台上网行为。因学生核心交换机上面万兆空白端口只剩一个了，如果把4条线路镜像到1个端口带宽又早超过10G从而无法使用，所以目前无法把万兆上网行为做旁路接法，等条件成熟时可能会改成旁路接法。

以后考虑

考虑目前服务器汇聚交换机流量带宽主要都是这个外置日志中心的，以后可能将网络结构再改变一下，把外置日志中心的服务器3650（等有条件时把这台服务器也更换）、上网行为的管理口从服务器汇聚交换机8610上面移动到华三6300万兆交换机上，这样减轻WAF的压力，但这样要求对外置日志中心自身的安全性要提高。

如果有条件能有更大的存储，考虑可以增加流量审计、终端接入管理。有条件再增加一台万兆上网行为，这样可以把所有线路都能记录下来。

经验总结

万兆上网行为上架可以正常使用，可外置日志中心即服务器+存储上架后却无法正常收集上网行为的日志，出现一些意想不到的问题，通过更改服务器的安装方式、更改存储挂接方式、更改服务器汇聚交换机接法、更改WAF配置、减少上网行为的接入线路，通过这些改变才使外置日志中心正常收集日志。上架前没想到会遇到这么多问题，通过一个个问题的解决才使设备正常跑起来了。