升级过程与操作步骤

升级的主要步骤如下：

1.配置新采购的2台华为S6720S-SI交换机，并与S5720S进行连接。

2.将新配置的服务器连接到网络，并加入现有vSAN。

3.依次将原来的每台主机进入维护模式，重新分配vSAN流量上行链路、删除vvSwitch1、重新配置vSwitch0，配置完成后退出维护模式。

4.对vSAN磁盘执行主动平衡操作。

5.虚拟机默认的虚拟网卡为Intel E1000，这是一块千兆网卡，要将虚拟机网络升级到万兆，需要修改虚拟机的网卡为VMXNET3，删除原来的Intel E1000虚拟网卡。添加VMXNET3虚拟网卡、删除E1000虚拟网卡后，进入虚拟机设置，为新添加的网卡设置IP地址、子网掩码、网关、DNS。

将2台S6720S-SI交换机配置为堆叠

首先配置2台S6720SSI交换机，然后将这2台万兆交换机与原来的2台千兆交换机级联。

1.将新采购的2台华为S6720S-SI交换机配置为堆叠，每台交换机使用2个40G端口。将每台交换机的业务口 40GE0/0/1、40GE0/0/2 配置为物理成员端口，并加入到相应的逻辑堆叠端口。下面是第一台交换机的配置命令（设置堆叠优先级为200）。

system-view

sysname SwitchA

interface stack-port 0/1

p o r t i n t e r f a c e 40GE0/0/1 enable

y

quit

interface stack-port 0/2

p o r t i n t e r f a c e 40GE0/0/2 enable

y

quit

stack slot 0 priority 200

上文命令中的Y是确认命令。设置完成后保存配置。另一台交换机的配置与此相同，只是设置交换机的名称为SwitchB，设置堆叠优先级为100。其他配置相同。配置完成后保存退出。

2.然后将两台交换机下电，使用QSFP-40G的堆叠线将两台交换机连接起来，在连接的时候，第一台交换机的40GE0/0/1的端口连接第二台交换机的40GE0/0/2端口，第一台交换机的40GE0/0/2端口连接第二台交换机的40GE0/0/1端口，简单说就是1连2，2连1。

说明：华为交换机配置堆叠时，同一条链路上相连交换机的堆叠物理接口必须加入不同的堆叠端口，是交叉的，也就是说本端交换机的堆叠端口1必须和对端交换机的堆叠端口2连接。

3.连接好之后，打开两台交换机的电源，等交换机启动之后，按任意一台交换机面板上的Mode按钮将模式状态灯切换到Stack。如果所有成员交换机的模式状态灯都被切换到了Stack模式，说明堆叠组建成功。此时主交换机的端口1到端口8的指示灯闪烁，从交换机的端口1、端口2闪烁，表示堆叠成功。

如果有部分成员交换机的模式状态灯没有被切换到Stack模式，说明堆叠组建不成功。需要检查配置。

4.当交换机配置堆叠成功后，进入交换机配置页，为交换机设置新的名称、划分VLAN并设置VLAN接口的IP地址。本示例配置如下：

sysname S6720S-26Q

vlan batch 250 2381 to 2383

interface Vlanif250

ip address 192.168.

250.5 255.255.255.0

interface Vlanif2381

ip address 192.168.

238.60 255.255.255.192

interface Vlanif2383

ip address 192.168.238.140 255.255.255.240

5.在本项目中，服务器上行链路需要连接到交换机的Trunk端口。下面的命令将两台S6720S-SI交换机的端口1到端口22配置为Trunk端口并允许所有VLAN通过。

port-group groupm e m b e r X G i g a b i t Ethernet0/0/1 to XGiga bitEthernet0/0/22

port link-type trunk

port trunk allowpass vlan 2 to 4094

quit

port-group groupm e m b e r X G i g a b i t Ethernet1/0/1 to XGiga bitEthernet1/0/22

port link-type trunk

port trunk allowpass vlan 2 to 4094

quit

6.将每两台S6720S-SI交换机的端口23、24配置为链路聚合，设置为Trunk并允许所有VLAN通过，命令如下。

interface Eth-Trunk1

port link-type trunk

port trunk allow-pass vlan 2 to 4094

mode lacp

interface XGigabit Ethernet0/0/23

Eth-Trunk 1

interface XGigabit Ethernet0/0/24

Eth-Trunk 1

interface XGigabit Ethernet1/0/23

Eth-Trunk 1

interface XGigabit Ethernet1/0/24

Eth-Trunk 1

quit

7.然后为交换机添加静态路由，指向原来的S5720S交换机。

配置2台S5720S交换机

原 来 的2台 华 为S5720S-52X-SI有4个万兆端口。本项目中使用每台交换机的XG0/0/1、XG0/0/2用作两台交换机的堆叠端口，将XG0/0/3配置为链路聚合连接到2台S6720S的23或24端口。原计划是将两台交换机的XG0/0/3、XG0/0/4共4个端口用作链路聚合，后来用户说需要将其中的一个端口连接到外网交换机，所以只用了每台交换机的XG0/0/3端口用作链路聚合。

1.配置交换机1的业务口XG0/0/1、XG0/0/2为物理成员端口，并加入到相应的逻辑堆叠端口。

system-view

sysname SwitchA

interface stack-port 0/1

p o r t i n t e r f a c e XG0/0/1 enable

quit

interface stack-port 0/2

p o r t i n t e r f a c e XG0/0/2 enable

quit

stack slot 0 priority 200

交换机2的配置与此相同，只是修改交换机名称为SwitchB、设置堆叠优先级为100。

图5 连接示意图

2.将两台交换机下电，使用10G的直连光纤将两台交换机连接起来，在连接的时候，第一台交换机的XG0/0/1的端口连接第二台交换机的XG0/0/2端口，第一台交换机的XG0/0/2端口连接第二台交换机的XG0/0/1端口。

连接正确之后将交换机重新加电，等交换机启动之后按Mode键到Stack处进行测试。

3.堆叠成功之后，将交换机的XG0/0/3与XG1/0/3配置为链路聚合，端口属性为Trunk并允许所有VLAN通过。配置命令如下：

interface Eth-Trunk1

port link-type trunk

port trunk allow-pass vlan 2 to 4094

mode lacp

interface XGigabit Ethernet0/0/3

Eth-Trunk 1

interface XGigabit Ethernet1/0/3

Eth-Trunk 1

4将S6720S与S5720S的进行级联，S5720S主交换机的XG0/0/3连接到S6720S主交换机的23或24端口；S5720S从交换机的XG1/0/3连接到S6720S从交换机的23或24端口，连接示意如图5所示。

说明：本配置中，两台S5720S的XG0/0/3、XG1/0/3共2个端口进行聚合，两台交换机S6720S的XG0/0/23、XG0/0/24、XG1/0/23、XG1/0/24共4个端口进行聚合。也可以从两台S6720S各选择一个端口例如XG0/0/24、XG1/0/24进行聚合。

5.因为配置堆叠后从（备）交换机的配置清空，所以参照S5720S-52X主交换机的端口配置，将S5720S从交换机的GigabitEthernet1/0/1 到GigabitEthernet1/0/48进行重新配置。

6.因为原来的两台S5720S是进行了级联，没有配置堆叠。在配置堆叠后，原来S5720S从交换机中VLAN 的IP也被清除。在虚拟机中有些虚拟机的网关地址设置的是原S5720S的IP地址，可以在S5720S的VLAN配置中，添加子IP地址。

示例：原来主交换机vlan2381的VLAN的IP地址是 192.168.238.61，子网掩码是255.255.255.192；从交换机的VLAN的IP地址是 192.168.238.62，新添加的万兆交换机VLAN2381的IP地址是192.168.238.60。在2台S5720配置堆叠 后192.168.238.62的IP地址被清除，可以进入vlan2381配置视图中，执行ip addr 192.168.238.62 255.255.255.192 sub的命令添加子IP地址。这样每个VLAN实际上有3个“网关”地址，例如，对于vlan2381来说，万兆交换机上设置的IP地址是192.168.238.60，千兆交换机 上 是192.168.238.61、192.168.238.62，使用这三个地址都可以作为网关地址。但建议在以后的使用中将网关地址改为万兆交换机的地址192.168.238.60。

7.最后进行测试，使用ping命令测试从S5720S到S6720S的连通性，这个操作比较简单不再介绍。

新添加主机连接配置

在配置好网络之后，可以将新添加的服务器上架，主要内容如下：

1.打开服务器机箱，移除RAID缓存。为服务器添加硬盘扩展背板、添加PCI-E扩展板，添加2块万兆网卡、添加2块PCI-E固态硬盘。

2.进入BIOS设置，为服务器进入设置iMM的IP地址用于后期的管理与维护。

3.进入RAID配置界面，将每块硬盘配置为JBOD模式。

4.安装ESXi 6.5.0 U2到第1块300GB的硬盘中（这块硬盘是原来下架服务器不用的硬盘，现在用来装系统）。

说明：新上架的联想3650 M5服务器，原来是1颗E5-2609 V3的CPU，再更换为2块E5-2620 V4的CPU之后，开机无显示。将2块E5-2620 V4的CPU拆下并换上原来的E5-2609 V3 的CPU，从联想官网下载最新的固件，升级之后可以支持E5-2620 V4的CPU，再次开机正常。

在安装ESXi后为服务器设置IP地址并添加到vCenter Server。之后将这台主机的网卡连接到网络。

总体配置原则是：万兆网卡的端口2用于ESXi主机管理流量与虚拟机流量，连接到新配置的2台万兆交换机的TRUNK端口。万兆网卡的端口1用于vSAN流量，连接到vSAN专用交换机1、2。千兆网卡用于主机管理流量与虚拟机流量的备用。

5.新连接的主机，网卡1的端口1、网卡2的端口1连接到新配置的S6720S-26Q的端口5，配置为vSwitch0，添 加 VLAN2383、VLAN250、VM Network（VLAN ID 2381，192.168.238.0/26）,Management Network（VLAN ID：2381）等端口组。

6.新连接主机的网卡1的端口2、网卡2的端口2连接到原来交换机S6720S-EI的端口5，配置为vSwitch1，配置vSAN的VMkernel的IP地址为192.168.238.197，子网掩码255.255.255.192。

本项目中，vSAN流量虚拟交换机用于VMotion。需要为vSwitch1的VMkernel启用VMotion服务。

7.在磁盘管理中为新添加的主机添加磁盘组，这些不再介绍。

原有vSphere主机的网络迁移升级

最后迁移原来4台主机的网络。为了保证业务的连续性，在迁移主机的网络之前，将主机置于维护模式，等虚拟机迁移到其他主机之后再进行迁移。其中的关键之处：千兆换万兆，删除vSwitch1，更改 VLAN ID。

因为升级之后有2块2端口万兆网卡，为了避免单块网卡带来的单点故障，每个虚拟交换机只使用每块网卡的一个端口，不能将1块网卡的2个端口用于同一个虚拟交换机。本文以IP地址为192.168.238.1的主机为例，其他主机与此相同。

1.将主机置于维护模式，不迁移数据。

2.关闭服务器电源，添加万兆网卡。

3.打开服务器电源，进入BIOS，为iMM设置IP地址。

4.将网卡2（新添加的万兆网卡）的端口1，连接到原来的万兆交换机（vSAN流量专用交换机）。

5.修改vSwitch2虚拟交换机的配置，添加网卡2的端口1，删除万兆网卡1的端口2。此时通过插拔网卡1的端口2的光纤进行确认。这一步不要删除错了网卡，应慎重操作。例如在左侧导航窗格中选择192.168.238.1，在右侧“配置→网络→虚拟交换机”中单击vSwitch2，此时看到vmnic5状态为断开。

在本次项目中，2端口万兆网卡靠近金手指的为端口2，远离金手指的为端口1。

6.在确认了万兆网卡端口2之后，修改vSwitch2虚拟交换机的上行链路，删除vmnic5（万兆网卡1的端口2），添加vmnic6（万兆网卡2的端口1）。

7.然后将万兆网卡1的端口2（vmnic5）与万兆网卡2的端口2（vmnic7）分别连接到两台新万兆交换机端口1。

8.为虚拟机交换机vSwitch0，添加万兆网卡1的端口2、万兆网卡2的端口2，并将新添加的网卡移动到备用适配器。

9.修改vSwitch0上行链路，添加vmnic5、vmnic7并将其移动到“备用适配器”中，因为 vmnic0、vmnic1连接到交换机的Access端口（属于 VLAN 2381），vmnic5、vmnic7连接到交换机的Trunk端 口，如 果 vmnic5、vmnic7也是活动适配器，网络有可能中断。

10.此 时“Management Network”端口组绑定的VMkernel的活动链路为vmnic0和vmnic1，vmnic5与vmnic7处于备用状态。下一步修改Management Network的上行链路为万兆网卡，原来的千兆网卡调整为备用。并修改VLAN ID为2381，注意，这是最关键的一步。如果配置出错导致网络中断，vCenter会返回到原来的配置。用鼠标单击“Management Network”，然后再单击图标，如图6所示。

图6 修改端口组属性

图7 指定故障切换顺序

图8 虚拟交换机vSwitch1最新配置

11.在“Management Network-编辑设置”对话框的“属性→VLAN ID”处设置VLAN数值，本示例为2381，在“绑定和故障切换”中将vmnic5、vmnic7上 移 到 活动适配器位置，将vmnic0、vmnic1下移到未用的适配器处，如图7所示，然后单击“确定”完成配置。

12.参照第11步，将VM Network端口组的ID设置为 2381，同 样 调 整 vmnic5、vmnic7为活动适配器，将vmnic0、vmnic1调整为未用适配器，此时vSwitch0使用2块万兆网卡的端口2。然后删除vSwitch1虚拟交换机。

13.在vSwitch0上 添加原来vSwitch1虚拟交换机的端口组vlan2383和vlan250，至此等于将原来的vSwitch1的端口组合并迁移到vSwitch0虚拟交换机。

14.修改vSwitch0的上行链路，删除vmnic0、vmnic1（这是连接到原来千兆交换机的Access端口的网卡端口），添 加 vmnic2、vmnic3（这是连接到原来千兆交换机的Trunk端口，原来是vSwitch1虚拟交换机的上行链路），并将 vmnic2、vmnic3移到备用适配器中，调整之后如图8所示。

15.等上述配置完成之后，再进行检查之后，将主机退出维护模式。至此第1台主机千兆升级到万兆完成。

其他主机也参照上述操作执行，在此不再赘述。

说明：联想3650 M5服务器开机自检较慢，从服务器进入维护模式到服务器关机、插上万兆网卡，再开机进入系统，大约需要25分钟的时间，其他的操作大约15分钟，迁移升级一台服务器需要40分钟左右的时间。在vSAN的项目中，一台服务器从关机到再次进入系统，最好是在1小时内完成。如果服务器离线超过60分钟，这台主机上的数据有可能在其他主机重建。

16.等所有主机完成网络的迁移与升级之后，在“监控→vSAN→运行状况”中的“vSAN磁盘平衡”中执行主动重新平衡磁盘的操作，如图9所示。执行此操作后，部分数据会迁移到新上架的主机中，使数据相对均匀的分散保存在每台主机的每个磁盘组中。

图9 主动重新平衡磁盘

图10 8块12TB采用RAID-50划分为2个卷

备份服务器

由于硬件故障、病毒、误操作等情况，系统数据可能丢失或损坏，而数据备份则是保证数据完好的最后一到防线。一个完整的架构一定要有单独的备份设备，如果备份目标与备份源在相同的存储设备上，如果存储设备故障，备份数据也无法读取，此时备份是没有意义的。在2017年项目规划时配置了一台服务器用于备份，因为空间不足需要升级。本次操作将原来的8块4TB硬盘更换为12TB硬盘。这次更换主要步骤如下。

1.将备份服务器关机。

2.依次拆下原来的4TB的硬盘，并记下硬盘的位置，贴上标记。因为这些硬盘还有近期的备份，所以需要存档一段时间，等新换上的硬盘备份成功一次，并且连续保存一段时间之后，这些4TB的硬盘可以另做他用。

3.安装新的12TB硬盘，添加1块2端口万兆网卡，连接到新万兆交换机。

4.打开服务器电源，进入RAID卡配置界面，配置为RAID-50，划分2个卷。第1个卷100GB，剩余的空间划分为第2个卷，容量约64TB，如图10所示。

5.在第1个卷上安装备份软件，在第2个卷上保存备份。这些不再介绍。