重庆地税：虚拟化探路金税三期省级集中

洪蕾

金税三期系统采取全国应用大集中和数据大集中模式建设，首次实现国、地税软件版本统一，是中国最大的电子政务系统，也是政府行业最大的交易类生产系统，采取总局、省局两级部署，其中省级主要承担金税三期大厅、前置、地方特色和省级管理决策等系统与功能部署。

作为国家金税三期工程全国首家上线试点单位，重庆地税需在2013年2月22日完成金税三期单轨试运行切换。面对金税三期生产环境部署所需硬件设备严重滞后，上线时间紧迫与地方设备采购不到位的困难，重庆地税结合自身实际情况，发挥过去省级大集中积累的实战经验，大胆探索，勇于创新，在总局金税三期工程办领导下，用软实力弥补硬缺位，经过科学论证与反复试验，成功采用高端PC服务器整体虚拟化完成金税三期省级大厅前置系统部署并经过连续运行，生产环境系统稳定可靠，性能满足金税三期设计要求。

数据库计算设备

虚拟化部署

金税三期数据总局大集中后，省级数据库压力适当降低，从架构设计上为了提高处理效率和避免总局出现性能压力瓶颈现象，省局需求部署前置数据库，因前期应用开发公司多，为避免数据库应用相互干扰，部署时出现了数据库系统需求数量较多，短期内又难以整合的现象，其中省级前置数据库和地方特色数据库RAC部署就多达11套，这些数据库系统中有个别处理性能要求较高，例如省级清分库、查询库等，其它数据库系统则是要求可靠性高、处理性能却相对适中。重庆地税作为第一个上线试点省份，还存在各数据库应用性能需求难以准确预测的难点，鉴于过去采用小机部署数据库存在运行环境要求高、运维难度大、采购和运维成本高、小机技术人才匮乏等不利因素，重庆地税结合实际情况，提出采用高档PC服务器做数据库整体虚拟化部署方案，方案经过专家论证，技术经过反复测试，最后采购了16台高档PC服务器实现数据库计算设备整体虚拟化部署。

当时，采用虚拟化部署生产级RAC数据库应用案例还比较少，在全国税务系统内更无可借鉴经验，重庆地税经过反复摸索，最后总结出RAC数据库虚拟化连接存储系统时采用挂载存储裸设备工作方式更加稳定和高效的经验，金税三期省级前置数据库性能需求差异较大，通过虚拟化可动态调节数据库硬件资源分配需求，甚至在极端情况下可将一台硬件主机全部资源只分配给一个虚拟机，以运行性能要求较高的RAC节点，多数情况下可将一台物理主机规划为2至5个RAC节点虚拟机。因2月22日金税三期单轨试运行时间紧迫，正式生产环境所需设备采购又尚未到位，重庆地税紧急调配5台曙光服务器（配置为64核、512G）通过虚拟化临时承载了金税三期省级前置11套数据库共22个RAC节点虚拟机，实践证明，数据库计算设备虚拟化运行至今尚未出现任何稳定性和安全性问题。

数据库计算设备采用虚拟化部署后，还可实现当数据库性能需求增大时，待性能更高的硬件设备到位后，通过虚拟化迁移技术对RAC数据库节点逐个离线迁移，确保数据库服务不中断；当主机硬件出现异常宕机时或需要维护升级时，可将其承载的虚拟机离线迁移到其它备用计算设备上运行，满足数据库安全运行需要。

数据库整体虚拟化对计算设备的配置也有适当变化，配置更加注重CPU处理能力，包括主频、线程、数量等；虚拟化部署数据库的主机内存原则上越大越好，现有的虚拟化软件已可支持到至少1T主机内存，每个虚拟机也能支持64核及1T内存（VMware vsphere 5.1版本）；从性能和安全上考虑，HBA卡至少要2块独立8GB HBA卡，网卡一般也要求配置1G或10G网卡六块以上。

负载均衡连接复用

发挥出色

为避免出现应用瓶颈现象，金税三期架构规划需要部署省级大厅前置系统，将常用的Web页面和简单逻辑校验处理等功能前移到省级作为大厅系统部署，这样既避免了Web页面远距离重复加载，又避免了全国上班时间集中访问总局出现的后台服务器瓶颈压力。

重庆地税借鉴过去省级大集中经验，发现基层同时访问省级相同Web页面概率比较高，例如征期访问申报页面，重庆地税果断启用F5负载均衡会话连接复用（One Connect）功能，大大降低了省级前置服务器会话并发压力，将基层的3000多个并发会话（Session）请求降低至20～40个左右，大大提高了金税三期省级大厅系统处理性能，总局组织的多次机器模拟和人海压力测试均获通过。

应用计算节点整合部署

重庆地税作为金税三期首个上线省份，对省级大厅、前置、地方特色等系统应用节点计算资源无实战经验参考，前期应用开发公司较多，每个公司都提出了独立的应用计算资源需求计划，合计起来需求数量较大。

重庆地税按照总局架构要求，提出应用计算资源Weblogic应用性能可通过节点大规模部署负载均衡解决，每个Weblogic计算节点对硬件资源要求不太高，一般为4CPU/4G内存，为节省建设资金，提高采购效率，重庆地税提出跟标总局64片刀片服务器的采购需求，采用整体虚化化部署方式来推进省级大厅、前置、地方特色等系统应用部署，此方案具有性价比高、运行相对稳定的特点，刀片服务器与数据库计算设备一样，统一部署VMware虚拟化软件，实现几百乃至上千个Weblogic应用计算节点资源池的调度能力。

经验分享

数据库计算设备挂载存储系统时，推荐采用挂载存储裸设备方式。如采用VMDK虚拟磁盘部署数据库，在VMware软件实施时需要多项复杂操作，不但磁盘I/O性能较低，且长期高负荷运行时的稳定性也存在疑问。

虚拟化分区部署，金税三期要求建设若干安全区域，重庆地税主要建立了核心安全区、公众服务区、横向交换区三个虚拟化管理区，其中核心安全区需求数量最大，数据库计算设备和应用计算设备主要分布在该区域；公众服务区基于安全考虑，原则上只部署应用计算设备，用于发布Web应用节点；横向交换区计算设备需求数量最少，可适当部署数据库和应用计算设备。

系统存储问题，过去存储系统主要规划用于数据库，虚拟化部署方案基于安全迁移等考虑，规划上还需要考虑虚拟化系统本身的存储需要，其容量与数据库大小相当，性能适中，安全适中，一般采用Raid 5+热备盘的配置。

虚拟化部署对硬件设备资源的变化，采用整体虚拟化部署后，硬件资源配置重点也发生变化，主要是四项指标：CPU处理能力、内存容量、网卡能力和存储卡能力，而对服务器本机硬盘配置要求大大降低，一般配置VMware启动盘即可。