福建省气象CIMISS存储系统扩容的设计

杨志勇 段 卿 朱添福

（福建省气象信息中心，福建 福州 350001）

[关键字] CIM ISS；扩容；ORACLE；气象

1 引言

新一代天气雷达信息共享平台[1]，又称全国综合气象信息共享平台，其英文标识为：CIM ISS（China Integrated Meteorological Information Service System）。新一代天气雷达信息共享平台是气象发展规划中的重要业务系统，是新一代天气雷达数据和其它气象数据的采集、处理、管理、分发和共享的业务平台。CIM ISS可通过多种方式实现与各种气象观探测数据和气象业务系统的实时数据采集、分发以及气象行业内部的高效获取，同时面向水利、海洋、农业、航空、交通等不同行业用户提供数据的共享服务。

随着信息化技术的发展，气象业务信息数据采集、处理、共享等平台的不断完善和建设，为气象业务、应用、科研以及服务提供了丰富的气象资料。伴随福建省气象局（以下称“省气象局”）气象信息数据近几年出现了迅速增长，经过多年的信息化建设积累，福建省气象局新一代天气雷达信息共享平台(CIM ISS)上存储大量信息数据，对存储设备的容量、性能和数据安全都提出了更高的要求，同时在数据备份上也面临着同样的问题。CIM ISS系统未来五年系统数量仍将持续高速增长，现有的数据存储平台在空间容量和性能上都无法满足未来业务发展的需求，故需要对现有的数据存储平台进行升级改造，以满足气象业务数据的存储的需要。

2 CIM ISS系统的现状

目前，福建省气象局现有的CIM ISS平台基础硬件支撑平台部分由20余台服务器、若干套存储系统、磁带库以及光纤交换机等设备组成，系统架构环境如图1所示。

图1 CIM ISS系统架构图

数据库系统包含ORACLE-SMDB、ORACLE-BDB两大平台数据库系统，每个数据系统平台均部署了两台联想服务器，通过ORACLERAC技术部署并行数据库。存储区域网络由2台浪潮DS5100B光纤交换机组成，目前的大部分端口运行带宽为4Gb/s。存储系统由1套Inspire EMC CX 480存储和1套Inspire VNX5300组成。Inspire EMCCX480配置了84块7.2K的1TB硬盘，通过RAID5（4D+1P）方式配置了多个RAID组，实际可用容量为67T,主要提供给ORACLE-BDB和GPFS使用，Inspire VNX 5300配置了4.5T的可用容量，主要为ORACLE-SMDB提供数据存储。其中，浪潮EMC CX480存储已分配磁盘LUN中，使用率较高和目前主要为ORACLE BDB和fsys3，fsys3空间已使用79%，ORACLE BDB数据库存储使用空间达90%。

随着CIM ISS系统在福建省气象部门的业务化和本地业

务系统对接CIM ISS，CIM ISS平台中管理和存储的气象资料的种类和数据量日益增多，现有存储环境已无法满足业务系统的增长，因此需要对CIM ISS的存储系统进行扩容，从而提升数据存储和共享服务能力。

3 总体架构设计

图2 总体架构图

根据总体建设需求，总体架构图2，系统的整体框架设计如下：

3.1 数据库支撑环境设计

在计算资源池方面，本次设计新增2台四路服务器，用于BDB数据库平台使用，搭建Oracle RAC将原有BDB数据库改造迁移至新购置的四路服务器上。

3.2 业务存储系统设计

业务数据存储系统为重要数据存储系统，对系统性能、可靠性及可用性各方面都提出了更高的要求，此次主业务存储系统建设，采用先进理念集中存储，采用分层存储技术，并配置为统一的核心存储系统、统一管理业务数据，保证数据的集中，同时为未来系统建设打下基础。各种类型数据集中存储在磁盘阵列中，将数据库存储空间和文件存储空间分配独立的存储分区，确保两类不同特点的数据互不争用存储资源，特别是存储缓存资源不会发生争用。为保障业务系统的可靠性，要求业务存储系统采用高端四控存储，可靠性在六个九以上的存储系统，实现业务支撑。

目前的RUN文件系统占用空间为4TB，但实际使用率仅为9%，所以可以直接划分4TB的SSD盘给RUN文件系统，满足RUN文件系统的业务需求。其余的GPFS的数据存储空间直接放置在SATA层上，并利用分层技术实现热点数据自动迁移至SSD层，SATA层使用RAID6（6D+2P）配置完阵列后，可用空间可达165TB，剩余的SSD层，可以划分大约3TB的空间用来做动态分层，以满足GPFS的热数据需求。Oracle数据库（BDB）存储直接使用SSD存储，SSD层做完RAID 5(4D+1P)后，可用空间可达25.6TB，现有的数据库使用空间为12TB，数据库表空间实际占用的空间不到5TB，所以，在数据库规划方面，可以给数据库分配12TB的SSD盘空间，把数据库全部放在SSD盘上运行。

3.3 备份系统扩容

备份系统主要利旧使用现有EMCCX4-480磁盘阵列存储和TSM备份软件进行数据备份。为保证备份数据流速度，数据备份采用LANFREE方式，直接从主存储到备份存储，充分利用SAN网络的速度。

4 系统采用的技术路线

4.1 控制器集群技术

信息技术行业是一个快速发展的行业，IT存储系统产品每年都在迭代更新，产品更新换代也比较快，新产品的配置和性能都远远优于上代产品，且很多软件硬件版本基本都不一样。这种情况下传统的双控制器存储，在出现单个控制器故障的情况下，存储承载业务系统通过冗余控器虽可以正常保持运行，但所有业务流量均通过冗余控制器，对控制器性要求更高，此时需要及时对故障控制器进行更换。但更换过程往往会出现软硬件版本匹配问题，从而故障处理周期将变长，此时单控制器运行存在很大单点故障隐患。尤其是设备使用达到一定年限，各配置模块和备件的匹配都需要更大的时间成本，也就意味着更长周期的风险持续。因此，本次业务存储使用控制器集群技术，在存储系统配置了四个控制器，各控制器间通过网状架构互联，提高系统的整体可用性，MPIO自动负载均衡和故障切换技术，可以在某条链路出现故障时，自动切换到其它可用通道，并通过高带宽和低延迟的高性能的背板，将存储系统统一套高可用，控制器集群技术的架构系统单台性能远远超过了传统的存储。

4.2 数据分类处理技术

存储数据流上大致可分为控制类数据流和数据类数据流，在数据处理器上有ASIC架构和X86架构，两种处理器各有优劣势。ASIC处理器数据流量无需经过CPU处理，由集成芯片直接处理数据，完成数据存取，拥有较高的性能表现，但开发成本和技术要求高。X86处理器实际则为CPU加操作系统的架构，通过操作系统架构使系统拥有更灵活的编程能力，但如果纯依靠CPU计算，资源占用率高，数据处理效率较低。因此，在技术选择与使用上考虑使用ASIC+X86的混合架构，拥有更高的数据处理性能的同时，又能够提供更丰富的业务功能。

本次存储系统采用的是磁盘存储系统，通过ASIC+X86混合工作负载，提升了存储系统的性能和数据存取效率，整个数据处理工作过程中，通过ASIC提供数据库类缓存，通过X86提供控制类缓存，避免不必要的资源争夺，从而提升数据存储效率。

通过数据分类，当不同类型的数据同时进入存储控制节点时，不同的控制器和不同类别的缓存处理不同的工作需求，由于X86架构的控制处理器处理数据的控制信息，控制处理器计算出数据存放方式和地点后，由ASIC处理器承担数据的实际存储搬运工作，两种不同架构的处理器并发工作，发挥各自的优势，大大提高了存储处理数据的效率。

4.3 新一代数据存储技术

传统存储只能按照单块物理磁盘为单位，而实际往往需要通过多个磁跨柜的组合，并根据推荐磁盘最大数量进行磁盘RAID组的创建，磁盘规划方式直接影响存储的性能和数据安全，整个过程对实施部署工程师技术要求较高，很多时候规划出来的磁盘组由于磁盘数量及阵列的要求，都存在一定程度的空间浪费。

新存储系统采用了全新的新一代数据存储技术，在进行资源池组建的过程中，每个磁盘空间不需要再通过复杂的磁盘规划，系统自动将每个物理磁盘划分成为1G左右的存储单元小块，在资源池创建时系统将自动选择分布于各个磁盘中。

系统根据不同的磁盘类型，可以将1G的存储单位放入不同的资源池进行管理，所有业务系统使用的逻辑卷由存储资源池中的很多1G存储块组成。该管理方式可以提供灵活的存储空间管理，同时扩容起来也较为简单，逻辑卷的存储空间均匀分布在存储的各块磁盘上，极大地提升了系统性能和利用率。

通过新一代数据存储技术进行磁盘管理方式，对逻辑卷的扩容变得更加方便，如图3所示：

图3 逻辑卷扩容图

4.4 数据分层存储技术

常见的存储数据加速方式有SSD缓存加速、数据分层存储以及热点数据迁移等技术实现最优的数据存储性能，选用哪种技术往往取决于生产实际数据环境特点，以CIM ISS为例，该系统有数据库数据和三个文件系统，其中一个RUN文件系统存储基本为小文件，但存储频率高、密度大，对IOPS要求高，基于此文件系统特点，我们选用规划SSD存储层，用于存储高IO需要的业务数据，其余两个文件系统则采用大容量NLSAS磁盘方式进行存储，同时通过配置一部分SSD资源给NLSAS层，通过热点数据迁移功能，将活动数据调整到SSD磁盘上；将不活跃的数据存放在NLSAS磁盘上，实现存储设备的智能分层存储，使存储空间需求和性能需求两者都得到了很好的满足。

4.5 DG数据容灾备份技术

Oracle DataGuard是Oracle提供的数据灾难备份的技术，其原理是利用Oracle归档日志文件，将生产环境的数据库归档日志传输到灾备数据库，然后在灾备数据库服务器上应用这些日志文件，从而使灾备数据库与生产数据库保持数据一致，在出现生产环境的灾难情况下，可以快速切换到灾备环境为生产提供数据库服务的高可用性的灾难备份技术。

DataGuard归档日志文件传输保护模式有三种，分别为最大保护、最大可用性以及最大性能，可根据灾备环境以及业务影响程度进行选择，最大可用性对主备环境要求高，若灾备主机环境配置低将直接影响主库的性能，但数据可以保持高度的一致性，最大性能模式是一种异步模式，生产数据库日志归档后，传输给灾备数据库，逻辑备库模式下，灾备数据库接收到日志后将日志转换成SQL语句，然后在灾备数据库服务器上执行SQL语句实现同步。

5 结束语

本文针对福建省气象局CIM ISS存储系统的需求进行研究分析，设计了整体设计方案。实践证明，该设计方案具有高性能、高负载能力、灵活性和可扩展性等特点，达到CIM ISS预期的效果，提供高IO的数据处理和应用响应能力，确保应用系统和数据服务系统的高效运行，可满足气象业务数据未来五年内的存储需求。