深圳气象高性能计算机系统升级改造与应用

文｜罗红艳

深圳气象高性能计算机系统升级改造与应用

文｜罗红艳

一、引言

深圳气象高性能计算机系统位于深圳市气象局蔡屋围气象观测基地，建成于2011年初，采用曙光5000A刀片集群系统，共170台刀片服务器组成，峰值计算能力达到34万亿次，配有共享存储116TB，现在主要运行实时同化预报系统、四维实时数据同化系统、数值预报综合系统、临近预报决策平台、雷达数据处理等气象预报业务系统和数值预报模式。经过近几年运行发展，高性能计算机系统效能逐年下降，设备宕机故障偶有发生，进行必要的升级改造不仅是业务发展需求，同时也是系统高效运行管理的要求。

二、高性能计算机系统现状

（一）总体结构

深圳气象高性能计算机系统根据计算资源需求划分为业务区和科研区，其中业务区共80个刀片服务器、科研区共90个刀片服务器，配有6台管理登入刀片服务器和14台I/O节点刀片服务器，千兆光纤互联；在存储部分，配有一套ParaStor100并行存储系统，两套全光纤存储曙光DS800-F20应用于业务区高端存储，一套曙光DS800-F10应用于科研区大容量存储，千兆光纤互联；在控制部分，配有一套集群控制系统（含集群容错）和一套Gridview商用版作业调度系统。总体结构见图1。

（二）存在的主要问题

随着近几年深圳气象业务和科研需求日益增加，高性能计算资源利用率不断上升，在运行过程中也陆续遇到一些问题，很大程度上影响了高性能计算资源和存储资源的正常、高效利用，主要问题有：

1. 在科研开发过程时，大多数用户需要大量频繁地访问外部数据，对高性能计算机系统的网络带宽和稳定性要求较高，但目前只有一个节点（node182）能够下载数据，已远远不能满足需求。

2. 随着数值预报模式业务和科学研究量的大幅增长，高性能计算机系统的存储空间需求也越来越大，现有存储空间仅为116TB，而在运行的三大业务系统每月数据量约为28TB，因存储空间所限，导致系统系统仅能在线保留三个月数据，许多中间产品被迫删除，这些中间产品一旦需要时又必须重新计算得出，给业务和科研带来诸多不便。

3. 快速存储部分（/data02）集群海量小文件数（inode总量140M）使用已经到98%了，连接存储的I/O节点内存使用率高达99%，严重影响了系统运行和用户访问效率。

4. 现有超算资源监控和作业调度系统较为低端，一方面用户无法对所有计算资源的使用情况进行一个整体把握，另一方面基于移动终端作业任务提交功能尚未建立，无法满足气象预警预报全天候24小时服务需求。

三、升级改造方案

针对存在问题和不足，坚持利旧及兼容原则，坚持可扩充性原则以不断适应高性能计算机新技术发展，重点对登录节点、存储资源、作业调度系统进行升级改造。

（一）登录节点改造

系统共6个管理登录节点（node171、node172、node173、node181、node182、node183），业务区和科研区各3个，现有配置为2颗六核2.2GHz CPU、16GB内存以及一块146GB的 SAS硬盘，一块Infiniband网卡(20Gbps)和一块千兆以太网网卡，分别实现Infiniband交换机与气象局局域网互联，实现气象数据和应用产品传输。改造方案包含三个方面，一是将node171、node172、node181、node182等四个节点的网卡升级为万兆网卡与气象局局域网互联；二是对所有管理登录节点的内存从原来的16GB升级为32GB；三是在确保信息安全基础上，利用Infiniband专用接口以直连方式连接高性能计算机的Infiniband交换机和气象局局域网，以简化node173、node183原有管理登录功能。

图1 深圳气象高性能计算机逻辑拓扑图

（二）存储资源升级

对于存储系统，一方面要考虑扩容，满足未来的数值模式业务和气象科学研究需求，另一方面要重点考虑解决海量小文件存储问题。根据对当前及未来三年业务和科研需求测算，在现有/data02存储空间116TB基础上，新增一套ParaStor200并行存储系统，分别配置容量为192TB的ParaStor200高带宽配置存储和高IOPS配置存储，前者配置2个索引控制器（4个24×4T的数据控制器）重点解决数据存储空间不足的问题，后者新增一个数据控制器（新增扩容39块600G2.5SAS硬盘至海量小文件存储容量为28T）解决海量小文件存储的问题，满足至少三年业务和科研数据的存储需求。

按此思路改造后新增两套存储系统data03和data04，系统data03为28T的SAS高速空间用来存储海量小文件，data04为192T的SATA低速空间，作为高性能计算的数据存储仓库，将原data01和data02的数据迁移至data04中，释放data01和data02存储空间以提高数值预报模式业务和科研开发计算效率。具体见图2。

图2 改造后的存储系统逻辑图

（三）作业调度系统优化

一方面要解决高性能存储升级后原有作业调度系统的兼容性问题，一方面要满足超算资源有效监控和调度需求，本次改造重点是对高性能集群110个计算节点的作业调度系统进行升级，实现多集群统一监控平台，即可实现多地计算资源在同一软件界面的实时监控、基于移动终端的任务提交以及智能化监控整个系统计算能力使用情况、存储使用情况、存储I/O情况。特别是针对灾害性天气时，随时可以通过移动客户端实施监控高性能计算机运行状况以及提交作业，进而有效提高高性能计算机运行效率。作业调度工作流程见图3。

图3 优化后的作业调度工作流程

四、效果分析

深圳气象高性能计算机系统是国内气象系统中第一个拥有国内前100强高性能计算机的单位，是深圳气象数值化气象预报的关键业务支撑平台。从业务应用和科研需求上来看，目前深圳气象可以同化的观测资料主要为深圳及周边地区雷达和自动观测站等气象资料。本次升级改造后有效增加了对广东省范围内2000多个自动气象站观测资料和泛华南雷达组网数据的实时同化，使预报范围由4公里精细到2公里，并将提供精细到覆盖全市74个街道0～3小时降雨和气温预报，有效提高我市数值化气象服务技术能力。主要效益有如下三个方面：

（一）有效提高天气预报精准度。数值天气预报是从大气物理规律和机理出发，建立数学及物理模型，用数学及物理的方法，并借助现代并行计算技术预测反演未来天气趋势，因此是当前世界各大气象预报中心的核心预报技术和关键手段，也是不断提高天气预报准确率的重要发展方向之一，它使得预报区域的精度提高一倍甚至更多，其涉及的数据量在现有基础上还要提高16倍，同时数据同化所需要的计算能力越强，计算得出的预报信息才越精确。因此要想准确预报复杂多变的天气，高性能计算机系统的计算能力和高效的数据读取能力是关键。

（二）有效提高气象预警预报自动化水平。精细化数值预报是在空间和时间尺度上的精细预报，由于深圳受海陆、复杂地形、季节等因素的影响，需要同化更多的稠密观测资料，提供更多接近真实大气的中小尺度天气系统特征信息，更好的预报中小尺度天气的能力。同时，经过数值预报产品的诊断，生成的数值预报释用产品可以大大简化预报员的工作量，预报员可以在此基础上进行订正即可，也极大地提高了气象预报预警服务的自动化水平。

（三）有效提高气象服务精细化水平。依托高性能计算机系统的数值模式系统可提供时空分辨率和准确率更高的气象预报产品，为全市防灾减灾的组织提供更强有力的科学依据，并推广应用于深圳文博会、高交会、春节春运等重大社会活动中，有效提升社会的防灾减灾能力，保障城市安全运行。同时，高性能计算机上强大的计算资源也有助于为社会公众提供全程、连续、滚动、个性和新媒体化的气象产品。

五、结语

通过对深圳气象高性能计算机系统升级改造，初步解决了I/O节点通信瓶颈和存储空间的不足，同时结合实际对作业调度系统进行优化实现了一站式统一监控平台和移动客户端作业调度功能，达到了项目预期目标。未来，随着气象探测、预警预报、气象服务等业务和科研事业快速发展，对高性能计算机系统的计算资源需求将越来越高，当前34万亿次计算资源短缺也将在未来三到五年内逐渐显现，建设200万亿次甚至400万亿次的更高性能超算中心也在规划中。

作者单位：深圳市国家气候观象台