青海大学三江源数据分析中心高性能计算集群的构建与设备管理

黄建强，孟永伟，曹腾飞，王晓英

（青海大学 计算机技术与应用系，青海 西宁 810016）

随着清华大学对口支援和中西部高校综合能力提升工程的推进，青海省高等教育得到了迅速发展，在人才培养、科学创新上取得了骄人的成绩，科学研究的方式也发生了改变，计算科学将成为现代科学研究的重要手段。清华大学捐赠青海大学计算机系的高性能计算集群将深远影响各科研领域的发展。高性能计算集群由128个计算节点，采用10GB InfiniBand网络进行互连组成，理论峰值计算速度达1.331万亿次／秒，从而为各类应用任务的计算提供最优的支持和性能表现，开展高性能科学计算可视化研究、提高软件环境的可用性、方便各相关学科研究人员开展研究工作，通过拓展数据存储能力，对多学科海量计算数据开展高性能计算数据库和知识计算（并行数据挖掘、知识工程、数据融合）等方面的研究。在三江源数据分析中心及高性能计算平台的建设支撑下，重点打造高性能计算与应用的技术队伍，聚焦高性能计算平台技术服务与高性能计算学科建设支撑，越来越多的科学研究和重大工程中的关键问题需要大规模、高性能的计算和模拟［1-5］。此高性能计算集群系统不仅作为校内科技服务平台，更为青海省的气象、地震、环保、生态等一些需要大规模数据处理的单位提供了有力的支撑。

1 集群基础环境的建设

1.1 科学选址

超算中心机房一般是位于某一栋楼的一层或多层，那么选址就牵扯到地理位置选择和楼层选择。由于超算中心机房主要是对大规模数据进行处理，需要一定的网络服务，进而进行可视化呈现和远程作业提交，因此在选址时一般选择在网络服务较好的地域。在楼层的选择中，要注意防潮、防尘、防盗、防干扰、防雷等，考虑到青海地区气候干燥，选择在一楼。因为顶层遭受雷击的可能性大，温差大，加大了空调系统运行的成本。防盗上除了必要的防盗措施外，应该选择在人流量较少的楼层中。因此，超算中心机房的建设选择在宽敞、明亮、整洁、安全的楼层中［6］。

1.2 环境组成

设计内容包括装修工程、电气工程、空调通风系统、综合布线系统、环境集中监控系统、安防系统、消防系统、监控室显示系统等8个子系统。三江源数据分析中心位于青海大学基础物理实验楼的一层，分为操控室和机房2个房间，装修总面积约为115m2，操控室面积约57m2，机房面积约58m2。房间层高3.8 m，已铺设陶瓷面层防静电活动地板，地板架高高度为0.35m。该建筑没有地下室。数据中心主要由机房环境、网络环境、计算资源、集中存储、数据运行环境、安全体系、容灾中心几部分组成。

（1）机房环境。机房建设主要指提供防尘、防静电的环境，充足持续的电力系统，恒温、恒湿的制冷系统，消防系统；门禁与监控系统，综合布线及合理的布局，比如机柜的摆放、区域的划分等。

（2）网络环境。主要指在数据中心内部建立冗余的网络链接，当某一部分出现故障时，数据中心内部的所有数据交换不会因此而中断，保证网络的畅通无阻，此外要加强网络监控，能及时发现问题。

（3）计算资源环境。主要指服务器架构的设计必须从整体上进行容量规划，根据应用的需求合理布局，使系统易于扩展性，实现资源共享，避免浪费。

（4）集中存储。集中存储是实现数据共享、建立高可用运行环境的关键环节，根据数据访问方式及重要程度采用不同的技术，实现数据集中存储。

（5）数据运行环境，主要涉及数据库管理系统、数据仓库管理系统和数据共享与交换。

（6）容灾中心建设。需要根据学校的实际情况分步进行。数据的丢失可以有很多因素，误操作、磁盘等设备出问题等，都可以导致数据丢失。因此数据备份应是数据中心提供的基本服务。从数据中心的角度来讲，不仅要考虑到数据的快速备份、恢复等问题，还要提供应付灾难性的后备与恢复措施。

2 集群的构建

高性能计算服务器集群系统是高性能计算和高可用技术有机结合的性能强大、高可用的集群系统［7］，是整个高性能计算平台的核心。按照业务实际需要，三江源数据分析中心配备惠普机架服务器作为计算节点；配置HP高性能服务器节点作为I／O节点，配置高性能服务器manager，同时复用为登录节点和集群管理节点，负责整个集群系统的软、硬件管理、维护与监控。整个集群的网络系统配置测试网和计算网2套网络，测试网由eth1和eth2两组网络构成。eth1网络传输整个千兆网的控制信号，eth2网络用来管理硬件设备，用户可以在测试网中调试运行程序。计算网由所有节点服务器通过InfiniBand网络连接，使得这些节点可以高速访问。计算网只允许用户访问登录节点，通过LSF作业管理系统提交作业使用计算资源，以保证系统安全性［8］。整个集群系统的构建如图1所示。

LSF server：用户提交作业的服务器。Jobmaster：作业管理（不需要外网），要挂载到jobfront上。manager：管理节点（eth2需要配置外网，让外网去访问）。nismaster／nisslave：各个服务器去取nis上的用户信息。计算节点cn1、cn2…cn128是并行计算节点，它提供核心计算能力，即各种系统资源，包含处理器、内存及I／O设备。计算节点一方面连接到登陆／管理节点，接收执行指令，一方面通过InfiniBand交换机，实现进程之间高速消息通信；同时访问I／O节点上的文件系统，从而获得较好的I／O性能。I／O节点为计算节点提供共享文件系统、数据传送等功能［8］。与I／O系统相关的网络包括3部分：

（1）共享文件系统控制支撑网络，在I／O节点上建立网络文件系统（NFS），作为服务器共享存储，实现统一数据访问。它控制支撑网络，用来传递共享文件系统NFS的控制信息，是支撑计算节点和I／O节点间数据交换的管理网络。当多个计算节点同时访问某个建立在共享存储上的共享文件系统时，共享文件系统需要通过该网络系统在多个节点间进行协调和管理。共享文件系统控制支撑网络传输的只是些控制信息，而非数据本身，所以网络负载非常小。

（2）节点间数据传输网络，用来支持计算节点和I／O节点间的数据传输，即通过InfiniBand网络实现进程之间高速消息通信。

图1 集群系统构建图

（3）存储备份网络，实现数据的转移与备份。本项目中未配置单独备份，而是在I／O节点上配置磁盘阵列，通过RAID实现磁盘冗余，在满足存储要求的情况下，提高了读写效率。登陆／管理节点完成集群系统的监控、管理、登录、作业调度等任务，用户登录到这个节点上编译源程序，并提交作业。该节点上部署的作业调度与集群管理系统是管理员与用户主要使用的应用软件系统。

3 平台建设及环境监控

3.1 平台建设

（1）基于Cluster的高性能计算平台建设。采用Cluster集群架构，有很好的扩展性，能扩充到上千个节点，从而获得更高的性能和比较低的总体成本。针对不同类型应用对不同架构计算平台具有不同的适应性，为各类应用任务的计算都提供了最优的支持和性能表现。配置分布式集群存储系统，具有高性能、高可靠性、高扩展性、易整合、易管理等特性。主要应用领域包括高性能计算、互联网海量文件处理、动漫渲染、地理信息系统（GIS）等应用。

（2）高性能计算软件与可视化。根据不同学科特点，采取开放式软件策略，并在此基础上开展可视化研究，提高软件环境的可用性，方便各相关学科研究人员开展研究工作，使得我校基于三江源数据分析中心平台在复杂流动、盐湖化工、地震、生命科学等领域中可以申请国家级、省部级的研究项目，同时可以与工业部门开展许多合作研究，积累了使用商用软件和可视化软件的丰富经验，为自主开发高性能计算与应用软件打下良好的基础。

（3）建设海量数据存储系统。通过拓展数据存储能力，根据高性能计算与应用的特点，对多学科海量计算数据开展高性能计算数据库和知识计算（并行数据挖掘、知识工程、数据融合）等方面的研究，满足各学科高性能计算与应用对数据存储空间的需要和提高各学科高性能计算与应用的起点。

3.2 系统管理

三江源数据分析中心集群计算系统采用SSH和Platform LSF集群管理软件相结合的方式进行管理［9］。IBM Platform LSF平台集群可以分成2组主机，分别是管理主机和计算主机。管理主机为集群提供专业化的服务，计算主机运行用户的工作量，如图2是IBM Platform LSF平台在集群中的系统环境下的通信通道。

图2 LSF在集群系统的通信通道图

（1）作业提交。从LSF客户端，或者是一个运行bsub命令的服务器上提交一份作业，当提交这份作业时，如果不指定哪个队列，这份作业就会被提交到系统默认的队列中，作业在队列中等待安排，这些作业处于等待状态。

（2）调度作业。后台的主进程mbatchd将处理队列中的作业，在一个预定的时间间隔里，将这些作业按设定的计划传递给主调度进程mbschd。主调度进程mbschd评估这份工作时，根据作业的优先权制定调度决策、调度机制和可利用资源。主调度进程选择最佳的主机及在哪里作业可以运行，并将它的决策返回给后台主进程mbatchd。主负载信息管理进程（LIM）收集资源信息，主LIM与mbatchd主进程交流这些信息，反过来mbatchd主进程使用之前交流信息支持调度决定。

（3）分配作业。mbatchd主进程一收到mbschd发过来的决定，立即分配作业到主机。

（4）运行作业。从属批处理进程（sbatchd），从mbatchd主进程接到要求，为这份作业创建一个子sbatchd和一个执行环境，通过使用一个远程执行服务器开始这个作业。

（5）返回输出。当一个作业完成时，如果这个作业没有任何问题，它处于一个完成状态。如果有错误作业无法完成，这份作业处于退出状态。sbatchd传达作业信息，包括错误提示和给mbatchd的输出信息。

（6）给客户端发邮件。mbatchd通过邮件提交主机反馈作业输出信息、作业错误、提示信息、作业信息。

3.3 计算服务

学校的高性能网格计算平台主要为校内的院系、科研团队或教师提供服务，在满足校内需求的前提下，也将考虑向社会提供多种形式的服务。服务层次主要有计算资源使用、技术咨询以及研发服务。服务形式将作为学校数字化科研的重要内容逐步融入学校的数字化校园服务平台，为不同地区的各种用户提供统一高效的优质服务［10-11］。

3.4 环境监控

青海大学三江源数据分析中心机房环境监控分别对UPS监控、空调监控、供配电监控、漏水监测、温湿度监控、消防监测、邮件报警设置、短信报警设置、参数设置等9个方面。如图3所示，参数设置可以对环境参数进行修改控制。

图3 环境参数修改图

4 结束语

通过三江源数据分析中心高性能计算集群的建设，使本学科基础设施及实验条件趋于完备，可支持教师进行前沿科研方向的研究。在管理团队上考虑用不同层次的人员，完成不同的任务，引入自动化的管理手段，管理质量和管理效率同时抓，降低人的成本投入。提升团队结构水平和层次，进一步争取国家和省部级重点、重大项目，获得一批具有科研前沿水平的原创性的研究成果，在国际学术刊物上发表一批高水平的学术论文，为实现建立计算机科学与技术硕士学位授权点的目标创造必要条件。

（

）

［1］林新华.走出高性能计算中心的建设误区［J］.中国教育网络，2009（5）：42-43.

［2］严隽琪.上海高性能计算公共服务平台［J］.工业工程与管理，2005（1）：1-5.

［3］姚继锋.什么成就了超算中心［J］.中国教育网络，2010（6）：18-20.

［4］姚继锋.高性能计算：CIO 的必修课［J］.中国计算机用户，2008（12）：50-51.

［5］刘红.中医药高性能计算公共服务平台的建设与探索［J］.中国中医药信息杂志，2010（增刊1）：74-75.

［6］杨滨.学校计算中心机房建设分析［J］.科技风，2013（17）：243.

［7］关伟豪，吴汝明，郭清顺，等.中山大学高性能计算服务平台的建设［J］.实验技术与管理，2011，28（4）：303-306.

［8］林皎，陈玉洁，张武生，等.高性能计算平台建设的探索与实践［J］.实验技术与管理，2012，29（5）：217-220.

［9］李圣强，李闽峰，刘桂平，等.高性能集群计算系统的构建［J］.地震，2012，32（1）：144-147.

［10］龚伟.高性能计算中心站系统设计［J］.电脑知识与技术，2009（20）：5534-5535.

［11］陈文波，李婵娟，周庆国，等.高性能计算平台HPCC的性能分析［J］.计算机工程与应用，2008，44（10）：95-97.