基于高性能计算平台和WRF环境实验的教学改革

黄建强， 吴 利， 曹腾飞， 孟永伟， 王晓英

(青海大学 计算机技术与应用系, 青海 西宁 810016)



基于高性能计算平台和WRF环境实验的教学改革

黄建强， 吴 利， 曹腾飞， 孟永伟， 王晓英

(青海大学 计算机技术与应用系, 青海 西宁 810016)

青海大学三江源数据分析中心的128个HP节点组成的高性能计算集群系统，峰值计算速度达1.331万亿次/s。在此基础上，扩展了12个浪潮节点，峰值计算速度达5.2万亿次/s，存储达到20TB。在浪潮集群系统上搭建了天气预报模式WRF的实验环境，为青海省气象所提供数值计算环境，同时为我校培养交叉学科研究生提供实验教学环境，开拓交叉学科教学新模式。

高性能计算； WRF环境建设； 实验教学

0 引 言

随着国家中西部高校综合实力提升工程和一省一校项目的推进，青海省高等教育得到了迅速发展，在人才培养、科学创新上取得了骄人的成绩，科学研究的方式也发生了改变，计算科学将成为现代科学研究的重要手段。青海大学在清华大学的帮扶下，创建了青海大学计算机系高性能计算集群，由128个HP节点组成，理论峰值计算速度达1.331万亿次/s，从而为各类应用任务的计算提供最优的支持和性能表现。在此基础上，扩展了12个浪潮节点，理论峰值计算速度达5.2万亿次/s，存储达到20TB，聚焦高性能计算平台技术服务与高性能计算学科建设支撑，越来越多的科学研究和重大工程中的关键问题需要大规模、高性能的计算和模拟[1-2]。在浪潮集群系统上搭建了天气预报模式WRF的实验环境，WRF 模式在国内已经得到了一定的应用[3-4]，学校与社会协同育人[5-6]，为青海省气象所提供数值计算环境，同时为青海大学培养交叉学科研究生提供实验教学环境，开拓交叉学科教学新模式。

1 高性能计算平台

1.1 集群硬件配置

高性能计算服务器集群系统是高性能计算和高可用技术有机结合的性能强大、高可用的集群系统[7]，是整个高性能计算平台的核心。按照业务实际需要，三江源数据分析中心配备惠普机架服务器作为计算节点；配置HP高性能服务器节点作为I/O节点，配置高性能服务器manager。整个集群的网络系统配置测试网和计算网2套网络，测试网由eth1和eth2 2组网络构成，eth1网络传输整个千兆网的控制信号，eth2网络用来管理硬件设备，用户可以在测试网中调试运行程序[8]。计算网由所有节点服务器通过InfiniBand网络连接，使得这些节点可以高速访问，计算网只允许用户访问登录节点，通过LSF作业管理系统提交作业使用计算资源，以保证系统安全性[9]。整个集群系统的构建如图1所示。

图1 HP集群系统构建图

图2为浪潮集群系统的物理拓扑，机柜由上而下依次为：mu01管理节点、cu01～cu05计算节点、kvm视频切换器、cu06～cu12计算节点、千兆以太网交换机、infiniband 40Gb交换机。

图2 浪潮集群系统物理拓扑图

管理节点(12个CPU核心，64GB内存，Redhat 6.4 X86_64，600GB硬盘)。

[root@huangjq ～]# cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c。

12 Intel(R) Xeon(R) CPU E5-2620v2 @ 2.1GHz。

计算节点(12个计算节点，每个节点24个CPU核心，64G内存，Redhat 6.4 X86_64，600G硬盘)。

[root@huangjq ～]# cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c。

24 Intel(R) Xeon(R) CPU E5-2692v2 @ 2.2 GHz。

1.2 集群软件环境

集群软件环境，见表1。

表1 集群软件环境

2 WRF环境建设

2.1 前期软件准备

(1) 安装zlib。切换到zlib目录下：

./configure -prefix=/usr/local/zlib

make,make install

vi ～/.bashrc

#for libpng

export ZLIB_HOME=/usr/local/zlib

exportLD_LIBRARY_PATH=ZLIB_HOME/lib:LD_LIBRARY_PATH

保存退出，source ～/.bashrc

(2) 进入libpng目录。

./configure -prefix=/usr/local/libpng

make,make install

添加环境变量

vi ～/.bashrc

#for libpng

export LIBPNG =/usr/local/libpng;

export LIBPNGLIB =/usr/local/libpng/lib

export LIBPNGINC=/usr/local/libpng/include

修改完之后注意source ～/.bashrc

(3) 进入jasper目录。

./configure -prefix=/usr/local/jasper

make,make install

如果出现无法安装jasper,找不到zlib，则用默认路径安装zlib后重试(自定义安装的zlib文件夹不要删)。

添加环境变量：

vi ～/.bashrc

#for JASPER

export JASPER =/usr/local/jasper

export JASPERLIB =/usr/local/jasper/lib

export JASPERINC=/usr/local/jasper/include

再次source ～/.bashrc

(4) 安装netcdf。进入netcdf目录：

./congigure -disable-netcdf-4-prefix=/usr/local/netcdf

make, make install

添加环境变量

vi ～/.bashrc

#for netcdf

export NETCDF=/usr/local/netcdf

export PATH=.:NETCDF/bin:PATH

export LD_LIBRARY_PATH={NETCDF}/lib:{LD_LIBRARY_PATH}

export LD_RUN_PATH={NETCDF}/lib:{LD_RUN_PATH}

最后source ～/.bashrc

(5) 安装ncl 6.0.0。新建一个文件夹，名称为ncl，自己将压缩文件解压到ncl文件夹，再将ncl文件夹移动到local目录下并更名为ncarg

mv ncl /usr/local/ncarg

添加环境变量:

Vi～/.bashrc

#for ncarg

export NCARG_ROOT=/usr/local/ncarg

export PATH=NCARG_ROOT/bin:PATH

export MANPATH=NCARG_ROOT/man:MANPATH

export DISPLAY=:0.0

保存退出然后source ～ /.bashrc

2.2 WRF环境搭建

WRF安装:编译之前先修改一下配置文件，vi configure.wrf，添加-cpp参数，防止gfortran与gcc，g++搞混。

FORMAT_FREE = -ffree-form -cpp -ffree-line-length-none./configure，选gcc gfortran，serious(串行编译)。

编译./compile em_real>&wrfcompile.log。

检查log文件，看是否没有错误提示。一般来说，在test/em_real文件夹下如果生成real.exe,wrf.exe等文件，则表示安装成功。

WPS安装：

(1) 建立wpslib，wpsinclude文件夹。

mkdir /usr/local/wpslib

mkdir /usr/local/wpsinclude

(2) 将zlib,libpng,jasper的lib和inclue的文件放到其中。

cp -r /usr/local/zlib/lib/*/usr/local/wpslib

cp -r /usr/local/zlib/include/*/usr/local/wpsinclude

cp -r /usr/local/libpng/lib/*/usr/local/wpslib

cp -r /usr/local/jasper/lib/*/usr/local/wpslib

cp -r /usr/local/jasper/include/*/usr/local/wpsinclude

cp -r /usr/local/libpng/include/*/usr/local/wpsinclude

(3) 切换WPS目录。

① 配置。

./configure

选择gcc gfortran 选项。

② 修改配置文件。

vi configure.wps

有以下几处要修改。

NCARG_LIBS = -L(NCARG_ROOT)/lib-lncarg-lncarg_gks-lncarg_c-L/usr/lib/x86_64-linux-gnu -lX11

COMPRESSION_LIBS = -L/usr/local/wpslib-ljasper -lpng12 -lpng-lz

COMPRESSION_INC = -I/usr/local/wpsinclude

FFLAGS = -ffree-form -cpp -O -f convert=big-endian -frecord-marker=4

F77FLAGS = -ffixed-form -cpp -O -fconvert=big-endian -frecord-marker=4

保存退出。

③ 编译：

compile>&wpscompile.log

检查log文件，看是否没有错误提示。一般来说，如果生成了geogrid.exe,ungrib.exe,metgrib.exe文件，就表示安装成功。

ARWpost安装：

./configure

选择gfortran编译器：

修改配置文件：

vi configure.arwp

FFLAGS = -ffree-form -cpp -O -fno-second-underscore -fconvert=big-endian -frecord-marker=4

F77FLAGS =-ffixed-form -cpp -O-fno-second-underscore -fconvert=big-endian

保存退出。

修改makefile(netcdf4.0.1之前的版本无需做此项，因为这些版本没有netcdff库)。

vi src/Makefile

修改：

ARWpost.exe: (OBJS)

(FC) (FFLAGS) (LDFLAGS) -o @ (OBJS) 〗 -L(NETCDF)/lib-I(NETCDF)/include -lnetcdf -lnetcdff

编译 ./compile>&arwpcompile.log。

如果生成了ARWpost.exe，则表示安装成功。

3 实验步骤

3.1 把GFS数据做水平插值

(1) 将gfs数据链接到WPS目录下：

[huangjq@mu01 WPS] ./link_grib.csh /data/home/huangjq/dingnan/gfsdata/gfs.t*

(2) 下载geog(地图数据)，link到WPS根目录(注意WRF最近更新了Vtable脚本，用新数据必须用新脚本)：

[huangjq@mu01 WPS] ln -s ungrib/Variable_Tables/Vtable.GFS Vtable

(3) 修改namelist.wps文件，修改起始时间，以及geog数据目录。

(4) 对GRIB气象数据进行解压：

[huangjq@mu01 WPS]./ungrib.exe

(5) 建立静态的地面数据：

[huangjq@mu01 WPS] ./geogrid.exe

(6) 把气象数据水平插入模式领域内：

[huangjq@mu01 WPS] ./metgrid.exe

3.2 运行WRF主模块

(1) 将生成的met_em.d01.2015-03-* .等文件连接到WRFV3目录下：

[huangjq@mu01em_real]ln-s/home/wrf/WPS/met_em.d01.2015-03-* .

[huangjq@mu01em_real] ln-s/home/wrf/WPS/met_em.d02.2015-03-* .

(2) 修改namelist.input文件，修改起始日期，配置参数。

(3) 运行real.exe (运行成功的话，那么查看rsl.out文件，会显示成功字样)。

[huangjq@mu01 em_real] ./real.exe

(4) 运行wrf.exe文件，跑完之后会生成wrfout_d01_2015-03-10_00:00:00文件。

[huangjq@mu01 em_real] ./wrf.exe

3.3 后处理模块ARWpost

(1) 将生成的wrfout文件连接至ARWpost目录下：

[huangjq@mu01ARWpost]In-s/data/home/huangjq/dingnan/WRFV3.3/test/em_real/wrfout_d01_2015-03-10_00:00:00

修改namelist.ARWpost文件，修改起始日期。

(2) 运行ARWpost.exe。

[huangjq@mu01 ARWpost]./ARWpost.exe，运行成功，会生成test.ctl和test.dat

4 结 语

青海大学高性能平台与WRF环境的建设，将与青海省气象所合作，开展现代气象业务以及预报预测新资料、新方法、新技术的相关实验，实现天气气候与环境预报、预测、预估等实验教学，提高培训能力和培训水平，从而能够全方位、高水平地承担在校生专业与业务的实验教学，并面向全省需求设置实验课程，为地方气象局开展业务培训，向全省开放短期气象预报培训，深化气象领域服务，努力使科研成果转化为实验教学资源，拓展在环境、气象、农业等交叉领域的服务[10-15]实验教学体系，创新实验教学内容，在探索与实践中不断完善和修正，为培养更多的高素质复合型人才作出更大贡献。

[1] 林新华.走出高性能计算中心的建设误区[J]:中国教育网络,2009(5):42-43.

[2] 姚继锋.什么成就了超算中心[J].中国教育网络,2010(6):18-20.

[3] 教育部高等教育司．关于开展“十二五”高等学校实验教学示范中心建设工作的通知[EB-OL].(2012-03-15).http://moe.edu.cn/publicfiles/business/htmlfiles/moe/A08_sjhj/201203/133068.html.

[4] 教育部高等教育司．关于进一步开展“十二五”高等学校实验教学示范中心建设工作的通知[EB-OL].(2012-12-03).http://moe.edu.cn/publicfiles/business/htmlfiles/moe/s7065/201301/146655.html.

[5] 伍华平,束 炯,顾 莹.暴雨模拟中积云对流参数化方案的对比试验[J].热带气象学报，2009，25( 2) : 175 -180.

[6] 周 鹏,常 兰,李 鹏,等.WRF模式在南京数值天气预报中的应用[J].气象科学,2011,31( 5) : 598-603.

[7] 关伟豪,吴汝明,郭清顺,等.中山大学高性能计算服务平台的建设[J].实验技术与管理,2011,28(4):303-306.

[8] 林 皎,陈玉洁,张武生,等.高性能计算平台建设的探索与实践[J].实验技术与管理,2012, 29(5):217-220.

[9] 黄建强，孟永伟，曹腾飞，等. 青海大学三江源数据分析中心高性能计算集群的构建与设备管理[J].实验技术与管理,2014, 31(12):237-241.

[10] 许家瑞,周 勤,陈步云,等.构建创新实验教学体系的探索与实践[J].实验技术与管理,2009,26(5):1-4.

[11] 程永扬,王 为,李小昱,等.构建立体化的创新性实验教学体系与模式[J].实验室研究与探索，2008,27(7):102-104,152.

[12] 王会军,徐永福,周天军,等．大气科学：一个充满活力的前沿科学[J]．地球科学进展,2004,19(4):525-532.

[13] 姚菊香,华兴夏,吴立保,等.大气科学与环境气象实验教学中心的改革实践[J].实验技术与管理,2015, 32(2): 163-166.

[14] 张大林.大气科学的世纪进展与未来展望[J].气象学报,2005,63(5):812-824.

[15] 程 媛,黄建忠,游维涛,等.高性能计算实验室创新实践型人才培养[J].计算机教育,2014(10):83-89.

Teaching Reform Based on High Performance Computing Platform and WRF Environment Experiment

HUANGJian-qiang,WULi,CAOTeng-fei,MENGYong-wei,WANGXiao-ying

(Department of Computer Technology and Application, Qinghai University, Xining 810016, China)

Three-River Source Data Analysis Center, Qinghai University, holds a high-performance computing cluster system, which consists of 128 nodes, and it can reach to the peak computing speed of 1.331 trillion times/s. On this basis, by expanding 12 Inspur nodes, it can reach to the peak computing speed of 5.2 trillion times/s, and storage reaches 20TB. We set up the experimental environment of weather forecast model WRF in the Inspur cluster system which can provide numerical calculation environments for Qinghai Province Meteorological Institute, at the same time, for our school, it can train interdisciplinary graduate students teaching environment, and develop a new model of interdisciplinary teaching.

high-performance computing; WRF environment construction; experimental teaching

2015-07-20

青海省应用基础研究基金项目(2014-ZJ-718);青海大学中青年基金项目(2013-QGY-10); 青海大学中青年基金项目(2014-QGY-23)

黄建强(1985-),男,陕西西安人,硕士,讲师,研究方向为高性能计算、视频分析。

Tel.:15509789239; E-mail：hjqxaly@163.com

TP 393

A

1006-7167(2016)02-0094-04