云计算管理系统研究与应用

何芸

摘要：随着石油勘探开发数据向PB級迈进，新技术应用对现有运算能力与存储能力提出新的挑战，采用云计算是势在必行的解决方案。云计算通过网络统一管理和调度计算、存储、网络、软件等资源，实现资源整合与配置优化，突破了传统 IT 架构和技术瓶颈，实现容量随时扩展，大幅度提升了网络服务所需的计算能力。通过实例展示云计算管理系统在石油地震解释处理业务中部署、应用、管理，推广成效，深度研究、剖析系统优缺点，扩展优化系统功能，促进云计算管理系统可持续发展。

关键词：云计算；自动化管理；实时监控；智能化

一、前言

云计算把许多计算资源集合起来，通过软件自动化管理，解决现实场地物理机使用效率低、成本高的缺点，让计算和存储资源实现理论上的无限扩展。与云计算相比，购买CPU集群、GPU显卡等集群和算力的传统做法需要持续投入，成本较高，机器资源利用率低，运算高峰时算力永远跟不上算法的改进更新。很多新技术受制于算力不足，随着勘探开发高密度、深精度数据向PB级迈进，对现有运算能力与存储能力提出新挑战，因此，采用云计算是势在必行的解决方案。

二、存在的问题

建立勘探开发生产一体化云平台，进而建立一个生态系统，进行智能协同研究是油气行业共同目标。如果说云计算实现了硬件云化，那么，建立云平台相当于进行软件云化。传统的勘探开发生产模式是各个环节都用专门的软件，各个专业人员各自为战。实际上，软件种类繁多，数据格式也不统一，每个业务环节数据交换非常不便，而上下游产业链的业务环节往往重叠交叉。因此，软件多、系统多、数据孤立、研究重复，需要建立一个统一技术平台，这个平台要实现勘探、开发、生产等数据互联互通，技术上实现标准统一、互通融合，各个专业软件数据在这个平台下也能实现数据自由通信，而不同专业人员可以在一个平台上进行协同研究。研究发现实际存在的问题如下：

第一，业务成本居高不下。软、硬件投资已成为主要成本，随机构设置、靠前服务往往要重复建设、重复购置。

第二，资源分散能效差。资源配置小而散，孤岛现象突出，资源无法共享，导致利用率低下，大项目往往面临着设备总量足够，工作却无法完成的尴尬局面。

第三，管理难度大、复杂度高。资源分散导致管理分散，专业化水平参差不齐、问题多，软件版本众多，打补丁很困难，设备运维、统计分析的自动化手段不足。

第四，用户体验差。对工作场所、终端限制多，移动工作困难，对多软件协同工作支持不力，三维可视化程序无法远程运行，存在数据安全性隐患[1]。

三、云计算管理系统简介

云计算管理平台，也称CMP（Cloud Management Platform），确切来说，是由业界知名的IT调研机构Gartner于2016年提出的概念。顾名思义，云计算管理平台，是在云计算之上的一层管理服务。

云计算管理系统是一款实现传统单机或C/S 模式的物探软件向现代云计算服务模式跨越的综合性管理平台。云计算管理系统就是一套用来帮助地震解释资料处理业务实现向云计算模式转型的软件工具。

（一）架构

云计算管理平台的架构如图1所示。

1.Struts

提供MVC分层架构，提供表示层支持和业务逻辑层的请求分发服务。

2.Spring

提供容器服务，系统内模块符合“控制反转”的架构思想，降低模快直接耦合。

3.Hibernate

提供数据持久层的封装，降低数据使用难度、复杂度，简化数据访回代码。

4.MySQL数据库

作为业务逻辑的持久化层，利用关系型数据库的关联关系、结构化查询等特点构建业务逻辑的数据存储层。

（二）云平台相关进程

云平台相关进程：

[root@lnvjs03 ～]# ps -ef|grep paraportal

采集组件相关进程：

[root@lnvjs03 ～]# ps -ef|grep pcollectd

root     44530     1  0  2023 ？        15：11：47

/opt/paratera/pcollectd/bin/pcollectd -c

/opt/paratera/pcollectd/etc/pcollectd.conf

[root@lnvjs03 ～]# ps -ef|grep pgatherd

root     44646     1  0  2023 ？        14：20：21

/opt/paratera/pgatherd/bin/pgatherd -c

/opt/paratera/pgatherd/etc/pgatherd.conf

四、云计算管理系统功能及应用

要实现传统单机或C/S模式的物探软件向现代云计算服务模式的跨越，必须解决两个关键问题：一是如何实现对云计算中心大量基础设施的高效管理，二是如何实现用户通过网络远程访问云中部署的各种物探软件。这两个问题解决的结果好坏将直接关系到云计算能否真正实现落地。针对两个关键问题的解决，云计算管理系统主要功能如下所述：

（一）云计算管理系统功能

云计算管理系统包括：用户管理、资源管理与监控、软件管理、统计分析、消息管理、数据管理、定时设置、设备权限管理、许可管理等功能。

1.用户管理

用戶管理模块支持对部门、用户、用户组、角色进行添加、删除、修改、查询、高级查询、关联、表格配置等操作，用户管理模块包括部门管理、用户管理、用户组管理、角色管理等模块。用户是用于登录云平台的账号，用户组是将云平台的用户与操作系统用户进行映射，一个用户组可以包含多个用户。角色管理用于给不同的用户分配权限。每个用户需要属于一个用户组，需要属于一个部门，同时具备一个角色。用户管理中用户添加可以通过云平台自动同步，也可以手动添加。

2.资源管理与监控

资源管理与监控是对服务器、服务器组、存储、能耗、绘图仪、磁带机进行添加、删除、修改、查询、高级查询、关联、表格配置、导出等操作及服务器监控和存储监控。能耗管理中对节点能耗实行实时监测、智能休眠和动态管控，达到精细化管理。可以从服务器监控中查看相应的CPU、内存使用量来确定需要输入的持续时间数据。在定时设置中为能耗管理添加定时任务，实时监控节点的状态，智能唤醒和休眠节点。服务器监控以图形模式实时动态显示集群节点监控状态。监控默认以列表形式展现2分钟内机器运行的数据，自动刷新频率为30秒。

（1）服务器信息来源

自动同步：节点安装pgatherd后会自动将节点信息汇报到云平台，云平台收到消息后，将该节点添加到不可用服务器中，并将该节点添加到默认服务器组中。

手动添加：手动添加的节点无法使用远程可视化，也不能在云平台中看到节点的监控信息，但是调度可以拿到该节点进行作业调度。

（2）服务器类型

计算：节点作为批量计算使用，不能打开远程桌面。

可视化：节点用于打开远程桌面，不能作为批量计算使用。

通用：节点既可以运行批量作业，也可以打开远程桌面。

专用服务器：不能用于批量计算，也不能打开远程桌面。

3.软件管理

软件管理是对应用软件进行添加、删除、修改、查询、高级查询等基本功能进行操作。软件管理—软件添加，通过软件名称、软件版本、软件执行脚本、软件运行环境及软件连接方式实现。

4.远程访问

远程访问包括策略管理、容器管理、远程连接管理。策略管理是对应用软件启动远程桌面时所选服务器的内存、CPU、最大连接数等进行配置管理。容器管理是对用户使用的CPU 核数和内存进行管理的基本功能操作，策略管理和容器管理同时存在时，优先使用容器管理，默认不限制内存使用。远程连接管理是对所有远程连接的用户进行统一管理的基本功能操作。

5.统计分析

统计分析是对服务器、服务器组、存储使用、用户连接和设备连接等的运行情况进行统计分析，包括：服务器负载统计、集群负载统计、存储使用统计、用户连接统计、设备连接统计、应用连接统计、许可证使用统计。可以就不同的时间段进行统计，支持统计结果输出为图片及Excel格式（集群负载统计）。

6.消息管理

消息管理是对集群和内存、新用户注册等发送消息通知。

7.数据管理

数据管理是提供对私有和公有数据的管理，支持上传、下载和新建、删除操作。

8.定时设置

定时设置是提供对需要重复或者在特定时间完成的作业和任务的功能实现。

9.设备权限管理

设备权限管理是对用户可以进行哪些操作等进行权限设定。

10.许可管理

许可服务进程及启动命令：startlic。

（二）实例分析

1.云平台安装

硬件平台：X86_64架构。操作系统版本：Red Hat Enterprise Linux Server release6.8。安装文件：Pgatherd、pcollectd只能安装在本地盘，配置文件：install.conf，节点列表文件：pgatherd-node.list。安装在服务器（软件、管理）节点的本地盘上，容量200GB以上分区，用root用户登录安装。根据操作系统版本安装VirtualGL等相应软件。

2.普通用户登录云计算管理系统

普通用户登录云计算管理系统使用三维的远程可视化界面流程：在Windows系统下载安装火狐浏览器、谷歌浏览器或搜狗浏览器，在网页地址栏输入云平台登录地址及端口，点击首页“新用户注册”，进入注册界面注册新用户，按要求填写相应内容，点击提交就可成为此云计算管理系统的用户。下载安装相关软件及工具，如VNC，输入用户名及密码，点击登录进入云平台，点击软件图标，弹出选择屏幕提示界面，选择屏幕大小后，使用并打开VNC软件，弹出linux远程界面，开启三维的远程可视化界面，如图2所示。

（三）效果分析

云计算管理系统已部署在石油地震资料处理和勘探解释业务中，通过Web浏览器登录进入地震资料解释、处理应用，实现协同工作。云计算管理系统集中管理各类软件、硬件资源，自动实现负载均衡，统一管理，协同运作，基本满足了地震资料处理、解释业务的需求。云计算管理系统在应用中有很多优点，但也存在一些缺点和不足。

第一，云计算管理系统提供大规模异构集群的自动化管理和实时监控，远程可视化访问门户则是提供云计算服务的基础，不仅保证了企业集群安全稳定运作，也是做好其他工作的坚实基础。通过云平台对云计算中心大量基础设施的高效管理以及用户通过网络远程访问云中部署的各种软件，极大提高了企业的工作效率，同时也为企业提供了一个安全、稳定的云平台环境，为企业未来的发展提供最大的助力。

第二，在新的云计算管理系统中，无论是用户还是系统管理员，在使用云计算管理系统时存在一些应用不太熟练的问题，通过使用软件的时间增加，对系统界面逐渐熟悉，应用不熟练问题随之解决。

第三，在云计算管理系统应用中需要个性化的设计。例如，用户台式机显示器的屏幕分辨率有1920×1080像素、1920×1200像素的，也有3840×2160像素的，有多种规格、类型，云计算管理系统有单屏、两屏、三屏及自定义屏幕分辨率，用户在使用中不清楚两屏、三屏等屏幕分辨率的具体像素值，不知道如何选择，只能一个一个试验。对于低分辨率的台式机，软件使用上很友好，在高分辨率工作站上，软件会让文字变得很小，看起来费劲，给用户带来一些困扰，不利于用户使用软件。随着云计算管理系统的不断升级，增加更多定制化的选项来满足用户的需求，这个问题也将得到解决。

第四，用户在使用云计算管理系统时，由于使用习惯的原因导致物探软件许可数量不够用。用户在打开一个应用软件以后，无论短时间还是长时间不使用物探软件，都不能及时退出云计算管理系统，导致用户无论是否正在使用软件，物探软件许可都长期挂载被占用，一些许可数量少的软件就存在许可不够用的现象，导致紧急需要使用软件的用户无法使用。可以通过规范用户使用习惯释放软件许可，但是目前效果不是很好，是否在云计算管理系统开发中，根据资源管理与监控方面的數据流判断用户是否使用软件，来规范用户的错误使用习惯，还需观察效果。

五、结语

云计算管理系统通过网络统一管理和调度计算、存储、网络、软件等资源，实现资源整合与配置优化[2]，并以服务的方式提供，满足不同用户需求，突破了传统的 IT 架构和技术瓶颈，实现容量随时扩展，大幅度提升了网络服务所需计算能力。有利于推动企业加快数字化、网络化、智能化转型，提高创新能力、业务实力和发展水平；有利于加快软件和信息技术服务业发展，深化供给侧结构性改革，促进互联网、大数据、人工智能与实体经济深度融合，加快现代化经济体系建设[3]。可以说把信息技术作为重要生产力是企业的必然选择，走数字化之路绕不开云计算。总体而言，人工智能技术在油气行业的应用依然处于起步和探索阶段，还存在技术不成熟和经验不足等问题，相信未来，随着新一轮工业革命的发展，开发人员对油气行业专业背景知识的加深，根据油田实际情况，开发个性化的应用场景将会越来越多。此外，区块链、5G等新一代信息技术也不断迈上新台阶，将会为行业数字化转型插上翅膀，不断孵化新应用，催生新业态[4]。

参考文献

[1]孙孝萍，陈继红，罗刚，等.物探云计算环境研究及实现[J].石油地球物理勘探，2020，55（S1）：98-104+8-9.

[2]周坤， 孙孝萍， 罗刚， 等.RESTful 在GeoEast 云计算管理系统中的应用[J].电脑编程技巧与维护[J]，2020（06）：88-89+107.

[3]王晨. 民机设计研发企业上云的思考与研究[J]. 科技视界，2020（19）：186-187.

[4]曹刚，杨清海，任义丽，等.五大信息技术在油气行业数字化转型中的应用探讨[J].石油科技论坛，2020（06）：33-42+73.

作者单位：新疆油田公司勘探开发研究院地球物理研究所

责任编辑：张津平