基于知识共享的资源统一调度系统建设思路

2014-06-08 00:49北京宇航系统工程研究所孙树森唐雷杜可君胡叶楠
航天工业管理 2014年7期
关键词:计算资源集群调度

◎北京宇航系统工程研究所 孙树森 唐雷 杜可君 胡叶楠

随着1996年世界经济合作与发展组织发表《以知识为基础的经济》,标志着知识经济已在全世界范围内孕育并发展。在知识经济时代,产品技术复杂性和系统性不断增加,使得企业对知识重用和整合的需求日益增长。并且,随着知识传播速度的不断加快,企业产品更新换代的速度也随之加快,这也迫使企业在知识创新上的投入不断加大。

由于航天产品涉及的专业众多且复杂,其研发需要多个部门协同配合完成,所以形成统一的协同工作环境成为产品研发的必经之路。为此,笔者结合自身工作提出建立基于知识共享的资源统一调度系统,构建协同办公环境,以实现资源利用的最大化。

一、系统的总体架构

建设统一的资源调度和协同工作环境,旨在提供统一的体系架构和实施方案,将已有的计算资源调度管理,实现资源的有效利用。基于知识共享的资源统一调度系统以服务器为中心,将企业所有的设计、仿真和协同优化应用集中到服务器端,并通过一个统一的互联网门户网站实现三维可视化设计应用软件、仿真类应用软件及协同优化类应用软件的使用和调度管理,从而保证用户在不用安装任何应用软件的情况下,便可在低端桌面机上运行大型的设计、仿真和优化任务。系统的总体架构如图1所示,主要包括知识共享门户、计算资源及图形集群管理等几部分内容。

知识共享门户通过门户网站提供统一的设计工具接口,一方面在用户设计过程中可以随时参考已有知识库,另一方面用户可以即时上传或更新知识条目。

计算资源及图形集群管理支持用户通过浏览器远程使用服务器端的图形工作站进行二维和三维的图形交互设计,用户可以通过使用远程服务器完成大型三维CAD建模和CAE网格前后处理。

集中的数据管理将应用软件的输入输出数据统一存放和备份在数据中心的文件服务器上,并根据用户的权限和密级对数据文件进行存取安全管理,同时可节省数据传输的时间,保证应用程序执行的性能。

软、硬件资源运行状况与性能统计报表系统通过数据库记录系统软、硬件资源的使用情况和用户/部门/项目对资源的使用量,并定期生成报表供系统管理员和企业参考。

系统安全管理支持用户密级设定,在共享的环境下保证不同密级用户之间的完全隔离,并提供安全审计系统。

二、系统各部分的主要功能

1.知识共享门户

知识共享门户是整个系统的核心,所有的产品设计思想都源于知识共享门户。其主要功能包括知识的捕获、管理、保护、呈现及存储等。

知识捕获提供用户主动上传功能,将用户已成熟的知识成果以文档、图表、动画及仿真模型等形式上传至存储服务器;提供模板创建功能,允许用户在系统中直接按照给定模板写入知识条目;提供知识共享门户与Off i ce系列软件的接口功能,使用户在文档、表格、邮件等知识的编辑过程中能够随时将知识录入,也使知识获取的途径更加便捷。

知识管理可细化知识目录,使知识分类更加科学,同时制定完善的奖惩机制,激励员工积极地参与知识录入。为加速隐性知识的沉淀,特别创建了SNS社区互动功能,包括知识博客、SNS组群、知识问答等,并对SNS社区中贡献较大的员工提供物质奖励。在显性知识的录入和隐性知识的沉淀过程中,采用完整的审批流程保证知识的正确性。

知识保护使知识的保护与安全性管理融为一体,并纳入整个系统安全性管理体系。

知识呈现采用成熟的搜索引擎技术支持知识检索,提供面向知识搜索人的知识推送功能,一方面向知识搜索人推荐其可能较为关心的知识条目,另一方面根据知识引用与搜索历史,向知识搜索人推送在该领域比较权威的专家用户。

知识存储采用盘阵方式提高知识存储和知识搜索的效率。

2.计算资源管理

实现对现有高性能计算系统、前后处理服务器和二维图形交互服务器的统一管理与利用。

抢占式调度功能可按队列分配优先级的策略保证优先项目或用户能够先获得所需的计算资源。

公平式调度功能可保证计算资源被公平合理的使用。

排他性调度策略功能让用户以独占模式使用计算节点,防止同一个节点上运行多个用户作业,避免信息泄漏和有关安全性问题的发生。

图1 资源统一调度系统总体架构

Web Service接口功能使系统在用户提交作业时首先判断本地集群是否有足够的计算资源及等待队列长度。如果有资源,则立即提交到本地集群执行;如果暂时没有,则检查本地等待作业个数。如果等待作业个数不超过预先设定值,则仍然提交到本地集群等待执行;如果本地等待队列过长,则根据远程集群的资源可用情况进行调度。如果远程集群都没有可用资源,则仍然提交到本地集群等待。

3.资源状况统计报表管理

该系统是对软、硬件资源使用,作业调度,许可证使用数据进行收集、统计、监控和报表分析的软件,可提供及时、完整且有价值的信息,以支持多个地点间计算硬件资源、软件许可证、容量规划及资源调度等的决策,从而实现企业内资源基础设施利用。主要功能有:收集单集群或多集群的资源使用,许可证使用和作业调度数据;自动保存和管理历史数据;为集群的日常监控、管理和使用计费提供完备的定制报表;提供即席查询,用户可根据需要交互式地产生报表。

4.系统安全性管理

系统的安全性主要包括网络安全、数据安全、用户任务安全、密级管理、用户账户安全以及审计流程管理等。

网络安全通过配置防火墙或交换机安全策略,使整个系统只需在防火墙上针对特定服务器开放特定端口,就可以实现正常的访问和使用,以保证系统的安全性。

数据安全采用数据集中存储的方式,避免应用数据的分散和安全漏洞。在应用服务平台的数据存储区中,实现数据访问的严格控制,不同单位、项目、密级用户的数据区严格隔离,以保证数据访问的安全性。

用户任务的安全涉及交互任务和计算任务2种类型。对于计算任务,可通过排他性调度策略,让用户以独占模式使用计算节点;对于交互任务,可通过Session管理保证应用程序间的严格隔离。

用户账户的安全采用系统管理员、安全管理员、安全审计管理员3种管理权限分离的方式,实现用户账户的安全性。其中,安全管理员负责审核和管理用户账户,并将经过确认的用户管理信息传递给系统管理员;系统管理员只能根据安全管理员指定的管理信息,进行实际的用户管理。

综上所述,基于知识共享的资源统一调度系统的主要优点包括:产品设计统一通过知识共享门户接口,可实现知识的实时更新、上传,方便用户在产品设计过程中查询已有知识;可实现远程三维设计,且图形服务器可以多个用户共享,从而能极大地提高设计软件的部署、维护效率;可降低大型三维设计、高性能仿真和优化计算的门槛;系统管理基于管理权限分离的原则,可提高系统的安全性级别;集中统一管理所有设计、仿真和优化相关软件及相应运行机器,使软件维护、升级、性能调优、错误修正、自动备份更加容易;可与协同仿真优化系统无缝集成;可提供平台中立的统计分析报表功能,支持多种作业调度系统,从而实现一致性的软、硬件利用率分析和投资回报分析;用户使用方便,可降低技术推广的难度;可为企业的软、硬件资源共享和集团级的资源整合提供手段。

猜你喜欢
计算资源集群调度
基于模糊规划理论的云计算资源调度研究
《调度集中系统(CTC)/列车调度指挥系统(TDCS)维护手册》正式出版
电力调度自动化中UPS电源的应用探讨
基于强化学习的时间触发通信调度方法
改进快速稀疏算法的云计算资源负载均衡
海上小型无人机集群的反制装备需求与应对之策研究
基于动态窗口的虚拟信道通用调度算法
培育世界级汽车产业集群
一种无人机集群发射回收装置的控制系统设计
基于Wi-Fi与Web的云计算资源调度算法研究