基于云服务的生态台站科技资源管理与服务系统研究

2017-04-24 10:24:50郭学兵唐新斋何洪林
计算机应用与软件 2017年4期
关键词:字典台站资源管理

苏 文 刘 昂 刘 峰 郭学兵 唐新斋 何洪林

1(中国科学院地理科学与资源研究所生态系统网络观测与模拟重点实验室 北京 100101)2(中国科学院计算机网络信息中心 北京 100190)

基于云服务的生态台站科技资源管理与服务系统研究

苏 文1刘 昂2刘 峰2郭学兵1唐新斋1何洪林1

1(中国科学院地理科学与资源研究所生态系统网络观测与模拟重点实验室 北京 100101)2(中国科学院计算机网络信息中心 北京 100190)

针对国家生态系统观测研究网络原有台站信息系统存在的问题,综合考虑系统的先进性、可维护性、可扩展性和云服务特点,提出一个以云服务端与本地端相结合方式构建系统的台站科技资源管理与服务信息化解决方案,构建了一个集信息发布、资源服务、系统管理等功能于一体的台站资源管理与服务系统。详细论述系统的总体架构、功能设计、数据库设计以及实现的关键技术等。该系统已在国家生态系统观测研究网络的51个台站进行了应用,提高了台站科技资源管理与服务的水平和效率,促进了台站科技资源管理与服务能力的提升。

云服务 生态台站 科技资源 国家生态系统观测研究网络

0 引 言

国家生态系统观测研究网络CNERN(Chinese National Ecosystem Research Network)由51个国家生态台站、1个国家土壤肥力站网、1个国家种质资源圃网和生态网络综合研究中心(简称综合中心)组成[1],2011 年通过科技部、财政部组织的绩效考核与认定后,由以资源建设为主转向以运行服务为主,从服务科研创新向全面服务科技、经济和社会发展转变[2-3]。在过去的几年中,CNERN主要通过加强信息化建设来提高服务能力和水平,建成了CNERN 门户网站和分布式数据资源共享信息系统[4],包括综合中心数据信息系统和台站数据信息系统。台站是开展生态学长期定位监测、试验和研究的基本平台[5],是CNERN对外提供服务的主体。部署在CNERN台站的台站数据信息系统是台站主要的对外服务窗口,主要实现了台站观测、研究数据的集成、管理与共享服务,对提高台站科学数据的共享程度发挥了一定作用。随着整合资源和用户数量的不断增加,对台站信息系统的服务功能、方式、质量与效率等提出了更高的要求,需要为用户提供更加精准、便捷、持续、有效的服务[6]。原有台站信息系统在服务资源、服务能力、服务效率等方面存在一些亟待解决的问题,主要体现在以下方面:

1) 服务资源单一

台站信息系统一直以来主要关注科学数据的共享,服务内容限于长期观测数据和部分科学研究数据。除了数据资源,台站还拥有实物资源、科技成果资源、人才资源等,这些科技资源对于开展联网观测、研究具有广泛的用途及重大的价值,一直未进行系统地管理与服务,没有充分发挥其功能与作用。

2) 系统功能不够完善

服务内容的有限性决定了系统的功能主要集中在科学数据的存储、管理和检索,缺少台站服务业务流程化必需的一些功能,包括各类资源展示、订单管理、用户评价、服务信息登记、宣传与科学普及等。

3) 系统运维技术支撑相对薄弱

目前负责台站信息管理与服务工作的人员主要具有生态研究、观测与试验等方面的专业背景,缺乏计算机、网络、数据库管理方面的专业知识与经验。由于台站普遍缺乏专业软件开发和硬件维护人员,技术支持不到位,在系统因计算机病毒、网络攻击等出现故障时不能及时排除,在一定程度上难以保证系统持续、稳定运行,提供不间断的资源服务。

4) 与其他相关信息系统融合度不足

CNERN综合中心在过去的几年中针对不同的业务需求建立了不同的信息系统,以解决台站信息收集、元数据收割等问题,但由于缺乏统一规划,台站系统与综合中心的系统多为独立的系统,彼此间缺乏有效联动,存在用户重复登录、数据多处填报、发布信息不一致等问题,用户体验不够友好、资源利用共享率较低,也造成了一些“信息孤岛”。

当前云计算和面向服务的体系结构SOA等新兴技术快速发展,信息系统的硬件资源与软件资源越来越多地以服务的形式,按照用户需求,可靠、高效地动态提供给用户[7]。云计算的兴起与云服务的发展,为解决上述问题提供了全新的思路。本文借鉴“云+端”的思想,采用云—端结合的方式设计台站信息系统,使系统功能从“数据的管理与服务”提升到“资源的管理与服务”,全面支撑台站科技资源管理与服务的各项业务需求,提高台站科技资源管理与服务的能力与效率。

1 台站资源管理与服务系统设计

1.1 系统总体设计

基于“云服务”的台站资源管理与服务系统改变传统信息系统建设模式,利用综合中心私有云,充分考虑系统的先进性、安全性和可扩展性,基于简单化、模块化、松耦合的构建原则,采用云—端结合的构建方式,将本地端和云服务端的功能和资源集成在统一平台上,实现台站各类科技资源的整合与共享。建立集信息发布、资源服务、系统管理等功能于一体的“一站式”、“自助式”综合管理与服务系统,既满足台站提升科技资源管理水平、服务质量的需求,又满足相关行业、社会公众等对台站各类资源的广泛需求。系统总体设计架构如图1所示。

图1 台站资源服务系统总体技术架构

1.2 云服务端设计

在云端,立足CNERN科技资源的全生命周期管理, 以提升资源利用效率为目的,面向科技资源的整合、管理、服务等环节,将可用的基础设施资源、数据资源、软件资源等资源进行整合,形成统一管理的资源池。当有业务系统需要上线时,只需提出需求,便可以从资源池中获取所需的各种资源[8],从而实现IaaS、PaaS和SaaS等多种服务。

云端主要提供的服务资源包括:

1) 核心数据资源

以CNERN的资源标准规范体系为基础,每年通过CNERN信息汇交系统(http://dc.cern.ac.cn)统一收集实物资源信息、成果资源信息、人才资源信息和元数据,形成规范化的信息资源。这些信息资源既是CNERN主要对外服务资源的统一描述信息,也是台站绩效考核的基础数据。

2) 通用功能资源

将用户认证、信息采编、订单管理、服务信息管理等关键业务应用以进行封装或提供公共程序接口的方式实现功能共享,支撑相关业务系统的快速部署,减少开发与维护成本。

其中,用户认证服务提供统一用户管理,实现单点登录,并对外提供标准接口,允许其他应用程序调用。信息采编服务实现信息的录入、编辑、发布一体化、自动化,支持采编信息的独立审核与管理。订单管理服务主要实现对各类资源订单的查看、审核、处理等功能。服务信息管理服务主要提供对各类资源服务信息的查看、修改和删除等功能。

3) Web服务器资源

通过虚拟机技术,构建功能齐全,可像“真实”计算机一样运行的虚拟机[9]作为台站的Web服务器,部署台站资源管理与服务系统。每个虚拟机具备完整的硬件环境,包括CPU、内存、I/O 设备等,具有自己的操作系统和应用程序。台站用户能够运行相关应用程序而不需要管理任何基础设施。

1.3 本地端设计

台站资源管理与服务系统本地端主要实现与系统独立性、个性化相关的功能,并建立本地数据库,存储台站系统各项功能所涉及的数据。

1.3.1 功能设计

本地端主要实现资源服务、成果展示、资源信息管理、权限管理、界面定制等功能。

资源服务主要提供实物资源、数据资源的浏览和多方式查询与检索功能。

成果展示功能实现科研成果、在研项目等信息的发布。

资源信息管理包括元数据管理、字典管理和数据管理三个子功能。元数据管理主要对元数据表进行查询、输入和删除等操作;字典管理主要实现字典模板下载、数据字典添加与删除、字典表内容导出等功能;数据管理主要提供通过页面填写或Excel导入方式进行数据添加;对已入库数据进行查询、修改、删除、导出等功能。

用户管理主要是对经过统一认证的用户进行权限分配,基于不同的角色,赋予用户对本系统相关功能的操作和数据获取的权限。

界面定制主要通过样式管理,包括整体风格、顶部样式、底部样式等的设置和修改,实现系统界面的个性化设定。

1.3.2 数据库设计

根据数据种类、来源,综合考虑数据维护、应用等方面需求,系统数据库由元数据库、观测与研究数据库和资源数据库组成。

1) 元数据库

由元数据表、数据字典表和采编信息表构成。

元数据表主要是依据生态学元数据标准创建,包括数据分类表、实体分类表、实体信息表等,用来存储观测与研究数据的类型名称和类型编码信息,数据实体的类型、概要描述、详细描述等。数据字典是描述数据库中各数据属性与组成的数据集合[10],数据字典表记录存储在本地数据库中数据实体的字段描述信息。这两部分数据在本地端添加。

采编信息表包括采编栏目表和采编内容表,存储栏目名称、级别等系统栏目相关信息和采编文章的标题、内容、发布时间等信息。这部分数据通过实时数据同步从云端信息采编服务中获取。

2) 观测与研究数据库

主要包括台站按照CNERN监测指标体系和操作规范进行观测和分析获取的水分、土壤、大气、生物等学科的联网观测数据,台站获取的长期观测调查与试验数据,以及台站开展各类科研项目产生的研究数据等。数据通过本地端数据导入功能入库。

3) 资源数据库

分为实物资源、科技成果资源、人才资源三类。实物资源表主要包括样地信息表、样品(包含土壤样品、植物样品、其他样品)信息表、标本(包含植物标本、动物标本、土壤剖面标本、其他标本)信息表、仪器设备信息表、观测设施信息表、基础设施(包含建筑类设施、线路类设施、车船类设施)信息表等。科技成果资源表包括科研项目信息表、成果(包含专著 、专利、标准、咨询报告、奖项、软件著作权、示范模式等)信息表、合作交流(学术互访、承办会议、科普教育等)信息表。人才资源表包括高级人才信息表、人才培养信息表、台站人员信息表等。数据通过定时数据同步从云端保存到本地。

1.4 云—端结合的功能设计

通过整合本地端和云服务端的功能与资源,构建完整的系统功能框架,以实现信息发布、资源服务与系统管理等功能。

1.4.1 系统功能结构

台站资源管理与服务系统面向四类用户:系统管理员、数据管理员、注册用户和普通用户,提供前台、后台两部分功能。前台是台站对外宣传与服务的窗口,全面展示台站观测、研究、示范等各方面的进展和成果,为注册用户和普通用户提供多样化的资源服务;后台则是数据管理员、系统管理员进行信息管理、系统管理的平台,帮助台站信息管理人员方便、灵活地完成各项管理工作。系统功能模块结构如图2所示。

图2 系统功能结构图

1.4.2 系统功能特点

(1) 统一的用户身份认证。用户登录后,可以直接访问综合中心和其他台站的系统,有效解决了用户“多个网站,多个帐号”的问题。

(2) 灵活的栏目管理。栏目管理功能模块采用栏目内容树的形式将所有栏目信息列出,直观且便于管理。栏目分为统一规划栏目和自定义栏目两类,统一规划栏目由CNERN设定,便于有关信息的采集。这类栏目不能删除和修改,可以通过“禁用”方式,使其不在前台显示。自定义栏目由台站根据本站情况自行添加、修改、删除。这样既能体现CNERN统一规划的思想,又能体现台站的个性化。

(3) 可定制的信息自动推送。通过添加、修改本系统栏目与综合中心的网站或其他相关网站栏目的对应关系,实现发布信息自动推送到相应网站,从而实现信息的“一次采编,多处使用”。

(4) 多样化的资源服务。通过“订单式”服务模式,进行数据资源“线上申请,线上服务”、实物资源“线上申请,线下服务”。用户可以先将感兴趣的资源加入资源车,再根据需求生成订单。

(5) 便捷的数据入库方式。数据管理模块提供了一个基于工作流的Excel数据导入功能,方便将数据存入数据库。具体流程为:上传文件、设置输入数据范围、检查输入数据有效性、导入临时库、根据设置的检验规则对临时入库数据进行检验、导入正式库。

2 台站资源管理与服务系统关键技术

2.1 云-端数据同步

云-端数据同步可以保证台站资源服务与管理系统和核心数据资源库内数据保持一致,便于统一对外提供服务。云端与本地端的数据同步主要通过Hessian 协议实现。Hessian协议是一种基于Http 的远程调用技术,使用二进制协议进行通信。与现在常见的RMI、Burlap、Httpinvoker 等远程处理技术相比,它具有精简轻便、数据传输快、带宽利用率高、跨平台集成等优势[11-12]。

在具体的实现中,将台站系统端的数据输入接口封装为Hessian服务,当进行数据同步时,云端提取核心数据资源库中台站的相关数据,调用台站系统端的Hessian服务,发送数据。台站系统端得到数据后,写入本地数据库,如图3所示。

图3 基于Hessian协议的数据同步与推送模式

云端数据提取与封装流程:

提取台站的站代码,获取数据最新更新时间;

根据站代码、数据更新时间读取核心数据资源库;

顺序读取数据库内各个数据表;

为每条数据生成一条SQL语句,发送给台站端服务接口。

本地端数据同步过程:

接受到云端发送的SQL语句后,判断是否是新数据;

如果是新数据,记录最新更新时间;

执行SQL语句进行插入,并返回执行结果。

2.2 数据字典驱动的数据管理功能实现

系统面向台站信息管理员,采用数据字典技术,开发操作灵活、简单的数据管理工具,使使用者不需要掌握过多的数据库专业知识,只要了解自己的数据,便可以实现相应的数据管理目标。

系统基于传统数据字典的设计思想,采用数据驱动的方法进行相应功能的设计,通过对数据字典模型的改造,将数据管理所需要各种信息汇总到一张表中,使数据与以数据操作为核心的功能联系起来。数据字典表结构如表1所示。

表1 数据字典表

续表1

该数据字典表由16个字段组成,主要反映数据表两个方面的内容:① 表的基本信息,包括表名、字段名称、字段类型、字段长度、字段小数位、必填项、主键、填报说明或备注等;② 表的显示信息,包括概要显示项、查询项、排序项等。

通过构建基于数据字典的数据管理功能驱动引擎,以数据字典模版为输入,最终实现数据管理各项功能的高度定制化。实现的整体逻辑结构如图4所示。

图4 数据字典驱动的数据管理功能实现模型

数据字典模版与数据字典表结构相对应。

数据字典驱动引擎包括数据字典设置器和数据字典控制器两部分,其中数据字典设置器负责分类存储数据字典模版相关数据结构信息和控制信息,详见表2所示;数据字典控制器负责根据设置器的设置完成相关信息展示及功能的控制,详见表3所示。

表2 数据字典设置项分类说明

续表2

表3 数据字典控制项分类说明

用户只需下载数据字典模板(Excel文件),根据数据的实际情况,按照要求填写字典相应内容,再将数据字典上传到系统,系统能够自动实现以下数据管理功能:创建各个数据表;Excel文件导入时进行表头对比与数据自动入库;自动生成数据录入、浏览与检索的Web页面等。

3 台站资源管理与服务系统实现与应用

依据上述设计与关键技术,选用SQL Server作为后台数据库, Tomcat为服务器,基于Spring MVC+Spring+Spring Data技术框架,通过Java、Jsp开发了基于云服务的CNERN台站资源管理与服务系统,并在51个台站进行了应用。用户通过Internet 可以访问系统。系统部分页面见图5、图6和图7所示。

图5 系统首页

图6 信息自动推送

图7 后台管理子系统功能页面

图5以桃源站为例展示了台站资源管理与服务系统的首页。首页主要展现系统的主体内容,包括:通知公告、综合新闻、科研动态、服务动态等各类信息;实物资源、数据资源、示范模式等服务链接;论文、专利、科研项目等科研成果以及台站自然风光等。从首页可以看出,台站资源管理与服务系统为一综合性系统,具备表现多类型信息、提供多元化服务的功能。

图6显示,贡嘎山站在本站系统发布的一条新闻自动推送到CNERN综合门户、中国森林生态系统观测研究野外站联盟门户等不同的网站上展示,表明系统实现了与多个相关系统的互联互通,增强了系统间的自动化交互。

图7是禹城站资源后台管理子系统页面。该子系统集成云端和本地端的各项管理功能,实现了信息管理、系统管理与服务管理等功能,为用户带来便捷、实用的应用体验。

4 结 语

(1) 台站资源管理与服务系统在整体设计上,综合考虑了系统的先进性、可维护性、可扩展性和云服务的特点,提出了一个紧扣台站资源管理与服务需求、以云服务端与本地端相结合方式构建系统的台站科技资源管理与服务信息化解决方案。在实现资源和功能的最大化共享、重用的同时,保证了系统的独立性和个性化。

(2) 在系统开发上,采用云计算Paas、SaaS模式,构建基于互联网的通用功能应用服务,方便解决相关功能管理、应用、升级等方面的问题,同时支持未来多项业务应用的快速搭建与部署。

(3) 在功能实现上,系统不只局限于科技资源的展示与服务,还兼顾信息采编、数据管理、订单管理等功能,并以用户统一认证、数据同步与推送等功能为依托,实现了台站各类信息的“一次采编/汇交,多处使用”。

(4) 在系统建设与维护上,利用虚拟机为台站提供Web服务器,台站不再需要购置服务器,节约了硬件资源投入,同时也使台站人员能够从繁琐的系统日常维护工作中解脱出来,专注于科技资源的收集、管理、分析与服务。

基于云服务的台站资源管理与服务系统采用一种非传统的信息化方案,解决了以往CNERN台站信息系统服务内容单一、与其他应用系统交互与融合度差、基础设施维护成本高等问题,全面支撑了台站科技资源管理与共享、信息发布与传播等各项业务需求,提高了台站科技资源管理与服务的效率,促进了台站科技资源管理与服务能力的提升。

[1] 中华人民共和国科学技术部.国家生态系统观测研究台站网络建设项目通过验收[J].北京农业,2009(30):45.

[2] 刘润达,褚文博,诸云强.国家科技基础条件平台运行服务阶段关键问题探析[J].现代情报,2012,32(11):51-53,57.

[3] 许东惠,吕先志,袁伟,等.国家科技基础条件平台运行服务绩效考核指标体系研究[J].中国基础科学,2013(1):40-43.

[4] 中国生态系统网络综合研究中心.中国科学院生态系统网络观测与模拟重点实验室CERN综合研究中心研究成果与发展[J].自然资源学报,2010,25(9):1458-1467.

[5] 黄铁青,牛栋.中国生态系统研究网络(CERN):概况、成就和展望[J].地球科学进展,2005,20(8):895-902.

[6] 王宏起,李力,李玥.区域科技资源共享平台集成服务流程与管理研究[J].情报理论与实践,2014,37(8):69-73.

[7] 马斌,冯波.海云协同环境下服务运营环境关键技术的探讨[J].网络新媒体技术,2015,4(2):1-9.

[8] 王健伟.一种全新的IT建设架构——统一资源池[J].数据通信,2011(5):10-12.

[9] 李馥娟.虚拟机技术在复杂网络实验中的应用[J].实验技术与管理,2009,26(12):79-83.

[10] 杨圣伟,汪新庆.数据字典在煤炭数据发布平台中的应用[J].煤田地质与勘探,2008,36(6):17-19.

[11] 王汀,邸瑞华,梁毅.工程结构网格远程实验遥现系统设计[J].计算机工程与设计,2011,32(1):82-84,235.

[12] 孙欣,覃华,邓海.用Hessian协议实现3G终端接入图书馆系统的研究[J].图书馆理论与实践,2013(6):90-94.

RESEARCH ON SCIENCE AND TECHNOLOGY RESOURCES MANAGEMENT AND SERVICE SYSTEM OF ECOLOGICAL FIELD STATION BASED ON CLOUD SERVICE

Su Wen1Liu Ang2Liu Feng2Guo Xuebing1Tang Xinzhai1He Honglin1

1(KeyLaboratoryofEcosystemNetworkObservationandModeling,InstituteofGeographicSciencesandNaturalResourcesResearch,ChineseAcademyofSciences,Beijing100101,China)2(ComputerNetworkInformationCenter,ChineseAcademyofSciences,Beijing100190,China)

Aiming at the problems existing in the original station information system of national ecosystem research network of China, considering the advancement, maintainability, expansibility and characteristics of cloud service, this paper proposes a solution of station science and technology resource management and service information solutions based on the combination of cloud service end and local end, which builds a set of information publishing, resource services, system management functions in one of the station resources management and service system. This paper discusses the overall architecture, functional design, database design and implementation of key technologies. The system has been applied in 51 field stations of the National Ecosystem Research Network of China, which has improved the level and efficiency of station resources management and service, and promoted the management and service ability of the stations.

Cloud service Ecological field station Science and technology resources National ecosystem research network of China

2016-03-07。国家科技部国家科技基础条件平台项目(2005DKA10300);中国科学院科研信息化“科技领域云”项目(XXH12503-05-03-02)。苏文,高级工程师,主研领域:生态信息学。刘昂,助理工程师。刘峰,高级工程师。郭学兵,副研究员。唐新斋,工程师。何洪林,研究员。

TP39 Q143

A

10.3969/j.issn.1000-386x.2017.04.010

猜你喜欢
字典台站资源管理
开心字典
家教世界(2023年28期)2023-11-14 10:13:50
开心字典
家教世界(2023年25期)2023-10-09 02:11:56
中国科学院野外台站档案工作回顾
人事档案管理在人力资源管理中的作用
气象基层台站建设
西藏科技(2021年12期)2022-01-17 08:46:38
人力资源管理促进企业绩效提升
企业人力资源管理
GIS在森林资源管理中的应用
现代园艺(2018年2期)2018-03-15 08:01:03
我是小字典
正版字典
读者(2016年14期)2016-06-29 17:25:50