林珠,李莎,郑伟鸿,罗俊博
(1.广东省科技基础条件平台中心,广州 510033;2.广东省高性能计算重点实验室,广州 510033)
面向科技资源数据处理的“一站式”共享与服务平台建设
林珠1,李莎1,郑伟鸿1,罗俊博2
(1.广东省科技基础条件平台中心,广州 510033;2.广东省高性能计算重点实验室,广州 510033)
科技资源在现阶段的科研活动中起支撑作用,有效运用科技资源将有利于科研工作者、中小微企业等进一步开展创新实践,推动社会资源的共享。通过信息系统技术和大数据处理技术的运用,搭建科技资源供需双方的在线服务平台,形成用户中心、服务监管中心、运营与结算中心、纠纷协调中心为一体的“一站式”服务体系,全面推进科技资源向社会的开放共享。
科技资源;一站式服务;数据交换平台;数据采集
近年来,在科技资源共享与服务方面坚持“统一部署、突出重点,整合资源、开放共享,市场导向、创新体制,政府主导、多方联动”的原则,充分整合各类科技资源,通过各类共享平台的构建为科技创新活动提供了强有力的基础条件支撑[1]。以“物理上合理分布、逻辑上相对统一”为基本原则,从顶层设计出发,开展科技资源共享与服务平台建设,以数据标准化为手段带动信息的统一与共享,以开放服务的评价与监督带动资源的建设;在此基础上开展科技资源深度挖掘、综合集成、有效利用的效果,形成了从标准规范制定、数据整合加工、数据挖掘到开放服务的一套完整的科技资源共享服务体系结构[2]。为中小微企业科技创新活动提供资源与技术服务,为科技工作者、科研院校等的科研工作提供基础支撑。
“一站式”科技基础条件资源平台共享与服务平台建设综合考虑未来科技资源服务的发展和信息系统的维护升级,将平台架构划分为云数据中心、数据层、技术支撑层、业务处理层和应用服务层五个层次,如图1所示。
基础设施层是将平台的基础硬件进行资源池化,为平台提供各种基础设施服务的层次,它主要包括基础硬件、基础设施资源池化、各种管理服务三部分内容。基础硬件主要是指平台所采用的计算集群、存储阵列和大二层网络,以及支撑这些基础硬件的机房综合环境;基础设施资源池化[3]主要是将各类硬件资源进行池化,从而使基础设施实现高效应用及弹性服务,通过池化后的资源最后需要进行统一管理,为平台提供基础服务,因此,基础设施层的具有管理服务部分,用以实现访问控制、负载均衡、工作流、服务总线等功能,提供总结管理、虚拟机管理、资源管理、容灾与安全等服务。
数据层是在基础设施层的前提下,将科技资源数据进行整合与梳理,从而更好地为平台提供服务的层次。数据层的建设不仅包括平台自身拥有数据资源的建设,还应搭建科技资源数据交换平台,科技资源拥有机构如果愿意将资源提供给平台进行管理和维护,则归为平台自身拥有数据资源进行管理,也成为科技资源云数据中心[4]的一部分,如果资源拥有机构自身具备资源维护的条件,并且不愿意提交至平台进行管理,则通过科技资源数据交换平台进行资源的接入与运用。科技资源数据交换平台应包括当前常用数据库和文件系统的接口调用,具备对异构资源进行多维度的整合能力。数据层将平台自身拥有资源和科技资源数据交换平台纳入资源进行整合梳理后,最终提供科技资源的各类数据,并可根据发展情况进行资源类别的扩展。
图1 整体架构图
技术支撑层主要描述平台开发实现的各种关键技术,以支撑平台的搭建和运行。在平台开发方面,主要采用SOA架构,具体开发框架采用J2EE及其相关技术[5],如采用EJB容器、ORM持久化、JFinal极速开发框架、Shiro安全与权限控制、FreeMaker渲染、HTML5及JSP页面等技术[6]。编码实现后的平台将通过JBoss AS应用服务器中间件部署至科技资源云数据中心。
业务处理层主要描述了平台实现的各种业务,根据需求主要将业务划分为用户中心、服务监管中心、运营结算中心和纠纷协调中心。服务监管中心主要功能有资源监管、资源服务统计、服务评价;运营结算中心主要功能有平台专题策划、资源设定、价格核实与指导和财政测算;纠纷协调中心主要功能有平台加盟、不良行为管理、信用体系和纠纷处理。
应用服务层是指将资源提种多样化服务和提供多样化应用平台。平台所采用的特色应用支撑主要包括统一认证、信息推送、图形分析、综合搜索等技术,除此之外,还提供一些Web打印、服务窗口等常用的应用支撑;服务模式部分是指平台应基于Web服务,同时扩展微信平台、App应用、客服专线等多样化的服务模式;服务类型主要是指平台能提供哪些类型的服务,包括但不限于找机构、找专家、找仪器、找文献、找技术和找服务。
基于SOA/ESB的科技资源数据交换平台由三大关键基础中间件组成,分别是:①大容量、安全、可靠传输的消息队列中间件(Message queue);②兼容JBI、OS-GI标准的组件化消息处理工作流引擎中间件(Work-flow);③基于JBI标准的模块化系列消息适配器中间件(Message adapter)。
科技资源数据处理工作流引擎以Message queue作为消息队列,提供点对点、发布订阅、路由、集群等多种方式的消息传递模式,极大方便了科技资源使用需求的灵活构建[7]。具体如图2所示。
科技资源数据处理工作流引擎集成多种企业应用中常见的适配器,通过现成的适配器,减少程序员开发工作量,实现快速应用集成能力,并提供适配器开发向导和工具,便于以后对资源的定制和扩展。
“一站式”科技基础条件资源共享与服务平台集成的资源种类繁多,这些资源地理上分布广泛,存储方式和实现技术千差万别。如果采用普通的直接检索方法,费时费力,用户很难准确定位所需的资源信息。为了提高异质异构资源的利用率和共享程度,加快检索速度,必须建立科技资源的元数据并提供元数据目录服务[8],其逻辑结构如图3所示。
图2 科技资源数据处理工作流引擎
图3 元数据目录服务逻辑结构
从元数据目录服务的可靠性、安全性、负载均衡考虑,建立元数据管理和选择适当的策略(如一主多从部署策略)部署元数据目录服务。
(1)元数据模型
元数据模型采用《中华人民共和国国家标准:科技平台元数据注册与管理》(GB/T 30523)中元数据注册表单的形式。
(2)元数据存储
数据库、XML文件和目录服务三种存储方式都可用来存储元数据。数据库以表记录组织存储元数据,XML自定义标记以文本的形式组织存储元数据,目录服务定义对象属性以树形结构组织存储元数据。它们组织存储数据信息的方式各不一样,元数据的操作接口和查询效率都有所区别。
(3)元数据目录服务部署
元数据目录服务作为门户应用系统的搜索源存在,并且提供其他资源中间服务,对它的可靠性、负载均衡能力、安全性有特别的要求。一主多从的分布式部署方案可以满足上述要求[9]。
“一站式”科技基础条件资源共享与服务平台是各种科技资源的一个集中统一的服务提供点,集成了丰富的科技资源和互联网上海量的科技信息。随着各类资源的不断接入,如何从大量异构的科技信息资源中快速检索出有效信息成为一个亟待解决的问题。为了方便用户在工作中准确的查找、定位资源,提高资源的使用率,需要开发针对广东省科技基础条件资源特点的科技资源搜索系统,一方面能够对海量的科技信息资源进行专业化、领域化搜索,另一方面,能够提供各类资源搜索引擎的接口,满足各种跨平台资源的智能搜索功能需求,建立各级门户的一站式查询检索手段,确保科研人员访问平台的便捷、可靠和高效。
科技信息采集模块的功能是定时从网络上提取科技网页资源并存储为XML文档,获取海量的Web资源。信息采集模块程序提取网页中的链接信息并对页面进行分析,在存储模块前加了一个主题相关性判定,若是领域相关网页就存储,否则就丢弃,从而实现了面向领域的信息采集模块。
根据需求分析,平台将建成集用户中心、服务监管中心、运营与结算中心、纠纷协调中心为一体的“一站式”平台,四个中心围绕资源进行相关业务,各中心主要负责业务如图4所示。
用户通过平台查找所需要的资源,然后对该资源进行申请,平台管理员接受申请后根据信用体系的资料对该用户进行信用审核,审核通过后,用户可以使用该资源。资源使用完毕后平台管理员会对资源进行价格核实,根据价格指导进行财政补贴测算,用户根据结算价格进行付费。付费完成后,用户管理中心会根据资源使用情况进行积分的发放与调整,而用户也对此次的资源服务进行综合评价,如果使用过程中产生纠纷,将由纠纷协调中心进行协调。资源使用完成后,用户管理中心还可以出具用户使用证明。
资源的管理业务主要由资源提供方、平台管理员交互进行。资源提供方通过平台加盟条件将资源加入服务平台,平台管理人员需对资源进行审核,通过审核的资源才能在平台上进行显示和提供给用户,审核后可以对资源进行公共、免费资源的设定,进行一些平台的专题策划活动,如定期免费使用某些科技资源等。当用户使用完成后,平台管理人员还需要对资源提供方的服务进行总结,同时在使用过程中对资源的性能进行监管,也对资源的使用情况进行统计分析。平台提供交流与技术支撑,使得资源可以有效地与平台结合,达到最好的共享效果。
图4 各中心负责业务
“一站式”科技资源共享与服务平台立足于科技资源大数据,运用现阶段的信息系统技术,充分开展平台建设,针对科技资源大数据的特点,建设科技资源数据交换平台、元数据目录服务、科技资源信息采集等多方面的功能对资源大数据进行处理,全方位保障科技资源大数据的运用。在功能方面,建设了用户中心、服务监管中心、运营与结算中心、纠纷协调中心,四个中心形成一体进行服务,使供方展示资源、提供资源,需方可以购买资源、使用资源,全面促进科技资源向社会的
[1]罗亮.科技基础条件平台建设现状及发展对策思考——以广东为例[J].科技创新导报,2013(24):224-224.
[2]吴家喜.我国科技资源开放共享公共服务体系的构建[J].社会科学家,2011(12):126-129.
[3]赖培源,马卫民,刘艺,等.云资源池网络自动化部署技术研究与实践[J].电信科学,2015,31(7):96-103.
[4]林珠,陈树敏,罗俊博,等.基于云计算的科技资源数据中心架构设计[J].中国科技资源导刊,2015,47(4).
[5]Zhang Z,Liu J,Tian J,etal.DevelopmentofManagement Software for Large-Scale Cattle Farm[J].Software Engineer,2014.
[6]Palma F,Moha N,Tremblay G,et al.Specification and Detection of SOA Antipatterns in Web Services[M].Software Architecture. Springer International Publishing,2014:58-73.
[7]田欣,黄媛洁,司忠平.基于SOA科学工作流引擎关键技术的设计与实现[J].科学中国人,2015(3Z).
[8]宋立荣.基层科技报告资源建设中元数据质量评估研究——以中国科学技术信息研究所为例[J].中国科技资源导刊,2016,48 (1):57-66.
[9]马建玲.综合科技资源集成登记系统&开放资源元数据集成服务系统[C],2015.
Development of One-Stop Sharing and Service Platform for Data Processing of Science and Technology Resources
LIN Zhu1,LISha1,ZHENGWei-hong1,LUO Jun-bo2
(1.Guangdong Science&Technology Inframstructure Center,,Guangzhou 510033;2.Guangdong Provincial Key Laboratory of HPC,Guangzhou 510033)
The science and technology resources play a supporting role in the present stage of scientific research activities,the use of technology re-sourceswill carry out innovative practice for scientific research workers,small and micro enterprises,promote the sharing of social re-sources.The use of information system technology and data processing technology,online service platform has user center,service opera-tion and supervision center,settlement center,dispute coordination center as one of the one-stop service system,to promote science and technology resource open sharing to society.
Technological Resources;One Stop Service;;Data Exchange Platform;Data Acquisition
1007-1423(2017)12-0067-05
10.3969/j.issn.1007-1423.2017.12.018
林珠(1983-),女,梅州人,高级工程师,硕士,研究方向为数据挖掘和人工智能、信息系统
李莎(1982-),女,湖北黄冈人,工程师,硕士,双学士,研究方向为信息系统、科技管理
郑伟鸿(1989-),男,潮州饶平人,工程师,双学士,研究方向为虚拟化技术、软件研发
罗俊博(1981-),女,项目管理师,研究方向为科技资源数据整合、资源标准化建设
2017-01-12
2017-04-18
广东省科技计划项目(粤科规财字[2015]72号)、科技资源数据分析与开放共享服务平台建设(No.2014B070706004)、远程健康监护大数据关键共性技术研究与应用(No.2016A050502060)