基于大数据的科教评价信息云平台构建和智能服务研究框架

唐晓波 石文萱 李诗轩 谭明亮 高和璇 刘志源

摘   要：科教评价是促进国家科技和教育发展的重要助力之一，在国家科教战略规划、政策制定、绩效评估、资源分配等多个方面发挥着十分重要的作用。随着大数据时代的到来，科教信息资源的组织和利用形式开始发生变革，使得传统的科教评价理论及方法在评价的准确性、全面性和综合性等方面显现出一定的不足。文章梳理了国内外科教评价相关研究现状，发现已有研究所使用的科教评价数据的集成性和多维性不足;缺乏从内容层面进行挖掘的科教评价指标;缺乏从社会影响力层面进行科教评价的研究;缺乏信息云平台构建与科教评价相结合的研究;缺乏智能服务与科教评价相结合的研究。在此基础上，文章论述了基于大数据的科教评价研究框架构建意义，并从顶层设计入手，提出了包含需求分析、理论构建、模型与方法研究、云平台构建和智能服务五个子课题的基于大数据的科教评价信息云平台构建和智能服务研究框架和逻辑关系图，并对各子课题进行了分析和论述。

关键词：大数据;科教评价;智能服务;研究框架

中图分类号：TP311.5   文献标识码：A   DOI：10.11968/tsyqb.1003-6938.2020084

Abstract Science and education evaluation is one of the main impetuses for the national development of technology and education， and it plays a rather significant role in national scientific and educational strategic planning， policy making， performance evaluation， and resources allocation and so on. With the advent of the era of big data， the way of organizing and utilizing technological and educational information resources has begun to change， which shows certain deficiencies of traditional science and education evaluation theories and methods in the accuracy， comprehensiveness and integrity of the evaluation results. This paper summarizes the research status of science and education evaluation at home and abroad， and makes the following findings： Firstly， insufficient integration and multidimensionality of technology and education big data;Secondly， lack of evaluation indexes extracted from textual content;Thirdly， lack of research on science and education evaluation from the perspective of social influence;Fourthly， lack of comprehensive research combining construction of cloud computing platform with science and education evaluation;Finally， lack of comprehensive research combining intelligent service with science and education evaluation. Starting with the research significance of the research framework and the top-level design， this paper puts forward the research framework for the construction of science and education evaluation cloud computing platform and intelligent service based on big data as well as its logical diagram， which includes five sub-projects： requirement analysis， theory construction， model and method research， cloud computing platform construction and intelligent service. At the same time， the five sub-projects are also analyzed.

Key words big data; science and education evaluation; intelligent service; research framework

1   引言

科教評价是指对科技与教育的评价，包括宏观、中观、微观三个层次的评价。宏观的科教评价可以揭示整个国家、地区的科技教育宏观状况与发展趋势，为宏观科技教育管理决策提供依据;中观科教评价是对科技教育计划、机构等复合性科技教育活动单位的评价;微观科教评价是对非复合的单个科技教育活动单位的评价，包括对人和事件的评价，其中对人的评价是指对科技教育人才的评价，而对事件的评价是指相关科技教育项目、成果等方面的评价。

传统的科教评价研究围绕着高校评价、科研机构评价、学术论文评价、专利评价等问题展开，评价方法主要为定性的同行评议和定量的科学计量两大类。但是，随着大数据时代的到来，科教信息资源的组织与利用形式开始发生变革，使得传统的科教评价理论及方法显现出一定的缺点和不足。为了应对变革，弥补已有的研究理论和方法的不足，需要在传统评价范式的基础上，进行科教评价理论与方法的创新研究。

“十三五”规划提出要实施国家大数据战略，促进大数据和云计算的广泛应用，要把大数据作为基础型战略资源，全面推进大数据的高效采集、有效整合和融合利用，深化大数据和云计算在各个行业的创新应用;党的十九大提出要推动实体经济和人工智能的深度融合，并且提出要優先发展教育事业，实现高等教育内涵式发展，加快建设创新型国家，强化战略科技力量，由此可见国家对发展大数据、云计算技术的坚定决心和对人工智能、科技教育发展的高度重视。因此，开展基于大数据的科教评价信息云平台构建和智能服务研究具有十分重要的意义。

本文针对大数据环境下的科教评价服务需求，对基于大数据的科教评价理论框架、科教评价方法模型框架进行研究，构建基于大数据的科教评价信息云平台和智能服务研究框架，有利于国家从整体上把握科教发展现状，制定合理的科教发展规划，从而获取最佳的经济效益和社会效益，同时，对于科研机构的发展规划、人才引进、科研绩效评价也有着重要的参考价值。

2   研究综述

2.1    国内外科教评价研究综述

目前在文献调研和网络检索中，均未找到“科教评价”这一术语的明确定义。本研究认为，科教评价是指对科技与教育的评价，是一个较为广泛的概念，它不仅包含对整个国家、各个地区的科技教育宏观状况与发展趋势的评价，也包含对科技教育计划、机构等复合性科技教育活动单位的评价，还包含对非复合的单个科技教育活动单位的评价。对于非复合的单个科技教育活动单位的评价包括对人和事件的评价，其中对人的评价是指对科技教育人才的评价，对事件的评价则是指相关科技教育项目、成果等方面的评价。现有的科教评价成果主要以科技论文评价为基础，进而开展学科机构、地区科教水平评价研究。

（1）科技论文评价综述。科技论文作为科研活动的主要产出成果之一，对科技论文的评价是科教评价中的一项重要工作。目前，对科技论文的评价方法主要分为两大类：以同行评议为主要内容的定性评价方法和以引文分析为基础的定量评价方法[1]。在国外，Garfield[2]于1955年首次提出将论文的被引用次数作为评价其学术影响力的指标，从而奠定了将引文分析作为重要评价手段的定量评价方法的基础。1972年，Garfield[3]还提出了使用影响因子作为衡量学术期刊影响力的指标。2005年，Hirsch[4]提出使用h指数作为评价学者科研产出的指标，该指数引起了学术界的广泛讨论，并被广泛应用到国家、地区、科教机构、学科专业等科教评价的各个层级中。

随着Web2.0的发展，科学交流方式逐渐发生转变，越来越多的专家学者和非学术群体开始在社交媒体上获取、传播和浏览学术资源，并日益进行学术交流，科技论文的社会影响力凸显，Priem[5]正是在这样的背景下提出了替代计量学（Altmetrics）。Thelwall[6]研究了引文指标和Altmetrics指标之间的关系，发现二者之间的关系受到数据关联强度的影响;Repiso等[7]对2013-2017年间Web of Science收录的期刊进行分析，发现Mendeley和Twitter是指标覆盖率最高的社交平台，他们的指标覆盖率高于传统引文指标。

在国内，赵蓉英等[8]运用相关性分析法和主成分分析法，对现有Altmetrics评价指标进行分析，并与传统引文指标进行比较分析，发现这两种指标存在一定差异，Altmetrics指标是对传统引文指标的有益补充;王雯霞和刘春丽[9]通过构建多维指标的综合影响力评价模型，对不同学科的论文影响力指标进行对比分析，发现不同的学科应采用不同的指标构建论文评价模型，在论文综合影响力评价中，相较于论文的社会影响力，其学术影响力依然占据主导;王艳波等[10]以国内图书情报领域论文为研究对象，分别获取其传统引文评价指标数据和Altmetrics评价指标数据，构建比传统引文评价更科学、全面的学术论文影响力综合评价模型。

（2）学科机构评价综述。学科专业及科研机构评价一直是社会各界普遍关注的问题，这关乎着我国一流学科和一流大学建设目标的推进。对学科和科研机构的评价是检验学科发展和佐证绩效管理的有效手段[11]，因此，该如何对学科和科研机构进行评价是科教评价的重要组成部分。近几年国外的研究中，Marginson[12]认为大学排名指标体系应遵循实在性、客观性、外部性、综合性、特殊性、次序均衡、绩效校准和公开透明这八条准则;Dobrota等[13]对QS（Quacquarelli Symonds）世界大学排名进行了检验，认为该排名存在不够客观，具有一定偏向性的缺点，并对QS排名方法进行了改进。

在国内，2019年，中国科教评价研究院组织了中国大学及学科专业评价工作，并完成了《中国大学及学科专业评价报告2019-2020》[14]，该排名综合考虑了其他几大排名体系，坚持科研与教学并重的原则，力求全面客观地反映各个院校的整体实力;周光礼和武建鑫[15]选取全球四个具有学科和大学评价功能的评价指标体系，以“三阶段+三维度”为研究框架，得出了科教评价应具备多维度，应依赖于卓越的教师队伍，应注重评价质量的结论。他还通过对QS、THE、U.S.News等最具影响力的世界大学排名进行评估，发现这些排行榜在技术性标准上存在缺憾，在合法性标准上严重不足，不能直接作为“双一流”建设动态检测和成效评价的依据[16]。

（3）地区科教水平评价综述。对地区科教水平的正确评价，有利于中央和地方政府从整体上把握地区科教发展现状，制定更为合理的区域科教规划，从而更好地促进我国科教事业的发展。国外权威机构发布的科技进步水平指标体系主要有经济合作与发展组织（OECD）的科技进步水平评价指标，瑞士洛桑银行国际管理研究院（IMD）的科技进步水平评价指标体系，世界银行的科技进步水平评价指标体系等。

国内地区科教水平评价多采用专家咨询法、层次分析法、因子分析法、主成分分析法和熵权法等，构建综合评价指标体系。李倩男和姚宁宁[17]利用因子分析法计算了我国31个省市2008-2013年每一年的高等教育发展水平的因子得分，再利用熵权法计算每年因子得分的熵权，从而为各个省市的高等教育发展水平进行排序，发现西部地区的高等教育发展水平较为落后，而东部地区的排名较为分散;王颖等[18]运用TOPSIS分析法对我国中部6省的科技发展水平进行评价，得出了中部6省的科技服务业竞争力水平的综合评价及发展趋势;张鹏等[19]从产业规模实力、科技创新能力、综合发展潜力和服务客体能力四個维度分析了2007-2016年我国30个省、直辖市、自治区（西藏因数据缺失严重而剔除）的科技服务业总体发展水平以及区域差异。

2.2    国内外科教评价云平台构建相关研究综述

与大数据研究相伴而生的概念是云计算，云计算的本质是数据处理技术，大数据可以看作是云计算的资产及其升级方向[20]。云计算是一种新的分布式计算模式，它的本质是一种服务提供模型，通过该模型可以随时、随地、按需地通过网络访问共享资源池的资源，这个资源池的内容包括计算资源、网络资源和存储资源等[21]。在国外工业界，最典型的云计算实例有Amazon公司的弹性云计算，IBM公司的“蓝云”平台产品和Google的云计算平台及云计算的网络应用程序[22]。学术界关于云计算的研究主要围绕云计算服务性能优化、云计算测试、云计算环境安全、云计算技术应用等方面展开[23]。Paton等[24]从效用计算的角度分析不同负载的任务使用，提出了云计算性能的优化方法。Ganon和Zilbershtein[25]为了解决大规模云计算测试环境难以构建的问题，构建了网络管理系统测试环境用以准确测试大规模网络管理系统的性能。安全和隐私保护是云计算发展的首要前提[26]，Elphinstone和Shen[27]对商用硬件的可靠性进行了分析，利用多余的多核处理器提高硬件的可信度，从而为云安全引入了一种新的防护策略。

目前云平台应用已经广泛渗透到电子商务、电子政务、金融和医疗等领域，而较少有针对科教评价信息云平台构建的研究。在国内，高俊芳[28]提出了学科知识细粒度可控的本体组织方式，依据高校云学科知识服务平台的构建原则，设计了高校数字图书馆云学科知识服务平台组织结构;王茜和张黎[29]在分析了基于云平台的智慧图书馆系统的优势的基础上，设计了主要包含跨域数据采集、实时事态感知、智慧服务整合和大数据统计分析和展示四个功能的基于云平台的智慧图书馆系统总体框架;刘志亮和张金隆[30]在对我国教育信息资源共享现状进行分析的基础上，提出了由“服务维”和“数据维”构成的二维教育信息资源整合框架，并设计了基于“资源池”“云处理”“云应用”和“服务组合”的教育信息资源云服务架构;张惠敏[31]通过分析深圳市智慧城市的研究和实践现状，阐释了融入智慧城市的深圳教育云的特征，描述了深圳教育云架构，并对具体试点学校的应用案例进行分析。

2.3    国内外智能服务研究综述

当前国内外智能服务相关研究主要涉及智能服务理论构建、智能服务方法技术以及智能服务应用。在国外智能服务相关研究中，Carstena等[32]认为智能服务是基于网络化、智能化的技术系统和平台，是对采集和分析数据进行响应的数字化服务，他认为智能服务的过程可以划分为内部基础设施、外部基础设施、连接物理平台和服务平台四个阶段;Beverungen等[33]认为智能服务是通过智能产品所支持的行为，流程和绩效来实现的应用，智能服务系统是利用智能产品来整合资源，使得参与各方实现互惠互利的系统;Corrall等[34]对澳大利亚、新西兰、爱尔兰和英国的140个机构的文献计量服务进行了调查和研究，并对这些机构的服务质量进行了对比分析。

在国内，智能服务主要涉及金融、医疗、商务和图书情报等领域，与科教评价相结合的研究较少。在与科教评价智能服务相关的研究中，王飒[35]对国内39所“985”高校图书馆开展的科研评价服务进行调研，进行统计分析，并对这39所高校图书馆的科研评价情况的文献调研结果与实践调研结果进行对比分析。叶兰[36]通过文献调研，网络调研和案例研究，对国外大学图书馆如耶鲁大学图书馆、爱荷华大学图书馆、新南威尔士大学图书馆等的科研评价服务进行分析，为推动国内大学图书馆科研评价服务提出建议;廖志江[37]针对数字图书馆知识服务需求，构建了基于知识发现的四层架构的图书馆知识服务平台，并介绍了该平台的各个子课题的功能;王欣和张冬梅[38]分析了高校读者小数据应用于图书馆个性化智能服务的可行性，并提出了基于高校读者小数据采集、预处理、个性化阅读需求发现与预测的图书馆个性化智能服务模式。

2.4    研究述评

综上所述，国内外关于科教评价、云平台构建和智能服务进行单独研究的文献较多，相关研究也取得了一定进展，但是专门针对科教评价信息云平台构建和科教评价智能服务研究的文献还比较有限。无论是国内还是国外，与本文直接相关的研究都还处于起步阶段或是发展阶段，缺乏将科教评价与大数据、云平台构建和智能服务充分结合起来的系统性研究，同时，也较少有针对本文研究主题的有深度的或者具有普遍意义的成果。

（1）科教评价数据的集成性和多维性不足。总体而言，过去的科教评价研究多利用官方的统计数据和论文发表数据，大数据时代产生的海量多维的科教大数据，如社交媒体数据、时空大数据等，并未得到充分的应用，科教评价与大数据的结合度不足。且以往的研究偏重于对科技论文的细粒度评价，而对学科、科教机构、地区科教水平评价的研究相对较少。已有的从学科、科教机构、地区层面的研究对已有科教评价数据的利用粒度较粗，忽视了对已有的细粒度评价成果的应用。

（2）缺乏从内容层面进行挖掘的科教评价指标。传统的科教评价由于文本挖掘技术的复杂度和数据量的限制，无法将大量的，有价值的科教文本纳入评价材料之中。这些文本对于发掘出细粒度的知识单元，并提炼出可量化的科教评价指标具有重要意义。需要将那些不易被挖掘且不易量化的指标，如论文创新性、学者的学术道德水平等进行量化，从而构建更为客观全面的科教评价指标体系。

（3）缺乏从社会影响力层面进行科教评价的研究。已有科教评价研究更侧重于对科教主体学术影响力的测度，而忽视了对其社会影响力的考量。换言之，当前研究中大多数科教评价指标体系的设计更重视评估科教主体的学术影响，而对于它所造成的经济、政治、社会等多方面影响的考虑较少。整体而言，当前科教领域缺乏能够全面地对科教主体的学术影响力和社会影响力进行科学评价的评价方案和评价体系，难以满足当前背景下科教评价的现实需求。

（4）缺乏信息云平台构建与科教评价相结合的研究。国内外诸多研究围绕政务、教育等多个视角对云平台构建进行了一定的理论探索和实践探索，主要解决了在相应具体应用下的云平台架构设计，或者针对云平台构建中的某一具体问题进行改进和优化。但是，诸多研究仍然相对分散，只强调单个具体问题的解决，或者强调云平台架构中某个层次的优化创新，缺乏针对科教评价应用的云平台理论及应用成果。整体而言，缺少有深度的科教评价信息云平台构建系统性研究成果。

（5）缺乏智能服务与科教评价相结合的研究。当前智能服务的研究主要涉及智能服务理论构建、智能服务方法技术和智能服务应用实践三个方面。关于智能服务应用的研究中，多涉及金融领域、醫疗领域、商务领域、图书情报领域等，却较少将智能服务理论、方法和技术应用于科教评价，可见智能服务的应用领域还相对有限，缺少智能服务在科教评价领域的应用。

综上所述，基于大数据的科学化、精准化和综合化科教评价理论框架与体系构建是当前科教评价研究的重点。基于大数据的科教评价信息云平台构建与智能服务研究应从科教评价的用户需求出发，在科教评价的理论方法研究基础上，从大数据视角出发探索科教信息资源内容理解和评价理论方法创新，扩展已有的科教信息资源评价指标体系，构建一个兼顾有效性、可理解性和多维性的科教评价理论框架。并在此基础上，实现基于大数据的科教信息云平台建设，进行示范应用研究，并根据各类用户的多元需求，丰富完善智能服务理论与方法，从而实现科教评价服务的个性化和精准化。

3   基于大数据的科教评价信息云平台构建和智能服务研究框架构建

基于大数据的科教评价信息云平台构建和智能服务研究必须解决几个关键性的问题：如何将大数据、云平台构建和智能服务相关理论与方法深度应用于科教评价，构建以科教评价质量为核心，兼具有效性、可理解性、多维性，且适用于大数据时代的科教评价指标体系？如何基于大数据的科教评价模型与方法，从信息抽取、主题分析、情感分析、信息传播等方面对关键技术进行研究，对社交媒体大数据、时序大数据等信息进行深度挖掘？如何从信息资源集成、知识融合等方面对关键技术进行研究，构建大数据背景下的科教评价信息云平台？如何构建用户需求-科教评价资源映射模型，实现基于大数据的科教评价智能知识服务？

本文按照科教评价的现实需求和问题制定研究目标和研究框架，通过调研文献资料和分析凝练研究内容，重点进行基于大数据的科教评价理论深化和方法模型创新，在优化和提炼理论研究成果的同时，通过信息云平台的示范应用推进成果应用。本文按照“现状与需求分析-制定目标-理论框架构建-评价方法创新-信息云平台构建-智能服务的示范应用-总结完善科教评价理论体系”的研究路径展开。在理论框架的构建中，突出大数据背景与传统评价理论方法的有机融合和创新发展，立足于大数据背景下科教信息资源的组织、利用和产出形态变革的现实问题和需求，在进行基础理论研究和寻求实际问题解决的基础上，致力于研究成果的拓展应用。

本文从基于大数据的科教评价信息云平台构建和智能服务研究应包含的五个子课题出发，在结构上遵循“需求分析-理论研究-方法研究-云平台构建研究-智能服务研究”的逻辑进行推进。首先，对基于大数据的科教评价服务需求进行调研分析，明确子课题的研究对象和起点，分析科教评价总体服务需求;其次，基于科教评价总体服务需求，参考已有的科教评价理论成果，构建兼具有效性、可理解性和多维性的科教评价理论框架;然后，从基于专家智库的同行评议科教评价方法、基于文献、科学、信息、网络和知识计量的科教评价方法、基于文本语义挖掘的科教评价方法、基于大数据的科教评价知识融合模型这四个方面，探索基于大数据的科教评价模型与方法;接着，从基于大数据的科教评价信息云平台需求分析切入进行架构设计，构建云平台的基础云计算层、大数据平台层以及云平台服务层，实现基于大数据的科教评价信息云平台;最后，基于用户特征与科教评价服务需求，构建用户需求-科教评价资源映射模型，搭建基于大数据的科教评价智能服务系统（基于大数据的科教评价信息云平台构建和智能服务研究框架见图1）。

3.1    基于大数据的科教评价服务需求分析子课题

大数据时代的到来，使得科教信息资源的组织与利用的形式开始发生变革，传统理论与方法支撑下的科技与教育评价体系已无法适应，首先要明确科教信息资源的组织、利用和产出形态，明确本子课题的研究对象和研究起点，进行科教信息资源大数据特征分析，并对科教信息资源大数据对科教评价的影响进行分析;然后，利用文献调研法和内容分析法全面系统地对科教评价相关文献进行归纳、总结和比较分析，明确当前科教评价理论和方法中存在的问题，并利用多维比较分析法研究当前科教评价指标和评价体系的共性及差异;最后，结合当前科教评价中存在的现实问题，采用社会调查法和相关分析法，对科教评价服务群体进行用户细分，从而实现大数据视角下的科教评价需求分析。本子课题包含以下三个研究任务：

（1）科教信息资源组织、利用和产出形态的特征分析。大数据背景下，科教信息资源的组织、利用和产出形态均发生了变化。通过对国内外相关科教信息资源的调查和分析，可以揭示出当前科教信息资源的新特征，并对影响科教评价组织、利用和产出的因素进行分析，为构建科教评价指标体系奠定基础。

（2）科教评价研究现状分析。对当前国内外科教评价相关文献进行全面系统地调研和分析，梳理现有研究的不足，着重归纳传统的定性同行评议方法和定量科学计量方法的不足，结合大数据环境下科教信息资源的特点，对已有的科教评价指标和评价体系进行比较和分析，进行基于融合关系的科学化、精准化和综合化科教评价理论框架和方法体系构建的必要性和可行性研究。

（3）大数据背景下科教评价服务的需求分析。全面系统地梳理大数据环境下科教评价服务用户群体，通过社会调查法，如问卷调查、访谈法等，收集不同用户群体的多元化需求，分析用户需求的基本特征，区分不同用户的基础性需求和个性化需求，并分析用户需求间的关联性。除此之外，综合利用数据分析及文本挖掘技术，从动态获取的数据源中提炼各类用户的深层次需求，构建用户需求模型和科教评价用户需求本体知识库，从而为科教评价信息云平台构建和智能服务提供基础。

3.2    基于大数据的科教评价理论体系构建子课题

科教评价理论的创新和完善是进行科教评价的基础和前提，传统科学计量学层面的科教评价体系存在评价数据获取方式单一、评价标准过度依赖文献计量指标、评价方法仅使用统计计算方法、评价结果呈现形式不够直观等问题。在子课题一的基础上，子课题二首先通过时序大数据、社交媒体大数据分析，探索基于大數据的科教评价有效性理论;其次，运用语义网、本体、知识库的相关理论，厘清科教评价相关概念之间的逻辑联系，扩展知识关联的深度和广度，构建知识大图，探究基于大数据的科教评价可理解性理论;然后，利用时空大数据等多维数据，构建基于大数据的科教评价多维性理论;最后，在理论基础上，探索基于大数据的科教评价融合指标体系，实现科教信息资源的精准性、关联性、多样性评价。本子课题包含以下四个研究任务：

（1）基于时序大数据和社交媒体大数据的评价有效性理论研究。将科教机构的研究成果转化数据和人才培养大数据作为科教评价有效性的重要依据，通过时序大数据在时间范围上对评价的有效性进行检验，发挥大数据背景下进行时间序列分析的优势，同时对社交媒体大数据进行挖掘，结合时序大数据探究基于大数据的科教评价有效性测度策略。

（2）基于知识大图的评价可理解性理论研究。将科教评价相关词条根据特定领域加以关联，为索引信息提供受控词汇表，从而厘清科教评价相关概念之间的逻辑关系，分别从语义、语法、语用的层面明确科教评价相关概念的可理解性。在此基础上，基于大数据的知识组织和表示方法，构建科教信息资源大数据的知识大图。在自然语言处理、知识图谱、机器学习等技术手段的支持下，构建基于知识大图的科教评价可理解性理论模型。

（3）基于时空大数据的评价多维性理论研究。大数据是海量的多源异构数据的集合，时空大数据是其重要的组成部分。通过挖掘科教评价时间、空间和科教评价对象之间的关联关系，探索科教评价数据与现实中科教评价对象及其活动，以及科教相关事件之间的对应规律，基于时空大数据模式发现并提炼出科教评价的多维性理论。

（4）基于大数据的科教评价融合指标体系构建研究。基于前述的科教评价有效性理论、可理解性理论、多维性理论，结合我国科教评价的现实需求和已有的科教评价指标和评价体系的共性和差异，明确大数据环境下的科教评价主客体、评价标准和指标权重的变化，构建基于大数据的科教评价融合指标体系。

3.3    基于大数据的科教评价方法子课题

传统的科教评价方法存在着理论深度、方法深度以及技术深度上的不足，评价结果单一，准确性和有效性均难以得到保证，难以实现对科教信息资源的精确化、智能化评价。在子课题二的基础上，子课题三将基于大数据的方法和模型创新，实现从内容层面对科教对象及活动进行全面精确的评价。首先，建立专家遴选制度，保证专家来源广泛且在相关领域具有代表性，构建专家智库，设计好同行评议过程中的程序规制，实现基于专家智库的同行评议科教评价;其次，利用情感分析和机器学习等关键技术，突破传统的评价算法和评价模型，对科研主体的科研工作以及学术出版物如著作、期刊论文、专利等进行评价，增加可以量化的评价指标，设置更加准确的指标权重，实现基于文献、科学、信息、网络和知识计量的科教评价;然后，运用最新的自然语言处理技术对科教文本进行深度挖掘，挖掘细粒度的知识单元，从而获取各类科教文本中隐含的、不易被发掘的但又潜在有用的知识;最后，基于知识融合策略和多维度多语义评价视角，全面考虑各类科教数据及科教文本，综合运用多种技术方法，将前述研究任务进行有机融合，构建基于大数据的、面向智能服务的科教评价知识融合模型。本子课题包含以下四个研究任务：

（1）基于专家智库的同行评议科教评价研究。同行评议是由同领域或相邻领域专家对该领域研究主体、科研成果或科研活动的科学价值进行评议的一种评价方式。作为一种典型的定性评价方法，传统的同行评议法主要依赖于评议专家的经验，虽然可以为科教评价提供重要参考，但是不可避免地带上了一定主观色彩，使得评价结果存在主观性较强的不足。本研究任务将在设立专家遴选制度的基础上，建立专家智库，从而降低传统同行评议方法给评价结果带来的不足。

（2）基于文献、科学、信息、网络和知识计量的科教评价研究。网络计量和知识计量是对传统“三计学”的有益补充，是对“三计学”的丰富和完善。传统计量学是典型的定量评价方法，具有一定效率和成本上的优势。但是过去的数据收集以及处理方法无法对海量的科教大数据进行处理，传统科学计量方法的信度和效度都面临着极大的挑战，无法有效满足智能服务时代的多元化的用户需求。本任务通过借助情感分析和机器学习等关键技术，突破传统的评价算法和评价模型，对科研主体的科研工作以及成果进行评价，构建更加完善的科教评价指标体系。

（3）基于文本语义挖掘的科教评价研究。文本内含有大量隐含的，不易发掘的，但对科教评价具有重要意义的知识。但是由于文本挖掘技术的复杂度和文本数量的限制使得传统科教评价未能将大量的、有价值的科教文本纳入评价材料之中。因此，为了满足大数据和智能服务时代科教评价用户的多元化和个性化需求，对科教文本语义进行深度挖掘，发掘细粒度的知识单元从而实现细粒度的科教评价是极其必要的。本任务通过综合运用最新的自然语言处理技术，对各种科教文本进行深度挖掘，从而支持基于大数据的科教评价智能化服务。

（4）基于大数据的科教评价知识融合研究。上述三个研究任务分别从不同的维度和技术路线实现了面向智能服务的科教评价。本研究任务将基于知识融合策略和多维度多语义的评价视角，全面考虑科教数值型数据和大量潜在有用的科教文本，综合运用机器学习、知识组织、社会网络分析等多种技术方法，将基于专家智库的同行评议科教评价研究，基于文献、科学、信息、网络和知识计量的科教评价研究，和基于文本语义挖掘的科教评价研究进行有机融合集成，构建基于大数据的，面向智能服务的科教评价知识融合模型。

3.4    基于大数据的科教评价信息云平台构建子课题

大数据环境下的科教评价信息资源呈现异构多模态、复杂关联、动态涌现等特点，缺乏统一合理的规划和有效的数据共享机制。子课题四基于上述研究的问题需求、理论与方法进行基于大数据的科教评价信息云平台体系架构的设计与实现，主要从基础云计算层构建、大数据平台层构建以及云平台服务层构建三个方面开展研究。首先，根据基于大数据的科教评价信息的具体要求动态地扩展和配置计算资源，构建包括IaaS、PaaS和SaaS的基础云计算层。其次，在基础云计算层上搭建大数据平台层，由Hadoop框架和Spark框架组成，共同实现对海量数据集的快速分析和处理，从而为数据和知识挖掘提供高密度、高价值的数据[39];最后，在大数据平台层上搭建云平台服务层，它位于顶层，包括数据管理和知识管理，数据管理涵盖数据的采集、预处理、分析和可视化等，知识管理包括知识库的构建，知识的推理、导航和检索，以及知识服务及其展现模式。基础云平台层和大数据平台层组成了整个体系的技术架构，共同为云平台服务层提供硬件和软件支持（基于大数据的科教评价信息云平台架构见图2）。

（1）基础云计算层。基础云计算层位于科教评价信息云平台架构的最底层，是整个云平台的资源池（包括IaaS、PaaS和SaaS）。考虑到科教大数据的多源异构性和多维性，以及海量数据的长期储存和灵活处理，技术上应采用虚拟化技术，过程上要求能智能化动态分配计算机和网络资源，从而提高平台运算、存储和资源利用效益[40]。基础云计算层是云平台构建的基础，通过有效地整合计算、存储与网络资源，为上层应用提供硬件和环境支持。

（2）大数据平台层。科教评价信息具有数据体量大、数据类型多的特点，需要根据前期的需求分析，合理选择数据源和高质量原始数据的采集方法，确定数据结构，从而实现对多元异构数据的实体识别和清洗集成，并实现对科教大数据的溯源管理。大数据平台层位于基础云计算层和云平台服务层之间，起到对科教评价信息云平台各层进行协调的作用。

（3）云平台服务层。云平台服务层位于大数据平台层之上，是整个科教评价信息云平台的顶层，它主要包括数据管理和知识管理。数据管理包括科教大数据的采集、清洗、集成、分析和可视化等，知识管理包括信息抽取、知识融合、科教评价知识库的构建，知识的推理、导航、检索以及知识服务及其展现模式等。基础云平台层和大数据平台层共同为云平台服务层提供硬件和软件支撑，云平台服务层为国家、组织和个人的科教决策提供支持。

3.5    基于大数据的科教评价智能服务子课题

大数据技术、云计算技术、深度学习技术、自然语言处理等技术为基于大数据的科教评价智能服务提供了基础和保障。基于大数据的科教评价智能服务需要在前期子课题研究所形成的理论方法、模型框架、知识资源和基础设施等成果的基础上进行应用体系的研究，以实现智能化和个性化的科教评价知识服务。子课题五首先通过挖掘用户特征和科教评价服务需求，构建用户知识库，实现用户需求的精准画像;其次，构建用户需求-科教评价资源映射模型，实现用户需求和科教评价资源的动态和精准匹配;最后，搭建基于大数据的科教评价智能服务系统，为用户提供科教评价智能决策、智能咨询、智能推荐、智能检索等基于Web的智能化和个性化的知识服务。本子课题主要包含以下三个研究任务：

（1）用户特征及需求挖掘研究。全面准确地获取用户特征和智能服务需求是实现智能化和个性化科教评价智能服务的重要前提和基础。通过利用现有的数据挖掘等技术从用户浏览记录、用户搜索记录和用户点击记录等数据中，分析挖掘出用户背景、用户需求等显性和隐形的用户知识，通过对用户知识库进行挖掘和推理，实现用户的精准画像和需求挖掘。

（2）用户需求-科教评价资源映射研究。将用户需求和科教评价资源进行精准匹配是实现科教评价智能服务的重要保证。在科教评价知识库的基础上，结合已有的科教评价用户知识库，构建用户需求-科教评价资源映射模型，有效建立用户需求和科教资源之间的映射和关联，从而为科教评价智能服务提供依据。

（3）科教评价智能服务研究。将用户所需的各种科教评价相关知识和评价结果以直观的、友好的方式呈现给用户是科教评价智能服务的必然要求。从信息系统技术接受度模型的角度出发，以智能推荐、智能检索、智能咨询等知识服务方式，为科教评价用户提供基于Web的智能化和个性化科教评价智能服务。

3.6    各子课题间的内在逻辑联系

本研究以大数据背景下科教评价服务需求为起点，围绕基于大数据的科教评价理论与方法创新展开研究。前三个子课题为后两个子课题提供了理论方法依据，后两个子课题是本研究的主要任务。首先，确定本子课题的研究对象和研究起点，调研和总结传统科教评价研究方法的不足，分析基于大数据的科教评价服务需求，由此设置子课题一;然后通过子课题二对基于大數据的科教评价理论进行研究，探索科教评价的有效性、可理解性和多维性理论，构建基于大数据的科教评价融合指标体系;在子课题二的基础上，子课题三从四个方面对基于大数据的科教评价方法进行研究;理论与评价方法的实现依赖于大数据、云计算等关键技术的支撑，子课题四对云平台构建进行探索，为科教评价服务提供基础;最后，子课题五探索科教评价智能服务的实现，对所构建的框架体系和评价方法进行验证和完善。五个子课题既突出重点和关键问题的解决，又强调对本研究内容的涵盖。

各子课题之间也存在较强的逻辑关系。子课题一从需求调研出发，确定基于大数据的科教评价云平台构建与智能服务研究的重点和方向，明确科教评价服务需求;子课题二在子课题一需求分析的基础上，进行基于大数据的科教评价理论、评价框架和指标体系研究;子课题三以子课题二的理论研究成果为指导，重点研究具体的评价方法和模型;子课题四搭建基于大数据的科教评价信息云平台的基础框架与示范应用;子课题五以用户需求为导向，在信息云平台的基础上，为用户提供基于Web的智能化和个性化科教评价智能服务（各子课题间的逻辑关系见图3）。

4   结语

科教评价的发展关乎国家科技进步和教育繁荣，在科教信息资源检索、科教信息资源推荐、科教绩效评价等方面发挥着重要的作用。随着大数据时代的到来，科教信息资源的组织和利用形式开始发生变革，充分利用大数据，从中发现新知识、创造新价值、提升新能力，助力经济发展、完善社会治理、推动科学研究已成为发展趋势。为了应对变革，弥补已有评价理论与方法的不足，需要在传统评价范式的基础上，将科教评价与大数据充分结合，进行科教评价理论与方法的创新研究。

在当前的大数据环境下，大数据成为推动科教评价发展的新助力。从大数据背景下的科教评价现实需求出发，构建基于大数据的科教评价信息云平台构建和智能服务研究框架，满足了国家从整体上把握科教发展现状，制定合理的科教发展规划的现实需求，对于信息服务业开展学术资源挖掘、学术资源检索和学术资源推荐等应用实践具有重要借鉴意义。构建基于大数据的科教评价信息云平台构建和智能服务研究框架，不仅对评价学科的发展具有推动作用，还对国家科教战略的规划和政策的制定具有重要意义。

本研究针对大数据环境下科教评价的现实需求，在对基于大数据的科教评价理论框架和方法模型框架进行研究的基础上，构建了基于大数据的科教评价信息云平台构建和智能服务研究框架。针对大数据环境下的科教评价服务需求和传统理论与方法下的科教评价体系的不足，综合利用情报学、评价学、科学学、教育学、计算机科学、大数据、云计算和人工智能领域的相关理论、方法和技术，对大数据环境下的科教评价理论、方法进行完善和创新，并搭建基于大数据的科教评价信息云平台和智能服务系统，是本研究的创新之处。

参考文献：

[1]  白如江，杨京，王效岳.单篇学术论文评价研究现状与发展趋势[J].情报理论与实践，2015，38（11）：11-17.

[2]  Garfield，E.Citation Indexes for Science：A New Dimension in Documentation through Association of Ideas[J].Science，1955，122（3159）：108-111.

[3]  Garfield E.Citation Analysis as a Tool in Journal Evaluation[J].Science，1972，178（4060）：471-479.

[4]  Hirsch J E.An index to quantify an individual's scientific research output.[J].Proceedings of the National Academy of Sciences of the United States of America，2005，102（46）：16569-16572.

[5]  Priem J，Piwowar H A，Hemminger B M.Altmetrics in the wild：Using social media to explore scholarly impact[J].arXiv preprint arXiv，2012：1203.4745.

[6]  Thelwall M.Interpreting correlations between citation counts and other indicators[J].Scientometrics，2016，108（1）：337-347.

[7]  Repiso R，Castillo-Esparcia A，Torres-Salinas D.Altmetrics，alternative indicators for Web of Science Communication studies journals[J].Scientometrics，2019，119（2）：941-958.

[8]  赵蓉英，郭凤娇，谭洁.基于Altmetrics的学术论文影响力评价研究——以汉语言文学学科为例[J].中国图书馆学报，2016，42（1）：96-108.

[9]  王雯霞，刘春丽.不同学科间论文影响力评价指标模型的差异性研究[J].图书情报工作，2017，61（13）：108-116.

[10]  王艳波，汪雷，吴小兰.基于Altmetrics与传统文献计量指标的国内学术论文影响力评价研究[J/OL][2020-04-20].http：//kns.cnki.net/kcms/detail/11.1762.G3.20191219.0845.002.html.

[11]  朱明.我國大学学科水平评价问题研究[D].南京：南京航空航天大学，2015.

[12]  Marginson S.University rankings and social science[J].European Journal of Education，2014，49（1）：45-59.

[13]  Dobrota M，Bulajic M，Bornmann L，et al.A new approach to the QS university ranking using the composite I‐distance indicator：Uncertainty and sensitivity analyses[J].Journal of the Association for Information Science and Technology，2016，67（1）：200-211.

[14]  邱均平，湯建民，刘宁.中国大学及学科专业的评价体系与结果分析[J].杭州电子科技大学学报（社会科学版），2019，15（5）：63-68.

[15]  周光礼，武建鑫.什么是学术评价的全球标准——基于四个全球大学排行榜的实证分析[J].中国高教研究，2016（4）：51-56.

[16]  周光礼，蔡三发，徐贤春，等.世界一流大学的建设与评价：国际经验与中国探索[J].中国高教研究，2019（9）：22-28，34.

[17]  李倩男，姚宁宁.我国地区高等教育发展水平的综合评价[J].高教学刊，2016（22）：256-258.

[18]  王颖，蓝云飞，汪琳.基于TOPSIS方法的中部地区科技服务业发展水平评价[J].统计与决策，2019，35（21）：53-56.

[19]  张鹏，梁咏琪，杨艳君.中国科技服务业发展水平评估及区域布局研究[J].科学学研究，2019，37（5）：833-844.

[20]  夏靖波，韦泽鲲，付凯，等.云计算中Hadoop技术研究与应用综述[J].计算机科学，2016，43（11）：6-11，48.

[21]  Wang L，Von Laszewski G，Younge A，et al.Cloud computing：a perspective study[J].New Generation Computing，2010，28（2）：137-146.

[22]  陈康，郑纬民.云计算：系统实例与研究现状[J].软件学报，2009，20（5）：1337-1348.

[23]  李乔，郑啸.云计算研究现状综述[J].计算机科学，2011，38（4）：32-37.

[24]  Paton N，De Arag？觔o M A T，Lee K，et al.Optimizing utility in cloud computing through autonomic workload execution[J].Bulletin of the Technical Committee on Data Engineering，2009，32（1）：51-58.

[25]  Ganon Z，Zilbershtein I E.Cloud-based performance testing of network management systems[C].2009 IEEE 14th International Workshop on Computer Aided Modeling and Design of Communication Links and Networks.IEEE，2009：1-6.

[26]  张玉清，王晓菲，刘雪峰，等.云计算环境安全综述[J].软件学报，2016，27（6）：1328-1348.

[27]  Elphinstone K，Shen Y.Increasing the trustworthiness of commodity hardware through software[C].2013 43rd Annual IEEE/IFIP International Conference on Dependable Systems and Networks（DSN）.IEEE，2013：1-6.

[28]  高俊芳.云计算下的高校图书馆学科知识服务平台研究[J].图书馆学研究，2015（2）：83-88，76.

[29]  王茜，张黎.基于云平台的智慧图书馆系统的设计与实现[J].图书馆，2019（2）：46-50.

[30]  刘志亮，张金隆.基于教育云的教育信息资源整合框架研究[J].情报杂志，2013，32（10）：164-167.

[31]  张惠敏.融入智慧城市的深圳教育云建设[J].现代教育技术，2019，29（5）：65-70.

[32]  Carsten S，Monika J，J？觟rg N，et al.Smart Services[J].Procedia-Social and Behavioral Sciences，2018，238：192-198.

[33]  Beverungen D，Müller O，Matzner M，et al.Conceptualizing smart service systems[J].Electronic Markets，2019，29（1）：7-18.

[34]  Corrall S，Kennan M A，Afzal W.Bibliometrics and research data management services：Emerging trends in library support for research[J].Library trends，2013，61（3）：636-674.

[35]  王飒.“985”高校图书馆科研评价服务实践调研与分析[J].图书情报工作，2016，60（1）：26-31.

[36]  叶兰.国外大学图书馆科研评价服务研究[J].大学图书馆学报，2019，37（1）：105-114.

[37]  廖志江.知识发现及数字图书馆知识服务平台建设研究[J].情报科学，2012，30（12）：1849-1853.

[38]  王欣，张冬梅.大数据环境下基于高校读者小数据的图书馆个性化智能服务研究[J].情报理论与实践，2018，41（2）：132-137.

[39]  王淼，经渊.智慧公共文化服务云平台构建研究[J].数字图书馆论坛，2019（2）：43-50.

[40]  唐晓波，郑杜，翟夏普.基于大数据智能的竞争情报系统模型研究[J].情报理论与实践，2018，41（11）：133-137，160.

作者简介：唐晓波（1962-），男，武汉大学信息系统研究中心、武汉大学信息管理学院教授，博士生导师，研究方向：知识组织与情报研究、科教评价与智能服务;石文萱（1995-），女，武汉大学信息管理学院管理科学与工程专业博士研究生，研究方向：知识组织与文本分析、科教评价与智能服务;李诗轩（1993-），女，武汉大学信息管理学院管理科学与工程专业博士研究生，研究方向：语义分析与商务智能;谭明亮（1990-），男，武汉大学信息管理学院管理科学与工程专业博士研究生，研究方向：知识组织与商务智能;高和璇（1995-），女，武汉大学信息管理学院管理科学与工程专业硕士研究生，研究方向：文本挖掘与知识服务;刘志源（1994-），男，武汉大学信息管理学院信息资源管理专业硕士研究生，研究方向：知识组织与情报研究。