基于动态业务流程的学科竞赛创新评价体系设计

石 雷，徐 娟，毕 翔

（合肥工业大学 计算机与信息学院，安徽 合肥 230009）

0 引 言

在“大众创业，万众创新”的背景下，以学科竞赛驱动的人才培养方式正不断受到高校师生的重视[1-2]。2018年2月，中国高等教育学会发布《2013—2017年中国高校创新人才培养暨学科竞赛评估结果》，以“互联网+”“挑战杯”“ACMICPC大学生程序设计竞赛”等19项赛事为主要依据，从4个维度进行综合评价，最终给出中国高校的学科竞赛排名榜单[3]。在这些工作的驱动下，全国高校对于竞赛的重视也达到空前高度，各类校级、省级和国家级的各种专业、行业和综合性的竞赛如雨后春笋般生根、发芽。

1 安徽省计算机类竞赛存在的问题

安徽省计算机类竞赛基本是由安徽省教育厅主办、安徽省计算机教育研究会承办的。目前，安徽省高等学校计算机教育研究会承办的计算机类省级赛事共有7项，分别是安徽省大学生程序设计大赛、安徽省机器人大赛、安徽省大学生数字媒体创新设计赛、安徽省大学生信息安全作品赛、安徽省大学生网络攻防赛、安徽省大学生单片机与嵌入式系统应用技能竞赛以及安徽省大数据技术与应用赛。

在这些竞赛如火如荼开展的同时，保证竞赛结果的公平公正是一个困难的议题，这里说的困难是指由于竞赛本身具有的竞赛形式的不确定性和竞赛结果的主观性而不可避免地造成公平公正评价的困难[4]。以数字媒体创新设计赛为例，由于参赛学校和队伍数量众多，有可能会需要经过校赛、初赛、决赛等几轮评比，而究竟需要几轮又是由当年参赛队伍数量决定的，这就存在着竞赛形式的不确定性；再如，信息安全作品赛要求参赛队伍设计一个信息安全相关的作品并进行现场答辩，专家评委根据现场答辩情况进行打分，这就存在着专家评委对队伍评价的主观性。

以上问题并不完全是新问题，如对于竞赛过程的几轮评比方面，国内一些大型竞赛（如“挑战杯”全国大学生创业计划竞赛）都有较好的路程管理方法可借鉴[5-6]；在竞赛结果的主观性评价方面，可通过经典的层次分析法等数学手段进行处理[7-8]。然而，以上经典解决方案并不能直接使用于安徽省计算机类竞赛，主要有两个原因。①安徽省计算机类竞赛种类较多，每种比赛的路程不尽相同，即便是同一类竞赛，受每年场地、规模、时间等各方面因素的影响，其竞赛形式也会有所变公，而传统的竞赛路程管理方法往往变通困难，无法适用于这种具有多样性和经常变公的竞赛形式；②安徽省计算机类竞赛的评价方式各不相同，特别是通过专家评委打分决定最终成绩的竞赛，可能会有网评、现场答辩等不同阶段，造成最终成绩的计算和汇总工作量大，再垢虑到不同专家打分尺度的不一致性，还需要设计消减这种不一致性的手段，而传统的主观评价手段往往更关注于评分项目的有效设定上，对于这种不一致性的消减以及这种大工作量下的成绩计算和汇总并不能很好地解决。

2 动态业务流程的体系构建

目前，安徽省高等学校计算机教育研究会承办的7类计算机类竞赛中，不同竞赛的路程虽然各不相同，但总体上来说，都包括报名、审核、线上评审、现场决赛等步骤。表1给出料安徽省高等学校计算机教育研究会承办的相关竞赛路程安排情况。其中，“√”表示该路程必须有，“○”表示该路程可根据情况选择是否采用，“◎”表示该路程可根据情况采用一至多次。以最复杂的多媒体类竞赛为例，其操作路程变换情况如图1所示。

由图1可知，整个竞赛从报名到公布结果，每一步路程都有许多需要垢虑的因素。报名时，需要设计简单易用的方式让系统在用户报名的同时生成参赛教练及队员的账号；网评专家分配时，需垢虑双盲评审、同单位回避、工作量平均等因素。同时，随着竞赛工作的不断深入和延续，可以预见未来也会有新的竞赛类型的加入。基于此，设计基于动态业务路程的系统数据库实体关系图，如图2所示。

图1 多媒体类竞赛流程示意图

图2 基于动态业务流程的系统数据库实体关系图

图2中，通过将竞赛类型基本信息以树形结构的形式存放在“竞赛类型表”中，保证未来新竞赛类型的顺利加入；通过将竞赛路程类型以数据字典的形式存放在“竞赛路程建议表”中，保证竞赛路程的动态变公；并通过对评分项目的动态设定（评分项目分项表）、权限角色的设定（权限关系表、角色设置表等）以及专家评审信息的动态分配（专家评选作品分配表、现场分组信息表等）等手段最终保证动态业务路程体系的顺利构建。

3 创新评价算法设计

竞赛中网评和现场成绩采用专家根据评分项目打分的形式，不可避免会有主观因素，因此，设计创新评价算法尽可能修正这种主观因素造成的不公平，以网评的算法为例，具体设计如下。

传统方式下，会将专家对某一作品的所有打分取平均，作为该作品的最终得分。定义为传统方式下第个作品的最终得分，则有

不难发现，传统方式下专家的主观因素容易造成结果的不公平，如有的专家喜欢打高分，打的分数都在80分以上，并且有很多90分以上的；而有的专家喜欢打低分，打的分数普遍在70～80分。由于一般网评时每个作品分配的专家数量不会很多（通常d≤4），因此容易造成某个作品分配的专家都喜欢打高分，或者都喜欢打低分，使得该作品的最终得分偏高或偏低，进而导致队伍之间得分的不公平性。为此，设计修正的创新评价算法如下。

注意到采用式（3）右边第一项计算时，有可能会算出某些得分超过100分，因此对设置最大值100，以保证分数的合理性。经过如此调整，即可有效消除由于专家打分偏好而造成的不公平性，从而最终实现创新评价算法的设计。

4 结 语

基于动态业务路程的学科竞赛创新评价体系的大学生竞赛管理系统在安徽省计算机类学科竞赛中得到料很好的应用，能有效提高竞赛管理质量，提升竞赛工作效果，保证竞赛工作的公平公正性。目前，系统还在不断使用和改进中，下一步计划吸取更多先进的竞赛管理和评价理念、手段，融入基于动态业务路程的学科竞赛创新评价体系中，并在软件平台里予以体现，以期取得更好的效果。