基于路径的模拟仿真设备操作考试自动评分方法

向洪標 侯劲 袁天宝

摘要：在对模拟仿真设备操作的考试过程中，学员的操作顺序多样性较高，会产生多种评判路径。为提高模拟仿真设备实操考核评分的准确性，通过对检定实体设备的操作流程进行分析，结合人工评分的思路，采用一种基于操作路径的动态规划评分方法。通过对操作路径进行分析和预处理，结合路径最大匹配算法，实现对模拟仿真设备操作分步评判的自动评分。经实验验证，该自动评分算法对模拟仿真设备具有适用性，能客观反映学员对操作流程的掌握情况。

关键词：模拟仿真设备；实操考核；动态规划；匹配算法；自动评分

中图分类号：TP311      文献标识码：A

文章编号：1009-3044（2023）31-0067-04

开放科学（资源服务）标识码（OSID）

0 引言

近年来，随着智能化和互联网技术的不断发展，各行各业也纷纷转型升级，模拟仿真技术在教育、培训等领域的应用也越来越广泛，模拟仿真设备在逻辑上完全能够实现实体设备的所有功能，并且能够接替实践教学中的任务[1-3]。在检定设备实操考核培训领域中，由于检定设备昂贵且不易搬运，学员需要亲自前往现场进行实操考核，评委老师根据学员的操作熟练度和有效性进行现场打分。这种传统的培训考核方式不仅成本高、效率低，而且在遭遇不可抗力因素如自然灾害等情况时，考核也会因无法如期举行而被迫取消。为了解决这一问题，本文提出了一种利用模拟仿真设备的线上考核方案，旨在降低培训考核成本、提高效率、保证考核顺利举行，并培养出高素质的检定人员[4-7]。

目前针对主观题常见的评分方法有基于专家系统判定法、基于操作目标判定法、基于序列匹配判定法等。文献[8]是基于模糊专家系统的评分算法，它需要庞大的数据库系统提供支持，且应用于特定的对象，不具有普遍适用性；文献[9]针对编程题进行评分，此类操作目标的评分算法是根据程序的运行结果进行评分，它具有不能判定程序步骤是否正确的局限性；文献[10]是基于序列匹配的评分算法，它依据操作序列进行评分，适应于多数的操作考试中，但存在如果前面部分的操作错误，后面部分的操作依然会进入评判中的问题。

本文对模拟仿真设备自动评分中存在的问题进行了研究，采用一种基于操作路径的评分方法，结合路径最大匹配的算法，对实操考试过程中随机操作路径的有效操作进行筛选，并使用分步评分，实现对操作路径的评判。

1 操作路径的定义

将操作路径定义为：由一系列操作行为随时间串联成的顺序组合，用操作集{M1，M2，...，MI，m1，m2，...，mi}表示，其中MI和mi分别表示第i步有效操作和无效操作。

一次考核任务通常会有多种操作路径，这些操作路径都是正确的，将正确的操作路径集合作为评判路径集。通过对实际考核操作中可能存在的各种的情况进行归纳总结，现对操作事件作如下分类：

1） 有效操作。在操作路径中作为判分依据的操作。

2） 无效操作。在操作路径中不应该出现的操作，会对结果产生坏的影响。

3） 漏操作。在操作路径中未执行的有效操作。

4） 无关操作。此类操作对考核结果不会产生影响并可重复出现。

对操作路径作如下分类：

1） 串联路径。该操作路径中的各个操作步骤须严格按照顺序执行。

2） 并联路径。该操作路径中的操作步骤不分先后，执行即可。

2 操作流程分析和评分方法及数据库设计

2.1 操作流程分析

本文选择以检定功率计为例，通过梳理总结得出在进行模拟仿真设备操作考核时的主要步骤。

1） 测量点位选择：根据被测设备选择合适的测量点位。

2） 测量接口选择：根据标准和待测设备选择需要测试的接口。

3） 线缆选择：根据标准和待测设备选择相应的线缆。

4） 仪器接口连接：将选择的线缆连接好测量设备的相应接口。

5） 操作设备：打开仪器电源，进行置零和校准，输入测量点等。

6） 读数并记录：读取并记录标准设备中的数据。

7） 整理設备：关闭仪器电源，取下线缆。

8） 提交考核过程并由系统评分。

常见的考试评分系统一般不需要记录操作过程，直接通过答题的结果即可进行给分，如作文评分系统，编程题评分系统等，但在本次业务需求中涉及复杂的设备操作，评分的关键恰恰在于操作的正确性，所以不仅要记录操作过程还要记录得到的结果，最后结合两者进行给分。

2.2 评分方法设计

通过上面对操作事件的分类和操作流程的分析得出，操作路径具有很强的随机性，里面可能充斥着各种干扰操作事件，这些都会对评分产生影响，通过归纳总结本文整理出以下评分方法。

1） 操作路径预处理

由于实际操作路径中可能存在各种不确定的操作，针对操作路径中存在的一些无关操作，在系统评分之前需要进行一次操作路径的清洗，去除掉那些没有参考价值的操作，筛选出一套有效的操作路径。

2） 路径相似度匹配

对操作路径进行预处理后，通过路径相似度匹配算法，从标准操作集中找出最大匹配的标准操作路径。

3） 分步评分

实操考核不能简单地通过结果正确或者错误进行评判，这样并不能反映一个学员的操作水平。按步骤给分能够合理地反映出学员的水平，以及对各个操作考核的掌握情况。

4） 两个评价指标

①操作顺序：按操作路径匹配，分为严格按操作顺序匹配和自由匹配。

②设备状态：完成操作任务后判断模拟仿真设备仪表的显示状态是否正确。

2.3 数据库设计

模拟仿真设备的正常运行离不开数据的支撑，设备信息、考核人员的信息、分数信息、设备仪表的状态，和操作路径都需要数据库对其进行存储，因此数据库的设计起到非常关键的作用。数据库各表信息及关系如图1所示。

3 评分方法实现

3.1 操作路径预处理

系统接收到产生的操作路径后，并不能直接进行匹配，因为原始数据可能包含着许多干扰操作，这些干扰操作会导致评分难度加大以及评分不准确。比如在单位选择操作中，如果学员不断切换多选框中单位选项，最后再确定为其中一个单位，那么切换过程中选择其他单位选项所产生的操作路径就会对评分产生干扰。所以预处理的目的就是进行数据清洗，清除掉操作路径中的干扰操作事件，保留有效的操作事件。

操作路径预处理的思想为将操作事件以对应的特定标识字符赋予两种状态（0：无效操作事件；1：有效操作事件），1） 如果标准操作流程中不存在重复操作，那么将用户操作路径中重复某一操作事件的操作路径最后一个字符设置为1状态，即有效操作事件；2） 对于在多选框选项连续操作时，将其构成的操作路径最后一个字符设置为1。假设将操作路径用不同数字表示，根据上面对操作路径的处理规则，假设一组实际的操作路径为：“1→2→2→3→4→5-2→5-1→5-3”（1、2、3、4分别表示不同操作事件，5-1、5-2、5-3分别表示同一操作事件的不同选项），经过预处理后得到的路径为：“1→2→3→4→5-3”其处理效果如图2所示（其中深色表示状态1；浅色代表状态0）。

3.2 路径相似度匹配

路径相似度的计算是将预处理后的操作路径与数据库中的标准路径集进行匹配的过程。本次设计采用的是编辑距离算法，一种动态规划的方法，编辑距离是指将原字符串通过字符插入，删除和替换转化为目标字符串的最小编辑次数，再根据编辑次数得出两者的相似度。

编辑距离算法的计算法则为：假设有一个长度为i的字符串S，以及一个长度为j的字符串T，然后利用[edit（i，j）]函数来表示两个字符串之间的编辑距离。

1） 如果i=0且j＞0，定义以下的公式（1） ：

[edit（0，j）=j] （1）

表示字符串S的长度为0，字符串T的长度为多少，就做多少次编辑操作。

2） 如果i＞0且j=0，定义以下的公式（2） ：

[edit（i，0）=i]     （2）

表示字符串T的长度为0，字符串S的长度为多少，就做多少次编辑操作。

3） 如果0＜i≤1且0＜j≤1，定义以下的公式（3） ：

[edit（i，j）=min{edit（i-1，j）+1，edit（i，j-1）+1，edit（i-1，j-1）+a（i，j）}]  （3）

式中，如果字符串S的第i个字符等于字符串T的第j个字符，那么[a（i，j）]=0，否则[a（i，j）=1]。

最后根据得出的编辑距離[edit（i，j）]，定义以下计算相似度[α]的公式（4） ：

[α=1-edit（i，j）Max（i，j）]    （4）

在公式（4） 中Max表示取得的最大长度值。

3.3 分步评分

从传统的阅卷角度分析，分步评分更能确保考试结果的合理性。本次设计的模拟仿真设备实操考核系统，根据考核要求尽可能实现了同实体设备同样的操作逻辑。在操作流程分析中提到的七个主要步骤便是分步评分的依据。通过预处理后的操作路径和路径最大匹配算法得到的标准操作路径之间的比对进行评分，构造的评分模型（5） 如下：

[score=i=1，j=13αiβj+i=47αij=4iβj] ;  （5）

式中score表示本项实操考核的总分数，0≤score≤100；[αi]表示第i步所占的分值，[βj]表示第j步操作是否为有效操作，如果是[βj=1]，否则[βj=0]；[j=4iβj]表示历史操作路径的正确性，如果第j步是错误的，但是第j步之前的操作都是正确的，那么总分为第j步之前所有步骤分值的总和，第j步以及之后的操作都为0分。通过对操作流程的分析发现，有的步骤是需要严格按照顺序执行，否则不得分，但是有的操作步骤则与顺序无关，执行了即可。通过归纳总结发现前三步关于对测量点位、测量接口、线缆的选择不必按照顺序执行，但之后的操作需要，所以构造的模型对两部分操作流程分别实施一套评判逻辑，最后总分为两者分数之和。公式（5） 中各个变量的具体值如表1所示。

[α5]表示第5步仪器操作的得分，该操作为总操作路径下的子路径，且应该按照顺序执行，所以定义公式（6） 如下：

[α5=i=1nγij=1iρi]   （6）

式中[γi]表示第i步的分值，[ρi]表示第j步的正确性，如果正确则[ρi]=1，否则[ρi]=0。式中各个变量的具体值如表2所示。

4 系统实现及测试

系统使用前端Vue框架和后端Go语言实现开发。用户完成一整套操作路径，提交试卷之后，系统便将获取到的数据通过本文设计的基于操作路径的自动评分方法进行判分。接下来以考核任务中一项操作路径为例，说明本次开发的模拟仿真设备考试系统自动评分如何实现并展示模拟仿真设备部分页面。

第1步，打开仪器电源进行复位、置零、校准等操作。

第2步，根据操作结果，依据评分算法计算分值。

第3步，通过观察检定的模拟仿真设备选择合适的端口和线缆。

第4步，根据选择结果，依据评分算法计算分值。

第5步，设置信号源频率值和幅值，并确定操作。

第6步，根据设置结果，依据评分算法计算分值。

第7步，记录标准功率计中得出的数值，如图3所示。

第8步，根据页面显示结果，依据评分算法计算分值。

第9步，计算出该项操作路径的总分值。

以上述的一项按顺序操作任务为例，将本文设计的基于操作路径评分算法与基于序列匹配算法作比较。假设该项标准操作路径为A，B，C，D，E，F，而用户操作路径经过预处理后为A，B，C，D，F，E，每步操作分值为1分。使用两种评分算法进行分析，如表3、表4 所示。

通过上面两张表可知基于序列匹配的评分方法得分较高，因为只要执行了评判标准集中的操作步骤即可给分，并未考虑操作顺序的影响，而本文采用的基于操作路径的评分算法，操作步骤和操作步骤的顺序都成为评分的依据，通过了解某单位实操考核时人工的评分规则，基于操作路径评分方式更能合理反映出学员的操作水平。

5 结束语

本文针对实操培训考核的需求，对考核流程进行了分析，设计了一种基于操作路径的分步评分方法，完成了对操作路径和结果的评判。该方法经过实验论证确实可行，已经在所开发的模拟仿真设备操作考试自动评分系统中得以应用，并取得了良好的效果。

参考文献：

[1] 陈卓艳，仇丽青.基于在线开放课程+OJ的程序设计类课程教学模式探索与实践[J].软件，2020，41（4）：282-285.

[2] 张美娟，刘军，陈艳，等.基于课程训练的在线评测系统的研究[J].信息技术与信息化，2019（9）：163-165.

[3] 薄钧戈，乔亚男，齐琪，等.基于编辑距离的自适应反馈程序评测方法[J].计算机技术与发展，2022，32（8）：135-141.

[4] 熊宗杨，薛学斌，王欣，等.基于过程化考核的在线考试系统的研究与实现[J].重庆师范大学学报（自然科学版），2018，35（6）：75-81.

[5] 肖灵云，刘军库.基于相似度组合的主观题评分方法研究[J].贵州大学学报（自然科学版），2021，38（5）：64-68.

[6] 王力洪.基于关键字和序列匹配的自动评分算法的研究[J].福建电脑，2015，31（12）：10-12.

[7] 李建华，许芝卉.基于人工评分思路的C语言自动评分算法研究[J].山西大同大学学报（自然科学版），2020，36（2）：25-27.

[8] 乔程程，楚纪正.基于模糊专家系统的操作评价方法[J].计算机与现代化，2013（10）：163-166.

[9] 宗德才.操作题自动评分系统的设计与实现[J].计算机工程与设计，2010，31（5）：1156-1160.

[10] 郭培，高俊雄，王耘波.基于序列匹配的自动评分算法设计[J].计算机应用，2011，31（S2）：78-80.

【通聯编辑：谢媛媛】