SMSC型轮机模拟器实操训练的自动评分方法及实现

仇光伟 胡以怀 郭晓亮

摘要：为更好地提高现有轮机模拟器实操评分的准确性，参考国内轮机模拟器自动评分系统的原理，提出一种多级模糊综合评价方法。该方法依据中华人民共和国海事局在《海船船员适任考试与评估大纲》中规定的实操技能要求，建立评价指标体系。使用层次分析法（analytic hierarchy process，AHP）确定各指标权重，选择适宜的隶属度函数模型确定各指标的隶属度。实时采集船员在实操训练过程中产生的数据，依据专家系统进行模糊评价。经专家验证取得了理想的结果。模型提高了实操评分的准确性、公正性及其评价效率，可为海事部门的考核提供有力的支撑。

关键词： 轮机模拟器; 实操训练; 自动评分; 多级模糊综合评价; 层次分析法（AHP）

中图分类号： U676.2    文献标志码： A

Automatic scoring method and realization of SMSC marine engine

room simulator practical training

QIU Guangwei， HU Yihuai， GUO Xiaoliang

（Merchant Marine College， Shanghai Maritime University， Shanghai 201306， China）

Abstract： In order to improve the accuracy of practical training scoring of existing marine engine room simulators， referring to the principle of the domestic marine engine room simulator automatic scoring system， a multi-level fuzzy comprehensive evaluation method is proposed. In the method， an evaluation index system is established based on the practical operational skill requirements stipulated by the Maritime Safety Administration of the Peoples Republic of China in the Shipboard Crews Qualification Examination and Assessment Outline. The analytic hierarchy process （ AHP） is used to determine the weight of each index， and the appropriate membership function model is selected to determine the membership degree of each index. The data produced by the crew in the practical training process are collected in real time， and the fuzzy evaluation is performed according to the expert system. The ideal result is obtained by expert verification. The model improves the accuracy， fairness and evaluation efficiency of the practical training scoring， and can provide strong support for the assessment of maritime departments.

Key words： marine engine room simulator; practical training; automatic scoring; multi-level fuzzy comprehensive evaluation; analytic hierarchy process （AHP）

0 引 言

據交通运输部新闻办公室发布的《2017年中国船员发展报告》显示，截至2017年底我国共有注册船员148.3万余人，其中海船船员70.9万余人。在船员队伍总体保持稳定增长的同时，现代船舶也在向着大型化、专业化的方向发展，这对船员的管理水平和实操水平提出了更高的要求[1-2]。

为避免船员实操人工评估的主观性、延时性，需要设计轮机模拟器的自动评分系统。目前自动评估算法包括：基于专家系统评分规则的模糊评估算法[2]、采用专家评价法和统计评判法定权的模糊综合评价法[3]、分解综合法结合模糊综合法[4]、采用专家综合测评方式定权的模糊综合评价法[5]等。每种方法都有自己的优劣，虽然框架各异，但其核心问题均为怎样合理地确定各因素的权重和隶属度。本文考虑各类方法的优点和局限性，提出使用专家经验法与层次分析法（analytic hierarchy process，AHP）相结合确定权重，将合适的三角形、梯形、半梯形隶属度函数相结合确定隶属度，严格按照海事局相关规定对隶属度函数的参数进行修正，采用多级模糊综合评价模型得到最终分数，并通过实例进行验证。

现基于上海海事大学现有的轮机模拟器提出自动评分的总体思路，利用WPF框架和C#语言开发试题模块用于实现实操考试的自动评估。

1 实操评估系统设计

ERM轮机模拟器系统的运行管理是通过教练员台进行的，教员通过教员机对整个ERM轮机模拟器进行监管，教员通过输入命令可方便地控制仿真工作站运行及培训的项目。仿真系统的运行管理包括运行控制功能、参数设置功能、系统自检功能、教学演绎功能、报警监视功能等。实操评估系统结构体系见图1。

模拟器运行条件设置功能主要包括参数设置功能、故障设置功能、仿真科目设置功能等。参数设置功能主要用于船舶ERM轮机模拟器仿真环境的设置，包括外部参数设置、外部参数缺省设置和初始状态参数选择与管理。教员可通过教员机给各仿真子系统设置多种故障，设置方式包括单个故障分别设置和一系列故障同时设置。教员可通过教员机设置不同的仿真培训科目，使学员进行指定科目的操作。

试题管理模块用于完成试题的输入、编辑和删除，设置试题的类别和难度系数。为保证试题数据库中相关数据的完整性和一致性，本模块只有在特殊情况下才对用户开放。所有试题只有通过硬件实操或软件人机界面实操的形式才能进行解答。

实操答题可以在学员机或工作站上进行，一般情况下在学员机上进行正式考核评估前的操作训练，在工作站上实施正式考核评估。学员通过身份验证后即可进入评估环节。进入实操答题状态后，实操答题模块自动设置或修改相关参数进入试题的初始状态。答题次序可以任意选择，在规定的答题时间内可以重新解答已答试题，以最后一次的答案为准。如果学员在试卷规定的时间内答完全部试题，而且提交了试卷（系统询问3次是否交卷），则本次考核结束;如果学员在试卷规定的时间内未能答完全部试题，则实操答题模块自动终止答题状态，本次考核结束。

考核结束后，系统根据保存在答题结果数据中的实操动作、实操步骤和耗用时间等因素进行自动评分，实操答题模块通过网络通信程序将实操答题结果数据传输至成绩管理模块，并将考核成绩保存在教员机数据库中。

实操评估流程见图2。

2 实操训练的自动评估算法

轮机模拟器实操考试评分过程涉及的影响因素较多，考官通常作定性分析，带有很大的主观性和随意性，对各步骤权重的给定存在较大的差异，对同一问题的评价因人而异。因此，实操评估具有模糊性，内涵明确、外延不明确，即“亦此亦彼性”。模糊综合评价是模糊系统分析的基本方法之一，在软科学等领域有着广泛的应用[6]。

美国自动控制论专家L.A. ZADEH于1965年在《信息与控制》杂志上发表论文《模糊集》，标志着模糊数学的诞生。模糊数学研究的核心问题是事物划分的不确定性，难点在于怎样根据实际情况合理地选取模糊集合的隶属度函数，进而确定隶属度。

模糊综合评价法是利用模糊集理论进行智能评估的一种方法[6-7]。其理论基础是模糊变换，变换的实质为论域的转换。设U={x1，x2，…，xn}，V={y1，y2，…，yn}为有限论域，A是U上的一个模糊向量，R是U×V上的一个模糊矩阵，那么AR是两个模糊矩阵的合成，R的作用为模糊变换，将论域U上的模糊集变为论域V上的模糊集。“ ”表示模糊综合评价算子，研究发现进行模糊综合评价时模糊算子非常重要，在实际应用中选取不同的模糊算子会得到不同的评价结果，算子选择的不恰当有时可能导致模糊综合评价不能正常进行[8]。

根据评价对象的影响因素是否处于同一层次，模糊综合评价模型可分为一级模糊综合评价模型和多级模糊综合评价模型。

2.1.1 一级模糊综合评价模型

模糊综合评价首先要确定因素集U={u1，u2，…，un}和评语集V={v1，v2，…，vm}，当n个因素属于同一层次时称其为一级综合评价，大致有以下5个环节。

（1）单因素评价。将某因素ui的评价结果记为ri=（ri1，ri2，…，rim），且0≤rij≤1，j=1，2，…，m。rij表示评价对象的因素ui隶属于评语vj的程度，即隶属度。将评价指标数量化，就可以建立隶属度函数，进而精确地计算不同指标下的隶属度。

（2）建立综合评价矩阵。所有的评价结果rij构成综合评价矩阵R，即R=r11r12…r1m

r21r22…r2m

rn1rn2…rnm

（1）  （3）确定权重集。因素集U中各因素相对于评价对象的重要程度通常不同，权重强调的是因素或指标的相对重要程度。权重集对于评价的结果非常重要，合适的权重会使评价结果更加科学。为克服主观因素的影响，本文采用AHP进行定权。一般设权重向量为A=（a1，a2，…，an），且ni=1ai=1。

（4）模糊变换。设R∈F（U×V），A∈F（U），由模糊变换得到综合评价B =AR = （a1，a2，…，an）r11r12…r1m

r21r22…r2m

rn1rn2…rnm=

（b1，b2，…，bm）∈F（V）

（2）采用M（+，·）算子，则式（2）变为bj=ni=1（airij）， j=1，2，…，m

（3）这种算子就是加权平均模型，它能充分利用一切信息，是相对理想的一种算子[6]。

（5）综合评价。通常采用3种方法，即模糊分步法、最大隶属原则和加权平均法。加权平均法以隶属度bj为权系数，计算评语集的加权平均值进行评价，即v=mj=1bjvjmj=1bj

（4）2.1.2 多级模糊综合评价模型

此模型用于处理评价过程涉及的影响因素较多、各评价指标权重不易分配的情况，它是在一级模糊综合评价的基础上建立起来的。轮机模拟器实操评估符合此模型使用條件。

以轮机模拟器实操为例，通常考核有4部分内容，见图3。

由于考核項目较多，所以将实操分为冷船启动、备车操作、应急操作和设备与系统故障分析与排除等4大类，每一大类可细分为若干小类，每一小类又由若干操作组成。评估项目的组题办法是：冷船启动部分抽取1题，备车操作部分抽取1题，应急操作部分抽取1题，设备与系统故障分析与排除部分抽取2题，组成一套评估试卷。一套评估题目总分100分，获得80分及以上才能算作及格[9]。根据评

估规范，先对每一小类进行综合评价，将评价结果看成上一级的一个单因素评价，再将这4大类项目看成4个因素并赋予权重向量A，进行第二级综合评价。模型如下：C=AR=AA1R1

A2R2

A3R3

A4R4=AB1

B2

B3

B4=

A（bij）4×m

（5）式中：Bi为第i大类评估项目的评价结果，i=1，2，3，4;C为最后的综合评价结果。

2.2 AHP确定权重

权重的确定有主观方法、客观方法和主客观结合方法，常用的有专家估测法[10]、模糊关系方程法[11]、客观定权法[12]和AHP。

AHP是将与决策有关的元素分解为目标、准则、方案等层次，在此基础上进行定性和定量分析的决策方法[13-17]。它能客观地描述人们对模糊问题的主观判断，主要有以下3步。

步骤1 确定因素集。分析评价对象所有的影响因素，评价指标可以通过因子分析法[18]得出，进而得到因素集U={u1，u2，…，un}。

步骤2 构建判断矩阵。令uij表示ui相对于uj的重要程度，由表1得判断矩阵：P=u11u12…u1n

u21u22…u2n

un1un2…unn

步骤3 计算判断矩阵的特征值和特征向量。根据研究对象的精度要求常常采用方根法或和积法，本文使用和积法。首先将矩阵P的每一列归一化、正规化、按行相加：uij=uijnk=1ukj （i，j=1，2，…，n）

（6）

Wi=nj=1uij （i=1，2，…，n）

（7）然后对W=（W1，W2，…，Wn）T正规化得特征向量W=（W1，W2，…，Wn）T，计算最大特征值：λmax=1nni=1（PW）iWi

（8）最后进行一致性检验：RC=IC/IR

（9）

IC=1n-1（λmax-n）

（10）式中：RC为随机一致性比例;IC为一致性指标;IR为平均随机一致性指标，IR值见表2。当RC<0.1时，证明权重分配是合理的。

3 实例分析

本文以冷船启动（瘫船启动）项目中主发电机操作为例。首先建立评估指标体系（图4），然后利用AHP分别算出一级和二级指标的权重，参考《中华人民共和国海船船员适任评估规范》（以下简称《评估规范》）确立评估要素及标准，设定相应操作的权重，选择合适的隶属度函数，进而得到模糊关系矩阵R，最后根据二级模糊综合评价模型打分。

3.1 评估指标体系

主发电机操作分为4个一级指标（U1，U2，U3，U4），每个一级指标下又分为若干二级指标（u11，u12，u13，…，u44）。

3.2 评价指标权重

按照第2.2节所述的AHP并参考专家意见，确定一级指标判断矩阵P：

U1  U2 U3 U4

P=1566

1/5132

1/61/311

1/61/211 U1

U2

U3

U4

由式（6）和（7）得特征向量W=（0.633，0.187，0.087，0.093）T，由式（8）得特征值λmax=4.082，由式（10）得IC=0.027 3，查表2得IR=0.90，由式（9）得RC=0.03<0.10。计算表明判断矩阵具有满意的一致性，即W=（0.633，0.187，0.087，0.093）T可以作为权重向量。

实操中有些步骤是关键步骤，因此所占权重比较大，由AHP结合专家法可得二级指标判断矩阵Pi（i=1，2，3，4）：

u11 u12 u13  u14

P1=11/31/41/3

311/21

4211/2

3121 u11

u12

u13

u14

u21 u22 u23 u24

P2=1557

1/5113

1/5113

1/71/31/31 u21

u22

u23

u24

u31 u32 u33 u34

P3=1257

1/2145

1/51/415

1/71/51/51 u31

u32

u33

u34

u41 u42 u43 u44

P4=1357

1/3157

1/51/517

1/71/71/71 u41

u42

u43

u44

其权重向量分别为（0.088，0.248，0.317，0.347）T，（0.628，0.154，0.154，0.064）T，（0.501，0.308，0.139，0.052）T，（0.514，0.299，0.143，0.044）T。

3.3 隸属度函数

为得到一级指标Ui（i=1，2，3，4）的评价矩阵，需要建立对应的二级指标的模糊关系矩阵R，即确定评价集和因素集，并确定对应的隶属度。以U1为例，对于u1i（i=1，2，3，4），影响得分的因素可以分为评估耗时、误操作步骤数、操作顺序和操作结果完成度等4类，由此建立因素集E={e1，e2，e3，e4}。依据《评估规范》建立评价集V={v1，v2，v3，v4，v5}，其中v1、v2、v3、v4和v5分别对应非常熟练、比较熟练、操作一般、勉强完成和无法完成等5个评价等级，对应分数依次为20、16、12、8和4。

通常采用隶属度函数确定隶属度。由于每个人看待问题的角度不同，所以面对同一个模糊集会建立不同的隶属度函数，也就是说模糊集的隶属度函数不是唯一的[5]。隶属度函数需要根据专家经验确立，并在实践中进行修正。本文根据评估考试的特点选择经典的半梯形、梯形、三角形分布作为隶属度函数，并根据因素ei（i=1，2，3，4）确认5个评价等级的隶属度函数。根据实操过程中采集的数据以及采用的隶属度函数会得出相应步骤的隶属度rij，进而建立模糊关系矩阵R。

系统对每项操作都设置有参考时间T（表示完成此项操作的时间上限），实际操作耗时越少成绩越高。设考生实际操作耗时为t，令τ=t/T，根据专家意见以τ为自变量建立每个评价等级的隶属度函数。

每项操作步骤吻合程度包括误操作步骤数和操作顺序两个方面。误操作步骤数指实际操作步骤数与标准操作步骤数之间的差值，包括多操作和漏操作两种。例如某一项目有10步操作，将考生实际操作步骤数与数据库进行匹配，发现该生只完成了其中的8步，属于漏操作，则误操作步骤数为2。设标准操作步骤数为N，实际操作步骤数为C，定义误操作指数Ф=N-C/N，Ф越小表示操作步骤吻合度越高，评价等级越高。根据专家意见以Ф为自变量建立每个评价等级的隶属度函数。设实际操作顺序错误步骤数为n，标准操作步骤数为N，定义参数Ψi=Ni/12（i=0，1，3，5，7），根据专家意见以Ψi为自变量的分段点建立每个评价等级的隶属度函数，将n与Ψi比较确定区间，最后由函数关系得到隶属度。

操作结果完成度是比较明确的，只有成功和失败两个结果，即完成度只有0和1两个值。实操中的关键步骤是否达到要求可以通过此因素来衡量。由专家经验法确定e1、e2、e3、e4的权重，对应的权重向量为A=（a1，a2，a3，a4）=（0.25，0.20，0.20，0.35）。可知e4所占权重较大，关键步骤未完成会直接影响最后的得分。

由以上分析得到表3。

3.4 二级指标的模糊关系矩阵

在机旁启动（U2）评估中，某位考生成功将控制屏上的操纵位置转换开关置于机旁“LOCAL”位置，成功启动预润滑油泵但没有把油门放在“STOP”位置，成功打开示功阀和启动空气阀但没有打开机旁启动控制空气阀，最后成功进行冲车，操作总用时为2 min，参考用时5 min。由第3.3节可知，τ=0.4，Ф=0.286，n=0，N=7，由此建立模糊关系矩阵：

v1  v2  v3  v4 v5

R21 =01000

00.140.8600

10000

10000 e1

e2

e3

e4

由式（2）和（3）得B21=A R21=（0.550，0.278，0.172，0，0）。同理，根据此考生的操作数据（表4）可得到R11，R12，…，R44，进而得到B11，B12，…，B44。R1 = B11

B12

B13

B14 = 1.0000000

0.2000.0800.5200.2000

0.1250.4500.1340.0660

1.0000000

R2 = B21

B22

B23

B24 = 0.5500.2780.17200

1.0000000

0.5500.2500.20000

1.0000000

R3 = B31

B32

B33

B34 = 0.4500.3500.1000.1000

1.0000000

1.0000000

1.0000000

R4 = B41

B42

B43

B44 = 1.0000000

0.4000.05000.3500.200

1.0000000

00.3800.5800.0400由各项二级指标的权重向量进行模糊变换：Bi=WiRi （i=1，2，3，4）归一化后得到B1=（0.565，0.175，0.184，0.076，0）T，B2=（0.648，0.213，0.139，0，0）T，B3=（0.725，0.175，0.050，0.050，0）T，B4=（0.598，0.254，0.020，0.082，0.046）T。

3.5 综合评价

通过二级指标的模糊评价矩阵Ri（i=1，2，3，4）计算一级指标的模糊评价矩阵R：

R=（B1，B2，B3，B4）T=

0.5650.1750.1840.0760

0.6480.2130.13900

0.7250.1750.0500.0500

0.5980.2540.0200.0820.046

由式（5）得总体模糊评价结果B：B=WR=（0.633，0.187，0.087，0.093）T

0.5650.1750.1840.0760

0.6480.2130.13900

0.7250.1750.0500.0500

0.5980.2540.0200.0820.046=

（0.598，0.436，0.149，0.060，0.046）正规化得B=（0.464，0.338，0.116，0.046，0.036），由式（4）和各等级对应的分数得v=mj=1bjvjmj=1bj=16.592  模糊评价结果表明，该考生瘫船启动中主发电机启动运行项目的综合评分为16.592，属于操作“比较熟练”。根据多位专家的打分，认为该成绩处于合理范围，予以采用。评估成绩界面见图5。

4 结束语

本文根据上海海事大学SMSC型轮机模拟器设计了实操评估考核的基本流程，严格按照《评估规范》的要求，提出一种多级模糊综合评价方法，采用专家法和层次分析法确定各级权重。在隶属度函数的确定方面，本文采用三角形、梯形、半梯形隶属度函数相结合的方式，并且提出一些新的参数概念，以此作为划分定义域的节点，实践证明其具有合理性，能够反映考生的真实情况并给出公正合理的成绩。模糊综合评价法的难点依然是权重的确定和隶属度函数的确定，只能通过大量的数据进行分析并不断地进行完善。近年来智能算法成为热门的话题，常用来解决工程中的最优化问题，将其应用在隶属度函数的形式和相关参数的选择上是下一步研究工作的重点。

参考文献：

[1] 贾宝柱， 林叶锦， 曹辉， 等. 轮机模拟器中机舱资源管理培训及评估功能[J]. 中国航海， 2013， 36（3）： 28-33.

[2] 张巧芬， 孙建波， 史成军， 等. 新型轮机仿真平台实操考试自动评估算法[J]. 哈尔滨工程大学学报， 2014， 35（6）： 725-730. DOI： 10.3969/j.issn.1006-7043.201304033.

[3] 聂伟， 巫影， 夏极. 船舶动力系统模拟器自动评分系统的设计与实现[J]. 船海工程， 2010， 39（4）： 84-87. DOI： 10.3963/j.issn.1671-7953.2010.04.027.

[4] 聂伟， 巫影， 胡大斌， 等. 轮机模拟器考核自动评分算法研究[J]. 武汉理工大学学报（交通科学与工程版）， 2013， 37（4）： 834-838. DOI： 10.3963/j.issn.2095-3844.2013.04.039.

[5] 曹辉， 马玉鑫， 贾宝柱. 基于模糊综合评价的轮机模拟器智能评估系统[J]. 大连海事大学学报， 2015， 41（1）： 104-108. DOI： 10.16411/j.cnki.issn1006-7736.2015.01.019.

[6] 李希灿. 模糊数学方法及应用[M]. 北京： 化学工业出版社， 2017： 1-2.

[7] 杨国豪， 徐轶群， 林荣模. 基于模糊评价的船舶能耗评估[J]. 中国航海， 2011， 34（4）： 22-25.

[8] 张倩， 王学平. 模糊综合评价中几类模糊算子的比较[J]. 模糊系统与数学， 2016， 30（3）： 165-171.

[9] 中华人民共和国海事局. 中华人民共和国海船船员适任评估规范[M]. 大连： 大连海事大学出版社， 2012： 228-236.

[10] 唐耀平. 联系数中差异度系数i的专家估测法及应用[J]. 数学的实践与认识， 2009， 39（5）： 67-70.

[11] 连增增， 谭志祥， 李培现， 等. 模糊关系方程法在矿山开采沉陷最大下沉值预测中的应用[J]. 金属矿山， 2010（7）： 132-135.

[12] 李希灿， 李传军， 朱雷， 等. 测量实习效果模糊综合评价模型及应用[J]. 测绘工程， 2004， 13（1）： 25-27. DOI： 10.19349/j.cnki.issn1006-7949.2004.01.008.

[13] 翟昕龙， 雷毅， 曹学文， 等. 基于模糊层次分析法的管道内涂层安全评价[J/OL]. 油气储运. http：//kns.cnki， net/kcms/detail/13.1093.te.20190318.1030.002.html.

[14] 朱庆， 陈凯峥， 谢潇， 等. 模糊层次分析与三维GIS集成的风电场升压站选址方法[J/OL]. 西南交通大学学报. http：//kns.cnki.net/kcms/detail/51.1277.u.20190320.1131.012.html.

[15] 潘峰， 魏立新， 陈双庆， 等. 基于模糊可靠性的集输管网参数优化设计[J]. 油气储运， 2017， 36（12）： 1353-1360. DOI： 10.6047/j.issn.1000-8241.2017.12.002.

[16] ZHANG Gang， WANG Lixin， DUFFY A P， et al. Applying the analytic hierarchy process （AHP） to an FSV-based comparison of multiple datasets[J]. IEEE Transactions on Electromagnetic Compatibility， 2015， 57（3）： 477-483.

[17] 劉彦麟， 彭星煜， 姚东池. 考虑失效相关性的管道腐蚀故障树新算法[J]. 油气储运， 2019， 38（1）： 31-39. DOI： 10.6047/j.issn.1000-8241.2019.01.005.

[18] 王姗姗. 基于因子分析法的中国电子商务发展水平实证分析[J/OL]. 信阳师范学院学报（哲学社会科学版）， 2019， 39（3）： 34-38. DOI： 10.3969/j.issn.1003-0964.2019.03.007.

（编辑 贾裙平）

收稿日期： 2019- 04- 17 修回日期： 2019- 06- 17

作者简介： 仇光伟（1995—），男，山东滕州人，硕士研究生，研究方向为船舶动力装置，（E-mail）201830110098@stu.shmtu.edu.cn;

胡以怀（1964—），男，江苏高邮人，教授，博导，博士后，研究方向为船舶新能源利用和轮机系统仿真与诊断，（E-mail）yhhu@shmtu.edu.cn