刍议军队职业教育在线学习评价的策略方法

贾红雁 郝凯亭

摘 要：本文采用系统分析的方法，密切结合军队职业教育在线学习实践，阐述了在线学习评价策略及其实现方式，论证了在线学习评价的一般方法，为军队职业教育在线学习评价的组织实施提供策略方法指导。

关键词：军队职业教育；在线学习评价；策略方法

中图分类号：G717 文献标识码：A

从教育技术应用的角度考察军队职业教育在线学习评价的策略方法，必须从主客体结合的角度，考虑技术支持的可行性和功能实现的必要性，结合军队职业教育在线学习系统的功能实现，来制定切实可行的策略和方法，才能为学习评价提供行之有效的指导。

一、军队职业教育在线学习评价策略

评价策略既是一种设计评价的理念引领，也是实施评价的现实依托，充分体现学习设计和学习技术对评价的支撑作用。以此为基础，可以细化为职业教育在线学习评价的组织形式、评价程序和方法步骤，同时也可以指导具体的评价方法实施，确保评价指向的有效性和可行性。

（一）量规定向策略

网络教学上看，量规是用于评价、指导、管控和改善学习行为而设计的某种标准或一套标准。在量规基础上制定评价指标，才能更科学、更系统，更具指导学习、提升绩效的指向性。就军队职业教育在线学习评价而言，量规导向策略具体化为如下三个方面：

一是指导职业教育在线学习行为。基于主体的指标量规主要面向职业教育在线学习行为，它是以知识习得、技能生成、思维发展和情感培育四方面一级指标为目标，将目标与学习行为进行对位分析，细化为二级和三级指标。这个指标体系一方面用于评价学习行为的价值及其实现程度，另一方面也起着规范学习主体的职业教育在线学习行为的重要作用。同时，对教员在职业教育在线学习中科学指导、规范管理也发挥着不可替代的引领作用。

二是规范职业教育在线学习系统。为了完成职业教育在线学习目标而实施的职业教育在线学习行为，需要有职业教育在线学习系统及其功能模块的配合，是一个主客体结合的过程。基于客体的评价指标体系，就是一套关于客体系统功能实现的量规，其意义指向就是对知识内容表达和系统功能进行评价和规范，同时也能对系统研发者提出针对性、指向性的要求，以便系统为主体行为提供合适的知识呈现、适宜的功能载体和满足要求的行为环境。

三是牵引“慕课”建设。作为职业教育在线学习的基础，“慕课”建设不仅要遵从网络课程建设标准，也要参照职业教育在线学习评价量规。无论是基于主体的评价量规还是基于客体的评价量规，都是对职业教育在线学习的主客体双方一种标准化的要求。参照这一要求，“慕课”建设才能建立在满足学员主体需求，适应学员认知水平的基础上，实现网络教学的根本目标。

（二）诊断导航策略

对职业教育在线学习主体的初始能力进行评判，对学员认知个性和兴趣偏好的分析和确定，不仅对后续评价其学习行为产生意义，还对了解学员认知能力、知识基础、兴趣指向、学习风格，为学员提供个性化的、适合于自己的导航有着重要价值。诊断导航策略具体化为如下三个方面：

一是确定初始能力和认知水平。初始能力和认知水平，是检验学员能够顺利进入职业教育在线学习过程，并最终达成教学大纲既定的学习目标的基础，对学员知识习得成果的判定，必须以初始认知能力为基本参照。广域网的各类学习系统是面向广大官兵的，其有教无类的特点，决定了学员的认知水平千差万别，如没有针对学习个体的指向性强的导航，个性化学习就是一句空话。所以，确定初始能力，才能准确判定学员的知识基础，对其知识习得的轨迹做一个规划，为导航系统的设计提供主要依据。

二是明确认知风格和学习偏好。认知风格和学习偏好涉及学员的学习动机和价值观，是学习评价中最重要的指标之一。认知风格表现为鲜明的个性心理特征，与学习偏好是具有因果联系的一对要素，在某种程度上，认知风格决定着学习偏好，而学习偏好则能够客观反映认知风格的类型。职业教育在线学习系统设计中，可以在后台设计系列认知风格心理模型，在前台以多种媒体优化组合的方式，通过问答、闯关等形式进行测试，得到大致的认知风格类型，并将其结果与认知水平相匹配，共同为个性化学习导航提供设计的科学依据，也为教员在教学过程中的人工干预提供参考。

三是引领和指引个性化学习。诊断评价的结果为导航提供依据，这仅仅是导航策略的一个组成部分。在职业教育在线学习进程中，导航还要结合形成性评价而不断修正，才能更好地引导和指引个性化学习。如《美学基础》职业教育在线学习实验中，职业教育在线学习评价系统将导航结果与形成性及时评价适时结合，设计了学员成绩的自动升降级机制，将学习成绩、态度、动机和价值观相结合，综合评价学员学习行为，适时修正导航路径，将成绩评价与激励评价很好地融合在一起，使导航成为引领和指引个性化学习可靠效能工具。

（三）协作互评策略

协作互评是职业教育在线学习的一种重要的评价策略，也是一种重要的评价组织形式。与协作学习一样，互评实际上经常渗透于协作行为之中，是协作行为及其结果的重要构成。在依托系统进行的协作互评中，按照指标设置互评功能模块，使之与协作机制相配合，能够激励学习热情，加强互动体验，对提升学习绩效有着确切的效果。互评策略的基本内涵如下：

一是评价知识运用过程。知识习得的目的是为了运用，知识运用的外显性表现有很多种，其中协作行为是重要途径。协作行为包括集体交流发言、发帖表述意见、提示资源运用路径、举例解释原理概念等等。教员作为引导者参与互评，可以提示评价标准，网络教学把握互评进程，并及时总结归纳互评效果；学员通过互评，能够达到互相启发、互相激励、互相支持的效果，从而推进对知识的理解和实践性应用。

二是检验技能获得水平。在现有职业教育在线学习平台中，动作技能的呈现和获得受媒体表现力的局限。随着网络多媒体技术的迅猛发展，特别是虚拟技术在网络课程中的广泛运用，动作技能的呈现获得了更多的形式。如总部统筹设计建设的百门虚拟实验室，就初步实现了动作技能的虚拟化；各军兵种的模拟仿真训练科目，也逐渐被搬上网络课堂，使得動作技能的学习有了更加广阔的空间。因此，通过互评方式检验技能生成，将是未来职业教育在线学习评价的重要形式。

三是考察方法运用能力。方法运用究其本质是思维能力，也是职业教育在线学习评价中难以考察的难点。通过互评方式考察方法运用，是评价学员综合能力的重要途径。虽然方法运用体现在整个学习过程中，如问答、解题、发帖或者创作，但与知识习得、技能生成不同的是，方法运用效果经常表现为问题解决的过程或结果中，因此，设计方法运用能力的评价模式，也是评价系统设计的一个难点。现行职业教育在线学习平台中，典型方法运是指挥训练教学中的评价。运用一体化作战指挥训练平台，对合成指挥员进行作战决策思维的检验评测，通过互评环节，教员和学员可以借助于系统，对作战预案进行评价和修正，或者通过改变作战想定的某些条件，干预作战训练进程中的某些要素，来进行决策思维训练，并在互相评价中得到验证，达到思维水平提升的目的。

（四）产品验证策略

从技术学习的角度看，学习活动是综合运用智能技术和物质技术，整合技术、资源、环境等因素，最后形成学习产品的过程。因此，产品是学习绩效的最后验证。通过产品评价职业教育在线学习效果，也是职业教育在线学习评价的重要构成。

一是通过产品设计评价知识应用。学习产品设计是指运用教学设计原理，结合职业教育在线学习特点，按照指定要求对指定任务进行筹划、设计，并最终形成学习产品设计蓝图或创作思路的过程。没有对知识的融会贯通的理解，知识运用就不可能进入产品创造过程。如网络课程《军事电视编导》测试“场面调度”知识点，首先提供了某单位国庆升旗视频场景，要求设计一个场面调度规划。学员要对摄像机角度、画框运动、主体运动、陪体运动、景深变化等多种视觉要素综合把握，并在头脑中形成完整的连续运动画面雏形，涉及到所学的视觉元素、画面运动、导演工作等多方面知识的灵活运用，才能提出一个切实可行、技术与艺术都符合要求的场面调度方案。

二是通过产品技术评价技能把握。学习产品的支撑技术包含两类：一类是智能设计技术，另一类是物质技术。所有职业教育在线学习产品都离不开这两类技术的支持。因此，通过产品运用技术的水平和层次，可以检验技能掌握的程度、水平和效果。对设计技术而言，产品方案的可行性分析、结构体系、逻辑层次、效果预测都是衡量的重要指标；对物质技术运用而言，产品创造中应用哪些技术、怎样应用技术、技术应用是否合理熟练、技术应用方法是否得当等等都是评测的重要指标。

三是通过产品效果评价实践能力。产品作为职业教育在线学习的直接结果，其效果和效益是决定产品优劣的关键。通过产品效果评测，不仅能够检验学员理论认知、技术运用、方法把握等关键知识点，还能够评价其理论结合实际的能力、学以致用的视角和讲求实效的学习态度。因此，学习产品虽然一般作为学习的结果而不会直接用于实践，但对其实践效果的检验更能够佐证职业教育在线学习的效益，增加职业教育在线学习评价的维度和视角。

二、军队职业教育在线学习评价方法

职业教育在线学习的评价方法种类繁多，但因其视角的不同，而呈现不同的结果。下面我们将在军队职业教育在线学习背景下，对常用的两大类评价方法进行分析，找出其在军队职业教育在线学习中方法运用的规律和特点。

（一）定性评价法

定性评价是指对评价资料进行质的分析，一般采取分析与综合、比较与分类、归纳与演绎等逻辑分析的方法，对评价对象进行思维加工。定性评价的优势是依据现代人本思想和发展性评价原则，对评价对象进行观察分析、归纳和描述，能够揭示评价对象的个体独特性；缺点是评价结果相对笼统和模糊，带有评价主体意图和主观指向性，难以精准把握。

1.基于过程的定性评价

职业教育在线学习过程中，学习效果往往隐含于各类学习行为中，如答疑、研讨、发帖、咨询等等。这些带有鲜明的个性化特征的网络行为，仅仅靠量的统计分析不能确定学员知识技能的掌握程度，情感态度和价值观更不能依靠数据统计而获得。因此，需要采取系统评价和人工裁决相结合的方法，依靠评价专家的经验和评价指标的具体化，来评价各种学习行为的效果。

具体到职业教育在线学习形成性评价中，定性评价方法表现为以下三个方面：

一是定性评价知识理解的创造性表达。职业教育在线学习中军校学员对知识理解有多种表达方式，其中，创造性的表达方式是检验其对知识消化理解的关键所在。而创造性的表达一般常见于发帖、聊天、研讨等众多活动中。因此，依靠数量统计的方法无法准确评价检验其学习成果，必须依靠教员或测评专家，按照评价指标进行针对性评价，才会达成评价效果。

二是定性评价协作技能及其方式。协作技能涉及知识的综合运用、方法的扬弃吸收和对知识运用的综合判断，是职业教育在线学习中检验军校学员能力生成的重要指标。协作技能也不能依靠数量统计来检测，也需要采用专家评判的方法，按照评价标准，对协作技能的内涵、方式、效果进行梳理分析，得出成绩。

三是定性评价思维迁移与发展。思维迁移与发展是知识学习的高级阶段，其表现方式也不像概念习得和技能运用那样简单，而是复杂多样且带有明显的个性特征。因此，评价思维发展，不仅仅要依靠评价指标，还要因时制宜，组成相关评价专家对评价属性进行研究，对评价指标进行修正，使人工裁决具有扎实的现实基础。如基于战术想定网络课程的网上研讨中，对于给定的条件，学员会得出思路不同、方法各异的作战方案，数量统计完全不能进行评价，而采取人工裁决的方式，依据评价指标，对学员研讨中战术知识运用的内涵方法、准确程度进行评点，并给出成绩，才会得出相对精准的结论。

2.基于产品的定性评价

传统意义的总结性评价一般只重视考试结果，而忽视产品生成对学习的促进作用，实际上是一个很大的误区。学习产品作为检验学员知识技能思维的载体，从设计理念到技术运用，都贯穿着其对知识的理解、方法的掌握、技能的使用和思维的发展。

一是定性评价产品设计理念及其知识运用。学习产品的设计不仅是知识理解的体现，也是方法和技术使用的具体化。教育技术领域的学习产品，一般都具有应用理念和技术理念相交织的双重特征。如对三维动画的学习产品的设计，可能是一个静物、一支枪、一辆坦克，越是复杂的产品其设计理念就越趋于复杂化。这样的学习产品的设计，既需要学员将对三维动画建模及技术的理解，也需要對其的深入认识。对其评价也要依靠专家进行研究分析，按照技术和艺术相结合，理念和实用相结合的标准，针对性裁决评价。

二是定性评价产品技术应用合理性。技术应用于学习产品。首先要进行科学性、合理性的价值判断。技术运用熟练，不等于技术运用合理。合理运用技术是指能够按照设计目标，以可用性为指向，以艺术性为依托，以技术的熟练准确使用为原则，以产品绩效为目的。对技术引用的评判，要结合具体的技能生成评价指标，由人工裁决完成。

三是定性评价产品可用性及其绩效。产品可用性是学习成品最后的检测标准。满足需求是产品绩效的唯一标识。确定一个学习产品是否满足某种需求，需要对其进行必要性、可行性分析，还要对其进行设计理念合理性、技术运用效应性进行综合评判，单纯的量化统计无法达成评价目标，必须要靠对其进行定性分析，人工干预完成。

（二）定量评价法

定量评价是采取数学的方法，如教育测量与统计方法、模糊数学方法等，用量化统计取得数值，对评价对象进行测评和判断的方法。定量评价强调评价对象的规律性、一致性、共同性等共性特征，其精确性、科学性和稳定性方面，要高于定性评价。将定性与定量评价相结合，把系统评价与人工裁决相融合，是军队职业教育在线学习评价的发展走向。

1.基于过程的定量评价

基于过程的数据量化，是职业教育在线学习系统评价的主要途径。随着大数据技术的不断发展，数据统计分析技术已经达到了相当高的智能化程度，对职业教育在线学习行为数据的统计分析、对比量化，已完全可以支持所有定量评价指标。下面举三个典型的定量指标例子来对职业教育在线学习定量评价做分析。

一是评价态度动机的定量指标。态度动机体现军校学员的学习价值观和行为观，它们一般是隐含在职业教育在线学习行为中，不易被统计分析的指标，却又是非常重要、作为评价重要维度之一的指标。虽然通过定量评价，可以间或发现情感动机的线索，但要做精确的统计分析，还是有很多的不确定因素。所以，运用系统设置的数据统计功能，可以从学员的上网时间、上网频度、上网频次、对同一内容的点击频率、对热点问题的关注率等数据统计，来分析其学习动机的指向性、学习态度的积极性、学习价值观的关注度以及学习行为观的阈值，来达到分析评价其态度动机的目的。当然，仅仅做数据统计是不够的，还要比对评价标准，在系统后台建立与态度动机指标相关的评价模型，作为分析数据的基础，就可以实现计算机系统对情感动机的量化评价了。

二是评价认知行为频率的定量指标。认知行为频率指的是与知识技能习得相关的行为发生频率，如学员打开网络课程、登录课程界面、进入网络教室、观看教学录像、提问或作业、进行交流研讨等学习行为，对这些行为的数据统计，可以分析出学员行为与其知识技能掌握结果的因果联系。在绝大多数情况下，行为频率与学习效果呈正向分布，也就是行为频率越高，其学习结果越好，反之亦然。但也有不同或者相反的结果产生。比如一个具有较好知识基础的学员，对某一门网络课程又相对熟悉，那么对他在同一门网络课程的学习行为频率统计分析，就很有可能与其学习成绩呈反向分布，也就是其学习行为越少，说明其原有相关知识越扎实，其成绩反而越好。因此，这一定量指标的测评，必须与定性评价结合起来才会有实际意义。

三是评价交互技能频次的定量指标。一般而言，职业教育在线学习交互作为一种技能，是逐渐训练的结果，即训练次数越多，其交互的技能越纯熟，反之亦然。基于这一基本共识，职业教育在线学习系统评价都会设置交互频次数据统计，用来分析某位学员在交互研讨中的行为频度和频次，作为其交互技能掌握乃至学习方法掌握的评价依据。随着网络通讯技术的不断发展，交互工具层出不穷，对交互工具的认知也是技能生成的一部分。因此，交互频度的数据统计分析，不仅具有评价知识技能掌握的意义，也有评价方法获得的意义。

2.基于产品的定量评价

对学习产品的定性评价初步决定了产品创造者的学习绩效，但是，要实现对学习产品评价的精确化，就离不开对学习产品相关的数据进行量化，为定性评价提供佐证和支撑。

一是产品被关注的频度数量。学习产品作为学员直接的学习结果放到网上，一定会受到某种程度的关注。其关注热度与产品的创造力、可用性、被需求性相关。特别是在广域网开放的职业教育在线学习环境中，这种关注度能够证明学习产品的意义和效果。因此，量化统计学习产品被关注的频度，是对学习产品进行精准全面评价的重要参照。

二是产品被评价的频度数量。评价的频度与关注的频度相比，更加能够说明学习产品的效用性和需求性。因为评价是对学习产品的价值、意义、创造性等指标进行定性评价，而且这些评价是在不同标准、不同条件、不同背景下提出的，因此就更能说明问题。评价的频度数量与关注频度数量相结合进行分析，能够更好地依据评价标准，结合定性评价分析，对评价对象学习绩效做出科学评价结论。

参考资料

[1]杨红颖.网络教学评价系统的设计与实现[J].现代远距离教育，2007（5）.

[2]彭文辉.网络学习行为分析及建模[D].武汉：华中师范大学，2012.

[3]丁丽.网络环境下成人合作学习策略研究[D].成都：四川师范大学，2014.

[4]林真真.基于个性化学习的网络教学平台研究[D].石家庄：河北师范大学，2015.

[5]赵杨.关联规则技术在网络学习评价中的应用研究[D].桂林：广西师范大学，2014.

[6]張依欢.关联规则算法在教学评价中的应用研究[D].长春：吉林大学，2016.