用户视角的教学资源库应用效果评价指标体系研究

刘方歆

（湖南汽车工程职业学院 湖南 株洲 412000）

建设高水平的教学资源库是新时代深化教学改革，提高育人质量的重要途径。《国家职业教育改革实施方案》明确提出：“健全专业教学资源库，建立共建共享平台的资源认证标准和交易机制，进一步扩大优质资源覆盖面。”随着建设的持续深入，当前资源库也暴露出一些问题，如资源利用率低、资源更新不及时、资源内容建设实践教学创新型不足、资源不能满足用户需求以及资源库效益不显著。[1]而这些问题出现的原因之一，就是尚未形成一套科学的以用户视角为出发点的教育资源库应用效果评价体系。

一、初步设计

本研究涉及的专业教学资源库是以2015年度立项，2018年度验收通过的汽车营销与服务专业（以下简称汽营专业）国家教学资源库为典型研究个案。综合分析资源库建设背景、资源库建设现状及资源库应用存在的问题。基于用户角度综合构建了第一轮专家意义咨询表，共三个级别，一级指标包括资源内容、交互功能、平台技术、个性定制。

1.资源内容

下设资源质量和资源更新两个二级指标。在资源质量包含资源全面性、资源完整性、资源实用性、资源前瞻性、资源创新性、资源原创性、学生用户资源使用率、教师用户资源使用率、企业用户资源使用率和社会用户资源使用率12个三级指标。主要评价包含是否有来自企业、行业或校企共建的资源；视频、动画、音频、文本、虚拟仿真等信息化资源是否丰富；是否完整阐释了知识点，课程体系是否包含课程思政元素、1+X元素；是否对学习、工作和生活有帮助；是否体现了最新的行业动态；是否有形式或内容上的创新；是否是课程组的原创资源；学生、教师、企业用户、社会用户报名学习的人数、使用资源的频率、引用资源的次数等。资源更新下设更新率和僵尸资源占比两个三级指标，主要评价包含资源更新的数量和频率；未浏览、未调用的资源占比等。

2.交互功能

下设的二级指标包括交流形式和交互响应。在交流形式中主要考虑作业布置、作业批阅、作业提交、消息提醒、互动论坛、学生评价教师、教师评价学生、课堂活动组织、弹幕9个三级指标。主要评价内容为作业布置是否便捷，能否手机操作，形式能否多样；评阅方式是否便捷，能否手机批阅，是否有未批阅提醒功能；提交途径是否便捷，迟交、未交是否有实时记录；对平台任何消息能否起到即时提醒作用；能点对点、点对多发布消息提醒，并显示阅读状态；帖子发布数量与质量；教师、学生回复数量与质量；师生之间是否有多元化评价；教师能否根据需要在线组织教学活动：如分组讨论、抽答、题目推送、投票；是否具备弹幕功能；检索功能是否健全、全面率、准确率等。交互响应下设交流数量和回应即时性2个三级指标。主要评价内容为互动论坛的帖子数量是否合理，帖子内容是否跟学科相关；论坛的提问是否及时有效回复等。

3.平台技术

下设的二级指标包括平台设计和稳定速度。在平台设计中主要考虑界面美观度、导航便捷度、学习有效性监控技术、App功能完整性、第三方接口功能、资源上传、资源下载、题库管理8个三级指标。主要评价内容为界面设计、栏目设计色彩搭配、元素布局是否合理；导航系统是否方便易读，方便用户使用；是否具有防止用户刷课，挂机的监控功能；配套的手机App是否与PC端具有同样的功能；能否开通相应的微信公众号或小程序直接进行平台访问；资源上传及下载是否方便，有无大小、格式、权限限制，上传属性限制是否合理，支不支持批量上传，多媒体资源类型兼容性强；是否支持题目类型丰富，题干和答案支持图文或动画混排；是否能及时更新并准确提供后台数据，查询数据是否便捷等。稳定速度下设平台速度、平台稳定性、应用指导和客服响应4个三级指标。主要评价内容为平台能否迅速响应各种操作，传输速度；平台技术是否成熟稳定，能否支持同时段大批量访问；能否支持长期有效访问资源；开通和使用过程中用户是否得到过平台方培训指导；使用过程中遇到问题与阻碍，平台服务方响应速度是否及时，能否有效解决问题等。

4.个性定制

下设的二级指标包括功能定制和内容定制。功能定制指个性化功能，如随心定制界面如皮肤、排版方式；是否可以自行取消不需要的功能；搭建个性化课程是否可以便捷调用平台资源。根据大数据分析推送用户关注的内容；能根据平台伴随式的评价对学生进行精准的数字画像，实现学生的精准分层；针对学生所处层级进行学习内容、作业、测验等的智能推送等。

二、评价指标体系修订

为了确保职业教育专业教学资源库应用效果评价指标体系的合理性和科学性，本课题采用Delphi法。借助专家的知识和经验，将初步设计评价指标通过匿名方式征得专家意见，进行整理、归纳、统计，再匿名反馈给专家，照此循环，直到意见趋于稳定。

本课题研究选择的专家为国家级职业教育专业教学资源库建设负责人、国家级职业教育专业教学资源库团队成员、多年从事职业教育教学的专家，以匿名方式咨询意见进行了两轮[2]，在咨询过程中，各专家对初步设计的评价指标的重要程度进行评估及赋值，对初步设计的指标体系提出有效的改进意见。其中重要程度划分为五个等级，从“很重要”“重要”“一般重要”，到“不重要”“很不重要”，赋值依次为5—1。对两轮咨询结果数据计算相应的算术均值、满分次数，标准差以及变异系数，参照界值法对指标体系进行改进。

1.第一轮专家意见咨询

首次发放12份咨询表，回收8份。专家组成当中，国家级职业教育专业教学资源库建设负责人和团队成员分别为2人（占25%）和5人（占63%），多年从事职业教育教学的专家1人（占13%）。专家从事职业教育与教学的教龄，20年以上有2人（占25%），15—20年的有4人（占50%），10—15年的有2人（占25%），另具备高级职称的有6人（占64%），有38%的专家担任国家级或省级教师职业能力竞赛的评委，主编过国家级规划教材或精品课程的专家占63%，对资源库的建设有着宝贵的经验。专家对某一问题或者方向的权威力度，其值的大小影响评价的可靠性；反之，专家不能对每一问题或者方向的研究给出权威的意见。为得到更为科学的结果，针对熟悉程度系数、判断系数和权威系数进行综合分析。基于专家的自我评价，第一轮专家咨询得到的熟悉程度系数为0.77，判断系数为0.91，权威系数为0.84，说明咨询结果具有可靠性。

在第一轮咨询法中，期算术均数、满分频率的界值为4.717和0.367，数值大于以上两项界值者保留其评价指标；变异系数界值为0.183，数值小于界值的评价指标保留。为了谨慎起见，暂只删除算术均数、满分频率、变异系数界值均未入选的评价指标；然而对于有一或两个不符合界值而未入选的指标，通过讨论确定是否保留。同时，对初步设计的指标体系进行修改。

2.第二轮意见咨询

共发放20份咨询表，回收12份。专家组成员当中，国家级职业教育专业教学资源库建设负责人2人（占17%），国家级职业教育专业教学资源库团队成员8人（占67%），多年从事职业教育教学的专家2人（占17%）。专家从事职业教育与教学的教龄，20年以上有3人（占33%），15—20年的有4人（占33%），10—15年的有2人（占17%），另具备高级职称的有8人（占67%），与第一轮相比，来自国家级职业教育专业教学资源团队成员占比由63%提高到67%。第二轮专家咨询的熟悉程度系数为0.87，判断系数为0.95，权威系数为0.88，反映咨询结果的可靠性进一步提高。

结合第一轮专家的修改建议，综合计算出算术均数界值为4.874，满分频率的界值为0.372，数值大于以上两项界值者保留其评价指标。变异系数的界值为0.308，数值小于变异系数界值者保留其评价指标，同时对职业教育专业教学资源库应用效果评价指标体系进行了一定调整。其中，“资源内容”下的三级指标“学生用户资源使用率”“教师用户资源使用率”“企业用户资源使用率”“社会用户资源使用率”与“资源活跃性”有所属关系，因而进行整合；同理，将“交互功能”下的三级指标“学生评价教师”“教师评价学生”整合成“评价反馈”，将“平台技术”下的三级指标“资源上传”“资源下载”合并成“资源上传与下载”，并根据专家意见增加一个“搜索功能”和“数据管理”指标；另外，由于二级指标“稳定速度”包含面较小，由此改成“平台服务”。

三、评价指标体系权重计算

层次分析法（Analytic Hierarchy Process，AHP）是由T.L.Saaty教授提出，是对定性问题进行定量分析的多准则决策方法。本课题研究中分为建立层次结构模型、构建判断矩阵、权重计算与一致性检验、层次总排序与一致性检验四个步骤。

1.建立层次结构模型

根据Delphi法对职业教育专业教学资源库应用效果评价指标体系的调整，本研究以用户为中心，建立“四梁八柱”层次结构模型，如图1所示。

图1 职业教育专业教学资源库应用效果评价层次模型

2.构建判断矩阵

本课题继续采用匿名方式，面向国家级职业教育专业教学资源库建设负责人、国家级职业教育专业教学资源库团队成员、多年从事职业教育教学的专家发放判断矩阵表，采用9分法对元素进行判断并赋值。其中AHP数据格式上右下斜对角线一定为1，表示自己与自己的重要性完全相等，右上角和左下角数据呈互为倒数对称格式，其数字代表指标之间的相对重要性，数字越大代表相对重要性越强。最后各项取其平均值，得到一级指标判断矩阵表，如表1所示。

表1 一级指标判断矩阵表

3.层次单排序与一致性检验

本课题采用在线SPSS分析软件，通过综合评价中AHP层次分析功能，设置判断矩阵阶数，输入表1中的指标及数据，使用默认和积法方式进行研究，得出一级指标层次分析结果，如表2所示。

表2 层次分析结果

从上表可知，针对资源内容、交互功能、平台技术、个性定制总共4项构建4阶判断矩阵进行AHP层次法研究，分析得到特征向量为（1.394，0.999，0.907，0.701），并且总共4项对应的权重值分别是：34.840%，24.968%，22.674%，17.518%。除此之外，结合特征向量可计算出最大特征根（4.003），接着利用最大特征根值计算得到CI值为0.001。计算公式为：CI=（最大特征值-n）/（n-1），其CI值用于一致性检验使用。

通常情况下CR值越小，判断矩阵一致性越强，通常情况下CR值小于0.1，则判断矩阵满足一致性检验；如果CR值大于0.1，则说明不具有一致性，应该对判断矩阵进行适当调整之后再次进行分析。[3]本次针对4阶判断矩阵计算得到CI值为0.001，针对RI值查表为0.890，计算得到CR值（CR=CI/RI）为0.001＜0.1，意味着本次研究判断矩阵满足一致性检验，计算所得权重具有一致性，如表3所示。

表3 一致性检验结果汇总

4.层次总排序与一致性检验

遵循以上方法，使用在线SPSS分析软件，对二级指标和三级指标分别进行层次单排序与一致性检验，其CR值分别为0.001、null、null、null、null、0.002、null、0.001、null、0.002、0.006、均小于0.1，全部层次单排序一致性检验均通过，说明层次总排序一致性检验通过，即职业教育专业教学资源库应用效果评价指标体系合理有效，如表4所示。

表4 职业教育专业教学资源库应用效果评价指标体系

四、应用实例

湖南汽车工程职业学院是国家“双高计划”A类专业群建设单位，选取湖汽职院汽车营销与服务专业、汽车智能技术、智能控制技术三个重点建设专业的国家教学资源库，邀请6名由老师、学生、企业、管理者构成的评价主体，按照表4进行评价，评价结果如下：

在二级指标“资源质量”方面，由于资源库C是最晚立项的，资源前瞻性和创新性相对做得好些，因此C得分最高。在“交互响应”方面，资源库A立项早、使用久，且推广力度大些，所以A评价最高。由于三个资源库使用的都是一个平台，因而在“平台服务”“功能定制”“内容定制”方面得分一样。根据评价总分，可以判断出三个资源库在应用上的效果，此结果与管理者的评价一致。

表5 资源库多主体评价测评结果

五、结语

本课题对职业教育专业教学资源库应用效果进行评价以一定标准为凭据，构建的“四梁八柱”教学资源库应用效果评价指标体系丰富了教学评价的定量分析方法，促进了数理统计与教育学的跨学科交叉引用。本研究从用户角度发现资源库建设和应用中存在的问题和用户的需求，为资源库应用效果评价指标体系提供了一个新的研究视角。