基于Delphi法和熵值法的智能教材评价指标体系构建及测度

摘要：在梳理智能教材释义、支持技术和演进等研究成果基础上，基于Delphi法和熵值法分别从思想性、教学性以及技术性3个一级指标，共9个二级指标，31个三级指标初构智能教材评价指标，运用熵值法测算智能教材各级评价指标权重形成智能教材评价指标体系，以期为高校智能教材出版、选用和评估提供量化参考标准。

关键词：熵值法；智能教材；评价指标体系

中图分类号：G436文献标识码：A文章编号：2095-6916（2024）15-0122-04

Construction and Measurement of Intelligent Teaching Materials Evaluation

Index System Based on Delphi and Entropy Method

Liu Fang

（Xingzhi College of Xi’an University of Finance and Economics， Xi’an 710038）

Abstract： On the basis of sorting out the research results of the interpretation of the intelligent teaching materials， supporting technology and evolution， the Delphi method and entropy method were used to construct the evaluation index of intelligent teaching materials from the 3 first-level indicators of ideology， teaching and technology， a total of 9 second-level indicators and 31 third-level indicators， and the entropy method was used to measure the weight of the evaluation index of the intelligent teaching materials at all levels to form the evaluation index system of intelligent teaching materials， which provided a quantifiable reference standard for the publication， selection and evaluation of intelligent teaching materials in college and university.

Keywords： entropy method; intelligent teaching materials; evaluation index system

党的二十大报告进一步提出加快数字中国建设，与数字世界的互动方式为我们在学习、生活等方面带来了空前未有的体验和便利。随着虚拟现实和增强现实等交互式技术的发展，深度学习等人工智能技术、物联网上无处不在的数据传感器、大数据分析以及移动设备开始普及，知识的生产模式、存储模式、加工与传播方式已从纸质形态发展到数字形态［1］，教材领域的无声革命正在进行。从调研了解的情况看，当前数字教材建设中存在着简化、异化等问题，譬如“电子文书”“多媒体教学资源库”和“教师答题”［2］，为避免走进简单转换为电子文书、随意堆积多媒体资源、机械使用智能技术等误区，推动数字教材更好地向智能化发展，需要建立科学的智能教材评价指标体系，本文现就基于Delphi法①和熵值法②的智能教材评价指标体系构建及测度进行探讨。

一、智能教材的相关研究

国外学者研究智能教材起步较早，在智能教材释义、支持技术和别具一格的智能教材开发平台等方面取得了丰硕的理论和实践成果。

（一）智能教材释义

Billingsley W.H［3］认为智能教材是一种基于网络的教材，其包括的练习由计算机模型或分析系统支持，学生可使用恰当的图形符号或图表完成这些练习，并获得由模型所产生的评价与反馈。Mengdi Wang等人［4］认为智能教材通过整合机器可操作的知识扩展传统纸质教材内容覆盖面，且形成集成知识也就是教材中提到的相关概念列表，结合概念列表执行多种智能操作，如内容链接、内容推荐等。江波等人［5］将智能教材界定为以深度交互、学习画像和自适应为主要特征，为学生提供个性化学习、评价和规划等服务的智能化数字教材。

（二）支持技术

Gerhard Weber等人［6］提供两种不同技术（ELM-ART）的创造性组合——智能辅导和自适应超媒体技术，为基于网络的智能教育系统设计提供了一个模型，制作一系列创作框架和系统开发智能教科书和课程。Jeffrey Matayoshi等人［7］利用自然语言处理和机器学习技术来构建分类模型，以实现与教科书及其内容的匹配。评估模型作为一个完全自动化的系统具有与人类专家结合使用的潜在性能。N Matsuda等人［8］提出具有宏观自适应支架的在线课件扩展：基于网络浏览器的认知导师创作工具和用于自动技能模型发现和注释的文本挖掘应用程序这两种学习工程方法有效创建网络书。张治等人［1］提出融入学习模型、教学策略模型、学习者画像和知识图谱四个核心组件的智能型数字教材系统技术实现路径及其推进机制。

（三）智能教材的演进

伴随信息技术的发展和传播形态的演变，智能教材经历了知识工程（Knowledge Engineering）阶段、语义网（Semantic Web）阶段、自然语言处理+机器学习（NLP+ML）阶段和交互数据挖掘（Interaction Data Mining）阶段。

1.知识工程阶段

美国Stanford University计算机科学家Feigenbaum教授在1977年第五届国际人工智能会议上提出知识工程这一概念。二十世纪九十年代中期，第一批智能教材在自适应超媒体领域被开发出来，它极度依赖学科领域专家的知识和经验。学科领域专家搭建了由域模型、内容模型和学生模型构成的简单模型，确定每一本教材提出的关键概念（域模型），并注释包含的概念集（内容模型），个体学习者的知识（学生模型）被动态地表示为域模型的加权叠加［9］。早期的智能教材拥有自适应导航、自适应表示、内容推荐和基于概念的导航等“智能”功能。

2.语义网阶段

二十一世纪初，许多人工智能研究人员将关注点转向语义网络技术，构建基于语义进行判断的智能网络布局，降低人与电脑沟通时的障碍。这一技术可将知识模型作为软件本体，学习素材作为链接和注释赋能早期智能教材，打开了自适应教材架构，并支持外部内容集成［10］，成功地通过软件技术将外部内容自动集成到自适应教材中［11］。

3.自然语言处理+机器学习阶段

自然语言处理研究是能实现人和计算机间运用自然语言开展有效通信的理论和方法。机器学习主要研究计算机模拟或实现人类学习行为的途径，在获取新的知识或技能的基础上，重新组织已有知识结构从而不断改善自身性能。2011年前后，自然语言处理和机器学习的进一步发展使得教材的内容和结构具备“智能”功能，即基于概念的域模型的自动构建成为人们获取知识的来源，比如从教材中自动提取主题和概念以及挖掘这些概念之间的各种逻辑关系。

4.交互式数据挖掘阶段

由数字教材和现代技术生成的用户交互数据的不断增长，推动智能教材进入新的发展阶段。传统的数据挖掘技术需要在数据分析之前进行多次预处理，这会浪费大量的时间和资源，而且很难立即获得收益。交互式数据挖掘技术的出现，使得用户通过交互的方式参与到数据挖掘过程中，数据分析和挖掘的过程可以更加的高效、可控和自适应。例如，页面导航和高亮度显示行为生成的数据，用于挖掘学生的阅读技巧并跟踪他们的注意力，推断学生通过阅读教材获得知识的状态；为智能教材平台提供更强大的个性化方法，实现基于学生实时行为的自适应建议；专注结合人工智能和群体智能探索越来越复杂的方法，挖掘过去用户的行为，以预测并指导新用户行为。

二、智能教材评价指标体系的构建

（一）初构智能教材评价指标

遵循科学性、整体性、可操作性和独立性等原则，通过对纸质教材、数字教材、智能型教材、智能教科书的国内外相关文献进行研究，列出智能教材评价指标清单，包括科学性、教育性、技术性、实用性、安全性4个一级指标，符合国家相关教育法规和课程政策，体现社会主义核心价值观等40个二级指标。

（二）指标体系的调整与确定

采用Delphi法，选择北京、西安、贵阳3个城市的5位企业人员作为专家。通过背对背方式，经过两轮征询，使得专家意见趋于一致。根据专家反馈意见调整不合理之处，最终确定指标体系。

该指标体系包括思想性、教学性以及技术性3个一级指标，政治方向、价值导向、内容科学、内容丰富、结构合理、形态立体、智能交互、可视化、学习支持服务等9个二级指标，坚持马克思主义指导思想、坚持为党为国育人、育才立场等31个三级指标。

（三）智能教材各级评价指标权重测算

设有n个专家，m个指标，则Xij表示第i个专家的第j个指标评价指标值，熵值法测算指标权重的步骤如下。

1.数据的一致化与无量纲处理问题，由于指标体系中各指标数据单位都是“分”，且各三级指标的专家打分值都是个位数，说明各指标之间的数据量级相同，故不用对数据进行一致化和无量纲化的处理。

2.计算第i个专家的第j个三级指标的特征比重矩阵：

pij=xij/∑ni=1xij 式（1）

3.计算第j个三级指标的熵值：

ej=-1ln（n）∑ni=1pijlnpij 式（2）

4.计算三级指标Xij的差异系数比：

gj=1-ej 式（3）

5.计算第j个三级指标的权重系数：

wj=gj∑mj=1gj 式（4）

通过以上方法测算出各三级指标的权重系数和熵值，然后根据各三级指标的权重计算各二级指标和一级指标的权重，测算数据如表1所示。

（0.193）描绘学习者画像，准确识别和判断学习者状态，推送针对性教学内容、学习资源。0.9770.024基于可视化过程数据，分析、规划学习者学习路径，匹配教学策略。0.9530.049建立学习风险预测模型，匹配学习补救内容。0.9430.060建立个性化学习预警机制，确立干预等级，制定干预措施。0.9640.037知识结构AI化。0.9810.020遵循原有学科边界和学科结构。0.9660.035捕捉学习者在学习方面的差异，设定不同的学习管理方式和学习目标。0.9590.043提供持续、灵活和动态的工具，支持学习者对不同教材内容之间进行灵活布局，建构知识。0.9840.016关注学习者身心发展。0.9560.046嵌入奖励机制和激励策略，实现学习者自我监控、自我反馈及自主学习的实时反馈。0.9680.033各指标的熵值可以反映出各指标提供信息量的大小，从表1可以看出，31个三级指标中的熵值都大于0.9，说明所构建的指标体系信息量非常丰富，能够从多个方面综合反映智能教材的质量。

三、结语

随着我国深入实施教育数字战略行动，教育数字化转型已成为教育发展的内在必然。教材建设作为教育数字化转型的重点领域，对推动教育教学高质量发展具有重要意义。当前数字技术已经渗透到我们学习、工作、生活的方方面面，纸质教材正被数字技术颠覆和转变。本文基于Delphi法和熵值法构建了智能教材评价指标体系，以期为高校智能教材出版、选用和评估提供了可量化的参考标准。

基金项目：本文系陕西省教育厅服务地方专项计划项目“陕西本科高校教材建设成果与教师待遇挂钩政策研究”（编号：23JM015）的有关成果

①Delphi法，也称专家调查法，1946年由美国兰德公司创始实行，其本质上是一种反馈匿名函询法，其大致流程是在对所要预测的问题征得专家的意见之后，进行整理、归纳、统计，再匿名反馈给各专家，再次征求意见，再集中，再反馈，直至得到一致的意见。

②熵值法是一种基于信息熵的数学方法，用于判断某个指标的离散程度。在信息论中，熵是对不确定性的一种度量。信息量越大，不确定性就越小，熵也就越小；反之，信息量越小，不确定性就越大，熵也越大。

参考文献：

［1］张治，刘德建，徐冰冰.智能型数字教材系统的核心理念和技术实现［J］.开放教育研究，2021（1）：44-54.

［2］李锋，盛洁，黄炜.教育数字化转型的突破点：智能教材的设计与实现［J］.华东师范大学学报（教育科学版），2023（3）：101-109.

［3］BILLINGSLEY W H.The Intelligent Book： Technologies for Intelligent and Adaptive Textbooks， Focussing on Discrete Mathematics［D］.Cambridge：University of Cambridge，2007.

［4］MENGDI WANG，HUNG CHAU，KHUSHBOO THAKER，et al.Knowledge Annotation for Intelligent Textbooks［J］.Technology， Knowledge and Learning，2023（28）：1-22.

［5］江波，杜影，顾美俊.智能教材研究综述［J］.开放教育研究，2022（3）：39-50.

［6］GERHARD WEBER，PETER BRUSILOVSKY.ELM-ART-An Interactive and Intelligent Web-Based Electronic Textbook［J］.International Journal of Artificial Intelligence in Education，2016（26）：72-81.

［7］JEFFREY MATAYOSHI，CHRISTOPHER LECHUGA.Automated Matching of ITS Problems with Textbook Content［C/OL］.（2020-07-06）.AIED 2020.

https：//ceur-ws.org/Vol-2674/paper02.pdf.

［8］N MATSUDA，M SHIMMEI.PASTEL： Evidence-Based Learning Engineering Method to Create Intelligent Online Textbook at Scale［C/OL］.（2019-06-25）.AIED 2019.

https：//ceur-ws.org/Vol-2384/paper07.pdf.

［9］PETER BRUSILOVSKY，SERGEY SOSNOVSKY，KHUSHBOO THAKER.The Return of Intelligent Textbooks［J］.AI Magazine，2022（43）：337-340.

［10］MELIS E，GOGUADZE G，HOMIK M，et al.Semantic-aware Components and Services of Activemath［J］.British Journal of Educational Technology，2006（3）：405-423.

［11］SOSNOVSKY S，HSIAO IH，BRUSILOVSKY P.Adaptation “in the wild”： Ontology-based Personalization of Open-corpus Learning Material［C］//21st Century Learning for 21st Century Skills（EC-TEL 2012）.Germany：Springer，2012：425-431.

作者简介：刘芳（1981—），女，汉族，山东滕州人，西安财经大学行知学院副教授，研究方向为组织行为与人力资源管理。

（责任编辑：冯小卫）