语法试题个性化推荐系统的研究

季峰

摘  要： 为了提高试题个性化推荐系统对语法试题推荐的有效性，定义了韩语语法点矩阵、得分模型、潜在学习特征向量等，建立了学习态势算法，设计了试题智能推荐的整体框架。该系统以学习者的态势计算为基础，对学习者语法学习能力估算，再进行试题推荐。通过两组学习者对比，根据系统的平均使用时间、成绩提高率、答卷正确率和试题推荐精准率等指标进行评估，结果显示，该推荐系统对学习者有显著的助学效果。

关键词： 试题; 推荐系统; 语法; 学习态势; 框架

中图分类号：TP399          文献标识码：A     文章编号：1006-8228（2021）12-10-04

Abstract： In order to improve the effectiveness of the personalized test question recommendation system for grammar test question recommendation， Korean grammar point matrix， score model and potential learning feature vector are defined， the learning situation algorithm is established， and the overall framework of test question intelligent recommendation is designed. On the basis of learners' situation calculation， the system estimates learners' grammar learning ability， and then recommends test questions. Through the comparison between the two groups of learners， the evaluation is carried out according to the indicators such as the average use time of the system， the improvement rate of scores， the correct rate of answers and the accuracy rate of test question recommendation. The results show that the recommendation system has a significant help learning effect on learners.

Key words： test question; recommendation system; grammar; learning situation; framework

0 引言

全球知識一体化的教育框架下出现了很多语言类教育的创新，努力构建高沉浸感的语境，在语言类学习系统中，面对等级考试中的大量语法测试题，如何快速的提高语言水平，精准练习和消除冗余训练成为焦点，如何打破众多语言教育专家认为语法学习中需要要反复练习的经验思维，成为重要的课题，尽量减少练习周期掌握语法点显得尤为重要。

1 相关工作

国内外有不少团队致力于试题推荐领域的研究，王超等基于DINA模型提取个性化学习能力向量[1]，建立多维离散认知模型，将试题推荐应用在几何学习中。赵泉通过计算知识点权重[2]结合课程需求建立推荐算法。朱天宇等基于协同过滤和认知诊断的推荐方法[3]，引入个性化因子提高推荐精度。陈达基于内容相似度的最近邻方法[4]，分别建立了基于内容和协同过滤的推荐系统。万永权等提出了基于反馈的自适应试题推荐方法[5]，通过评价个体学习能力和试题特性，避免了试题属性中的偏差。魏伟等提出了基于语义关联规则的知识点标注试题推荐方法[6]，在数学和历史中性能表现良好。Fang L等通过计算查询问题与数据库问题之间的相似度[7]来推荐法结构相似的试题，在基于Web的英语语法学习推荐系统中有很好的表现。Ince E Y基于学生行为构建了自适应试题推荐系统[8]，基于学习者的问题系统创建出主题测试。Manna R等基于问题过滤和相似度构建了菜谱试题推荐系统[9]，研究拓展到学科类的问答推荐系统中。基于内容推荐和协同过滤[10]推荐在语言类领域存在不足，本研究对学习者的态势进行计算，结合潜在学习特征等因子进行融合推荐，同时考虑个体对系统的喜爱程度和对语法点的掌握程度等因子，该系统在韩语语法学习中有明显的有效性。

2 相关概念

2.1 定义

定义1 语法学习者是一个集合用gl表示，gl={gl1，gl2…gli…glm}。测试题T，T={t1，t2…tj…tn}。答卷为R，R=[rmn]m×n，rmn∈[0，30]，当rmn等于0时，表示答错，当rmn不小于0时，表示得分。定义得分率Prmn，Prmn=rmn/ri，ri为所选试题的总分值。

定义2 测试题与韩国语语法点的关联矩阵定义为K，基于Topik考纲进行标注，K=[knk]n×k ，当knk=0，表示k不是n的子集，当knk=1，表示k是n的子集。

定义3 语法点得分分配用sk表示，定义ski=ri/Nk，Nk代表测试题中语法点数目，通过计算得到语法点的得分分配矩阵sk[ski]。

定义4 gli语法点吸收数量等级用kpl表示，设某语法点的测试得分为αi，αi值为sk与rmn相乘，再用100除以i得到权值，权值和αi相乘，kpl为多次语法知识点测试结果的累加。

定义5 语法学习者的态势用gls表示，得分能力AQ，语法点试题的练习次数为NK，语法测试题完成的平均时间为AT，gls={AQ，NK，AT }，系统不区分正确题和错题。在i次测试中，AQ={Agl，1，Agl，n}，当Agl，1=1时，表示gli对知识点1的得分能力，当Agl，1=0时，代表gl对知识点1没有得分能力。NK是关于同一语法点演练数的数组，Nsk=[Nski]。AT是gl语法测试时长，At=（tt1+tt2+tt3+…+ttn）/n。

定义6 学习者的潜在学习特征向量Mgl，假设学习者gli对语法测试题tj未作答，那么计算出gli对tj的潜在作答系数ƒ时，首先计算kpl/n，接着代入公式⑵得到ƒ，当ƒ取1表示其对试题的潜在得分为真，ƒ取0表示学习者对试题的潜在得分为假。

定义7 系统中的语法测试题包含一个或多个语法点，那么我们设测试题T中有n个语法点，第i题的分值为Fi，根据公式⑷，计算语法测试题与语法点的关系强度RS。

2.2 学习态势计算

系统中的态势计算，首先根据定义1构建R=[rmn]m×n，再根据定义2描述关联矩阵，设答错试题的概率st，表示学习者答错试题t的概率，gt表示kpl接近0时，表示未掌握知识点时答对试题t的概率。kpl渐近1时，代表已经掌握此语法点。利用⑸计算学习态势，同时考虑了多种形态，引入kpl、gls、Mgl等与学习者自身学习有很强关联的因素。

通过学习态势gls和潜在的学习特征向量的计算，得到kpl的概率，按照公式（6-7）算出学习个体的语法点的掌握技能度，也就是语法点学习者的学习能力。

将实际答卷和预测答卷ARglt作差，差的绝对值超过1，表示测试者完成的语法测试题和目标语法点关联强度弱，差的绝对值不大于1，表示测试答卷情况正常。根据gl的潜在作答系数ƒ，得到潜在特征向量，推荐时避开Topik中的冷试题和学习者偏好试题，答对试题Tj的概率作为试题Tj对于学习者的难度D。限定推荐语法测试题的难度区间[d1，d2]，难度系数根据学习者对应Topik考试等级设定。

2.3 推荐框架

图1中是韩国语语法试题推荐系统（Korean Grammar Question Recommendation System，KGQRS）的核心模块，包括学习者测试题库中记录了试题的难度、试题和语法的关联度等属性，练习库中包括学习者的个性化学习的态势，包括得分能力、知识点的测试数目和平均测试时间等属性。基于测试题库和练习库确定学习者的知识点吸收能力、得分预测和难度等级等，配合通用设置中的难度等级等属性，协同试题库进行合理的试题推荐。

3 实验

3.1 数据描述

推荐系统中包括韩国语等级考试TopikⅠ（TopikⅠ包括一级和二级，TopikⅡ包括三级至六级）98个语法点，每个语法映射例句15个，测试题基于例句对语法点进行了留空处理，学习者通过例句演练后再进行语法测试。甲乙两组学习者来源于两个韩语培训机构，历时六个月的学习，两组人员母语为中文，韩语水平零基础，其中甲组来自同一机构的21名学生，全程参与系统测试和数据收集。乙组的30人来自另一个机构，只在第二阶段的学习中使用系统。数据集中还包括两组人者的年龄、学历、KGQRS的使用时间、考核成绩等。

3.2 评价指标

学习者使用系统的平均时间用AUT表示。为确保实验数据的客观性，教师面授时系统的基础使用时长为5分钟，甲组全程参与系统，乙组在第二阶段使用系统，通过后台数据计算出学习者的单独使用本系统的平均时间，用式子⑻计算。

成绩提高率用SIR表示，两个阶段中有三次测评，设一个月为一个测试周期，设Ti为第i次的测试得分，则第i+1次测验得分对第i次来说的提高率为SIR。当SIR<0时，表示成绩下降，当SIR>0时，表示成绩上升，用式子⑼计算。

答卷正确率用CRA表示，反应知识点的掌握情况和试题难度，对于个体学习而言，答卷正确率随着学习者的kpl和gls的提高跟着综合提高，得分率表现出偏差过大，说明试题中所涉及的语法点难度等级高或者试题难度偏高，文中针对知识点定义答对Tright，总分Ttotal， 则CRA=Tright/Ttotal，Tright和Ttotal都是按照测试的人次来计算。

试题推荐精准率用RA表示，我们定义测试时间为保证学习者可以完成答题的时间，且学习者的kpl不为null，那么答对的试题记录的数目为TAn，未答的试题记录数目为Tun，则精准率RA=TAn/ （TAn+Tun）。

3.3 结果分析

实验数据分为两个阶段。第一阶段中甲组使用KGQRS，乙组不使用。第二阶段中甲乙量组均使用KGQRS。两组使用的学习材料、内容和进度都是一致的。

图2中曲线为甲组两阶段中使用系统的月平均时间，基于公式⑻，得到第一阶段为17.93小时，第二阶段为20.22小时，提高了12.8%，在线时长是评价用户粘性的重要指标，结果显示学习者对KGQRS有依赖性，也是学习者利用系统表現出的积极性，它是系统有效性检测指标之一。乙组在第二阶段中的月平均使用时长为21.40小时，超过了同阶段甲组时间，原因是第一阶段乙组没有使用系统，二阶段中激起了使用系统的积极性。从两组的月平均使用时间可以说明KGQRS对学习者是有明显正向推动作用的。

图3中的T1—T6分别代表了甲组21位成员在一二阶段的六次测试结果，从曲线分布来看，分数的绝对差值不大且趋向平稳，第一阶段平均成绩为86.24，第二阶段平均成绩为89.89，第二阶段提高了4.23%的原因为学习者对KGQRS的适应程度和对韩国语语法学习的适应性的提高，说明系统能激发了学习者的兴趣，促进成绩稳步提升。

图4中的T1-T6分别代表乙组30位成员在一二阶段的六次测试的成绩，六条曲线显示，第二阶段中使用了KGQRS，成绩得到了明显的提高。第一阶段乙组的平均成绩为71.51，第二阶段乙组平均成绩为84.75，SIR为18.5%，说明KGQRS对学习者在语法学习时的有效性。甲组平均成绩比乙组高出20.6%，说明使用系统的有效性。

答卷正确率的评估以98个语法点为主线，计算每道题的CRA，CRA<70%的有43题，定义为较难题，例如“듣다、 걷다、 열다、 놀다”等词在不同情境下的变形题。CRA>95%的有49题，定义为简单题，例如“입디다、습니다、예요、이에요”等词语的语法正确应用。以上两类题占整个语法题库的6.3%处在合理的范围内，从答卷的正确率来看，系统推荐符合学习者的学习目标和要求。

试题推荐精准率通過RA=TAn /（TAn+Tun）计算，RA在5%以内的37题，占题库的2.51%，说明这类试题推荐误差较大，总体推荐精准率达到97.49%，说明系统推荐精准率很高。

4 结论

本研究基于语法点矩阵、得分模型、潜在学习向量和学习态势构建KGQRS。从两组实验来看，系统的推荐是有效的，下一步将深入健全评估指标，结合学习者属性进行态势分析，例如学历背景、年龄和学习动机等因素，需进一步扩大实验样本数和周期，更客观的对系统做效用评价，将系统调整到最佳状态。

参考文献（References）：

[1] 王超，刘淇，陈恩红.面向大规模认知诊断的DINA模型快速计算方法研究[J].电子学报，2018.423（5）：26-34

[2] 赵泉.大数据背景下的智能课程推荐系统研究[J].信息与电脑（理论版），2019.427（9）：107-109，112

[3] 朱天宇，黄振亚，陈恩红.基于认知诊断的个性化试题推荐方法[J].计算机学报，2017.1：178-193

[4] 陈达.基于深度学习的推荐系统研究[D].北京邮电大学，2015.

[5] 万永权，燕彩蓉，朱明等.反馈式个性化试题推荐方法[J].计算机应用与软件，2018.35（7）：81-84，90

[6] 魏伟，郭崇慧，邢小宇.基于语义关联规则的试题知识点标注及试题推荐[J].现代图书情报技术，2020.4（2）：182-191

[7] Fang L， Tuan L A， Hui S C，et al. Personalized questionrecommendation for English grammar learning[J].Expert Systems，2018：e12244.1-e12244.15

[8] Ince E Y.Adaptive Question Recommendation System Based on Student Achievement[J]. International Journal of Trend In Scientific Research and Development，2019.1（4）：1034-1037

[9] Manna R， Das D，Gelbukh A.Question-Answering and Recommendation System on Cooking Recipes[J]. Computaciony Sistemas，2021.25（1）：896-902

[10] 蒋昌猛.基于知识点的个性化习题推荐研究[D]. 西北大学，2017.