基于文本挖掘的课程培养目标的智能观测研究

姜大志，黄瑞香

（汕头大学工学院计算机系，广东 汕头 515063）

0 引言

高等教育的专业人才培养目标[1-2]是一个专业对其所要培养人才的总体要求与期待，它既是国家及学校人才培养总目标的具体体现，又是专业培养方案和课程设置的基本依据.因此，专业人才培养目标在高等教育教学过程中占有重要地位.培养目标作为人才培养的纲领和根本，它的构建与测评[3]自然成为高等教育中一个重中之重的环节.但是，人才培养目标实现过程涉及到众多问题，下面列举其中的一些问题：

专业人才培养过程中，是否落实培养目标，落实了哪些培养目标？

针对具体专业课程，教授了哪些知识，培养了哪些能力，对能力的要求等级是什么？

学生作为教育的受体，他们认为人才培养目标或者课程培养目标实现了吗？

专业人才培养过程中，能力培养方面的能级发展有没有体现出由低到高自然规律？

仅依上述问题，可以发现这些问题都是围绕着目标达成而展开的思考，而培养目标达成的判断则是当前专业评估与认证的重点.对人才培养目标达成的考量[4-5]，目前主要采用的方法是“成绩分析法”和“评分表分析法”[6].成绩分析法依据培养目标，形成毕业要求，逐条分解指标点到各门核心课程，以保证学生毕业时所学的知识达到毕业要求，从而保证达到本专业的培养目标.而“评分表分析法”评价学生特定能力表现的简单有效方法，但是它的适应性有限，通常对主观性较强的任务进行评价.

我们认为“成绩分析法”和“评分表分析法”在人才培养目标测评上具有一定的作用.但是他们都是对目标达成的结果进行测量[7]，缺乏对目标达成的形成过程进行有效探测.作为教育管理者和实施者，需要在更高的层次汇聚培养目标、以立体的角度观视培养目标的实现过程、以渐进入微的方式测量培养目标的达成，以此来有效实现教育的内省与持续改进.

基于此目的，本文提出一套科学、规范、操作性强的方法框架实现专业培养目标的可观可测.一般而言，培养目标的构建与实施，均是通过文本信息来传播的，而文本挖掘这个工具正好可以对含有特定功能的文本进行深入而科学的分析[8].从主观本文中探究特定规律和特征，找出与培养目标指标相关的文本特征，通过文本分析可以为培养目标跟踪提供一智能化方法.我们不认为本文提出的方法可以取代“成绩分析法”或“评分表分析法”，而是对培养目标评价的一个重要补充，借助现代信息化技术，可更严谨、客观地审视专业人才的培养.

1 方法框架

我们以汕头大学计算机系的课程为例来阐释基于文本挖掘的课程培养目标的智能化观测方法.其方法框架如图1所示：

图1 基于文本挖掘的课程培养目标的观测方法框架

各个部分的工作具体描述如下.

1）准备阶段

在本文挖掘的准备阶段，主要的工作是建立各类字典.本研究中主要建立了三种字典，分别是专业知识体系字典、CDIO[9-10]能力字典和Bloom[11]能力等级字典.CDIO大纲覆盖了一个现代工程师应该具有的能力、素质和态度，主要包括技术知识和推理（主要包括由具体专业确定的相关科学知识、核心工程基础知识和高级工程基础知识，即专业知识体系字典中所包含的关于本专业的各类知识点）；个人能力、职业能力和态度；人际交往能力；在企业和社会环境下构思、设计、实现和运作系统.

Bloom认知领域分类法把教学目标分类六个等级，从低级到高级分别为：认知、理解、应用、分析、综合、评判.我们建立了Bloom能力等级字典，用来实现对能力进行有效的分级.

2）运行阶段

运行阶段的工作主要包括两个部分，分别为文本预处理和文本分析.文本预处理的目的主要是使词语转换成程序能够分析识别的语言.本文的预处理的过程包括文本数据的清洗[12]，过滤干扰性数据信息，得到对文本分析有意义的句子[13]，然后对过滤之后的文本进行分词处理[14]，主要运用动态规划的方法，找到最大概率的词语切分组合，这一部分的目的是为了能够更好的提取有用信息来表示当前文本，为后续的文本表示和文本挖掘提供基本的元信息.之后根据分词的结果和分析的需要选择不同的文本的表达方法.根据后续的实验结果显示，本文使用的是实用效果更好的one hot representation模式的（BOW模型（bag of words））得到词向量.

将文本转化成词向量之后，输入的值是离散的高维的向量矩阵，为了使文本分析计算的效率更高和结果更加准确，还需要对生成的词向量进行特征选择和特征提取.根据特征项权重的计算，结合信息增益的方法提取最能表示文本信息的向量.后续相似度的计算就是使用得到的文本向量来计算教学大纲、学生报告等教学资料与之前构建的字典之间的相似度，根据相似度提取出教学大纲的知识点和能力范围分布，学生报告的能力等级等.

本文选择了基于向量空间模型和基于层次结构的树的结构来对文本进行相似度的计算[15].因为单独使用基于向量空间的相似度计算，并没有考虑到文本之间的语义相似度，所以引入了语义结构，即本体结构，根据本体结构来构造文本特征项的本体集合，综合本体集合来计算相似度.最后再借助潜在语义分析算法把对文本主题不相关的特征项剔除，降低词向量的维度，来加快程序的运行速率.

本文的相似度计算主要用到三个方法，分别为：TF-IDF，LSI和doc2vec[16-18].前两种方法不用训练词向量，最后一种方法用到了深度学习[19-20]的思想去训练词向量，使得词向量为低维实数向量[21]，根据训练的结果来计算向量之间的相似度.但是这种深度学习的方法需要大量的语料库来训练文本的词向量模型，而少量的文本进行训练的话，得到的词向量并不能很好的表示原来的文本信息.根据实验结果显示，在当前文本数据量下，前两种方法的结合要比doc2vec的结果要好得多.前两种方法TF-IDF，LSI用的是简单的one hot representation文本表示方法，通过TF-IDF计算文本的词频矩阵和逆文档频率来表示文本的特征，然后计算文本特征的权重得到实数向量矩阵.为了扩展语义的丰富性，加入了大量的词汇本体集合[22-23]，对庞大的词向量，最后使用LSI、SVD（奇异值分解）方法进行降维和语义的转换[24]，使得结果更加准确.

3）输出阶段

输出阶段主要的组成部分有：教学大纲知识视图、教学大纲能力视图、学生报告能力视图和专业能力发展视图.教学大纲知识视图是针对某一门课程的教学大纲，结合专业知识体系字典，从大纲中挖掘出该课程所预设的教学知识点.教学大纲能力视图则是大纲培养目标中所包含的各类能力.学生报告能力视图则是从学生的视角，来分析学生在其报告中对能力培养的反思.专业能力发展视图是从能力形成性的角度出发，刻画专业课程对能力要求的发展变化曲线.其主要结果将在下一节详细介绍.

2 实验与分析

2.1 教学大纲知识视图

首先，本文根据汕头大学工学院计算机系开设的《智能系统》课程的教学大纲，我们用上述提到的方法框架提取了课程的知识点.由于我们提出的方法是具有通用性、系统性的方法，因此提取出来的数据相对来说略显杂乱，需要后续完善程序来进一步清洗数据.

通过去重，我们提取了《智能系统》包含的12个知识点，表1中的第二列“类别”，是我们为了方便表述起见手动添加的，目前我们的方法框架还没有处理对知识点进行归类的能力.通过手动归类后发现，《智能系统》课程设计四个大的模块，分别为搜索、知识表和知识推理、智能算法和数据科学.

表1 教学大纲知识视图

2.2 教学大纲能力视图

根据各门课的教学大纲和CDIO大纲提取该门课程所涉及的能力，若大纲句子所描述的能力与CDIO中的某个能力的相似度大于某一个阈值时，则提取出该能力，并根据该能力的分组标记（在构建能力字典时已经标定）输出其对应的具体能力.针对《智能系统》的教学大纲，加入本体词集合后的提取结果如表2所示.

表2 教学大纲能力视图

通过上表发现，本文的方法提取了《智能系统》课程教学大纲中的与CDIO能力对应的9条能力，换言之，该课程拟在9个方面对学生进行能力培养，所涉及的一级能力3条，二级能力7条，三级能力有9条.

可以根据Bloom分类法对教学大纲中所涉及能力表述进行能力分级.具体做法是，首先遍历大纲中的所有句子，然后逐句地与bloom分类法的能力等级词语计算相似度，提取出大纲描述的能力，并根据其所在的分组的标记输出其能力等级.能力等级的提取结果更加精确，也能更好的区分出哪些能力强调的强度更大.表3是加入本体集合前后能力等级的比较.

表3 教学大纲能力等级视图

上表中，看似在方法框架中未加本体集合和加入本体集合，两种做法的结果相差不大，但是在我们进行广泛计算与分析时发现，缺乏本体集合的方法，会使得课程大纲的能力等级偏高.因为Bloom分类法是一个基于语言表述的模糊分类法，教师在制定教学大纲时，很难严格地按照Bloom的用词来规范能力表述，此外，有些非谓语词也会干扰能力的等级划分.加入本体集合，可以有效弱化由于用于的模糊性和歧义性造成的能力等级标定不准确.比喻说上表中的“撰写论文陈述计算机诞生历史背景、进程及计算机软硬件和网络技术发展历程”，该句中，与Bloom分类法用词相关的只有“发展”，因此未加本体集合的方法把该句定为非常高的五级：综合，这显然是不恰当的，但是该句的核心谓语词为陈述，在Bloom分类法中，并没有陈述二字，在Bloom的Level1认知中，有“Recite（详述）”，如果把陈述划定为详述类，把该句定为Level1，又明显拉低了能力等级.通过加入本体集合，我们对这句话综合评定，定为Level2理解.

2.3 学生报告能力视图

由于学生课程报告的文档内容比较多，汉语语言的语义复杂性比较高，并且报告所使用的语言描述会比较多样化，不规范等因素，就会使得在学生的课程报告对CDIO能力的提取严重缺乏准确性，因此本文引入本体的概念，扩大了能力的本体集合，加入了知网上的同义词、近义词等，减小了汉语语义的复杂性对句子、段落和文本相似度的影响.表4是对学生《智能系统》课程报告进行分析，评判其相关用词与CDIO能力的相似度，通过设定相似度的阈值（0.28），提取出学生报告比较有可能包含的能力如表4所示.

表4 学生报告能力视图

通过预设的阈值，我们在学生的报告中获取了7条能力，与大纲中提取的能力相比少了2条，而且能力点有一些不同，比喻说“解决方法和建议”，在教师教学大纲中没有，而在学生报告中有涉及.对于个人能力和态度，学生认为在“求知欲和终身学习”方面有培养，而教学大纲中是期望在“创造性思维”方面有培养，但是这并不表明学生课程报告中没有涉及到“创造性思维”的能力，而是相似度太低（0.0892）.究其原因，我们认为有以下几种可能性：

1）教师可能有花精力培养某一能力，但是学生没有认真书写报告，应付交差，造成报告千篇一律，没有针对性和差异性，造成在报告中难以发现该能力的踪迹；

2）课程大纲虽然预设了该能力目标，但是却没有设计相关的教学环节对该能力培养，自然也就很难体现到学生的报告中；

3）该能力的体现与课程报告不相关.

但是无论如何，该结果视图对能力的刻画还是有不少的参考价值，虽然不能全面囊括能力，但是对于一些重要的能力，均能提取出来，尤其是在二级能力上准确性相对较高，对教师的教学总结与反思起到了很好的借鉴作用.

2.4 专业能力发展视图

我们选择计算机专业三门核心基础课程来检验专业能力发展的变化，选择的课程分别为“程序设计基础”（第一学年第一学期专业基础课程）、“计算机组织与体系”（第二学年第一学期专业必修课程）和“操作系统原理”（第三学年第一学期专业必修课程）.对其进行能力提取并进行能力等级划分，构建在不同能力的数量的变化曲线，如图2所示.

图2 专业能力的发展视图

上图中第一排的是各门课程未加入本体集合的能力等级分布，第二排是加入本体集合的能力等级分布.图中第一列是第一学年课程的能力等级分布图，第一学年的等级应该分布在三等级往下较多，加入本体集合后分布趋势更明显，把原来误判为第五等级的纠正为第三等级及以下.同理，图中第二列是第二学年课程的能力等级分布图，第二学年能力等级侧重在三级到五级，三级的稍多一些，有四五级的能力，但不是特别多，符合趋势分布.图中第五列是最后一学年课程的能力等级分布图，能力等级应该更侧重于第三等级及以上，而本文使用了本体集合后，分布效果更好.图二和图四比较也能看出能力等级分布有了改变，对能力的要求由低等级往高等级发展.因此横向纵向比较均可以看出随着学习年度的增加，能力等级分布的等级也逐渐升高，而这种变化趋势在本文加入本体集合后更加明显.

3 总结

本文的基本思想是通过相似度的计算，提取出文本中与标准相似的知识点或者能力.对课程大纲知识点的提取主要是根据知识体系的标准进行提取，对大纲能力范围的提取主要是根据CDIO能力大纲提取，对大纲能力等级的提取主要是根据Bloom等级分类法的标准进行提取.在处理过程中加入本体集合对相似度进行计算，相似度计算是为了降低本体集合的巨大性造成的复杂性，我们利用LSI技术进行降维，转换成语义上的相似度，增加了结果的准确性.最后我们形成了四类视图供教学管理者和实施者进行参考，分别是教学大纲知识视图、教学大纲能力视图、学生报告能力视图和专业能力发展视图.通过该智能化分析，初步实现课程培养目标的可观与可测性，其结果不仅可以给教师提供有价值信息和反馈，亦可为教育评估、认证提供必要的参考性指标.

当然，本文提出的模型还有待进一步完善提升.在后续工作方面，我们一方面需要建立语料库技术，通过语料库技术，提升能力和能级的处理与分析能力，使得能力分析变得更准确.此外，我们的能力提取和能力等级分析还没有真正关联起来，后续可以对能力语句进行标注分类，形成能力类别库，采用模型训练的方法对这能力范围和能力等级建立关联，使得本文的方法不仅能够提取教学大纲中的能力，还能够分析出每一条能力所涉及的能力等级信息.