本科毕业论文文献质量评价方法和工具研究

王 洁, 周宽久, 侯 刚(大连理工大学 软件学院， 辽宁 大连 116620)



本科毕业论文文献质量评价方法和工具研究

王 洁, 周宽久, 侯 刚
(大连理工大学 软件学院， 辽宁 大连 116620)

简述本科学位论文的重要性，阐述了参考文献对于本科毕业论文的重要性，总结了目前毕业论文参考文献撰写和监督管理存在的问题。从参考文献规范性评价和参考文献引用质量评价两个方面展开了研究和实践，基于模板匹配方法检测著录规范性，采用灰色关联分析方法检测引用质量，并编写了软件工具实现自动化评价。通过实验详细分析了样本学位论文文献规范性和引用质量的量化结果，为加强本科学位论文质量提供了依据、方法和工具。

本科毕业论文； 参考文献质量； 灰色关联分析； 规范性； 引用质量

0 引 言

随着我国高等教育的迅速发展，每年的本科毕业生数目均在迅速增加。资料显示，2013年全国毕业的本科生规模达699万，每位毕业生在毕业前需要完成一篇毕业论文，这是所有高校共同面临的问题。毕业设计(论文)是大学实践教学环节的重要组成部分，也是大学阶段最后一个教学环节，担当毕业生培养质量出口把关的重任[1]。 本科毕业论文是培养本科生科研和动手实践能力的主要方式，也是培养本科生运用所学知识解决实际问题和知识创新的主要途径。它不仅担负着向学生传授知识，培养学生综合运用知识、文献综述等能力的任务，而且还影响学生的世界观、工作作风以及综合素质。本科毕业论文质量直接反映了高等教育人才培养质量。

任何一篇本科毕业论文的完成，从问题的提出、资料的收集整理和观点的建立、论证的完成、结论的得出，需要不断地查阅和参考大量的相关文献，离不开对前人已有研究成果的借鉴和利用，这是人类文明得以自然延续的不竭动力，也是学术研究的必然。对于一篇合格的毕业论文，参考文献是不可或缺的模块。参考文献著录的规范性和质量反应出学生工作态度以及毕业论文完成质量，也从侧面反映出指导教师对学生论文的指导态度和监督管理质量。参考文献的规范性和引用质量是一个直观的标尺，反映出了学生学习态度、教师指导责任心和高校教育管理水平，其质量降低势必影响学术风气，也违背人才培养的宗旨，因此必须要严格把关。

1 本科毕业论文参考文献质量现状分析

毕业设计(论文)的教学质量近年来受到了高校内部和社会的高度关注，主要从毕业设计的质量监控体系方面展开了大量研究工作[2-4]，但较少有针对本科毕业论文参考文献质量评价的研究。近年来国内高校本科毕业论文总体质量滑坡已成为不争的事实，且有可能呈每况愈下的发展态势，以致引发了是否还需要保留毕业论文的话题[5]。引起这一问题的原因是多方面的，涉及到学生、教师和环境这些主客观、内外因错综复杂的作用[6]。参考文献的不规范和质量低下恰恰反映出这种情况。目前，本科毕业论文参考文献撰写和监督管理存在的问题主要有：

(1) 未认真阅读文献，随意引用。部分学生没有认真阅读参考文献，没有正确的去借鉴前人的工作，甚至为了拼凑参考文献的数量和类型，在论文完成后“补写”文献的情况。更有甚者罗列了大量文献，但正文中没有标注引用(空文献)，或者胡乱标注。

(2) “二手文献”引用不规范。部分学生虽然阅读了一些文献，但对源头文献没有认真阅读，直接把几篇文章的参考文献直接拿来使用，成为“二手文献”，格式不规范，甚至拼写、卷期号、页码错误频出。

(3) 文献质量低下。部分学生不愿意阅读新近刊出的有一定难度高水平的期刊和会议文献，大量引用陈旧文献、不规范的网络文献、低质量期刊等。

(4) 指导教师管理监督不严。由于本科生扩招导致部分学校生师比较低，指导教师工作繁重，在指导毕业设计时，更关注毕业设计实践工作完成、论文整体写作质量，参考文献问题没有引起足够重视。

(5) 缺少规范的评价方法和工具。很多高校每年有几千篇甚至上万篇的本科毕业论文，通常对毕业设计答辩后的论文提交采用抽查和优秀论文重点检查的方式，也造成对整体论文参考文献质量监督把控不严格，目前也缺少成熟的工具对所有论文进行筛查。

提高本科生毕业论文质量需要建立一个规范的质量监督和评价体系并且在实践过程中得到有效地贯彻实施。对于参考文献引用的规范性和质量，除了有明确的规范标准，要在实践教学中提出有效地评价方法和自动化检测工具。

质量评价方法

国内外针对科技论文参考文献元数据自动提取展开了研究[7-9]，但本科毕业论文的参考文献录入规范性不高，很难从中正确提取出元数据。文献[10]对全国优秀博士学位论文参考文献使用情况进行统计与分析，有助于了解论文参考文献使用的整体情况，但是无法对参考文献引用质量和规范性等指标给出定量评价。本文从参考文献规范性评价和参考文献引用质量评价两个方面展开研究和实践，并编写了软件工具实现自动化评价。

2.1 参考文献规范性评价

对本科毕业论文参考文献定量评价引用规范性，首先需要从论文中提取出参考文献字符串，然后再确定不同类型参考文献包含的元数据。

本科毕业论文参考文献是按照国家标准 GB/T 7714-2005[11]进行著录。对于不同类型的参考文献，都有各自对应的元数据。参考文献的元数据主要包括4个部分：作者、标题、类型和出版信息。而在类型和出版信息中，还包含更多的子元数据，不同类型的参考文献，其子元数据的类型也不同。在文献元数据提取和规范性评价之前，需要为每种类型的参考文献的所有元数据设定一个权值。

采用包含错误修复的模式匹配算法，在提取参考文献元数据之前，先对参考文献中存在的错误进行修复。对于标点符合格式不正确、文献结尾点号丢失、多余空格等错误，为每条参考文献条目分配一个基础规范性得分α。在模板库中，仅有一个完全规范模板样式。对于参考文献字符串，首先读取文献类型，然后根据文献类型使用给定的模板样式库进行解析，获得该条参考文献的规范性得分Fref，计算公式如下：

(1)

每篇本科毕业论文文献引用的规范性可以用所有参考文献规范性得分的平均值表示。根据参考文献类型选择获得最大相似度值的模板样式进行解析，从而得到参考文献规范性的量化评价结果。同时将文献元数据提取出来，为参考文献引用质量评价做好准备。

2.2 参考文献引用质量评价

为了对文献引用质量进行合理评价，需要对文献使用情况进行统计，并从中选择部分重要的统计结果作为评价指标。采用基于灰色关联分析[12-14]的文献质量评价方法，对本科毕业论文参考文献的引用质量进行基于层次分析发[15]的综合评价。

设在系统中有n篇毕业论文，每篇毕业论文有m个评价指标，其中每个评价对象的每个评价指标属性值构成如下属性矩阵：

(2)

这里采用文献引用质量评价的5个指标：文献量L、期刊量J、英文期刊量E、文献平均年份Y和空文献量O。最终可得每篇论文文献的综合评价值为：

(3)

3 实验分析结果

基于上述方法编写了工具软件，随机选取本单位以往3届120篇本科毕业设计论文作为实验样本数据，对其参考文献统计与分析。

3.1 规范性评价实验分析

参考文献规范性得分分布如图1所示。本科毕业论文文献的规范性两极分化严重。80～89分区间的人数最多，占总人数的31%，90～100分区间的人数占总人数的18%。80分以上的人数占到总人数的一半，说明一半左右毕业生的毕业论文参考文献引用还是比较规范的。但是80～89分内的人数较多，体现了能著录出高规范性的参考文献的学生还是偏少。对于60～79分区间的毕业论文，占总人数41%，这部分学生规范性得分较低的主要原因是对文献著录格式不了解，从而造成文献元数据缺失和文献著录格式错误。

图1 参考文献规范性得分分布

3.2 引文质量评价实验分析

对样本论文的参考文献引用质量进行评价，统计信息结果如图2所示，可以看出：

(1) 平均每篇引用的参考文献数目为15.95篇，说明学生在完成毕业设计前能够查阅一定数量的文献资料。

图2 参考文献部分统计结果

(2) 主要的参考文献类型是期刊论文和书籍资料，平均每篇论文引用的期刊文献数目为6.69，学位论文和会议论文也有一定的比例。

(3) 中文文献占了文献总数的58%，英文文献为42%。统计结果显示，每篇论文中英文文献的平均数目为6.4，反映出本单位本科毕业生有较好的英文文献阅读能力。

(4) 引用文献的时间主要在2000年以后，同时48%的学生能够引用近5年内的论文，这体现出本单位本科毕业设计引用文献还是比较新。

在上述工作基础上，将各项数据转化成质量评价指标，基于灰色关联分析的文献质量评价算法，对样本论文参考文献质量进行评价，得出样本数据中毕业论文文献质量的合格率如图3(a)所示；将空文献量指标剔除，重新对样本论文文献的质量进行打分，得到新的合格率如图3(b)所示。从中可以看出，空文献是影响本科毕业论文文献质量重要因素。

图3 文献质量合格率

3.3 指导教师监督管理评价实验分析

样本数据来自5个专业方向，20多名指导教师。综合规范性和引用质量的量化分析结果可以对专业方向毕业论文质量、指导教师监督质量进行量化分析，如表1所示。分数的高低可以从侧面反映出各个专业方向和指导教师对于毕业论文质量管理的工作效果。若本文的研究成果得以推广，可为高校加强本科生毕业论文质量提供量化分析的依据和自动化检测工具。

表1 专业方向和指导教师监督管理评价打分表

4 结 语

本科毕业论文参考文献著录的规范性和质量反应出学生工作态度以及毕业论文完成质量，也从侧面反映出指导教师对学生论文的指导态度和监督管理质量。通过参考文献规范性评价和参考文献引用质量评价两个方面的研究和实践，实现自动化的量化分析与评价，为加强本科学位论文质量提供了依据、方法和工具。本文在毕业论文管理参考文献的评价进行了初步探索和尝试，对于毕业论文参考文献评价可作为评价本科毕业论文质量的重要参考依据，为以后的毕业论文工作提出合理建议，同时对于论文整体质量评价的方法和工具研究还存在很大的空间。

参考文献(References)：

[1] 李国华. 对本科毕业设计(论文)工作的再思考[J]. 实验技术与管理, 2013,30(5): 120-122.

[2] 张丽丽. 提高毕业设计(论文)质量的探索与研究[J]. 中国电子教育, 2013(1):20-24.

[3] 程航东, 靳永铭, 于 泓, 等. 严格管理努力探索不断提高毕业设计(论文)质量[J]. 中国大学教学,2007(9): 72-74

[4] 齐再前, 白守礼, 郭广生. 不断创新教学管理 切实提高毕业设计(论文)质量[J]. 中国大学教学, 2005(8): 33-34.

[5] 杨卓娟, 杨晓东. 本科毕业设计(论文)存废之辨析[J]．黑龙江高教研究, 2011(9):160-162.

[6] 张芳萍, 任志峰, 赵春江. 关于提高本科生毕业设计(论文)质量的研究[J]. 大学教育, 2013(1): 118-119.

[7] 郭志鑫, 金 海, 陈汉华. SemreX中基于语义的文档参考文献元数据信息提取[J].计算机研究与发展, 2006, 43(8):1368-1374.

[8] Day M Y,Tsai R T H,Sung C L,etal.Reference metadata extraction using a hierarchical knowledge representation framework[J].Decision Support Systems, 2007, 43(1): 152-167.

[9] 张 玲, 黄铁军, 高 文. 基于隐马尔可夫模型的引文信息提取[J].计算机工程, 2003, 29(20):33-34.

[10] 俞以勤, 余 农, 龚 裕. 对1999～ 2004年全国优秀博士学位论文文后参考文献的统计与分析[J]. 现代情报, 2007, 27(6):212-216.

[11] GB/T 7714-2005, 文后参考文献著录规则[S]. 2005.

[12] 穆 瑞, 张家泰. 基于灰色关联分析的层次综合评价[J].系统工程理论与实践,2008,10(10):125-130.

[13] 张 莎. 灰色关联分析新算法研究及其意义[D].长春:东北师范大学, 2012.

[14] 王双英, 王群伟, 曹 泽. 多指标面板数据聚类方法及应用[J]. 数理统计与管理, 2014,33(1): 42-49.

[15] 邓 雪, 李家铭, 曾浩健, 等. 层次分析法权重计算方法分析及其应用研究[J]. 数学的实践与认识, 2012, 42(7): 93-100.

Research on Method and Tool in Quality Evaluation of Undergraduate Thesis References

WANGJie,ZHOUKuan-jiu,HOUGang
(School of Software Technology, Dalian University of Technology, Dalian 116620, China)

The significance of undergraduate thesis is pointed out. The importance of references of the undergraduate thesis is expounded, and the problems of writing and management of references are summarized. Evaluation on both normalization and cited quality of references are studied and practiced. A software tool is designed for automated evaluation which can detect record normalization based on template matching, and check the cited quality of references by gray correlation analysis. Normalization and cited quality of references are quantitatively analyzed through experiments. The tool can provide basis, methods and tools for enhancing quality of undergraduate theses.

undergraduate theses; references quality; grey relational analysis; normalization; cited quality

2014-03-10

国家自然科学基金项目(61272174); 大连理工大学教育教学改革基金重点项目(ZD201304)

王 洁(1979-)，男，辽宁大连人，博士，讲师，主要研究方向为：计算机系统结构、并行计算、FPGA应用设计等研究。

Tel.：0411-87571609; E-mail:wangjie1003@163.com

G 642.477

A

1006-7167(2015)02-0160-03