培养实践能力的新时代本科自然语言处理课程改革思考

2024-11-02 00:00:00龙梓傅向华张藤方
大学教育 2024年20期

[摘 要]在当前人工智能大模型的新时代背景下,自然语言处理领域展示出了完全不同于以往的问题解决路径。在新时代的需求导向下,自然语言处理领域的人才不能局限于传统方法的理论实践,需要具有灵活使用前沿知识和技术来解决问题的实践能力。在这种背景下,本科自然语言处理课程出现了理论课知识过时且复杂、实验课实践内容门槛过高、课程内容与工程实践脱节等问题。针对这些问题,文章提出了本科自然语言处理课程的教学改革方案,通过简化理论课知识结构、重构实验课实践内容、加强理论与实践融合等方法,使课程内容符合当前大模型时代的要求,培养学生对前沿技术的实践能力。

[关键词]实践能力;自然语言处理;大模型;课程改革

[中图分类号]G642.0 [文献标识码]A [文章编号]2095-3437(2024)20-0052-06

近年来,我国人工智能产业发展迅速,政府陆续出台多项政策,如《新型数据中心发展三年行动计划(2021—2023年)》《关于加快场景创新以人工智能高水平应用促进经济高质量发展的指导意见》等,鼓励人工智能行业发展与创新,积极推动人工智能产业的持续发展。同时,人工智能产业已成为新一轮科技革命和产业变革的核心驱动力,积极推动传统产业转型升级,并且催生了很多新兴产业,对国民经济、国防和社会的发展至关重要。持续高速发展中的人工智能产业需要大量专业人才队伍的支撑,高校作为人工智能人才输出的重要阵地,承担着培养人工智能人才的重要使命。教育部积极推进新工科建设,发布了《教育部高等教育司关于开展新工科研究与实践的通知》《教育部办公厅关于推荐新工科研究与实践项目的通知》等,全力探索形成领跑全球工程教育的中国模式、中国经验,助力高等教育强国建设。

自然语言处理(Natural Language Processing,简称NLP)作为人工智能领域的重要分支,在推动现代科技进步方面发挥着不可替代的作用,是整个人工智能产业的重要组成部分[1]。因此,高校在本科阶段开设高质量的、注重实践能力培养的自然语言处理课程尤为重要。然而,自然语言处理课程通常是作为专业课程面向计算机相关专业的硕士研究生开设,课程内容多为偏向算法理论基础,相对应的实验课内容也偏向机器学习相关算法的复现和优化。此外,随着深度学习技术的不断发展和进步,在NLP领域中传统的机器学习模型逐步被基于深度神经网络的模型取代,而大语言模型的出现则进一步改变了NLP领域一直以来的问题解决路径[2]。新时代对NLP领域的应用型人才提出了不同需求,不再强调对NLP基础处理以及传统方法的细致理解,而是需要应用型人才能够深入掌握预训练语言模型的深度模型结构和预训练技术,并具有针对具体任务进行提示工程和微调训练的能力。

本科自然语言处理课程在具体教授过程中面临着如下三个问题:一是理论基础知识学习需要较多前置知识,本科生难以学习和理解;二是复现算法的实验需要较强的代码能力,本科生难以完成;三是以辅助学生研究为教学目的的课程内容设计与工程实践要求脱节,难以满足本科生对课程的期望。本科自然语ID1GMCrqMfwhjrez1oTj0Q==言处理课程应该更加注重对学生实践能力的培养,侧重让学生在应用实践中深入理解理论知识和锻炼工程能力。针对上述问题,本文提出从如下三个路径对本科自然语言处理课程进行教学改革:一是简化并分解理论课中的核心内容,以成体系的结构教授相关知识;二是整理并重构实验课内容,以循序渐进的方式调整实验课内容;三是以优化和改良的方式开展实验课内容教学,建立实验课与实践过程的联系。本文将基于教学改革结果进行深入分析,探讨改革过程中遇到的挑战和取得的成效,相关经验和教训可为其他高校的教学改革提供有益的借鉴和启示,推动人工智能教育的进步和发展,以使人工智能教育的成果跟上时代且满足业界的应用需求[3]。

一、本科自然语言处理课程面临的主要挑战

自然语言处理通常是计算机科学及相关专业的专业选修课,属于人工智能方向的核心应用类课程。课程教学目标是使学生掌握NLP领域的基础知识并且能够应用一些核心技术解决NLP常见任务。以深圳技术大学为例,本科自然语言处理课程总学时为72学时,包括课内实践18学时以及课外实践18学时。以应用能力培养为核心导向,课程内容通常涵盖三个部分:第一部分为NLP基础技术,例如分词、序列标注、命名实体识别、文本分类、文本聚类等;第二部分为NLP深度学习技术,包括基于深度学习的文本分类与文本生成技术、机器翻译、QA(问答)系统等;第三部分为NLP领域的预训练语言模型及相关技术。课程教学形式包括理论课讲述与实验课实践,通过指导学生完成一些实践项目,让学生在应用实践中深入理解理论知识并锻炼工程应用能力,最终使学生能够运用NLP相关技术来解决实际问题。

通过调研、分析和反馈,教学团队对目前自然语言处理课程的教学内容和教授方式进行了分析和总结。以培养学生实践能力和工程能力为目标,新工科背景下的新时代本科自然语言处理课程面临着如下三个问题和挑战。

(一)理论基础知识学习需要较多前置知识,本科生难以学习和理解

在自然语言处理课程的理论课教学中,教师通常会先介绍语料数据的基础处理,如分词、命名实体识别、词性标注、句法分析等分粒度的阶段工作;然后讲授一些自然语言处理的基本任务的传统算法基础和知识,如文本分析、机器翻译、信息检索、问答系统等具体任务的机器学习方法;最后逐步介绍自然语言处理的一些高级应用方法,如预训练语言模型与微调训练、多模态信息处理等[4-5]。然而,对于上述内容,学生需要掌握一定的前置知识才能理解。例如,在讲授通过序列标注方法进行命名实体识别时,就会涉及隐式马尔科夫模型、条件随机场等复杂的前置知识。因此,在自然语言处理课程的理论课教学中,由于学生前置知识的缺乏和课时的限制,教师通常需要在有限的时间之内讲授大量理论复杂且关联紧密的知识,容易出现教师难以讲明白、学生难以听懂的问题。针对这一问题,教师应该根据本科学生的特点,对课程内容进行简化和整理,以更加系统和易懂的方式组织理论内容来进行讲授。

(二)实验课门槛较高,需要学生拥有较强的代码能力,本科生难以独立完成

自然语言处理的实验课通常要求学生复现理论课上所学的算法或机器学习模型并处理给定的数据集,最后通过观察处理结果并进行算法优化来促进学生对基础知识的理解和运用。然而,自然语言处理中,部分常用技术的复现门槛较高,要求学生具有较强的代码能力,且难以在有限的实验课时中完成。例如,序列标注主流的深度模型多为Bi⁃LSTM(双向长短期记忆)+CRF(条件随机场)[6]的复杂结构,本科学生难以独立地在有限时间内复现这种模型。因此,教师会提供参考代码,仅要求学生完成模型的训练和验证,或直接舍弃部分模型不要求学生进行实验。毫无疑问,这两种实验内容的设计方式都难以实现预设的培养学生动手能力的目标。针对这一问题,教师应该根据本科生的能力对实验课内容进行调整和重构,以循序渐进的思路设计更有效的自然语言处理实验课方案。

(三)课程内容设计与工程实践要求脱节,难以满足本科生对课程的期望

目前的自然语言处理课程中,理论课主要介绍诸如机器学习、模型结构等自然语言处理技术,而实验课的内容组织方式多为命题式,即给学生布置针对理论课的具体问题,协助学生针对具体的理论知识点进行练习和实践。然而,这种以理解知识为目的的课程内容组织方式与目前以解决问题为目的的项目实践过程之间存在一定的差距,导致本科生难以将所学习到的知识与实际项目的实践过程有效地对应,难以将理论知识运用到项目实践过程。例如,学生通过实验,能够运用序列标注技术进行命名实体识别的处理,但在面对从文本中挖掘特定种类的词汇的实际需求时却没有想到可以同样通过序列标注技术来实现。可见,学生面对具体问题时的实践能力和灵活创新能力不足。针对人工智能产业对传统产业的优化以及对新产业的催生,课程内容应该侧重培养学生使用自然语言处理的知识对产业转型过程中遇到的问题进行分析的能力,以及运用自然语言处理技术进行解决方案的探索和灵活创新的能力。

二、教改思路与方案

针对上述问题,教学团队尝试对自然语言处理课程所涉及的理论课知识结构、实验课实践内容,以及理论与实践相互融合等方面进行课程设计和改革。为了适应当前新时代人工智能大模型技术的特点和要求,教学团队将本科自然语言处理课程分为“NLP概述与基础处理”“NLP深度学习应用”“NLP预训练技术”三个部分,其中,“NLP概述与基础处理”部分相较于以往的课程将会进行简化,留更多的课时用来教授“NLP预训练技术”,同时调整“NLP深度学习应用”部分的课程内容,让深度学习部分的知识能够更好地帮助学生衔接预训练相关的知识内容。

教学团队所设计的自然语言处理课程具体细节如表1所示。下面具体说明课程中各个具体细节的设计思路和设计目的。

(一)简化理论课知识结构

简化NLP基础处理的知识内容,侧重对深度学习与大语言模型相关技术的讲解,着重从实用工具角度引导学生掌握NLP相关技术的使用思路与调优方法。在此之前,在自然语言处理的理论课教学中,教师通常会花费大量学时向学生讲授NLP领域的基础处理和一些基本任务。但在当前的新时代,深度学习和大语言模型已经成为几乎所有NLP任务的首选方案。因此,从实际应用与项目实践的角度来看,已经不适合再在课程中花费大量学时来讲授NLP基础处理和基础任务等内容了。如表1所示,教学团队尝试对自然语言处理课程的理论课内容进行调整和设计,减少NLP基础处理和基本任务等内容的课时数,回避NLP基础处理中较为复杂的算法理论知识,将课程的重心放在深度学习与大语言模型相关技术方面。同时,在教授过程中着重引导学生以工具选型的方式挑选符合项目场景的NLP技术和相关工具。例如,在教学分词处理时,减少关于词典分词、序列标注分词等分词方法的理论讲授,通过对比jieba、PKUSeg、Stanford Segment等常用分词工具及方法的优缺点,引导学生根据任务需求有取舍地选型。在教授序列标注时,简化关于隐马尔可夫模型[7]及LSTM(长短期记忆)+CRF深度模型等序列标注方法的原理讲授,更多侧重于对比传统方法和深度学习方法的优缺点。教学团队认为可以通过这种工具视角来教授学生根据实际项目选择合适的方法,并对技术进行有效的优化,以此来培养学生的实践能力和问题解决能力。

(二)重构实验课实践内容

从模型视角设计从文本分类到文本生成的深度模型的实现路径,引导学生循序渐进地实现前文预测后文的文本生成模型。NLP课程的实验课通常会要求学生通过动手编写经典常用的深度模型来完成NLP任务,但这有较高的代码能力门槛,因此在实际授课过程中,教师通常提供相关代码给学生,让学生进行简单的数据复现实验,而这明显不符合锻炼学生实践能力的目的。针对这一问题,教学团队通过对实验课内容进行细致的整理分析,最终考虑从模型视角设计从文本分类到文本生成的深度模型的实现路径,让学生能够循序渐进并完整地编写出文本生成模型。具体而言,如表1所示,教学团队按照模型逐步复杂化并最终导向文本生成模型的课程设计思路,设置了“文本分类实践”“序列标注实践”“文本生成实践”3个实验内容。其中,“文本分类实践”通过简单的分类任务引导学生实现诸如输入序列数据序号化处理、输出唯一分类结果等基本框架;“序列标注实践”引导学生将序列标注过程看成不同时刻上的多次文本分类过程,从而可以在复用文本分类模型的输入处理的基础上,通过引入按时序输出分类结果等内容的方式快速实现模型;“文本生成实践”则进一步引导学生将文本生成模型也理解为分类模型,通过在序列标注模型基础上调整标签集的方式快速实现文本生成逻辑。图1展示了上述循序渐进引导学生完成困难的文本生成深度模型的过程,即根据自然语言处理领域各任务常用深度模型的特点,通过复用之前的实践结果的方式来尽可能减少各个实践任务之间的跨度和代码工作量,让学生可以在有限时间内得到充分的实践锻炼,并最终独立编写出完整的文本生成深度模型,为后续大模型与预训练相关内容提供教学基础。

(三)设计相互对应的理论课内容与实验课内容

通过案例驱动的方式鼓励学生运用理论课知识提升实验课上相关任务的完成效果,引导学生将理论课知识与相关实践方法融会贯通。教学团队以贯穿整个课程的几个项目案例作为驱动,鼓励学生灵活运用理论课上学习的技术和知识来不断提升实践效果,以此来促使学生更好地理解和融合理论课内容和实验课内容。例如,如图2所示,教学团队以“新闻文本分类”作为驱动案例,在“NLP概述与基础处理”的理论课上教授学生分词方法、词袋模型特征化等知识,实验课则对应让学生运用理论课知识对新闻文本进行分类。在“NLP深度学习应用”的理论课中讲授文本分类的深度模型,在实验课中则安排针对与之前一样的新闻文本通过深度模型来执行分类处理,引导学生分析前后两次处理的区别并对比两次分类结果的优劣。在“NLP预训练技术”的理论课中讲授BERT[8]模型及其微调技术,实验课则对应安排学生使用预训练模型继续对同样的新闻文本进行分类处理并再次对比分析分类结果。在讲授了大语言模型及其相关提示手法技术的理论课之后,让学生设计提示文本[9]来使用大语言模型完成同样的新闻文本分类任务。教学团队认为可以通过这种方法,让学生充分理解对同一个NLP任务可以采用多种不同的解决方案,并通过对比分析实践结果,充分理解理论课所教授知识的优劣和选型逻辑,在动手实践应用的过程中充分地锻炼实践能力。

三、结语

本文总结了教学团队在对注重实践能力培养的新时代本科自然语言处理课程进行教学改革时的思路和经验:一是调整理论课知识结构,简化NLP基础处理的知识内容,侧重对深度学习与大语言模型相关技术的讲解,着重从实用工具角度引导学生掌握NLP相关技术的使用思路与调优方法;二是优化实验课实践内容,从模型视角设计从文本分类到文本生成的深度模型的实现路径,引导学生由浅至深地逐步实现前文预测后文的文本生成模型;三是设计相互对应的理论课内容与实验课内容,通过案例驱动的方式鼓励学生通过理论课知识来提升实验课上相关任务的完成效果,引导学生将理论课知识与相关实践方法融会贯通。

目前上述课程改革举措已经得到了实施和验证。通过调整课程内容,自然语言处理课程主要包括三个部分,其中理论课部分包括如表1所示34学时的理论课授课部分与2学时的学生展示实践成果部分,实验课部分包括18学时的课内实践部分,以及18学时的课外实践部分。此外,教学团队利用百度在线网络技术(北京)有限公司所提供的飞桨AI Studio人工智能学习实训社区平台,首度让学生能够在线上平台上完成人工智能课程的实验内容,大幅减少了实验过程中协调算力资源与环境部署的困难,让学生能够专注于实验内容本身。教学团队后续将尝试将课程改革创新举措有选择地推广到其他应用型人工智能专业课程,为其在大语言模型时代的课程建设提供思路与经验。

[ 参 考 文 献 ]

[1] 车万翔, 窦志成, 冯岩松, 等.大模型时代的自然语言处理: 挑战、机遇与发展[J]. 中国科学:信息科学,2023, 53(9):1645-1687.

[2] 张宜浩, 刘小洋.新工科背景下自然语言处理课程教学改革[J].计算机教育,2023(1):96-99.

[3] 高岳,杨小康.前沿导向的人工智能课程内容重构:以上海交通大学“人工智能理论及应用”课程为例[J].高等工程教育研究, 2022(6):52-55.

[4] 邬昌兴,罗国亮.深度学习背景下的“自然语言处理”课程教学研究[J].教育教学论坛,2021(29):137-140.

[5] 吾买尔,买买提,汪烈军.基于人工智能技术的“自然语言处理”课程教学模式改革与探索[J].无线互联科技,2020,17(10):92-94.

[6] HUANG Z H,XU W, YU K. Bidirectional LSTM⁃CRF models for sequence tagging [DB/OL].(2017-11-16)[2024-02-26].https://www.doc88.com/p⁃9929655991647.html.

[7] EDDY S R. Hidden Markov models[J].Current opinion in structural biology, 1996,6(3):361-365.

[8] DEVLIN J, CHANG M W, LEE K, et al. BERT: pre⁃training of deep bidirectional transformers for language understanding[DB/OL].[2024-02-26].https://arxiv.org/pdf/1810.04805.

[9] BROWN T B, MANN B, RYDER N, et al. Language models are few⁃shot learners[DB/OL].[2024-02-26].https://www.researchgate.net/publication/341724146_Language_Models_are_Few⁃Shot_Learners.

[责任编辑:周侯辰]