基于大模型微调范式的跨学科项目式学习实践研究

刘啸宇 刘茜希 高英男

《义务教育课程方案（2022 年版）》明确要求：各门课程用不少于10% 的课时设计跨学科主题学习，强化课程协同育人功能；推进综合学习，探索大单元教学，开展主题化、项目式学习等综合性教学活动[1]。跨学科主题学习是指为培养跨学科素养而整合两种及以上学科内容，开展学习的主题教学活动安排，具有综合性、实践性、探究性、开放性、操作性等特点[2]。项目式学习是一种动态的学习方法，通过让学生主动探索现实世界的问题和挑战，从中领会更深刻的知识和技能[3]。

“诗言志，歌永言，声依永，律和声”，诗词歌赋作为中华民族的传统文化，可以反映不同时代的人文社会风貌，也是语文学科重要的学习内容之一。在人工智能自然语言处理中，诗词创作一直是重要的研究方向，也是构建数字人文的重要部分。笔者尝试将信息科技中“计算思维”的培养与语文学科中的“文化自信”“审美创造”培养相融合，以人工智能大模型对宋词语料的微调为基础，设计并实施跨学科学习主题。

课程设计

課程设计中的人工智能主线

2017 年，谷歌研究人员提出的Transformer 架构是一种完全基于注意力机制的神经网络模型，具有更强的知识迁移能力。基于该架构的大语言模型（LLM）得到了飞速发展，其中，大模型微调技术起到了非常重要的作用。其过程首先要有一个在大规模语料库上采用超十亿参数的学习算法，使用庞大的算力训练得到的通用模型；然后将其作为预训练模型在较小的特定数据集上进行训练，从而精炼模型的能力，得到一个在特定任务或领域上性能较佳的专用模型。

“大模型微调”范式正在成为一类解决问题的重要方法。比如医疗行业希望有一个可以帮助医生生成患者医疗报告的模型，可将GPT-3 作为预训练模型，然后投入包含医疗报告和患者笔记的数据集，进行模型微调，就可以得到一个专用模型。大模型微调范式作为计算思维中一个重要的思维模式，具有教学价值。本文选择了一系列在“魔搭”社区开放的中文预训练模型，针对《全宋词》文本语料进行模型微调，并以此作为单元学习项目完成跨学科学习，项目背后可以迁移使用的学习范式如图1 所示。

课程目标

通过调用中文古诗模型进行诗歌生成，了解语言模型的基本原理；在微调宋词生成模型的过程中，掌握对大模型进行微调的方法；在微调不同派别宋词生成模型的过程中，感受不同派别宋词的独特魅力；知道采用不同的词语可以表达不同的主题意境，感悟词语对于表达文本意境的重要作用。

课程内容

本单元课程以掌握大语言模型微调的方法作为人工智能逻辑主线，并围绕诗词进行跨学科学习主题设计。课程依照问题分析、方案设计、实施验证、优化迭代4 个阶段进行任务设计，课时安排如图2 所示。第1 课时主要铺垫学习情境，探索大语言模型的原理，并形成初步解决方案；第2、3 课时主要根据方案准备数据，完成模型微调，体会大语言模型微调范式的价值；第4 课时主要针对当前模型的性能，修订方案完成模型优化，最后尝试在完成模型的基础上探索中文领域词语对于文学作品中思想表达的重要作用。

教学实施过程

实验 1. 调用预训练模型进行古诗续写

本实验属于第1 课时任务2。教师将提供2 个预训练模型和供学生完成实验的notebook 学习文档。在学习文档的帮助下，学生将学习如何调用预训练模型进行文字续写；然后学生将根据“通用中文生成模型”和“中文古诗生成模型”的详细说明，自定义相关参数及待续写文本，完成相应续写任务；最后通过对比续写结果，记录不同模型针对特定体裁文本的生成效果。调用2 个不同预训练模型续写相同内容的示例，如图3 所示。

设计意图：通过预训练模型续写文本，理解大语言模型的基本原理，掌握调用预训练模型进行生成的方法；通过不同体裁生成内容的对比，理解基于特定数据集对模型微调训练后产生的差异，为后续深入应用模型微调范式解决问题作铺垫。

实验 2. 针对宋词数据集进行模型微调

本实验不对应某项具体任务，而是贯穿在课时2、3、4 中。在该实验中，教师提供了“中文古诗生成模型”作为预训练模型，为完成相关大模型微调的知识学习与任务探究，教师还准备了“全宋词数据集”“婉约派风格宋词数据集”“豪放派风格宋词数据集”等多类宋词数据集。

本部分包含4 个小实验，分别为“基于宋词数据进行模型微调”（课时2）、“基于婉约派宋词进行模型微调”（课时3）、“基于豪放派宋词进行模型微调”（课时3）、“探究模型生成情况并优化模型”（课时4），实验步骤详见于相应的notebook 学习文档。

以“基于宋词数据进行模型微调”为例，学生将完成加载预训练模型，加载、观察并初步处理数据，构建微调模型并完成训练，调用模型进行宋词续写等过程。在最后的优化模型实验任务中，教师将引导学生从训练轮次、学习率等超参数层面对模型进行优化，并对比生成结果。

设计意图：借助微调宋词生成模型，理解在预训练模型基础上进行模型微调的方法，感知这个范式的价值；通过微调模型生成宋词，感受宋词的魅力。

学习成果

本部分学生调用自己微调的模型进行宋词作品续写，相关词文如图4 所示。

反思与提高

为学生提供清晰的任务，以及实现任务的资源、工具、脚手架

本单元以大模型微调为核心的人工智能知识线进行设计，选择学生十分熟悉的诗词领域进行探究。由于诗的每句文本字数十分整齐，而词的每句文本字数各有差异，因此，从生成诗到生成词的变化有助于学生理解模型微调后生成内容的改变。但是因课时、算力等限制，课堂中学生的训练轮次等超参数设置较小，微调后的模型性能不是很强。对比图3、图4 的作品可以看出，微调后模型生成的内容可读性比预训练模型生成内容的可读性差。本单元在后续实施过程中，开始引入GPU 算力，让学生可以训练效果相对更好的模型。同时，作为一个跨学科单元，本单元对诗词方面的探索较为薄弱，因此在后续实施过程中加入了“词语对宋词意境表达的作用”这一任务，便于学生借助人工智能提升语文学科的核心素养。

参考文献

[1] 中华人民共和国教育部. 教育部关于印发义务教育课程方案和课程标准（2022 年版） 的通知[EB/OL]. http：//www.moe.gov.cn/srcsite/A26/s8001/202204/t20220420_619921.html.

[2] 吴刚平. 跨学科主题学习的意义与设计思路[J]. 课程·教材·教法，2022，42（9）：53-55.

[3] 孙思佳. 项目式学习研究的文献述评[J]. 科教文汇，2019（7）：3.