论生成式人工智能服务中的教育风险及其应对

林莉

摘要：随着人工智能技术的迅猛发展，生成式人工智能（AIGC） 服务在教育领域的应用也日益广泛。作为AIGC的典型代表，ChatGPT凭借其强大的底座能力、卓越的思维链推理能力以及实用的零样本能力，在为教育主体赋能、为教育客体赋权以及为教育过程注入活力的同时，也带来了诸多挑战，包括在法律、伦理、技术等方面的潜在风险。为有效应对这些教育风险，我们应从法律规范、伦理约束和技术攻关三个维度出发，推动以ChatGPT为代表的生成式人工智能安全风险治理工作。

关键词：生成式人工智能；ChatGPT；潜在风险；教育风险应对

中图分类号：TP3 文献标识码：A

文章编号：1009-3044（2024）11-0033-03

自OpenAI于2022年11月30日发布ChatGPT以来，这款优化对话的语言模型迅速在全球范围内引起高度关注。2023年4月11日，国家互联网信息办公室发布了《生成式人工智能服务管理办法（征求意见稿）》，明晰了对生成式人工智能的定义，将其界定为“基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术”[1]。

一些学者积极肯定ChatGPT的价值，认为其发展将有利于人类的自由与解放，并对其持欢迎态度。然而，也有学者指出ChatGPT在教学应用中可能带来的负面影响，如信息不准确的风险、对人际互动与同理心培养的不足以及对现有考试评价制度的冲击[2]。这些问题进一步引发了关于数据悖论、知识悖论和认识能力等悖论的讨论[3]。面对人工智能技术的飞速发展，教育工作者应如何应对ChatGPT在社会和教育领域引发的“海啸”？本文将以ChatGPT为例，深入探讨生成式人工智能在教育中的潜在风险及其应对策略。

1 生成式人工智能的教育风险检视

党的十九大以来，国家陆续出台了“1+N”政策体系，为人工智能的快速发展提供政策依据和制度保障，规划强调了对人工智能行为进行科学和伦理研究的重要性，并倡导在最大范围内减轻相关风险[4]。2023年4月，国家网信办发布的《征求意见稿》，在对科技伦理风险预警与跟踪研判的基础上，及时回应当前生成式人工智能带来的风险与冲击。总的来说，以ChatGPT为代表的生成式人工智能在学习、教学和管理等层面带来诸多价值，然而，由于当前仍处于弱人工智能阶段，生成式人工智能（AIGC） 在带来众多机遇的同时，也在法律、伦理、技术等方面存在潜在风险。

1.1 生成式人工智能的法律风险

1.1.1 数据和隐私的泄露

生成式人工智能系统通常需要大量的数据来进行学习和训练。在课堂中，ChatGPT可能成为“课堂间谍”。为了获得ChatGPT对特定问题的解决方案，师生需要输入大量与之相关的数据。生成式AI通过对历史记录、行为模式和当前情况等日常数据的分析，以最小成本和最快速度为师生提供决策支持。然而，这种数据收集和处理方式可能引发数据和隐私的泄漏风险。

1.1.2 知识产权侵犯的风险

生成式人工智能在向用户提供回复时，若过度借鉴他人作品，则可能引发知识产权侵权问题[5]。Chat‐GPT给出的答案通常来源于搜索引擎搜索来的网上公开数据。这些数据都是人们上传和留痕的结果。如果ChatGPT 给出的答案涉及他人的著作权，如文字、代码、图片等，用户在使用时若不加以甄别，可能面临侵权风险。

1.2 生成式人工智能的伦理风险

1.2.1 师生情感的异化

教育是培养人的社会实践活动，广泛运用这类技术可能导致教师的知识权威逐渐减弱，教学变得更像是通过“人-机-人”模式传授知识。这种方式與传统的“人-人”面对面交流不同，学生和教师面对的是机器或屏幕，而非真实的生命体验[6]。对于教师来说，这可能阻碍了他们全面地感知学生内心微妙变化的能力，也难以及时进行真实的情感交流[7]。马斯洛的需求层次理论表明，人是社会性的，情感需求至关重要，“人-机- 人”交流方式可能导致师生间情感交往的疏离，减弱彼此关怀和情感投入，使情感体验变得缺乏真实感[8]。

1.2.2 人工智能的偏见

ChatGPT是一个大型的语言模型，虽然被训练了几百万个数据点，包括了大量的文本与书籍，但由于其学到的知识仅来自训练数据中的统计规律，缺乏语境理解能力，无法像人类一样能对世界进行复杂和系统地了解，因此常具有攻击性和偏见性的反馈内容。由于ChatGPT的学习算法是建立在历史数据基础上的，其时效性相对较差。在对学生成绩及能力进行评估时，采用这种算法将基于过去的衡量标准，可能导致产生偏见和不公平。

1.3 生成式人工智能的技术风险

1.3.1 内在技术风险

内在化技术风险即生成式人工智能教育技术应用过程中客观存在的风险[9]。以ChatGPT为代表的生成式人工智能，主要涉及几项关键技术和架构，分别是基于Transformer的预训练语言模型、提示学习与指令精调、思维链以及基于人类反馈的强化学习。

因此内在化技术风险首先体现在数据支持的缺陷，具体表现为ChatGPT时效性差，无法融入新的知识。例如：当询问ChatGPT“卡塔尔世界杯的冠军是哪支球队”？ChatGPT给出的回答是“卡塔尔世界杯将于2022年11月21日至12月18日在卡塔尔举行。因此无法回答这个问题，因为比赛的时间尚未确定。请耐心等待比赛结果揭晓”。

1.3.2 外在技术风险

生成式AI时代的教育技术风险与以往的分析式AI有所不同，显现出明显的特殊性。在这一时代，技术风险不仅涉及内在方面，还包括外在的技术风险。外在技术风险主要体现在以下几个方面：首先是数据隐私和安全，因为生成式AI需要大量数据进行训练，可能会牵涉个人隐私信息的泄露和滥用。其次是误导性和误解，生成的内容可能会误导人们，造成信息不准确或不真实的情况。此外，恶意滥用也是一个风险，生成式AI可以被用于制作虚假信息、网络欺诈和恶意攻击等。另外，技术的滥用也可能导致伦理和道德问题的出现，比如深度伪造视频可能会引发虚假新闻、个人声誉受损等问题。因此，需要严格监管和合理限制生成式AI的应用，以减少这些潜在风险。

2 生成式人工智能的教育风险构成

在大规模数据和强大计算力的支持下，ChatGPT 具备了“涌现”能力。这使得它不仅能够“理解”人类自然语言，还能够“记住”在训练期间积累的大量事实，并基于这些“记忆”生成高质量的内容[10]。与此同时，相对已有的人工智能技术，生成式人工智能带来的潜在风险更为紧迫。

2.1 生成式人工智能准备阶段的数据风险

生成式人工智能的运行离不开算法和数据，Chat‐GPT通过“大数据＋大算力＋强算法”，构建了一种大型自然语言模型，让人们在人工智能生产力转变的基础上向前推进一步。对于ChatGPT这类高度智能化的生成式人工智能，如何有效运用和处理数据，包括国家数据和个人数据等，以及在生成式人工智能准备阶段如何应对数据风险，都成为评估ChatGPT安全性和规范其后续应用的重要标准[11]。

2.2 生成式人工智能运算阶段的算法偏见风险

生成式人工智能引起广泛社会关注的原因之一是它由传统的分析式AI向新兴的生成式AI转变，而在这一过渡中，算法模型发挥着至关重要的角色。生成式人工智能主要通过基础算法对数据进行分析和处理，ChatGPT算法的偏见风险也因此产生[12]。换言之，ChatGPT在进行机器学习的同时，通过人工标注来修正和校对机器学习的结论，“机器学习+人工标注”作为算法技术内核，虽然提升了技术水平，但也增加了算法偏见的风险。

2.3 生成式人工智能生成阶段的知识产权风险

生成式人工智能的崛起给多个产业带来了挑战，其中对知识产权领域的影响最为显著。生成式人工智能的智能程度极高，在运算时对知识产权的归属产生了颠覆性的变化，相较以往的人工智能系统，带来了知识产权风险，而这是人工智能无法规避的。

3 生成式人工智能的教育风险应对

未来，人机协同成为大势所趋。为了减少或避免生成式人工智能带来的各种风险，应当从法治、伦理以及应用维度出发，采取具体实用的措施来应对这些风险。

3.1 法治层面：制定和完善生成式人工智能应用的政策和法律框架

为落实生成式人工智能的政策和法律体系，2016 年以来，世界各国与各类组织发布了大量与人工智能风险防范相关的规划和报告[13]。2016年9月，英国标准协会出台《机器人和机器系统的伦理涉及和应用指南》，指明人工智能伦理的研究要在行业设定标准的指导下进行。2021年4月，欧盟委员会通过了《人工智能》立法提案，提出通过制度规范规避风险的重大安排。

党的十九大报告强调“以良法促进发展、保障善治”[14]。因此，我们需要科学严谨地对生成式人工智能的发展和应用可能带来的潜在风险进行判断、分析和论证，不断制定和优化关于生成式人工智能的法律法规，以确保其在法制化轨道上规范发展和应用。

3.2 伦理层面：加强伦理约束，培养关键素养

加强伦理约束并培养关键素养是校规校纪与课程整合的重要方面。通过加强伦理约束，学校可以建立起一套明确的道德规范和行为准则，引导学生树立正确的道德观念和行为习惯。这不仅有助于维护校园秩序，还能培养学生的自律意识和社会责任感。同时，课程整合还可以通过教育教学活动，引导学生思考和讨论伦理道德问题，促进他们的道德判断能力和伦理意识的培养。通过这种方式，学生将更加深入地理解和内化校规校纪的内涵，为他们未来的学习和生活打下坚实的伦理基础。因此，必须充分意识到使用ChatGPT等人工智能工具带来的社会风险[15]，探索以主流价值导向驾驭算法，采取措施确保输出内容准确可靠。同时，通过多样化的教育活动，传播人工智能相关的政策与法律法规，提升公众人工智能的技术和人文素养[16]。

3.3 应用层面：建立ChatGPT 教育应用的风险预防体系

ChatGPT系统使用全过程的监督。如果学生过度依赖ChatGPT技术，可能会出现采用相同算法和对象的“常模”进行学习的情况，很难真正激发学生的潜力，也不利于引导学生深入思考和探究，甚至可能剥夺学生的思维训练和创造力发展的空间[17]。因此，教师应有针对性地进行教学活动和课外实践，根据学生的“最近发展区”设计创新性的资源，成为学生学业和人格发展的“引路人”，这是机器所无法替代的[18]。学校和教师应舍弃侧重知识记忆的传统评价方式，引入多维度的评价标准，注重考查学生在批判性思维和创新性思维等方面的综合能力，以有效提升评价方式的科学性和公平性[19]。

4 结束语

本文探讨了生成式人工智能服务在教育领域中存在的风险，并结合ChatGPT作为案例进行分析。虽然生成式人工智能在教育中具有巨大潜力，可以提供个性化的学习体验和帮助，但同时也面临一些挑战和风险。我们必须谨慎对待生成式人工智能在教育领域中的应用，既要充分利用其优势，又要警惕其中的风险。只有在全社会共同努力下，才能更好地推动人工智能技术在教育中的发展，为教育事业带来更多的机遇与挑战。

参考文献：

[1] 生成式人工智能服务管理办法（征求意见稿）[J]. 中国信息化，2023（5）：18-19.

[2] 王佑镁，王旦，梁炜怡，等.“阿拉丁神灯” 还是“潘多拉魔盒”：ChatGPT 教育应用的潜能与风险[J]. 现代远程教育研究，2023，35（2）：48-56.

[3] 肖峰. 哲学视域中的信息技术[M]. 北京：科学出版社，2017.

[4] 王岚，王凯. 教育中的人工智能：应用、风险与治理研究[J]. 黑龙江高教研究，2020，38（6）：45-49.

[5] 張学博，王涵睿. 生成式人工智能的法律规制：以ChatGPT为例[C]//上海市法学会.《上海法学研究》集刊2023年第6卷：2023年世界人工智能大会青年论坛论文集，2023.

[6] 冯雨奂. ChatGPT在教育领域的应用价值、潜在伦理风险与治理路径[J]. 思想理论教育，2023（4）：26-32.

[7] 尚瑞茜，么加利. 人工智能时代教师教学语言变革的隐忧与坚守[J]. 大学教育科学，2023，14（3）：54-62.

[8] 张雅丽，周雄俊，田再来，等. 人工智能教育应用风险与治理[J]. 中国现代教育装备，2023（8）：63-65.

[9] 吴河江，涂艳国，谭轹纱. 人工智能时代的教育风险及其规避[J]. 现代教育技术，2020，30（4）：18-24.

[10] 韩丹东，王意天.ChatGPT火爆背后有何法律风险？[N].法治日报，2023-02-13（008）.

[11] 刘艳红.生成式人工智能的三大安全风险及法律规制：以ChatGPT为例[J].东方法学，2023（4）：29-43.

[12]（ 美）约瑟夫·E.奥恩.教育的未来：人工智能时代的教育变革[M].李海燕，王秦辉，译.北京：机械工业出版社，2019.

[13] 西桂权，谭晓，靳晓宏，等.挑战与应对：大型语言模型（Chat‐GPT）的多样态安全风险归因及协同治理研究[J].新疆师范大学学报（哲学社会科学版），2023，44（6）：131-139.

[14] 马焕灵.党的十八大以来中国教育法治新样态：理念、制度与行动[J].现代教育管理，2022（10）：22-32.

[15] 徐和祥，申利侠“. 智能+教育”：应用场景、风险挑战与治理对策[J].复旦教育论坛，2023，21（2）：24-30.

[16] 李晓锋.人工智能将如何改变中国教育：评《教育的未来： 人工智能时代的教育变革》[J].林产工业，2019，56（12）：110.

[17] 钟秉林，尚俊杰，王建华，等.ChatGPT对教育的挑战（笔谈）[J].重庆高教研究，2023，11（3）：3-25.

[18] 卢宇，余京蕾，陈鹏鹤，等.生成式人工智能的教育应用与展望：以ChatGPT系统为例[J].中国远程教育，2023，43（4）：24-31，51.

[19] 储舒婷.ChatGPT火热“出圈”，我们如何應对新挑战[N].文汇报，2023-02-05（3）.

【通联编辑：代影】