基于4R危机管理模型的教育人工智能伦理风险防范体系构建

摘要：人工智能技术的快速发展正深刻影响和改变教育教学领域。因其智能化、自主性和交互性特点，教育人工智能应用带来诸多便利和优势的同时，也引发了诸多伦理风险和挑战，需要谨慎应对和积极解决。基于SHEL风控模型，教育人工智能应用的伦理风险可归纳为软件相关、硬件相关、环境相关和人件相关四类风险，伦理风险防范现存三个短板急需化解；借鉴4R危机管理模型，该文构建了一个多方参与、全程管理、高效协同的伦理风险防范体系，设计四层实践路径，并结合实践阐述了风险防范的实现方式，以创新地应对教育人工智能应用的伦理风险防范问题，助推教育人工智能的可持续健康发展。

关键词：教育人工智能；伦理风险；SHEL风控模型；4R危机管理模型

中图分类号：G434 文献标识码：A

* 本文系国家社会科学基金教育学重大课题“新一代人工智能对教育的影响研究”（课题编号：VGA230012）研究成果。

一、引言

当前，新一代人工智能已广泛应用于多个领域，在教育领域的应用和成就尤为显著，特别是以ChatGPT、Gemini、文心一言、讯飞星火为代表的人工智能大模型技术迅猛发展，对教育模式产生深刻影响[1]。2024年2月15日，OpenAI发布了视频生成模型Sora，以逼真、稳定、持久的视频生成效果惊艳世界。Sora凭借提供高质量且定制化的视频内容，将极大地丰富并改进教育领域的教学资源与方法，为学生们打造更为生动的学习体验，引领教育进入一个全新的纪元。基于人工智能的个性化学习与创新教育，将塑造教育发展新趋势[2]。

教育人工智能通过促进学生个性化学习、帮助教师处理大量重复性任务等，极大提高了学习效率和教学质量，但同时亦孕育了不少挑战。例如，人工智能可能无法充分考虑到每个学生的局限性和潜力，影响学生的发展[3]；人工智能无法完全模仿人类间的情感和非言语交流，导致教育缺失人文关怀和情感共鸣[4]；此外，还存在学生隐私泄露和数据安全等方面的担忧等问题[5]。这要求教育人工智能在应用过程中，重视伦理规范的建设、防范伦理风险的发生至关重要。若仅凭借传统的自上而下、被动式防范策略，难以有效应对教育领域人工智能应用所引发的复杂伦理风险问题，故有必要探索新的防范模式。本文旨在探讨构建一个多方参与、全程管理、高效协同的教育人工智能伦理风险防范体系，可以更好地识别、评估和缓解这些风险，确保教育人工智能可持续健康应用。

二、教育人工智能伦理风险问题及防范现状

（一）教育人工智能主要伦理风险问题

人工智能的广泛应用，变革了原有对教育的解读、反思及期望，进而引发混乱与焦虑[6]。人工智能在教育领域的应用虽然提高了教学效率和提供了个性化学习体验，但也引发了隐私泄露、算法偏见、教育不公平等一系列伦理问题。吴永和等将伦理问题归纳为个人伦理、技术伦理、教育生态伦理三个层次[7]，王茹俊等从信息、师生关系、算法、学术四个方面对伦理问题进行了总结[8]，雷宏振等将伦理问题划分为隐私暴露与信息安全控制风险、虚假信息派生所带来的信息传播风险、算法偏见所带来的决策和政策风险和责任界定模糊风险等四大类[9]，教育人工智能伦理问题正受到学界的广泛关注和积极研究。

本文使用爱德华（Elwyn Edwards）教授提出的SHEL模型作为教育人工智能伦理风险分析框架，该模型旨在研究环境内其他因素与“人”这一核心要素相互影响，从而导致与人相关风险事故发生的问题[10]。最初用于航空业，用于分析人为因素在安全事故中的作用[11]，后又扩展到工业、医疗领域，尤其是在护理安全管理领域中被广泛运用。根据SHEL模型，将教育人工智能的伦理问题归纳为软件相关风险、硬件相关风险、环境相关风险和人件相关风险四类，如图1所示。

1.软件（Software）相关伦理风险

软件要素不仅指计算机软件，还包括程序、规程、规则等。人工智能算法本身是价值无涉的，但算法开发的过程中却存在着人为价值介入的可能性。例如，人工智能在模型训练时，是基于人类反馈不断自我优化，其中存在隐含偏见的可能；人工智能的训练数据来自全球的语料库，其中英语语料占比颇高，因而会有政治、经济、文化歧视的可能，甚至会渗透西方的意识形态。此外，虽然开发者在开发过程中有所限制，但由于缺乏有效的法规监管，人工智能生成的不合理甚至不合法的内容仍可以在互联网上传播，污染了学习者的知识来源[12]。另外，人工智能系统，作为一种对教育大数据进行深入分析、精准判断与科学决策的系统，其核心在于数据驱动与认知计算[13]。教育大数据都是教师、学生、家长等在教育教学活动过程中产生的，本身并无好坏之分，但这些数据产生之后被人工智能企业或学校所控制，存在被不合理使用的风险。

2.硬件（Hardware）相关伦理风险

硬件要素指物理设备和设施，如机械、设备、工具等。人工智能的不合理应用，会造成教育领域的“数字鸿沟”。我国城乡发展并不均衡，教育资源配置存在显著差异[14]。城市地区的学生通常能够获得先进的教育资源，包括接触和利用最新的人工智能技术。相比之下，农村地区的学生则面临较为有限的教育资源，甚至难以接触到这些先进技术。这种城乡之间在教育资源获取方面的鸿沟，加剧了教育不公平现象。此外，硬件设备故障或性能不足可能引发风险事故，进而严重干扰教学活动的正常进行。以美国特斯拉自动驾驶技术引发的数起交通事故为例，这些事件表明当前人工智能技术尚处于弱人工智能阶段，技术尚未完全成熟。鉴于此，在教育领域引入人工智能技术时，必须以高度审慎的态度对其潜在风险进行全面评估，对教育人工智能可能的故障风险加以防范。教育人工智能的广泛应用也可能会给学生的身心健康造成潜在威胁。日本文部科学省的一项研究表明，使用ICT授课后，学生反应“眼睛疲劳”的比例较高[15]，导致学生过度依赖屏幕，增加视力损害的风险。浙江某小学通过为学生佩戴监控头环来提高学生的专注度，这种做法可能会给学生带来不必要的压力和焦虑感，对其心理健康产生负面影响。

3.环境（Environment）相关伦理风险

环境要素包括客观的物理环境，如教室的布局、设备的可用性和技术基础设施的条件；还包括抽象的社会环境，如社会对人工智能技术的接受程度、教育政策、文化背景以及经济条件等，这些环境因素共同影响人工智能在教育领域的有效应用。学校物理环境的不完善可能成为教育人工智能伦理风险的潜在源头。例如，若学校缺乏及时维护硬件设备的资金和资源，可能导致教育人工智能系统硬件设备的故障率增加，进而影响正常的教学活动。此外，人工智能在教育领域的应用通常是复杂的黑箱系统，师生、家长等通常不了解其具体的运行规则，造成当人工智能应用出现问题时，存在责任归属不清晰的风险，缺乏明确的事故问责机制和事故原因查明程序，难以对可能的事故进行有效预防和及时纠正。另外，人工智能若使用不合理，比如滥用监视工具，将会使师生陷入马克·波斯特（Mark Poster）所说的“超级全景监狱”之中，所有教育和学习行为都将暴露无遗，隐私的保护将面临严峻挑战。

4.人件（Liveware）相关伦理风险

人件要素是指与人有关的各种要素，包括教师、学生、家长等在教育人工智能应用中的行为、能力、态度和互动。人工智能的应用在目标对象上具有广泛性，并没有类似影视剧的分级限制，这也决定了它会无差别地对待所有使用者。人工智能在教育领域应用时，使用者很大可能是未成年人。因其缺乏对年龄阶段的分层设定，会使未成年学生接触到超出其年龄范围的信息，可能会对未成年学生的身心发育造成不良影响。人工智能在教育领域的误用、滥用也可能会导致学术不端甚至影响科研发展与进步。学生在使用的过程中，往往为了追求效率而放弃自己的思考，只想走“学术捷径”。从个体角度而言，会影响学生高阶思维能力和科研能力的发展；从科研角度而言，这种行为的泛滥会导致研究成果质量的下降，阻碍学术的发展与进步。此外，目前人工智能技术在教学中的应用，主要聚焦于协助师生完成“功能性”任务，却在一定程度上忽视了对情绪方面的关注与处理[16]，缺少师生交流中所包含的关怀、尊重、共情等真实的情感流露，不利于学生的情感发展。

（二）教育人工智能伦理风险防范现状

针对教育人工智能目前存在的伦理风险，国际组织和各国政府纷纷发布政策文件，旨在规范人工智能在教育领域的应用。联合国教科文组织已发布了包括《人工智能与教育：北京共识》《人工智能与教育：政策制定者指南》《教育与研究领域生成式人工智能》等在内的一系列重要文件。这些文件共同强调了在教育中整合人工智能时必须遵循的核心原则，如促进教育包容性、公平性，提高质量、确保数据隐私和技术的伦理使用等。 中国政府同样高度重视人工智能发展所带来的一些问题。习近平总书记曾强调，人工智能技术具有“双刃剑”的特性，可能会引发法律和社会伦理冲击、个人隐私侵犯以及国际准则挑战等问题，因此必须确保人工智能的安全、可靠与可控。2021年，科技部发布《新一代人工智能伦理规范》，要求在人工智能领域，要兼顾隐私、偏见、启发、公平等道德议题，倡导“善用”，避免“滥用”，推动人工智能健康发展。文献梳理发现，学界目前对教育人工智能伦理风险的研究主要分为风险识别和风险应对两类[17]，其中风险识别研究划分依据各异，划分类型多样，研究已较为深入；风险应对方面，教育领域主要采用一种“原则方法”，旨在规避伦理风险，为教育人工智能健康发展提供方向指导。

总的来说，在如何科学、有效地防范教育人工智能的伦理风险方面，相关的研究和实践仍处于起步阶段[18]。现阶段对于教育人工智能伦理风险的防范仍存在诸多挑战，传统的风险防范措施已不能满足要求，主要问题归纳为几个方面，如图2所示。

1.法律法规滞后，缺少明确指导

目前，用以约束教育人工智能开发应用的法律法规尚未完善，教育用户的合法权益难以得到有效保障。以隐私安全和数据泄露问题为例，2021年，我国颁布了《中华人民共和国数据安全法》，对数据处理活动进行了全面规范，旨在确保数据安全并推动数据的合理开发利用。它与已实施的《中华人民共和国网络安全法》《中华人民共和国个人信息保护法》等法律法规相互补充，构筑中国数据安全的坚实法律保障体系。这些法律虽然奠定了数据处理活动规范和数据安全保障的基础，但由于配套的下位法规和实施细则尚未完全出台，导致在实际操作中如何具体执行和遵守这些法律条文仍存在不确定性。这种法规体系中的空缺和延迟，使得隐私泄露和数据安全问题的解决并不彻底，特别是在迅速发展的教育人工智能领域，如何确保数据安全、避免隐私泄露仍然是一项挑战。因此，需要加快配套实施细则的制定和推出，以及加强监管执行力度，才能真正实现法律的初衷，有效保护数据安全和个人隐私。

2.信息教育不足，管理应对不力

尽管我国对信息素质教育一直给予高度关注，但面向青少年的信息素质教育，是直到《教育信息化2.0行动计划》出台之后，才取得了显著的进步与发展。《中小学数字校园建设规范（试行）》《中国教育监测与评价统计指标体系（2020年版）》《提升全民数字素养与技能行动纲要》等政策法规的颁布，均强调了重视培养信息与数字素养。除政府外，大中小学、公共图书馆以及社会力量也积极参与学生信息素养教育中[19]。例如广州市颁布的《广州市公共图书馆条例》提出公共图书馆需提供信息素养教育；360集团与共青团中央合作开发“团团微课：青少年网络素养公开课”等。尽管国家致力于推广信息素养教育，但实践中仍存在若干问题。例如，中国家长通常缺席于孩子的信息素养培养，究其原因，一是国内对于信息素养的认知存在偏差，不少人认为其并不是一门“有用”的学科。二是家长缺乏相关资源与指导，心有余而力不足。中小学的信息素养教育也存在问题，很多中小学长期以计算机教育为主，而忽略了信息素养的培养[20]。此外，当前教育人工智能伦理治理探索尚处于起步阶段，风险管理应对存在不足[21]。当教育人工智能存在技术故障或被恶意使用时，可能导致严重后果。例如，印度特伦甘纳邦在统考中应用智能计分系统，因系统问题导致部分考生被误标为“缺考”，引发多人自杀悲剧。

3.风险意识薄弱，反馈机制不畅

现阶段，我们面对的学生群体主要属于Z时代。 这一代人伴随着人工智能技术的发展成长，通过数字和智能产品认知世界，但缺乏察觉人工智能应用风险的意识与能力[22]。家长作为另一关键的参与者，往往对新技术的了解不如他们的子女，这种代际之间的技术鸿沟使得他们在风险防范意识方面同样处于劣势。许多家长对于人工智能技术的具体应用、潜在风险及其管理措施缺乏足够的认识，这不仅影响了他们自身的安全使用，也影响了他们在家庭教育中对孩子正确使用技术的指导。然而，目前尚未采取有效措施来显著增强学生和家长对教育人工智能伦理风险的防范意识。另外，教育人工智能应用尚处于起步阶段，由于经验尚未积累丰富且管理机制不够完善，其使用过程中不可避免遇到问题，亟需构建流畅的问题反馈机制。例如河南省各高校建立健全师生意见处理和反馈机制，及时倾听回应师生意见建议；一些中小学也开设了意见建议反馈渠道，例如厦门一中集美分校通过校长信箱和线上反馈的方式积极采纳师生意见。但这种做法并不普遍，且在实践中存在诸多问题。一方面，反馈信息的处理速度慢，甚至存在反馈意见“石沉大海”的情况。另一方面，现有的反馈机制往往缺乏针对性，特别是对于人工智能在教育领域应用所引发的特定问题，未能提供专门的通道或策略来解决。

三、教育人工智能伦理风险防范体系构建

（一）4R危机管理模型

美国危机管理学家罗伯特·希斯（Robrt Heath）在《危机管理》一书中首先提出了包含缩减（Reduction）、预备（Readiness）、反应（Response）和恢复（Recovery）四个阶段的4R危机管理模型，如图3所示。缩减阶段是核心环节，从环境、结构、系统和人员等方面入手进行实施，减少危机情境的攻击力和影响力，规避潜在风险，贯穿于危机管理的全过程；预备阶段的核心任务是构建和完善危机预警机制，增强组织成员对危机的预见性和应对能力[23]；反应阶段指当危机事件发生时，通过高效沟通应对、精准媒体管理、果断决策执行等手段提升处理危机效果[24]；恢复阶段指危机管理结束后的形象恢复和经验总结，避免重蹈覆辙[25]。4R危机管理模型最早用于企业危机管理，后因其科学性和实用性被广泛用于医院管理、突发公共卫生事件处理、高校安全防范体系的构建、档案应急服务保障等多个领域[26]。因其对风险规避、预警机制、危机处理、恢复举措等过程的全面涉及，以及对“人”这一因素的重视，与教育中“以人为本”的理念高度契合，因此在教育人工智能伦理风险防范中该理论也具有较强的适用性。

（二）教育人工智能伦理风险防范主体的确立

教育人工智能伦理风险防范的研究中，强调“技术与人文并重”的研究视角，从“技术维度、制度框架及人性考量”的核心层面出发，致力于构建全面系统的伦理风险防范体系[27]。教育人工智能伦理风险的防范是一个多层次的任务，涵盖宏观层面（政府）、中观层面（学校，人工智能企业）和微观层面（学生和家长）等多个防范主体。从宏观层面上，政府从政策制度、法律法规、科学文化等角度入手，确保教育人工智能的伦理性和合法性，营造良好的伦理风险认知和防范氛围；从中观层面上，人工智能企业从源头上防范伦理风险，考量其产品的设计、开发和部署过程中的伦理风险，基于用户友好性、系统稳健性、数据安全性等视角强化人工智能产品本身。学校是教育人工智能应用的直接场所，确保教育人工智能的选择、实施和管理符合教育伦理原则；从微观层面上，学生作为教育人工智能应用的直接受益者，通过增强自我保护意识并深入了解自身权利，在使用过程中提出问题和担忧，成为伦理风险防范的重要一环。而家长，作为孩子教育的直接利益相关者，承担起监督和评估学校人工智能技术使用情况的责任，确保技术的运用真正有助于孩子的全面发展。因此，需要政府、人工智能企业、学校、学生和家长共同参与，形成多方合力，方能对教育人工智能的伦理风险进行切实有效的防范。

（三）教育人工智能伦理风险防范体系的构建

从危机生命周期角度出发，依据4R危机管理模型构建包含多种机制的教育人工智能伦理风险防范体系，包括缩减管理机制、预备管理机制，反应管理机制和恢复管理机制。再结合上文确定的风险防范主体，包括政府，人工智能企业，学校，家长和学生，构建教育人工智能伦理风险防范体系，如图4所示。

1.缩减管理机制

缩减管理主要从环境、结构、系统和人员几个方面去入手，减少风险发生的可能，降低风险发生带来的不良后果。缩减管理机制是整个风险防范体系的核心，贯穿于整个风险防范的过程[28]。在这一阶段，政府需要做到立法引导，以法制约束人工智能的透明化使用。为了保护知识产权或商业竞争，许多人工智能企业会故意制造算法黑箱或其他设备软硬件上的问题，因而政府需完善相关法律机制，明确责任主体的权利与义务，严惩违反法律或道德规范的行为。人工智能企业则需做到技术优化，通过不断的技术革新和优化，确保教育人工智能产品应用的安全可靠。同时建立一套基本的伦理道德准则，进一步强化和细化人工智能公司的研发与制造责任，确保不侵犯消费者基本权益，保障消费者切身利益，维护消费者整体福祉[29]。学校作为人工智能应用的主战场，应加强师生的信息素养教育，引导师生对于信息资源获取和筛选问题的思考，提高对人工智能风险的认识。在引入人工智能技术之前，学校需对自身的切实需求和智能化程度进行合理评估，有针对性地选择适配度高的智能系统或产品，确保产品经过严格测试后方可纳入使用；在引入人工智能技术之后，学校要优化配套的管理措施，全面跟踪人工智能产品的使用情况，适时做出针对性调整。学生和家长应做到意识提升，提高对人工智能伦理风险的认识，合理使用人工智能工具，并在发现问题时及时反馈给学校和相关企业。

2.预备管理机制

预备阶段的核心任务是建立预警机制、完善信息传递体系，通过训练与演习，切实提升危机应对能力[30]。政府需要做到监管先行，建立全过程监管机制，对教育人工智能应用进行前瞻性监控和评估。例如欧盟颁布《数字服务法》，规定大型在线平台不得歧视不同用户；美国颁布《人工智能应用监管指南》，强调人工智能应用的公平原则[31]。人工智能企业应做到质量控制，从源头确保产品质量。现有法律规定，产品进入市场流通时的科学水平不能发现缺陷存在时，企业免责。流通后发现缺陷的，企业应及时采取警示等措施，否则企业承担侵权责任。而人工智能企业相较于其他企业而言，对产品的控制能力更强，对人工智能产品的监督控制可从研发阶段持续至使用阶段[32]。因此，企业应实施全程监督机制，一旦发现产品存在算法偏见、危害用户等情况，迅速采取纠正措施。

学校应发挥审查监督作用，构建教育人工智能伦理风险全过程监管体系。在人工智能进入学校前，要求人工智能企业提供算法功能、数据来源和可能风险等详细数据；人工智能进入学校后，构建畅通的信息反馈渠道，一旦发现使用过程中出现低质或有害内容，及时向相关部门反应并调整；同时，学校也应定期组织教育人工智能伦理风险的训练演练，增强师生对潜在危机的识别与应对能力。学生和家长则应提高对风险的警觉性，积极参与学校的人工智能政策讨论，参与相关的培训和教育活动，确保人工智能的安全和负责任使用。

3.反应管理机制

反应管理指在危机发生之际，迅速规划应对策略，有效实施解决措施，以应对或解决危机状况[33]。政府应做到紧急干预、迅速介入，协调相关部门，制定并执行应急措施。人工智能企业需立即启动应急预案，使用技术手段尽快控制和修复问题；同时主动配合政府调查，提供必要的技术支持。学校则应立即响应，根据教育部发布的《教育部等五部门关于完善安全事故处理机制维护学校教育教学秩序的意见》，当安全事故发生时，学校必须迅速应对，立即启动紧急救助流程，并成立由学校高层领导亲自负责的应急处置小组。在情况紧急复杂的情况下，学校应主动与当地人民政府、教育主管部门或其他相关机构紧密合作，形成高效的联合处置机制。为确保信息的及时传递与有效反馈，还需建立起一条快速畅通的信息沟通渠道，积极引导所有相关方依法依规行事，确保纠纷得到妥善解决。因此学校在危机发生时应立即采取措施保护学生安全，通知家长，暂停使用有问题的人工智能应用，并协助政府和企业进行问题调查。学生和家长应积极履行报告义务。一旦识别到潜在风险，立即向学校和相关部门报告，并严格遵循相关部门的指导意见，以防风险进一步扩大。

4.恢复管理机制

恢复阶段是指在危机终止后，迅速复原人员、资金、物资，深刻反思、总结经验。为此，罗伯特·希斯提出了PICPIC恢复策略，包括计划（Planning）、信息（Information）、核心（Core）、人（People）、整合（Integration）、持续性（Continuity）。这里计划指制定教育人工智能伦理风险的防范和恢复计划，确保在遇到数据泄露、算法偏见、系统故障等风险时，能迅速且有效地采取行动；信息指在风险发生时，及时收集和分析关于教育人工智能系统的准确信息，如故障原因、影响范围等，以便做出合理的决策并及时向相关利益相关者通报；核心指确定并保护教育人工智能应用中的核心资产和关键功能，如学生数据、教学内容和算法模型等；人指注重教育参与者，包括学生、教师和家长的安全和需求，必要时提供心理支持、技术帮助；整合指将风险防范和恢复活动与整体教学策略和运营紧密结合，确保教育目标和质量在恢复过程中不受影响；持续性指在应对即时风险的同时，考虑教育人工智能长期的稳定和发展。

根据PICPIC恢复策略，政府需要进行恢复指导和资源协调，帮助受影响的学校或机构快速恢复正常运作；同时总结经验教训，避免同样的危机再次发生。人工智能企业需迅速响应，利用专业技术团队对问题进行修复，通过软件更新、硬件更换或技术咨询等方式，确保产品和服务恢复到安全状态。学校则需立即采取措施稳定教学秩序，重新规划课程和教学活动，确保学生教育进程不受影响。同时，加强与学生和家长的沟通，缓解他们的顾虑。学生和家长应理解并配合学校和政府的恢复措施，共同努力恢复正常教育活动。

四、教育人工智能风险防范的实践路径

前述从教育人工智能应用的四类伦理风险出发，确定了四个防范主体；根据风险管理的全过程，构建教育人工智能伦理风险防范的四层实现路径：缩减层，预备层，反应层，恢复层。本研究以软件、硬件、环境和人件四类风险为例，结合上述框架，详细阐述风险防范的实现路径，如下页图5所示。

在缩减层，通过提前规划和策略实施来预防软件、硬件、环境和人件方面的风险。这一阶段的核心在于识别和评估潜在的风险点，然后采取措施来减少这些风险发生的可能性。预备层的主要目标是建立和完善应对突发事件和潜在风险的准备措施，重点在于通过培训和演练，提高教育参与者的应急反应能力和协作效率；同时，加强对软件、硬件、环境和人员方面的监控和评估，以便及时发现问题并采取措施。在反应层，主要任务包括立即启动事先准备好的应急响应计划，利用预警系统提供的信息迅速识别和评估事件的性质和严重程度，然后执行相应的行动来控制或缓解风险带来的影响。恢复层需要评估风险事件造成的损害，实施必要的修复工作，以及更新和优化应急响应计划以防未来类似事件的发生。

（一）软件相关伦理风险的防范

在软件相关风险的防范中，算法偏见是最为突出的情况[34]，各方主体应共同努力，确保算法的透明度、数据的公正性以及软件使用的安全性。

进入缩减管理阶段，人工智能企业和学校将对软件算法进行深入审查，识别纠正潜在的偏见，确保算法的决策过程公开透明；同时强化软件使用的安全性，采取适当的加密措施、访问控制和定期的安全审计等措施，保护软件免受外部攻击和内部滥用，保证教育大数据的安全性。人工智能企业还将确保数据处理的公正性，对输入数据进行严格的筛选和校验，避免不公平或有偏见的数据影响算法的输出结果。

进入预备管理阶段，重点是建立风险评估、安全监管和预警机制，政府建立健全的监管体系，对软件的开发、部署和使用进行持续的监督和检查，确保符合相关的安全标准和法律法规。学校系统地识别和分析潜在的软件风险，对风险等级进行评估，以便后续实施针对性的风险防范措施。同时，建立有效的预警机制是及时发现和应对风险事件的重要手段，学校通过实时监控软件系统的运行状态和用户行为，一旦检测到异常或潜在威胁，立即启动预警机制，采取必要的应急措施，防止风险事件的发生或扩散。

进入反应管理阶段，学校及时联系相关企业团队，快速启动故障响应、问题修复和数据恢复程序，实施事先准备好的应急措施，迅速定位问题的根源，进行有效的故障修复。为了实现这一目标，学校将与人工智能企业紧密合作，共享资源和信息，确保技术支持的及时性和有效性。技术团队还与教师、学生和家长保持良好的沟通，提供必要的指导和支持。

进入恢复管理阶段，不仅修复风险事件引起的损害，还对软件系统进行全面的升级和优化。这一阶段技术团队会对系统进行细致的审查，识别并解决存在的安全漏洞，同时引入新的技术和功能以增强系统的稳定性和用户体验。安全审计也是这一阶段的重要组成部分，通过对系统的安全控制和管理流程进行全面评估，确保所有安全措施得到有效执行，并符合最新的安全标准。恢复管理阶段还包括对事件处理过程的回顾和总结，从中汲取教训，更新风险管理策略，预防未来同类事件的发生。

（二）硬件相关伦理风险的防范

在硬件相关风险的防范中，缩减管理阶段政府将通过政策制定和资金合理分配，确保硬件资源在各地区均衡配置，缩小城乡之间的数字鸿沟，实现教育公平和提高教育质量。 学校则与人工智能企业紧密合作，对硬件设备进行定期升级和性能测试，确保硬件设备满足最新的安全标准，对学生的身心健康不产生负面影响。学生和家长将增强风险意识，积极学习硬件使用和维护知识，定期检查设备安全，遵循学校的安全指导。

进入预备管理阶段，学校建立系统的硬件维护和故障预防机制，例如制定定期的维护计划，确保硬件设备的性能和安全性得到持续监控；明确紧急故障处理流程，以便在硬件出现问题时能够迅速采取措施；对重要文件做好备份，以防数据丢失或损坏。学校还将引入故障监测和预警系统，一旦发现异常或潜在故障，立即发出预警，以便及时采取预防措施。

进入反应管理阶段，技术团队迅速诊断问题所在，采取必要的修复措施，同时确保替换的设备符合教育应用的要求。学校会对受影响的教学活动进行调整或临时替代，帮助学生适应临时教学安排，并及时通知家长相关情况，以保障教育活动顺利进行。

进入恢复管理阶段，学校将开展全面检测，对受影响的硬件系统进行彻底检查和维修。通过升级硬件设备和引入新技术，提高系统的整体性能和稳定性。

（三）环境相关伦理风险的防范

在环境相关风险的防范中，缩减管理阶段政府通过出台政策法规，推动教学资源在各地区和学校之间的均衡分配，确保以强有力的法律保护个人隐私，同时明确教育人工智能风险责任归属，保障教育公平和学生权益。学校则改善教学环境，提供稳定的网络连接和适宜的学习空间，定期维护和更新服务器、终端设备和软件系统等设施，确保其性能符合教育需求，使教育人工智能能在良好的环境中运行；同时对师生进行隐私保护和数据安全的教育和培训，增强其信息保护的意识。

进入预备管理阶段，学校针对潜在的环境风险制定明确的响应计划，涵盖自然灾害、设施故障等情况的预案。对环境也持续进行监控，以便及时发现和响应可能的风险事件。学校还将制定安全指导，教育师生如何在紧急情况下保护自己和他人，确保在发生风险事件时，每个人都能够安全有效地应对。

进入反应管理阶段，学校紧急响应，迅速评估风险事件的影响；同时，与当地应急管理部门密切合作，实施必要的安全措施来保护师生安全，例如启动紧急疏散计划、关闭受影响的设施等。若教学场所受损，则提供替代的学习空间或资源，确保教育活动能够正常进行。学生和家长做到积极配合学校的应急措施，遵循安全指导，确保个人安全，共同应对环境风险事件。

进入恢复管理阶段，首要的是恢复正常的教学和学习环境，包括对受损的教育设施进行全面检查，进行必要的修复或升级。学校也对整个风险事件进行详细评估，分析事件发生的原因，评估应对措施的有效性，更新和完善风险防范措施。同时，及时与师生和家长沟通，传达恢复进度和后续安排，减轻他们的担忧并获得支持和配合。

（四）人件相关伦理风险的防范

在人件相关风险的防范中，关键在于通过教育和培训加强师生及家长对人工智能技术及其潜在风险的理解。针对学生在使用教育人工智能可能会产生的问题，在缩减管理阶段，一是确保他们接触到适龄内容并防范不良影响，二是鼓励他们摒弃对人工智能工具的过度依赖，培养独立思考和深度学习的习惯，三是在教育中增强人际交互和情感教育的内容。政府、人工智能企业、学校、学生及家长将做到各司其职，共同努力，确保教育人工智能应用中人件相关风险得到有效防范。例如，人工智能企业确保产品的适龄性和安全性，开发和提供适合不同年龄段学生的教育应用，并加入相应的内容过滤和父母控制功能，减少不良信息的传播；学校强化对学生的监督和引导，定期进行信息素养和网络安全教育，培养学生的独立思考和批判性分析能力。教师则做到因材施教，重视学生的情感体验，确保学生之间及师生之间有充足的人际互动时间；学生自身则要增强自我保护意识，培养独立思考和深度学习的习惯，避免过度依赖人工智能工具；

进入预备管理阶段，通过定期的培训和演练，增强师生和家长面对数据泄露、网络攻击等突发事件的应对能力；同时，建立一个支持性的网络以加强家校社之间的协作沟通，便于风险发生时，所有相关方能够迅速、有效地联合行动。

进入反应管理阶段，及时通知师生和家长有关风险事件的细节、潜在影响和应对措施，以便他们能够快速做出反应。对于受事件影响的师生，学校提供必要的心理支持和辅导服务，例如提供专业的心理咨询、设立心理支持热线或组织团体辅导活动，帮助其应对可能出现的心理压力或焦虑。

进入恢复管理阶段，学校通过推广面对面授课和实地体验学习，平衡教学方法，减少对技术的过度依赖；引入情感智力和社交技能课程，增加师生互动，弥补技术使用中的情感联系缺失。同时，加强网络安全和个人信息保护教育，提升学生的安全意识。

五、结语

教育人工智能伦理风险防范已成为社会各领域重点关注的议题。教育人工智能伦理风险可能削弱学生隐私保护、加剧教育不平等，并影响学生的全面发展，对教育系统的公正性和可持续性构成挑战。智慧教育时代，妥善应对伦理风险，确保产品服务尽责，已成为当务之急。本研究基于SHEL风控模型，教育人工智能应用的伦理风险可归纳为软件相关、硬件相关、环境相关和人件相关四类风险，伦理风险防范现存三个短板急需化解；借鉴4R危机管理模型，构建了一个多方参与、全程管理、高效协同的伦理风险防范体系，设计四层实践路径，并结合实例阐述了风险防范的实现方式，以期应对迅速发展的人工智能技术，更好地促进教育公平与教育包容，实现教育人工智能的健康发展，构筑人机和谐共生的教育生态系统。当然，在智能化时代，教育人工智能的伦理风险防范是一个持续的过程。教育人工智能应用的伦理风险不仅限于本文所提及的四类，未来还可能出现更多目前尚未被充分认识的风险。因此，未来亟需更精细化地对学生群体分类，因材施教，量身定制教育方案；更深入地剖析伦理风险，规避潜在危害，确保教育实践的道德正当性，完善技术标准在多样化风险场景中的实践落地，优化教育与人工智能协同发展的现实路径。

参考文献：

[1] 曹培杰，谢阳斌等.教育大模型的发展现状、创新架构及应用展望[J].现代教育技术，2024，34（2）：5-12.

[2] 顾小清.当现实逼近想象：人工智能时代预见未来教育研究[J].开放教育研究，2021，27（1）：4-12.

[3] Tao B，Díaz V，Guerra Y.Artificial intelligence and education， challenges and disadvantages for the teacher [J].Arctic Journal，2019，72（12）：30-50.

[4] 于秋月，刘坚.“人工智能+教育”的伦理分析及主体重塑[J].学术探索，2024，（1）：148-156.

[5] 邹开亮，刘祖兵.生成式人工智能个人信息安全挑战及敏捷治理[J].征信，2024，42（1）：41-50+57.

[6] 唐汉卫.人工智能时代教育将如何存在[J].教育研究，2018，39（11）：18-24.

[7] 吴永和，吴慧娜等.推动人工智能向善发展：教育与人工智能共同的责任[J].中国电化教育，2024，（1）：51-58.

[8] 王茹俊，王丹.ChatGPT介入医学教育的伦理风险及应对策略[J].医学与哲学，2024，45（2）：76-81.

[9] 雷宏振，刘超等.论生成式人工智能的技术创新伦理周期——以ChatGPT为例[J].陕西师范大学学报（哲学社会科学版），2024，53（1）：97-107.

[10] 王颖捷.认知症老年人机构照护环境风险防范设计研究——基于SHEL风险控制理论模型分析[J].南京艺术学院学报，2023，（2）：183-187.

[11] Chang Y H，Yang H H，Hsiao Y J.Human risk factors associated with pilots in runway excursions [J].Accident Analysis & Prevention，2016，94：227-237.

[12] 兰国帅，杜水莲等.生成式人工智能教育：关键争议、促进方法与未来议题——UNESCO《生成式人工智能教育和研究应用指南》报告要点与思考[J].开放教育研究，2023，29（6）：15-26.

[13] 冯锐，孙佳晶等.人工智能在教育应用中的伦理风险与理性抉择[J].远程教育杂志，2020，38（3）：47-54.

[14] 李晓静.数字鸿沟的新变：多元使用、内在动机与数字技能——基于豫沪学龄儿童的田野调查[J].现代传播（中国传媒大学学报），2019，41（8）：12-19.

[15] 高益民，李宗宸.日本预防和减少教育信息化不良影响的基本对策[J].外国教育研究，2022，49（8）：3-22.

[16] 孙立会.人工智能之于教育决策的主体性信任危机及其规避[J].电化教育研究，2023，44（3）：21-27+43.

[17] 白钧溢，于伟.教育人工智能伦理原则的有限性及其补正——兼论“原则-美德-法律”框架[J].中国电化教育，2024，（2）：23-31.

[18][27] 杜严勇.人工智能伦理风险防范研究中的若干基础性问题探析[J].云南社会科学，2022，（3）：12-19.

[19] 罗艺杰.中美未成年人信息素养教育比较研究[J].图书馆，2023，（12）：67-76.

[20] 吴建华，郭静等.我国信息素质教育的主要问题、成因与对策分析——基于中美基础教育阶段课程标准的比较[J].情报科学，2012，30（7）：967-973.

[21] 白钧溢.教育人工智能伦理治理：现实挑战与实现路径[J].重庆高教研究，2024，12（2）：37-47.

[22] 郭胜男，钱雨等.面向未成年人的AI安全风险：风险澄思、根源透析与治理进路[J].中国远程教育，2023，43（7）：39-46.

[23][26] 张林华，邹润霞.基于4R危机管理理论的档案应急服务保障模式研究[J].档案与建设，2022，（7）：30-33.

[24] 张玉亮，杨英甲.基于4R危机管理理论的政府网络舆情危机应对手段研究[J].现代情报，2017，37（9）：75-80+92.

[25] 余丰民，周卫华等.基于4R模型的高校图书馆文献服务应急保障策略探讨[J].图书馆工作与研究，2020，（11）：25-31.

[28] 王娟，柳辉艳.4R危机管理视角下的公立医院网络舆情与危机管理对策探析[J].中国医院，2024，28（2）：95-97.

[29][32] 胡元聪，李雨益.企业社会责任视域下人工智能产品风险防范研究[J].当代经济管理，2020，42（4）：19-26.

[30][33] 王晓茜.4R危机管理下高校应对新型肺炎疫情的策略探析——以同济大学为例[J].中国高校科技，2020，（8）：22-25.

[31] 王佑镁，王旦等.基于风险性监管的AIGC教育应用伦理风险治理研究[J].中国电化教育，2023，（11）：83-90.

[34] 王佑镁，王旦等.敏捷治理：教育人工智能伦理治理新模式[J].电化教育研究，2023，44（7）：21-28.

作者简介：

王佑镁：教授，博士生导师，研究方向为教育人工智能、智慧教育、数字阅读。

利朵：在读硕士，研究方向为教育人工智能。

王旦：在读博士，研究方向为教育人工智能。

柳晨晨：博士，副教授，研究方向为教育人工智能。

Construction of Ethical Risk Prevention System for Educational Artificial Intelligence Based on 4R Crisis Management Model

Wang Youmei1， Li Duo1， Wang Dan2 ， Liu Chenchen1

1.Research Center for Big Data and Smart Education， Wenzhou University， Wenzhou 325035， Zhejiang 2.Department of Educational Information Technology， East China Normal University， Shanghai 200062

Abstract： The rapid development of artificial intelligence technology is profoundly affecting and changing thgL3uqdDzHg2ABrlo2gl3Dy6MTC9nLtKZ5SLoOqMrjIg=e field of education and teaching. Because of its intelligence， autonomy and interactivity， while the application of artificial intelligence in education brings many conveniences and advantages， it also triggers many ethical risks and challenges， which need to be dealt with carefully and actively resolved. Based on the SHEL risk control model， the ethical risks of educational artificial intelligence applications can be summarized into four types of risks： software-related， hardware-related， environment-related and human-ware-related risks. There are three existing shortcomings in ethical risk prevention that need to be resolved； Drawing on the 4R Crisis Management Model， an ethical risk prevention system with multi-party participation， whole process management， and efficient synergy is constructed， a four-layer practice path is designed， and the realization of risk prevention is elaborated in the light of practice， so as to innovatively cope with the issue of ethical risk prevention of the application of AI in education， and to boost the sustainable and healthy development of AI in education.

Keywords： educational AI； ethical risk； SHEL risk control model； 4R crisis management model

收稿日期：2024年5月21日

责任编辑：赵云建