风险社会视域下教育人工智能风险及其治理

○林攀登

一、问题提出

现代社会是一个风险社会［1］。随着人类理性能力的不断提升和实践领域的不断扩展，现代社会在创造现代性文明的同时也在制造风险，现代性困境实质就是人的不合理的生存实践所导致的风险。正如社会学家吉登斯所言，我们所面对的最令人不安的威胁是那种人造风险，它来源于科学和技术不受限制的推进［2］。人工智能技术作为第四次工业革命的核心标志［3］，在推动生产力发展，促进社会变革的同时，所产生的风险也已引起了人们的关注。人工智能与教育的深度融合，在推动教育创新、促进教育变革与发展的同时，也带来了不容忽视的风险。例如，算法不可解释性和算法偏见可能导致教育不公平，自适应学习的个性推荐会强化学生某些不良学习行为和习惯，教育数据的隐私保护和安全将受到更大的威胁等［4］。教育人工智能风险的有效治理是人工智能教育持续健康发展的重要保障，已经成为教育研究者关注的热点。

已有研究主要集中在以下三个方面。第一，对教育人工智能风险的表现描述，例如治理风险、伦理风险、教师职业替代风险、偏见风险等［5］［6］。第二，对教育人工智能风险的成因分析，例如分析了算法黑箱、数据偏见、隐私泄露、数据鸿沟、效率优先等［7］［8］［9］［10］。第三，对教育人工智能风险防范的原则探究，例如提出应更加强调以人为本的教育价值导向，以走出人工智能教育应用的盲区、禁区和误区［11］，构建包括福祉、公平正义、责任和问责等的人工智能教育伦理原则［12］。已有研究为我们认识和理解教育人工智能风险奠定了基础，但还存在些许问题。首先，在教育人工智能风险的内涵界定上出现话语失序。由于缺乏在理论层面上对其本质的厘定，已有研究中教育人工智能风险、伦理风险、伦理问题等相关术语交叉出现，模糊使用。其次，在教育人工智能风险的类型划分上出现层次不清的问题。由于缺乏对其进行分层、分类的深入探讨，已有研究中长期风险与短期风险、风险成因与风险结果等不同层次、类型的风险并列出现，缺乏系统梳理。最后，在教育人工智能风险的治理上，侧重于对教育人工智能伦理准则的分析和构建，强调宏观层面以价值引领防范风险，缺乏中观和微观层面的制度和技术方法分析。鉴于此，研究从风险社会理论的视角出发，聚焦以下三个方面问题：1.何谓教育人工智能风险？2.教育人工智能风险有哪些？3.教育人工智能风险治理的基本思路是什么？应该包含哪些方面？通过回答以上问题，研究旨在为科学认识与合理应对教育人工智能风险提供理论借鉴。

二、理论框架

与现代社会多元化和现代性特征相伴随的是日益高发的风险，现代社会已经成为一个高风险社会［13］。而现代社会风险更多地来源于人造风险，例如科技、文化、政治、经济等领域。正是对这一社会性问题的敏感把握，社会学家开始对风险的概念内涵、生成机理以及防范措施等进行系统的理论建构。1986年，德国社会学家贝克（Beck）在其所著《风险社会：迈向一种新的现代性》一书中首次提出“风险社会”（risk society）的概念，并对其进行了系统的理论阐释。随后，吉登斯（Giddens）、拉什（Lash）、卢曼（Luhmann）等众多社会学家又从不同的视角对风险社会进行了研究，形成了关于风险社会理论的基本框架［14］。本文基于风险社会理论视角，分析教育人工智能风险及其治理。

（一）风险社会的概念及其特征

风险是一种普遍的历史事实和社会现象，在人类的实践活动中一直存在。但是随着全球化进程的加快、突发事件和危机的持续增加，不确定性的不断增强，风险在现代社会中的表现与过去相比已经出现本质的差异，由此，就产生了现代意义上的“风险”，并出现了贝克所提出的“风险社会”。所谓现代性意义上的“风险”——现代风险，主要指“人为制造的风险”，即由于人类自身知识的增长和科学技术的进步，而对整个世界带来的强烈的作用所造成的风险［15］。例如，核能在给人类提供高效能源的同时，也带来了核战争和核泄漏的风险；生物基因工程在为人类疾病提供更为先进的医疗手段的同时，也引发了人类社会的伦理和道德危机。这些风险具有全球性、平等性、不可感知性、难以控制性、高度复合性和复杂性等特征［16］。在现代风险的基础上，社会学家将人造风险占主导地位的社会定义为风险社会。

风险社会作为一个概念，并不是对历史分期意义上的描述，而是指社会的一种状态，体现了现代社会所具有的一种社会性的危机状态，以及这种危机所具有的程度和水平。建构在现代风险之上的风险社会具有以下特征：第一，风险社会是一个人造风险占主导地位的社会；第二，风险社会是一个高度技术化的社会，技术的高度发展既是风险社会的表面特征，也是风险社会的重要成因；第三，风险社会是一个“有组织的不负责任”的社会，风险的高度复合性和复杂性导致风险的制造主体和风险结果的模糊性，进而导致没有人真正地为风险的危害性结果承担责任［14］。风险社会是在社会工业化高度发展、人类现代化进程不断加速的背景下提出来的概念。这既是人类对自身发展处境的理性反思的结果，也是人类应对未来社会发展不确定性的能动性体现。

（二）风险的成因及应对

现代风险是人类知识的不断增长和科学技术的不断进步所导致的不确定性造成的［17］。换言之，随着社会生产力的不断提升，人类在不断地拓展实践领域和提升实践能力的同时，实践中的不确定性也在日益增加，进而产生风险。以技术为核心支撑的生产力在发展中产生了副作用，例如技术误用和滥用、制度的不公平、资本逻辑主导下的全球化与逆全球化矛盾等。进一步分析发现，现代社会生产力的副作用植根于现代化进程中的自反性现代性。现代化发展的标志是现代性的不断增长，以理性主义为基础原则的现代性包含着反对甚至颠覆自身的力量，即自反性现代性［18］。自反性现代性集中体现在理性主义原则的高度盛行。建构于现代性意义之上的理性主义原则中的“理性”，实质是指“工具理性”（或科技理性）。现代社会中，基于对工具理性的信仰，人类把客观世界作为不断征服和利用的对象，缺乏敬畏意识，无视自然规律，对大自然进行过度开发。科技的威力成为人类过度实践的理性工具，日益使人和社会发生异化。工具理性支配下的人类活动普遍秉持的原则是功利主义和效率优先，而缺乏对人文价值的坚守和反思。贝克通过对风险与现代性关系的深入分析发现，现代性之所以会产生自反性，进而导致风险，本质上是由于“知识的断裂”和“知识的无能”。换言之，人类对理性的无限崇拜与自身本体上的“有限理性”形成了深刻的矛盾，而对这一矛盾的“无知”或“忽视”使得仅具有“有限理性”的人类将自身上升为“无限理性”的拥有者，并以这种虚假的理性进行社会实践，这是造成现代风险的根本原因［19］。

全球化的现代风险昭示着传统的国家依赖型风险治理方式的破产，唯有建构新的理论与方法体系才能应对之。对此，贝克提出了三个具体举措——“原则拯救”“理论建构”与“全球亚政治”。具体而言，在价值原则层面，坚持工具理性与价值理性和谐共生，并以价值理性引导工具理性。在理论体系层面，建构新的理论体系和技术方法，以为人们应对风险提供知识支撑。在主体作为层面，建构以“社会价值理性拥护者”为基础的全球“亚政治”，也就是以社会价值理性为基础的社会行动者的普遍联合，谋求多元治理主体之间的协作互补，以削弱工具理性的力量，实现对全球风险社会的有效应对［19］。

三、教育人工智能风险的内涵与类型

（一）教育人工智能风险的内涵界定

风险是指未来可能发生的对人的危害，本质特征是不确定性、属人性和危害性［20］。风险的成因和表现既是历史的、相对稳定的，也是动态的、发展的，因此，对具体风险的分析必须置于特定的社会历史发展条件下。教育人工智能风险是指人工智能在与教育深度融合的过程中也可能产生不利的作用或影响，甚至危害。依据智能程度划分，当前的人工智能技术属于弱人工智能（或专用人工智能），未来可能会进入强人工智能阶段。需要强调的是，弱人工智能技术已经具备客观的技术基础和实践条件，而强人工智能还只是人们的一种设想，并没有客观的技术基础，实践应用更无从谈起。短期风险是指基于弱人工智能技术，在科学合理的可预测的范围内未来可能发生的风险。长期风险是建立在未来强人工智能技术的设想之上的，这一层面的风险当前仅存在于想象之中，目前并无客观的技术基础和探讨的必要性。本文所探讨的教育人工智能风险是建构在弱人工智能技术之上的历史的、相对具体的短期风险。

基于风险社会理论分析，教育人工智能风险的根源是人工智能技术的自反性现代性，具体表现为工具理性的盛行和价值理性的遮蔽。人工智能以数据为手段试图挖掘教育内在规律，深度“计算”教育，使得教育主体时刻处于“数据凝视”之下。由此，教育生态潜藏着一种工具理性泛滥、价值理性式微的冲动，危害教育伦理秩序，违背教育的价值初心［21］，进而引发教育人工智能风险。教育是一种培养人的社会活动，教育人工智能风险的生成和作用对象都与人相关，具有属人性。这种属人性表明，教育人工智能风险的危害在其直接性上虽然表现为对教育场域中非主体要素的损害，但是其根本还是对人及人与人之间关系的危害。因此，从广义伦理的视角来看，教育人工智能风险本质上属于伦理风险［22］。

（二）教育人工智能风险的类型划分

风险社会理论提示我们，教育人工智能风险作为一种现代风险，具有高度的复合性和复杂性。因此，仅仅从现象层面阐释风险难以对其有全面、系统的认识。教育人工智能是一种新的教育技术形态，涉及人工智能技术的设计、开发、应用、管理等过程。本文从教育人工智能风险的来源将其划分为技术内生型风险、技术应用型风险和技术管理型风险三种，以期厘清教育人工智能风险类型。

技术内生型风险是指由于教育人工智能技术本身设计的不成熟、错误或漏洞等产生的风险，主要包括算法风险和数据风险。具体而言，在算法层面，算法不可解释性和算法歧视会损害教育主体的知情权和主体地位。例如，越来越多的教育机构采用人工智能算法对教师或学生能力进行测评、分级，由于算法不可解释性和算法歧视的存在，这有可能阻碍教育活动的公平，放大教育内部潜在的偏见，消解教育个体的多元化特质［4］。此外，人工智能算法的自我学习特性导致其在被用于教育决策中可能产生不可预测的结果，与当前的教育理念和价值产生冲突，对决策过程造成干扰和误导［23］。在数据层面，数据作为被过度抽象化的表征教育事实属性的集合，在收集、处理、分析、显示的过程中并非完全中立的、客观的，而是存在偏见的。这种偏见与算法设计的歧视形成交互效应，会加剧教育系统内部的偏见。另外，即使在我们认为较为成熟的人工智能产品也会在与特定人群的交互中习得偏见，这就是人工智能的可诱骗性。如微软聊天机器人Tay，通过与特定个体的交流，在短时间内就会形成辱骂用户、发表煽动性和攻击性言论的倾向［24］。

技术应用型风险是指由于教育人工智能技术在应用过程中使用不当产生的风险，主要包括技术的误用和滥用。前者如将基于不同人工智能产品的教育测评结果进行对比、将教育人工智能产品应用于超出其数据训练集的全新场景等，以致产生不可预测的结果甚至偏见。后者是技术应用型风险的主要类型。人们对于技术经常会产生正向偏见（PositivityBias）［25］，即在没有足够信息的情况下，默认信赖技术，对其客观程度过分乐观。这种认知偏差使得人们极易忽视教育人工智能应用的限度与边界，造成滥用。人工智能的精准推荐算法已被大量用于学生的个性化学习和教师的精准教学。但是滥用精准推荐、过度迎合学生的个性化需求很可能会形成“过滤气泡”（Filter Bubble），即依据学生的行为习惯记录和分析，过滤掉与学生观点相左的或学生不感兴趣的内容，只给学生提供他们想看的内容，形成所谓的“信息茧房”（Information Cocoons），导致学生接收到的信息被局限于某个范围内，造成认知上和意识形态上的封闭与僵化［6］。并且，这种过度迎合学生个性化需求的精准推荐也会强化学生某些不良的行为习惯或不合理的观念。此外，滥用教育人工智能技术，会导致教育决策对数据的过度依赖，进而异化教育事实的价值判断。人工智能技术的基础是数据，人工智能教育应用意味着教育活动要素的数据化。但是数据的表征域远远小于教育生态范畴，抽象化、简约化的表征形式背离了教育生态的复杂性和整体性［21］。换言之，人工智能构建的教育数据图景无法还原真实的教育世界。因此，过度数据化的教育可能会背离教育对人文价值和生命意义关注的内在品质。试想：当教师的情感意志和教育智慧、学生的个体品性和价值取向等均以数据的形式被加以计算和复制的时候，教育中真实的人何在？教育中培养人的本质意义将何去何从？

技术管理型风险是指由于对教育人工智能技术管理不当或制度规划不科学产生的风险，主要包括设计不合理的教育人工智能产品、使用不成熟的教育人工智能产品、技术管控不完善导致数据泄露等。教育人工智能的管理涉及技术开发、应用的全过程，任何环节的管理不当或缺失都有可能产生风险。具体而言，明显不合理或不成熟的智能产品被投入使用，不仅可能会损害学生的身心健康，还有可能误导教育者的价值取向。比如，赋思头环所导致的学习证据的标签化、异构数据的杂糅化及信息泄露等会降低学生的幸福感，并产生师生之间的信任危机［21］。此外，智能预警、智能监控、智能门禁等人工智能教育应用在大幅度提高了教育系统安全性的同时，也增加了教育系统安全管理的难度，不法分子也可以应用智能技术进行恶意攻击、隐私数据获取等违法行为。以上这些风险均是由于对教育人工智能的管理不当或制度规划不科学而导致的，因此，制定合理的技术管理规范、建立科学的技术管理体系是规避教育人工智能风险的重要方法。

在具体的教育实践中，以上三种风险的发生和危害并非是相互独立的，而是相互关联的。一方面，技术内生型风险需要通过具体的技术应用或技术管理实践才能对教育活动产生现实的危害，而部分技术管理型风险也需要通过具体的技术应用实践才能对教育活动产生现实的危害。另一方面，某一种风险危害可能是一种或多种风险来源综合作用的结果。以偏见风险为例，其既可能来源于算法歧视或数据偏见，也可能来源于智能技术的误用与滥用，还可能是这些来源综合作用的结果。至于偏见风险的成因究竟是什么，还需要结合具体的风险事实进行具体的分析。教育人工智能风险既具有现代风险的一般性，又具有一些特殊性，如成因的隐蔽性、危害的长期性等。以上这些分析为我们合理而有效地应对教育人工智能风险奠定了基础。

四、教育人工智能风险治理路径

现代风险的治理需要摆脱传统的单一机制和单一主体的理路，形成一种多元主体协同的复合型风险治理体系［14］。基于风险社会理论分析，教育人工智能风险作为一种现代风险，其治理涉及三个不同层面。在价值层面，应构建适用于人工智能教育生态的伦理准则和规范，为教育人工智能风险治理提供价值引导；在制度层面，应制定用于规范、监督教育人工智能开发和应用全过程的政策、法律、行业标准等，为教育人工智能风险治理提供制度保障；在技术层面，通过技术更新、风险事实的追踪分析等对具体的风险进行识别、评估、管理，为教育人工智能风险治理提供具体的方法创新。具体而言，教育人工智能风险治理可以从伦理引导、政策规范、法律约束、技术应对和事实追踪等方面综合施策。

（一）伦理引导

人工智能已经超越了以往信息技术简单的工具属性，而具备了一定的“自主性”，能够深度参与人类决策［26］。人工智能的这一类人属性，首先在伦理层面冲击了原有的社会秩序，由此引发了人工智能伦理风险，当然也包括教育人工智能伦理风险［22］。在教育人工智能的设计、开发、应用和管理过程中，我们首先需要在伦理层面构建适应于智能教育生态的原则和规范，以为教育人工智能风险治理提供根本性的价值引导和原则支撑。人工智能教育伦理至少涉及人工智能伦理和教育伦理两个方面。当前，国外国内关于人工智能伦理准则的研究和倡议已经相当丰富。教育研究者急需在坚持教育人本伦理的前提下，充分借鉴人工智能伦理研究成果，探索构建人工智能教育的伦理准则和规范，并力求在一定范围内取得广泛共识，以便协同推进人工智能企业、政府、学校、教师、学生及家长等利益相关主体对教育人工智能形成合理的风险认知和责任意识。

（二）政策规范

伦理原则在总体上为教育人工智能风险治理提供了价值引导，但是在具体的由多主体组成的复杂的过程监管上还需要相应的政策、行业标准、技术规范等可操作性的措施予以保障。政策规范应该包含以下三个方面。第一，国家或地方政府应根据技术发展程度，颁布用以规范教育人工智能应用和发展的制度措施，对教育人工智能的开发、应用和管理等提出标准要求。第二，教育人工智能相关行业应该制定行业内部的具体标准和技术规范，加强行业自律，提升技术研发团队对教育多元化育人价值的理解和认同。比如，教育人工智能相关企业可以建立专门的伦理审查机构，明确内部利益相关者的伦理责任，并对技术的可解释性、透明性等提出具体标准要求，加强风险检测和过程评估［27］。第三，教育系统内部应该对教育人工智能产品的应用和管理制定明确的标准和要求，指导教师、学生、家长、学校管理者等形成合理使用技术的能力和观念，并确保其在授权范围内使用和管理教育人工智能产品。

（三）法律约束

针对具有明显的高危害性的风险领域以及实践相对成熟、已有普遍共识的教育人工智能技术或产品，可尝试进行立法规制，明确人工智能的角色地位，规定其与利益相关者（智能系统创建者、智能系统使用者、智能系统监测员、智能决策主体和决策执行者、数据主体）［28］的权利与责任。针对低危害性的风险领域和当前实践还不成熟的教育人工智能产品，则应该在现行法律的约束下，通过政策规范、行业自律、标准制定等方式进行风险控制。我国2021年6月颁布的《数据安全法》对当前社会各领域的数据应用、共享和隐私保护等方面做出了明确的规定。当前，教育人工智能发展中的数据问题可参考该法的相关规定，待进一步发展相对成熟并取得一定共识时，可考虑制定教育领域数据问题的专门法律，以为教育人工智能持续健康发展提供有力保障。

（四）技术应对

技术内生型风险源于技术本身的不成熟、错误或漏洞，其最终解决还是要依托于技术的不断更新和改进。例如，算法的不可解释性和透明性问题是教育人工智能风险的重要类型之一，涉及人类的知情权和主体地位，而这可以在一定程度上通过技术改进得到部分解决——借助技术使算法本身由“机器层次”降维到“人类层次”，使得人类能够在更大程度上“看得懂”“能理解”。此外，人工智能技术催生的视频和图像深度伪造给社会带来了极大的威胁和挑战。当前，人们正在研究多种深度伪造检测技术以规避其可能产生的危害，例如基于区块链溯源的防篡改公共机制和数字水印、视频指纹等信息安全方法［29］。教育领域中的深度伪造，例如学生图像数据造假、学历造假、监控视频造假等，也可以采用以上的技术措施进行风险防范，规避其潜在的危害。

（五）事实追踪

以上针对教育人工智能风险的应对措施——伦理、政策、法律和技术等都是建立在科学合理的风险预测基础上的，是应然性的体现。然而，教育人工智能风险是多样的、复杂的，也是不断进化的。以上这些重在事前控制的应对措施很可能滞后于快速发展的教育人工智能。那么，除采取这些积极应对措施外，对具体风险的防范还要聚焦于已发生危害的风险事实，对其进行持续的追踪分析，并开展风险识别、评估和管理，以应对“实然性”和“突然性”的现实风险。具体而言，教育人工智能的开发者、研究者等需要协同建立风险事实追踪机制，一方面对当前人工智能技术在教育领域中已经引发的风险事实进行总结分析，另一方面对高风险区域进行实时监测，及时发现可能出现的新风险来源、新风险表征及新风险危害。在事实追踪分析的基础上，相关治理主体才可以提出有效识别风险的方式方法，开展对风险危害性的评估和分级，建立持续性的风险管理体系。

五、结语

教育人工智能风险作为一种现代风险，是技术自反现代性在当前教育领域中的集中体现，即在推动教育创新发展、促进教育现代化的同时，也可能会危害教育的伦理秩序，阻碍教育的健康发展。我们只有深刻认识教育人工智能风险的这一根源成因，才能够在应用人工智能技术的过程中坚持教育育人的价值初心，以价值理性引领工具理性，始终保持谨慎的实践探索。此外，教育人工智能风险是发展的、动态的，因此，对其进行有效的治理也是发展的、动态的，而不是一蹴而就的，需要结合教育人工智能的发展阶段，不断调整和完善政策、法律及技术等方面的应对措施。未来教育人工智能风险研究需要密切关注风险事实的追踪分析、风险管理技术的方法创新以及有效治理体系的构建，以为人工智能教育的持续健康发展提供有效保障。