人工智能防欺凌系统应用的法律风险及其预防

摘 要 实践中的校园欺凌具有明显的隐蔽性，为提前发现和及时制止欺凌行为，基于人工智能的防欺凌系统应运而生。涉及防校园欺凌的人工智能包括决策式人工智能和生成式人工智能。校内外基于人工智能的监控系统侧重于分析与判断欺凌行为，当前需要的是决策式人工智能。而目前大规模的网络欺凌涉及AI换脸、AI造谣等深度伪造技术的生成式人工智能，所以人工智能防网络欺凌系统是基于人工智能的攻防对抗。人工智能在中小学校园应用也面临一系列法律风险，因此应继续健全防范未成年人个人信息数据、隐私数据泄露的法律制度，保障未成年人隐私权益不受侵犯。

关" 键" 词 人工智能防欺凌系统；人工智能；校园欺凌；数据安全

引用格式 孙倩.人工智能防欺凌系统应用的法律风险及其预防[J].教学与管理，2025（05）：11-14+19.

近年来，虽然在不断深入和推广青少年法治教育，但中小学校校园欺凌、校园暴力事件频频发生，且屡禁不止[1]。根据中国人民大学中国调查与数据中心（NSRC）设计与实施的中国教育追踪调查（CEPS）（自2013年追踪到2018年）显示，从小学到高中，有75.3%的学生遭受过至少一种形式的校园欺凌，其中只有五分之一的受害者选择了向家长或学校倾诉[2]。2017年联合国教科文组织发布的《校园暴力和欺凌全球数据报告》显示，有32.5%的学生遭受过校园欺凌，其中30%的受害者选择保持沉默，59%的学生在看到他人被欺凌时也选择了沉默[3]。这些被欺凌者的共同特征是语言表达能力较弱，不会反抗或不敢反抗，容易被威胁、恐吓，缺少倾诉的对象。所以，单从欺凌加害者和受害者出发，加强管理和教育引导是不够的，还需要外部力量干预，只有提前发现和当场制止，才能有效保护学生的身心安全，避免事态严重化，及时化解诱发校园欺凌案件的风险。

一、人工智能防欺凌系统在校园欺凌事件中的应用

为防控校园欺凌，2018年，教育部颁发《教育信息化2.0行动计划》，强调智能化教学环境的建设[4]。目前我国已有部分中小学试点使用“智慧校园”系统，对校园开展智能化、智慧化监控。目前中小学校采用的AI防欺凌系统有两大类，即视频AI行为分析预警系统和AI语言识别终端。

1.人工智能在防控校园欺凌方面的优势

相对于中小学校动用大量的人力、物力去预防和控制校园欺凌，利用人工智能监测欺凌行为有多方面的优势。

首先，人工智能能够预先判断和发现欺凌行为，并及时制止。一方面，中小学生之间的打闹、推搡、吵架等行为不能一概认定为欺凌行为；另一方面，中小学生之间的欺凌行为非常隐蔽，因此单靠人力是远远无法防控校园欺凌的。实践中，中小学师资力量有限，还承担着繁重的教学任务，不可能分出足够的人力去盯着所有的学生。然而，基于人工智能的视频监控基本可以实现24小时不间断监控，并且通过算法、数据分析、统计分析，预先判断欺凌行为，并及时发出警示语音，通知安保人员。这样既能够防控欺凌行为，对于欺凌者也是一种震慑。

其次，以人工智能判断欺凌行为具有客观性，有利于减少家校纠纷。因为人工智能防校园欺凌系统的决策过程基于算法和数据分析，相对于中小学教师和学校管理者的主观判断更客观和公正，并且有视频证据或音频证据为佐证，更容易令欺凌者的家长接受。同时人工智能的应用也减少了人为因素的干扰，降低了欺凌行为判断错误风险和学校及教师处理欺凌行为不公正的隐患，进而纾解了很多家校纠纷，有利于家校协作。

再次，节省人力成本。在嘈杂的中小学校园及其周边布置的人工智能防校园欺凌系统能够全天候工作，并在欺凌行为发生时迅速发出警报，大大节省了人力的使用。

最后，更好地防范社会风险。一方面，人工智能防校园欺凌系统能够快速地处理大量的欺凌行为数据，形成行为分析报告，为学校德育工作者有针对性地做好学生德育和心理健康教育提供素材。另一方面，人工智能在欺凌行为的社会效果评估和社会风险判断方面发挥着重要作用，能分级分类处理不同的欺凌行为，预防欺凌行为产生严重后果。

2.人工智能防欺凌系统应用的几个重点领域

涉及防校园欺凌的人工智能包括决策式人工智能和生成式人工智能。校内外基于人工智能的监控系统侧重于分析与判断欺凌行为，而当前需要的是决策式人工智能。目前大规模的网络欺凌涉及AI换脸、AI造谣等深度伪造技术的生成式人工智能，所以人工智能防网络欺凌系统是基于人工智能的攻防对抗。

一是针对各种欺凌行为特质制定应用人工智能的方案。根据目前的调查和研究，校园欺凌行为主要表现为显性的欺凌和隐性的欺凌。显性的欺凌主要表现为重复的暴力攻击行为，如拳打脚踢，及言语欺凌，如起外号、嘲讽、辱骂、恐吓、与性有关的不当评论等。隐性的欺凌主要表现为人身侮辱，如故意向别人吐痰、故意绊倒或推搡、抢夺或故意毁坏某人物品、作侮辱性手势、在其身体或衣服上画侮辱性图案等行为，还有设置社交障碍，如故意忽视、集体孤立排斥、不让其他同学与某人做朋友、故意经常当众令某人难堪、撒播谣言等行为，以及强迫提供侮辱性服务，如擦屁股、擦鞋等行为，甚至性骚扰等[5]。根据各种欺凌行为的特质，可以采用视频监控、音频监控的形式，以欺凌中特定的语言触发预警系统，健全智能监控系统。

二是针对遭受欺凌对象的特征制定应用人工智能的方案。根据调查，遭受欺凌的孩子多集中在几个群体，如家庭经济条件很差的孩子、经历家庭暴力的孩子、在郊区就读的孩子、寄宿生、留守儿童、单亲家庭孩子[6]。根据受欺凌对象的特征，建立校医院到各级医院的未成年人伤情、病情强制报告制度，出现类似伤情即自动触发公检法的预警系统。同时着力构建中小学智慧校园系统，通过监控这些特殊群体孩子的校园卡消费状况，开发预警系统，对超出该学生日常生活水平的大额消费或支取行为进行预警。

三是针对欺凌行为发生场所制定应用人工智能的方案。根据调查，中小学校园内的宿舍、教室、厕所、走廊楼梯、操场为欺凌行为高发地[7]，某些特定的学校，比如打工者子弟学校、收费比较高的民办学校是欺凌行为高发的场所；校外来说，上下学路上、校车、少年宫等与学校相关的场所，学生居住的小区或街道、补习班，以及很少有人去的偏僻角落等学校和社区监管的真空地带都是校外欺凌的多发地[8]。另外，新兴的民宿、日租房等也是违法犯罪、校园欺凌的多发地。学校的宿舍、教室、厕所、走廊楼梯、操场等场所，可以安装视频监控、音频监控。对打工者子弟学校和民办学校则进行重点监控。对于校外与学校相关的场所，可以动用人工智能做到监控全覆盖。对于其他学校和社区监管的真空地带，则需要提前通过学校内外的人工智能预警系统进行排查，因为绝大多数的校园欺凌都是持续的，并且有预谋的。而对于学校附近的民宿、日租房，则需要监管部门加强监管，严禁这些场所向未成年人开放。同时优化人工智能防欺凌系统，将民宿、日租房等关键词纳入预警系统。

四是针对网络欺凌制定应用人工智能的方案。随着社交网站的盛行，网络欺凌成为越来越严重的社会问题。很多未成年人涉及或参与网上欺凌，而欺凌者在线虐待、骚扰、歧视、威吓、羞辱和折磨对方的行为很容易逃脱法律的制裁。人工智能与网络欺凌的融合，使网络欺凌的危害被无限放大，基于AI的深度伪造欺诈、造谣、诽谤，以及钓鱼邮件、AI数据“投毒”等已经不再只是网络欺凌，而是关系到网络安全的重大问题。

在当前人工智能时代的网络环境下，对网络欺凌的治理需要上升到网络安全的视角，探求多主体、多层次的合作治理，将网络服务提供者、用户、政府都纳入其中，构建多元参与、互动协作的风险治理共同体[9]。一方面，从网络从业者的角度，加强网络服务商的社会责任，推进AI与网络安全融合创新。整合现有的可以检测欺凌内容的AI系统，基于网络欺凌数据统计，研发网络AI防欺凌系统，将防欺凌系统与网络安防系统挂钩，实时分析学生在社交网络上的发言，以侦测包含欺凌内容的信息，同时向学生管理者发出警告，保障校方能够及时介入、处理。另一方面，从政府的角度，除了采取行政规则和刑事规则的路径外，还需要考虑如何与网络服务商合作，共同抵制网络欺凌，维护网络安全。比如，在审核专利环节设置AI伦理师，审核此项AI专利技术在伦理、法律方面的合规性。再比如，设置研发项目基金，鼓励网络服务商、高校、教育部门参与研发基于人工智能的防网络欺凌系统，指导各级各类学校建立、使用校内网域的社交网站。

二、人工智能防欺凌系统应用面临的法律风险

人工智能防欺凌系统的应用涉及的风险包括数据保护、个人信息安全、隐私防护。

1.个人信息数据、隐私数据的安全风险

在广大中小学应用人工智能防欺凌系统，实现了智能视频、智能音频全覆盖，以及人脸识别、行为分析技术的广泛应用，会产生大量的未成年人的人脸信息、生物信息，这些信息一旦泄露，会滋生一系列犯罪。更为严重的，会为违法犯罪行为大开方便之门。比如，从校园的智能监控系统获取的未成年人人脸信息、生物信息，可以帮助犯罪集团锁定拐卖的对象。再比如，在宿舍、厕所等隐私区域大规模地安装智能音频监控，会造成未成年人隐私的大规模泄露。因为人工智能防欺凌系统每天会产生大量的声音、图像、行为数据，这些数据在联网的状态下是通过采集、处理被上传到云端，通过“云存储”保存起来。

一是“云存储”运营服务商的数据安全义务及责任并不明确，数据泄露风险极高。“云存储”是借助网络，运用应用软件，为用户提供数据存储及访问功能的软硬件相结合的数据集合系统[10]。这种数据集合系统往往由专业的第三方运营机构负责运营和管理，即云运营服务商。实践中，服务商是通过与用户订立合同的形式为用户提供数据的云端存储服务，一般是由服务商事先制定统一格式的合同范本。“云存储”服务涉及多元化的存储模式，包括公共云、私有云和混合云几种类型。“公共云”的云存储空间是面向社会所有用户的。中小学人工智能防欺凌系统产生的数据涉及未成年人的信息，只能存储到“私有云”空间。而订立“私有云”存储合同的双方当事人均为相对单一的法律主体，他们往往以云运营服务商提供的合同为基础，在此合同的基础上，用户和云运营服务商就某些条款进行协商，虽然有民法典格式条款的保护，但云运营服务商往往因其在技术能力、信息占有度等方面的优势而占据强势地位，导致最终的协商结果无法体现用户的真实意思和保障用户的合法权益[11]。而一旦建立起相应的“云存储”服务合同，用户的数据上传到云端虚拟服务器后，用户即丧失对数据的绝对控制权[12]。目前在司法规制云运营服务的法律框架下，云运营服务商很容易利用格式条款及专业术语规避自身的数据安全义务及责任。考虑到未成年人的图像、行为、生物信息数据背后巨大的黑色产业链及经济利益，云运营服务商如果参与其中，那么问题就不仅仅是信息泄露，很可能会同国际人口贩卖利益链打通，后果不堪设想。

二是数据的用户主体不明确，极易引发家校纠纷。人工智能防欺凌系统产生的数据的所有权主体并不明确，所以与云运营服务商订立“云存储”合同的用户具体是指哪一个法律主体，是使用防欺凌系统的学校，还是被监控的未成年学生及其监护人，存在一定争议。因为人工智能防欺凌系统产生的数据涉及大量的未成年人，如果未经未成年人监护人的同意而擅自处理，会引发侵权纠纷及家校纠纷。

三是一旦数据上传云端就会加剧数据泄露风险。2016年11月颁布的《中华人民共和国网络安全法》第37条规定：“关键信息基础设施的运营者在中华人民共和国境内运营中收集和产生的个人信息和重要数据应当在境内存储”，但同时指出确需出境的，需经过国家互联网信息办公室的安全评估。2022年中华人民共和国国家互联网信息办公室发布的《数据出境安全评估办法》第4条、第19条规定的需要评估的重要数据和个人信息无法涵盖未成年人的个人信息和数据，导致未成年人个人信息和数据出境不需要安全评估。

另外，《中华人民共和国网络安全法》第66条仅规定对关键信息基础设施运营者“在境外存储网络数据，或者向境外提供网络数据的”行为进行严格处罚，这一规定仅局限于“在境外存储”和“向境外提供”，忽视了“在境内通过云端存储到境外”这一行为，导致云运营服务商通过“云存储”将中国公民个人信息保存在境外虚拟终端的行为无法受到监管。也没有法律规定云运营服务商对于存储于境外的个人信息的安全保障义务。

近年来数据“云存储”发展势头日益迅猛，多数主权国家出于对本国国内市场及国家安全的保护，纷纷加高壁垒，筑起边界围墙，将数据作为一国私有财产封锁在本地服务器上。但我国相关境外“云存储”的法律规范仍停留在原则性规定层面，对于存储在境外的“云数据”未有针对性的监管规范，导致通过“云存储”保存在境外虚拟终端的中国公民的个人信息缺乏相应的安全保障。

因此，需要从国家层面进一步完善数据的存储、保护等相关法律规范，将未成年人数据保护作为未成年人网络保护中必不可少的一部分，在网络安全方面着重考量。

2.侵犯个人隐私的风险

人工智能防欺凌系统选择在厕所、宿舍等私密场所安装音频监控系统的原因是可视化地监控会侵犯学生的隐私。其实在私密场所安装音频监控照样会侵犯他人隐私。根据《民法典》第1032条：“任何组织或个人不得以刺探、侵扰、泄露、公开等方式侵犯他人隐私。”《治安管理处罚法》第42条规定：偷窥、偷拍、窃听、散布他人隐私的行为是违法行为，要受相应的治安管理处罚。所以，侵犯他人隐私的方式不仅仅包括“视”，还包括“听”。

为了避免发生侵权争议以及引发家校纠纷，同时考虑到防控校园欺凌和学校安全管理的需要，在厕所、宿舍等私密场所安装人工智能防欺凌系统需要进行广泛调研，经过学生及家长同意，并需要同学生及其家长签署知情同意书，保证学生在保障校园安全公共利益的前提下让渡一定范围内的隐私权。

三、人工智能防欺凌系统应用中法律风险的预防

为更好地预防人工智能防欺凌系统应用中的法律风险，可以从人工智能的固有缺陷、欺凌行为数据库的构建、统一研发人工智能反欺凌系统三个方面增强教育系统的技术掌控能力和欺凌行为判定的科学性，建立统一的现代化欺凌行为数据库，培养跨学科的复合型技术人才，确保智慧校园数据仅为提升校园管理水平和教育研究使用。

1.建立科学的欺凌行为数据库，实现教育司法系统资源共享

目前市场上各类AI防欺凌系统没有科学的欺凌行为统计数据作支撑，是否能准确识别大多数欺凌行为，未经过实践检验。因此，AI防欺凌系统的建立应在国家行政力量的干预下逐步推进。构建AI防欺凌系统的前提是，以中国司法大数据研究院关于未成年人违法犯罪、校园暴力数据为基础，建立科学的欺凌行为数据库，培养防校园欺凌方面的大数据专业人士，更加熟悉和了解人机交互的方式方法，构建成熟的、实时的大数据处理平台，对欺凌行为数据进行搜集、入库、提纯、加工，确保未成年人的数据存储在教育行政系统内部，实现教育司法系统资源共享，从而更好地防范未成年人的信息泄露和保护隐私安全。

2.将人工智能防欺凌系统纳入政府监管，建立强制合格制度

我国对人工智能监管采取的是创新与治理的双轮驱动监管模式[13]，这种监管模式可以更好地服务于新兴科技的发展。虽然监管与产业发展需要相伴而行，但是如果不提前监管有些特殊领域，会造成不可逆的伤害，比如未成年人保护领域。为了强化未成年人网络保护，国家网信办研究发布了《移动互联网未成年人模式建设指南》，全面升级“青少年模式”为“未成年人模式”，推动模式覆盖范围由APP扩大到移动智能终端、应用商店，实现软硬件三方联动，方便用户一键进入，为未成年人营造安全健康的网络环境[14]。人工智能与网络紧密相连，没有网络，很多人工智能产品便无法获取实时数据、更新模型或与其他设备进行通信。虽然人工智能防欺凌系统多数只涉及语音识别、图像处理、自然语言处理，这些功能可以离线工作，但这些离线功能使用的前提是在设备上存储预训练模型和算法。所以，人工智能联网必然要受“未成年人模式”的制约，同时网络欺凌本身就是未成年人网络保护关注的重点，因此人工智能监管需要基础教育领域先行。

自2017年以来，《网络安全法》《个人信息保护法》《数据安全法》《网络数据安全管理条例》《数据出境安全评估办法》《信息安全技术—个人信息安全规范》（GB/T 35273-2020）等规范性法律文件的颁布

实施，为人工智能应用过程中个人信息保护和数据安全构筑了安全防线，我国保障人工智能健康发展的法律法规和伦理道德框架正逐渐完善。我们应清醒认识到人工智能是一把“双刃剑”，要主动应对风险和挑战，从加强顶层设计、推动算法优化、构建数据规范、开展安全测评等方面规范人工智能技术，确保人工智能防欺凌系统更好地保障中小学校校园安全，推动我国人工智能更快更好地发展。

参考文献

[1] 杨鑫宇.邯郸初中生被害案3人被刑事追诉：年龄绝非“免罪符”[N/OL].中国青年报，2024-04-08.https：//t.m.youth.cn/transfer/baobao/3nxLpvUE.html.

[2] 唐丽娜，王卫东.校园欺凌调查：哪些孩子容易被欺凌？如何防治？[N/OL].光明日报，2019-11-19.https：//m.huanqiu.com/article/9CaKrnKnRMx.

[3] 童朝辉.不做校园欺凌的沉默者[J].湖南教育（A刊），2020（02）：34-35.

[4] 教育部.关于印发《教育信息化2.0行动计划》的通知[EB/OL].（2018-04-05）.http：//www.moe.gov.cn/srcsite/A16/s3342/201804/t20180425_334188.html.

[5] 陈海深，刘健智，刘新武.加拿大反校园欺凌政策及其启示——以安大略省为例[J].教育学术月刊，2021（06）：46-53.

[6][8] 赵亭亭.我国校园欺凌问题的现状、成因及防治——基于两次校园欺凌论坛的会议综述[J].当代青年研究，2018（06）：81-85.

[7] 中国司法大数据研究院.校园暴力司法大数据专题报告[EB/OL].（2019-11-22）.https：//www.court.gov.cn/upload/file/2019/11/22/11/10/20191122111056_72113.pdf.

[9] 张海鹏.学生网络欺凌法律规制路径辨析[J].大连理工大学学报（社会科学版），2021，42（01）：122-128.

[10] 齐爱民，祝高峰.论云存储中数据安全的法律保护[J].重庆大学学报（社会科学版），2017，23（01）：101-108.

[11] 朱晓东.数字档案资源云存储服务中的法律合同问题研究[J].档案学通讯，2017（02）：38-43.

[12] 苏艳霞，王庆生，陈永乐.基于数据分割的云存储中数据的安全共享[J].计算机工程与设计，2021，42（10）：2742-2747.

[13] 冯恋阁，李润泽子，麦子浩.全球AI监管进行时：他山之石与中国方案[N/OL].21世纪经济报道，2023-05-26. https：//www.163.com/dy/article/I5LSN6UA05199NPP.html.

[14] 冯烁.“未成年人模式”来了，国家网信办如何给未成年人网络保护设护栏？央广网，202.https：//baijiahao.baidu.com/s？id=1773190968271728536amp;wfr=spideramp;for=pc.

[责任编辑：白文军]

*该文为全国教育科学 “十四五”规划2022年度教育部重点课题 “中小学教育惩戒纠纷中学校、家长、学生三方法律责任体系研究”（DEA220354）的研究成果