科技伦理视角：高校教学中智能技术应用风险及对策

摘要：随着人工智能技术的普及，其引发的伦理问题日益突出，在一定程度上制约了教育领域人工智能的研究和发展。本文先从技术应用与伦理风险的角度，分析了智慧教学主体、智慧教学环境、智慧教学模式以及个性化教学等方面的智能技术应用原理以及存在的伦理问题，在此基础上，结合国家关于科技伦理风险治理的相关政策和指导意见，提出了智慧教学中智能技术应用伦理风险的治理对策，从治理机构、治理技术、管理机制等方面为高校开展教学活动的潜在伦理风险提供治理建议。

关键词：智能技术；科技伦理；智慧教学

中图分类号：G434  文献标识码：A  论文编号：1674-2117（2023）12-0080-04

引言

智慧教学是人工智能应用于教育行业的重要落脚点，其中智慧教学场景和智慧教学模式是现阶段教育领域的研究热点，人工智能技术对智慧教学场景和智慧教学模式的影响正持续扩大，但随着人工智能技术的普及，其引发的伦理问题日益突出，对教育领域应用人工智能的舆论导向产生了负面影响，在一定程度上制约了其研究和发展。

2022年3月，国务院发布了《关于加强科技伦理治理的意见》，对以人工智能为代表的重点科技领域，提出了体制机制不健全、制度不完善、领域发展不均衡等伦理治理方面的问题，要求有针对性地加强科技伦理治理。对高校而言，包含人工智能在内的众多学科的研究和应用均面临伦理风险[1]，人工智能伦理的治理应统筹规划到科技伦理治理范围，统一规划和统一治理更有利于高校的全局管理和长远发展。

技术应用与伦理风险

智慧教学环境、智慧教学模式以及效果评价是智慧教学的重要组成部分，国内外学者对智能化教学环境和模式开展研究，对人工智能在智慧教学中的应用伦理问题也展开了探讨，如数据采集过程中人工智能相关技术侵犯隐私权[2]、肖像权等人格权问题。在技能与知识的教学过程中，“计算主义”[3]“数据至上”导致学生缺乏情感关怀、人机沟通缺乏共鸣以及教学氛围缺失等问题。在人工智能技术原理层面，人工智能系统本质上是以数据为基础、以算法为框架、以软件为形式的计算机程序及关联硬件设施，算法本身可能产生“算法陷阱”，可能导致算法歧视、算法黑箱等问题[4]，引发师生权利失衡、师生伦理失范以及师生情感缺失等后果，对教学效果存在一定的负面影响，有违教学中引入人工智能技术的初衷。

1.虚拟教师：科技风暴与情感缺失

虚拟教师是“虚拟角色”产品的衍生技术，虚拟教师是一个复合概念，可以指通过图灵测试的、具备学科专业知识的教育机器人，也可以指数字孪生或者元宇宙概念下的“数字虚拟人”，两者均可在智慧教学场景中发挥教学辅助作用。在线上和线下教学环境中，虚拟教师目前已经被应用于知识解答、学习引导、为学生提供个性化的帮助和建议等。

虚拟教师的知识解答、学习引导以及学习帮助和建议等功能所依据的算法各不相同，一般会用到自然语言处理、深度学习等算法，其中学习引导和个性化帮助功能还需使用与学生关联的各类数据库，如学生基本信息数据库、学习档案数据库，该类功能还需要采集学生的个人行为习惯信息等，这可能导致教育伦理方面以及数据方面的风险。在教育伦理学的角度，教育应是“全方位的”，教学过程不仅要传授知识与技能，更要適当地进行德育和美育等带有“情感成分”的教学，从而实现“立德树人”的目的。与传统教师授业解惑相比，虚拟教师的一个重要缺陷是缺乏情感传达和交互，情感传达和交互是营造学习氛围、激发学生潜能的重要因素。而虚拟教师作为与学生直接沟通的人工智能实体，会根据算法规则对学生学习阶段、学习习惯、学习层次进行相对生硬的标记和评估，如算法设计缺乏人性化考虑，则可能导致“张冠李戴、生搬硬套”等问题，也可能导致学生在学习的过程中缺乏情感认同。

2.智能化教学环境：人格权侵犯风险

智能化教学环境通常指智慧教室内以智能化技术为基础的教学辅助软硬件设备。[5]其中，机器视觉技术可以对教室状态进行识别，判断课堂的出勤率，可以对学生进行人脸识别以实现签到功能；模式识别技术可以应用于智慧教室内部的人机协同教学，教师可以通过手势、语音等方式控制教室内部任意设备，根据教学需要实时调整设备的状态；在课堂教学中，综合机器视觉、模式识别和深度学习技术，人工智能还能对学生的表情、浏览习惯等进行综合分析，实现教学效果评测以及学习状态评价。在智能化教学环境中，数据库是主要风险点之一，如师生信息数据库以及图像识别相关的训练集等。

机器视觉以及模式识别技术的应用需采集大量的人脸信息，包括图片、人脸特征信息以及语音、姿态信息等，同时还将对整个学习过程进行实时数据采集，这可能带来两个问题：一是信息泄露风险导致的自然人隐私权容易受侵犯的问题；二是实时数据采集和分析过程所带来的人格权受侵犯的问题。人格权一般意义上可分为人格自由、独立和尊严等权益，事实上，生活中无处不在的监控也属于实时数据采集的一种，但安防监控一般受保密协议保护，而且普通安防监控并不会对图像、视频信息进行分析，但机器视觉和模式识别等人工智能技术不仅采集视频、图像数据，还需要对数据进行处理、特征提取，并基于现有样本集进行数据分析和归类识别，由此可概括自然人的各种特征，其结果是将肖像权、隐私权等人格权的构成要素进行数据化，如数据存放得不到有效的保护或者数据应用得不到有效的规约，上述过程将可能造成隐私权、肖像权以及人格尊严等人格权侵犯问题。

3.智能化教学模式：从数字鸿沟到智能化鸿沟

智能化教学模式是教学数字化、信息化发展的新阶段，其表现形式是借助智能化教学软硬件，对教学过程、教学设计以及教学评测进行重构，要求师生应当具备信息技术基础知识以及人工智能基本素养，智能化教学模式在提升教学效率的同时，也引发了教育教学公平机制方面的问题，如数字鸿沟问题。数字鸿沟造成的后果之一就是无法保证教学起点、教学体验和教学效果的公平性。随着教育信息化的逐步发展，数字鸿沟造成的不公平问题会“马太效应”般急速加剧，导致素养鸿沟的出现。[6]

智能化教学模式加大了数字鸿沟和素养鸿沟的负面影响，人工智能是多学科交叉形成的高精尖技术，其运行机制和技术原理存在较高的复杂性，使用人工智能技术或者工具需具备一定的计算机科学、社会学以及哲学基础，使用门槛大幅度提高，也催生了智能化鸿沟的出现。智能化鸿沟是素养鸿沟的高级阶段，素养鸿沟造成的负面影响也存在于智能化鸿沟阶段。例如，在教师层面，理工科教师对多媒体系统、智慧教学工具掌握程度比人文学科教师更加熟练；在学生层面，不同学科的学生以及不同学习阶段的学生，均表现出对智能化学习模式的群体性差异，具备一定信息技术基础的学生更容易接受智慧教学模式以及教育信息化工具。

4.个性化教学：信息茧房与算法偏见

人工智能技术赋能个性化教学的前提是计算机系统能够“认识学生”并分析学生的个性行为，也即实现“用户群体画像”“用户精准画像”。[7]数据技术的发展为学生群体画像和个性化分析提供了基本条件，在此基础上，基于人工智能算法的主动推送功能和智能评测功能则为个性化教学提供了可行性。其中主动推送也叫智能化推送，是人工智能系统根据用户的个性、偏好和习惯自动推送用户感兴趣的知识内容。另外，利用自然语言处理等技术以及配套的人机交互界面，智能化软硬件设备也可对学生进行问题辅导、作业批改、学习效果评判，达到扩充课后辅导方式、提高课后学习效率的目标。

由于算法本身的不完备和训练数据的体量不够等问题，基于智能技术的个性化教学也面临相应的伦理问题，其中最常见的是信息茧房和算法偏见。信息茧房在个性化教学中的表象之一是人工智能算法推送的信息过于同质化，无形中打造了一个基于用户浏览习惯和偏好的相对封闭的“茧房”。对学生来说，学习的过程不仅是温故知新的过程，而且是培养创新精神以及创造力的过程，信息茧房可能形成一个“囚笼”，窄化学生眼界，不利于学生创造力的培养。算法和数据的微小偏差不仅能导致“网络群体的极化”[8]和“社会粘性的丧失”[9]问题，还能引发算法偏见问题，如弱势群体在寻求人工智能系统解答学科问题过程中，智能系统按照答复规则给出了看似正确合理的答案，但是该答案并不具备师德属性，答案本身可能造成“弱势群体歧视”等师德准则问题，不符合教育伦理提倡的“包容性”“公平性”。

伦理问题之对策

1.提高人工智能素养

高校师生的人工智能素养建立在信息化素养和普及人工智能常识的基础上。信息化素养要求教师懂得基本的教育信息化常识，如信息化教学方案设计等，也能使用基本的信息化教学基础设施实现教学目的。人工智能素养还要求广大师生了解人工智能概念和起源、人工智能在社會生活中的应用方向以及人工智能技术面临的道德挑战和安全问题。对高校而言，师生人工智能素养的提升途径主要是加强教师技能培训，开设人工智能相关课程以及普及教学过程中人工智能伦理常识等。

2.建立科技伦理审查机构

伦理审查机构是科技伦理治理的执行机构，高校科技伦理审查部门应由人工智能相关学科技术专家、校园信息化建设者、学校政策制定者等人员组成，并从以下几个方面开展工作：注重全体师生人工智能素养的培养工作，常规性开展科技伦理科普活动，举办科技伦理培训活动；加大政策宣传力度，避免师生对智能技术的恐慌感；规定人工智能技术的正确应用导向，如智能化教学环境的设计应遵循“不得改变人工智能的从属地位，教学应以师生伦理关系为主导”的原则。

3.借助可信人工智能技术

人工智能系统的风险环节为数据和计算，数据安全、可信计算构成了人工智能伦理安全的两大要素，对于敏感信息泄露风险、人工智能系统漏洞等问题，可以通过可信人工智能技术解决其安全和伦理隐患问题。可信人工智能技术有六个特征维度，分别是：健壮性、可解释性、公平性、隐私性、可追责性，以及环境保护。每个维度都有对应的可信计算技术，从而保证人工智能的公平、可解释，确保人类自主等基本伦理准则。可信人工智能技术规定了人工智能系统的基本伦理框架，智慧教学中智能化的教学模式和教学系统的算法设计应首先遵循可信伦理框架。伦理审查机构可借助可信人工智能技术，注重人工智能系统的可解释性评估、数据风险评估，注重系统安全设计、人类可接管设计、责任机制设计、用户权利义务设计以及系统公平性设计，构建可控可靠、透明可释、责任明确、多元包容的人工智能教学应用系统，避免黑箱决策、师生伦理损害以及违背教学过程中的公平机制。

4.强化问责机制和伦理事故回溯机制

问责机制是监管人工智能的重要手段之一，人工智能问责指的是智能系统的建设方和管理方应为系统的任意决策和任意行动承担相应的责任。伦理事故回溯是实现问责机制的主要技术手段，人工智能系统的设计应充分考虑伦理风险事件回溯机制，要求系统设计、算法架构、用户交互等都是可解释的，尽可能保证对用户是透明的。回溯机制要求充分考虑系统运行过程中的“痕迹管理”，且在算法方面要求算法工程师遵循教育教学规律，对人工智能算法的关键参数进行合理设置，充分考虑数据安全和数据隐私保护。在使用者方面，回溯机制要求使用者充分了解系统设计原理、使用注意事项以及常见伦理风险，要求高校伦理风险管理机构明确伦理追责机制，划定人工智能建设方、使用方的责任边界。

总结与展望

人工智能的应用伦理风险研究依据的往往是国家政策、行业规范以及智慧教学相关理论，实践检验环节通常只能依靠闭环的课堂教学实验。随着新技术、新应用的涌现，伦理风险也在变化，在人类社会活动中，人工智能的应用将不断深入，如何有效认识伦理风险、规避伦理风险、管控伦理风险需要在新的使用场景中进行验证。

参考文献：

[1]石连海，杨羽.适应与跨越：人工智能冲击下的教育现代化[J].中国教育学刊，2022（03）：47-52.

[2]苗逢春.教育人工智能伦理的解析与治理—《人工智能伦理问题建议书》的教育解读[J].中国电化教育，2022（06）：22-36.

[3]杨足仪，向鹭娟.人工智能为什么“能”？—关于人工智能“心智建模”的哲学思考[J].武汉科技大学学报：社会科学版，2022，24（04）：436-439.

[4]罗江华，王琳，刘璐.人工智能赋能课堂反馈的伦理困境及风险化解[J].现代远程教育研究，2022，34（02）：29-36.

[5]黄宇彤.人工智能在高等教育中的场景应用[J].哈尔滨工程大学学报，2022，43（07）：1066-1072.

[6]石映辉，韦怡彤，杨浩.教师数字鸿沟的发展与弥合—基于从信息鸿沟到素养鸿沟的视角[J].现代教育技术，2018，28（03）：59-65.

[7]刘邦奇.智能技术赋能新时代综合评价：挑战、路径、场景及技术应用[J].中国考试，2022（06）：6-15.

[8]王海稳.网络群体极化引发的道德风险及对策分析[J].杭州电子科技大学学报：社会科学版，2018，14（06）：51-54.

[9]严俊.“信息茧房”现象的负效应及对策研究[J].大连民族大学学报，2018，20（04）：370-373.

作者简介：沈振兴，中南民族大学现代教育技术中心教师，研究方向为教育信息化、智慧教育。

本文受中南民族大学教研项目“智能技术赋能智慧教学环境构建的路径与方法研究”资助（项目编号：JYX21092）。