初探多模态情感分析在教育教学中的应用

张凌熙　蔡子硕　李林燕

摘 要：本文探讨了教育领域中多模态情感分析技术在提升教学质量和学习效果方面的优越性和适应性。当前，教育成本不断上升，而小班化教学成为了沉重的负担。因此，多数学校的班级人数很多，导致授课教师难以准确判断每个学生的学习情况，影响了教学质量和学生的学习进展。利用多模态情感分析技术可以通过人脸识别和面部情感分析解决这一问题，从而提高教学质量和学生的学习效果。此外，文章还指出了现有课堂辅助教学识别设备存在的问题，并探讨了多模态情感分析技术在这些问题上的优势。

关键词：人脸识别;多模态情感分析;教育教学应用

一、引言

如今人工智能行业正在快速发展，各行各业都在尝试将人工智能应用于创新和迭代，以抢占市场先机。在教育领域，学习分析技术是一种新兴技术，它可以深入分析和应用师生数据，为教育领域向智慧化转型提供新的发展视角，同时学生的认知能力也被认为是影响学生学习能力和学习热情的最根本原因之一。现有的研究资料表明，学生的认知能力通常通过面部表情、肢体动作、神情变化和语言等方式显现出来。情感计算是指开发者通过人工智能识别并分析采集到的人体面部情感信息和肢体动作，从而解读人类情感。因此，情感数据计算分析在评估教学质量和学习效果方面具有重要作用。

随着教育成本的不断上升，小班化教学成为了一种沉重的负担。大多数学校的班级人数依然很多，导致授课教师无法对每个学生的学习情况做出准确的判断。这也使得授课教师无法及时调整授课内容和方式，无法了解学生在课堂上的表现，从而影响了教学质量和学生的学习进展。虽然市面上出现了一些课堂辅助教学识别设备，但它们的功能不完善，识别不精准，或者存在前期投入巨大、效果不佳、干扰因素过多等问题，无法确保后台获取的信息正确性。

本文尝试利用多模态情感分析这一技术手段，以人脸识别为基础，以面部情感分析为核心，尝试论证多模态情感分析在教育教学中的优越性和适应性。

二、多模态情感分析在教育教学中的应用

19世纪末人脸识别这个概念首次被提出，经过近30年的发展，人脸识别已经成为计算机视觉和机器学习领域的研究热点之一，并且在近年来取得了很大的进展。机器学习中深度学习脱颖而出，它通过构建多层次的神经网络并且通过众多的包含标签的数据作为燃料学习数据的诸多特征，并对学习到的特征进行归纳汇总，从而实现数据的分类、识别、预测等基本任务。其中卷积神经网络（CNN）和循环神经网络（RNN）是深度学习中最常用的两种神经网络。卷积神经网络主要用于图像识别和计算机视觉领域，它可以通过卷积操作来提取图像的局部特征，从而实现对图像的分类、检测、分割等任务。卷积神经网络的优点主要是它可以自动学习图像的特征表示，该神经网络不需要人工手动设计特征，从而进一步提高了使用该神经网络进行图像识别的准确性和效率。

循环神经网络主要用于自然语言处理和语言识别领域，它可以处理序列数据和时序数据，列如文本、语音、音乐。循环神经网络的主要优点为可以通过捕捉序列数据的上下文信息从而实现对文本的情感分析、语音识别和机器翻译的任务。此外，深度学习还可以处理大规模、高维度的数据，具有很强的泛化能力和鲁棒性，可以应用于图像识别、语音识别、自然语言生成、自然语言理解等领域。

（一）多模态卷积神经网络

多模态卷积神经网络（Multimodal Convolutional Neural Network，MCNN）顾名思义它是一种用于处理多种类型数据的深度学习模型。它的主要优点在于它可以同时处理视频信息、图像信息、文本信息、音频信息等多种数据类型，并通过模型和算法将这些数据融合在一起进行数据的分析和预测从而提高分类或者预测的准确性。

一般来说一个多模态卷积神经网络的体系架构主要包括多模态输入层、多个卷积神经网络分支、特征融合层、全连接层和输出层。

1.多模态输入层：多模态卷积神经网络的多模态输入层可以处理同时输入的多种不同类型数据例如图像、文本、语音等。

2.多个卷积神经网络分支：该层每一个分支都是一個输入模型，该层使用卷积层、池化层等对数据进行特征提取和降维。卷积层是卷积神经网络的核心基石，卷积神经网络的每个卷积层都由多个卷积单元组成，每个卷积单元都有一组可训练的参数，这些参数通过反向传播算法进行优化，以最大化模型的准确性。卷积运算的目的是在输入数据中提取出不同的特征，例如边缘、线条、角等。第一层卷积层通常只能提取一些简单的低级特征，而更深层的卷积层可以从这些低级特征中迭代地提取更加复杂的高级特征。这种迭代特征提取的过程可以帮助卷积神经网络实现对输入数据的更加准确的分类和预测。当数据经过卷积层的特征提取后，所以的特征图都会被送到池化层，池化层包含一组预设定的池化函数，例如最大池化或平均池化，其功能是将特征图中每个局部区域的特征值替换为该区域内的统计量，例如最大值或平均值。这样可以帮助减少特征图的尺寸，同时保留重要的特征信息，提高模型的鲁棒性和泛化能力。

3.特征融合层：该层会将从多个卷积神经网络分支中的获取的不同的特征图融合在一起，以便更好地描述整个多模态输入数据的特征。通常，特征融合层采用加权平均或学习到的融合权重的方式进行特征融合。加权平均可以简单地将不同分支提取的特征图加权平均，权重可以根据先验知识或手动调整。而学习到的融合权重可以通过反向传播算法自动学习得到，以最大化模型的准确性和泛化能力。

4全连接层：是将从特征融合层中获取到的特征向量，使用激活函数进行非线性变换，最终输出一个分类或预测结果。

5.输出层：输出分类或预测结果。

（二）基于多模态卷积神经网络的人脸识别

基于多模态卷积神经网络的情感识别主要通过一下几个步骤完成：首先从监控摄像头中获取视频流信息，从视频流中一帧帧的读取图像，将视频流转换为静态图像。然后，使用cv2.imwrite（）函数将从视频帧中获得的图像保存为静态图像，并使用cv2.imshow（）函数显示帧图像然后将数据传输至OpenCV中的cap.read（）函数读取视频流中的图像同时对视频流进行预处理，进行图像缩放、灰度化、直方图均衡化等，以便于后续的人脸检测，然后使用人脸检测算法对进行预处理后的视频流进行处理，检测视频流中人脸的位置信息，截取图像中的人脸信息，将人脸信息传输至模型中对人脸进行行为分析和表情识别。

（三）基于多模态情感分析的教育教学应用

“模态”是“人类通过感觉器官建立的与外部环境之间的交互方式”，如视觉、听觉、触觉、嗅觉、味觉等。当前人工智能领域的发展已经由基于神经网络和遗传算法的计算智能階段迈向以文本、语音和图像等符号系统表征的语义信息的识别和加工为核心的感知智能阶段。基于计算机视觉技术对智慧教育场景中学生的表情、动作等图像信息进行智能化的采集，用以分析学生的课堂表现，对学生课堂学习过程中的专注度、情感状态等信息进行智能识别；基于语音识别技术，对学生课堂发言中的话语信息进行采集，根据学习者的语音语调信息和话语信息，分析学习者的认知发展状况和情感状态；基于自然语言处理技术，从语义层面分析对学习者所表述的信息进行深入的挖掘分析，提取其中潜在的观点和情感信息，基于语义网络和知识图谱分析学习者的认知发展状况；基于脑电感应、眼神追踪等生理信息识别技术，对学习者的眼动、脑电、皮肤电、激素分泌等数据进行采集，为学习分析相关研究的开展提供多样化的生理数据支持；基于平台数据采集技术，对学习者在智慧教学平台的学习过程进行精准监测，形成面向学习者个体的在线学习流数据，根据学习者的检索、浏览、观看、测试数据分析学习者的学习偏好和知识掌握程度，为其提供智能化的认知诊断和学习资源推荐服务。通过对学生多源异构数据的采集分析，形成面向学习者的多模态数据集，利用智能化分析方法对学生深层次的认知和情感状态进行精准测评，实现面向学习者的精准化学习分析。

三、结束语

本文主要讨论如何将多模态情感分析技术应用于教育教学中，以提高教学效果和教学质量。首先介绍了学习分析技术和情感计算技术在教育领域的应用，接着探讨了小班化教学的问题和课堂辅助教学识别设备的不足。然后，着重介绍了基于多模态卷积神经网络的人脸识别技术，并分析了其优点和适用性。最后，结合情感数据计算分析和人脸识别技术，探讨了如何利用多模态情感分析技术来评估教学质量和学习效果，以及如何通过分析学生的情感数据来了解学生在课堂上的表现和情感状态，进而调整授课内容和方式，提高教学效果和教学质量。基于多模态数据的感知与融合，实现对课堂生态系统构成要素的精准化建模分析，构建时空融合的多模态数据表征体系，模拟智慧课堂的数据流动，理清相关构成要素对学习生态变革的作用机理，实现多模态数据驱动的智慧教学生态的精准治理。

总之，多模态情感分析技术的应用可以为教育领域的智慧化转型提供新的发展视角，为学校提供更准确的教学质量和学习效果评估方法，同时也可以帮助授课教师了解学生的情感状态和表现，从而更好地指导学生学习和促进学生的学习积极性。

参考文献：

[1]陈晓欢. 基于多模态融合的情感识别研究[D].延安大学，2022.

[2]陈光辉. 语音图像多模态信息融合的情感识别方法研究[D].重庆大学，2021.

[3]凌云昊. 基于多模態情感识别的自适应教学系统研究与实现[D].上海交通大学，2018.

[4]董建功. 多模态情感识别及其虚拟环境人机交互研究[D].重庆邮电大学，2021.

[5]张海峰. 基于多特征融合的人脸表情识别研究[D].中国科学技术大学，2020.

[6]王一岩、王杨春晓、郑永和.多模态学习分析："多模态"驱动的智能教育研究新趋向[J].中国电化教育，2021，000（003）：88-96.