学生课堂行为视频图像采集和识别系统

王竑熹

目前，国内外还未对学生课堂行为形态进行广泛研究，学生因为上课注意力不集中而遗漏重要知识点的情况时有发生，而教师只能通过考试了解学生掌握知识点的情况，教学效果没有得到实时反馈。

因此，课堂教学评估及学生课堂行为图像识别技术已成为智能化教学、提高教学质量的一个迫切需要研究的技术领域。

一、硬件架构

基于流媒体的网络视频图像采集系统即利用流式传输技术在网络中连续、实时地传输视频图像，授权用户只要与网络相连就可以获取视频信号，从而实现远程控制及智能分析。

流媒体网络视频图像采集系统包括摄像机、图像采集卡、流媒體视频服务器和流媒体客户端。

流媒体视频服务器将获取的数字视频信号压缩为一个个压缩包，当用户通过客户端发出请求时，系统内的视频服务器向客户端传输实时数据。客户端可在接收流媒体数据流的同时将部分内容放入缓存即开始播放视频，而不需要等待全部数据流传输完毕。图1为流媒体网络视频图像采集系统硬件结构图。

二、学生课堂行为视频图像采集和识别软件

根据系统功能将系统软件分为视频采集和通信模块、图像背景处理模块、图像分析模块、行为异常分析模块、学生专注力分析模块和教学效果评估模块等，结构如图2所示。

1.视频采集和通信模块

通过设置板卡参数将光学图像转换为数字信号传输到服务器上。

2.图像背景处理模块

采集学生上课前的原始背景图像作为比对软件的基础图像，用于识别人身轮廓的变化。

3.图像分析模块

使用识别算法识别当前帧的人身图像。

4.行为异常分析模块

比对当前图像帧与背景图像，记录超过阈值的人身轮廓移动对应的学生编号。

5.学生专注力分析模块

统计不同学生整堂课的人身轮廓移动情况，计算全体学生在每堂课的不同知识点教学时间段的专注程度并打分，为教学评估提供依据。

6.教学效果评估模块

统计整堂课的学生异常行为，分析学生学习的专注程度，评估当堂课的教学效果。

三、总结

本文对学生课堂行为视频图像采集和识别系统进行了初步的研究和探索，然而由于人身识别问题的复杂性，系统还存在一些不足之处。

1.对图像采集和识别的环境要求比较高。为了获得较好的识别效果，摄像机需要固定，并保证识别目标所在的环境干扰因素较少。如果摄像机清晰度不高、角度不合理就会影响识别结果。

此外，由于视频图像采集系统采用的是基于流媒体的网络传输方式，受制于信号转换、网络带宽和计算机性能，系统在播放视频时存在延迟现象，如果视频每秒帧数过高，也会导致处理延迟。

2.本系统虽然可以自动识别课堂上学生的人身轮廓，但在异常行为增多的情况下，识别准确率明显下降。

3.本系统缺乏学生专注力的行为学研究数据，需要操作人员积累经验，根据实际采集图像不断调整专注力判断的策略。后续可增加高清摄像机进行人脸轮廓识别，逐步将学生面部表情识别出来，提高专注力分析和教学效果评估的准确率。（指导老师：史朝群）