刘洋
(重庆交通大学信息科学与工程学院 重庆市 400074)
教室人数估计,是指利用图像处理[1]、红外检测[2]、物联网[3]等技术对教室内人数进行估计与计算,得到教室内人数的近似数值。基于教室人数估计可以实现学生到课率统计、教室座位占有率统计以及教室内设备节能控制[4]的智能实现。
教室人数估计是人数统计方法在教室这一室内场景下的应用。传统人工统计的方法,在人流量或人群密度较大时呈现出误差大、耗时长的弊端。随着数字图像处理技术、物联网技术等相关技术的发展,以及视频监控在高校管理中的普及应用,使得基于视频监控图像估计教室人数成为教室人数估计的主流趋势。本文在分析国内外教室人数估计方法和教室视频监控图像特点的基础上,提出了一种基于图像形态学处理与区域数统计的教室人数估计方法,并通过某高校监控图像对方法进行测试。
基于视频监控图像处理的人数统计方法,根据视频监控设备的安装位置与视角不同可分为三类[5]:一是监控设备所在位置能获取行人形状信息,基于行人运动目标检测实现人数统计;二是监控设备所处位置位于进出通道口,通过头部轮廓信息或头发颜色信息进行人数统计;三是监控设备位于人脸等高位置,通过人脸检测实现人数统计。文献[6]将人数统计方法分为四类:基于形状特征的人数统计方法、基于模板匹配的人数统计方法、基于目标检测的人数统计方法以及基于人群密度估计的人数统计方法等。上述人数统计方法分类可看出,人数统计采取何种具体方法与用于人数统计的图像数据有着密切关系。
由于遮挡、教室人员低头或侧脸、监控图像近远景等原因。使得教室监控人体图像呈现如下特点:
(1)人体轮廓的不全性。由于遮挡或重叠的缘故,监控设备大部分场只能获得教室内人员上半身图像或胸部及以上图像,使得基于人体全身轮廓对教室内人数进行统计不可行。
(2)人脸的不可全检测性。高校教室的监控设备大多数处于俯视教室内人员的位置,当教室内人员低头或侧脸时,不能获得教室内人员的完整脸部信息,使得基于人脸识别的教室人数统计存在漏检可能。
(3)人体的高重叠性。在教室内人员在就坐后,监控设备能获得前排就座人员较完整的上半身图像数据,中排和后排就座人员的头部或头发区域的图像信息,使得基于单个人体分散特征的人数统计方法的鲁棒性降低。
(4)人体大小不一致性。靠近监控设备的人体图像显得更大,远离监控设备的人体图像显得更小,从而使得不能基于单一大小的模板进行匹配识别。
图1:方法总体流程图
基于上述分析,本文在对人头发区域检测分割的基础上,利用头发区域的形状特征对区头发域进行筛选和统计,并依据头发区域数估计教室内人数。
如图1 所示,基于开运算与区域数统计的教室人数估计方法由基于模板的目标图像区域提取、基于头部像素灰度统计的图像二值化、图像开运算和基于链编码的白色区域数统计与人数估计四个部分构成。
在教室监控图像中,人员就座区域为目标区域,包含了人数统计的相关信息。本文依据监控设备实际取景图像设计图像模板,屏蔽目标区域之外的图像数据。
如图2 所示,图2(a)为原图像,图2(b)为图像模板。模板图像中黑色部分为原始图像需屏蔽的区域,白色部分为保留的区域。图2(c)为提取出的图像区域。
由于教室内光照随气候、季节、灯光的变化,使得在对图像进行预处理时需要充分考虑光照影响。本文采取归一化的方式,对图像像素灰度值进行线性拉伸或压缩。具体步骤为:
(1)在基于模板的目标图像区域提取的基础上,实现图像的灰度化;
(2)计算保留区域内灰度的最小值和最大值,利用线性拉伸或压缩的方式,使得保留区域内灰度值线性映射到[0,1]区间内;
(3)依据样本采样统计分析和图像获取时间,设定灰度阈值,实现图像二值化。
如图3 所示,在统计分析图像二值化的阈值时,考虑光照、距离对头发灰度值的影响,对近景、中景和远景图像区域内人头发的灰度值分别进行采样统计。图中红色“+”标注位置为采样点。
表1:测试结果表
图2:基于模板的目标图像区域提取示意图
图3:人头发图像灰度值采样示意图
如图4 所示,在采样的20 个人头发灰度值中,仅3 个采样值大于0.21,其余皆小于等于0.21,故将此时间段图像二值化的灰度阈值设为0.21。图2(c)的二值化效果如图5 所示。
图4:人头发图像采样灰度值分布示意图
图5:图2(c)二值化图
图6:开运算效果图
图7:链码筛选后的人头发区域检测分割示意图
由图5 可知,监控图像经过二值化后,仍然存在许多点状或长条状的燥点,需要对其进行滤波。近景区域存在长条状干扰,远景区域则存在点状干扰。图像开运算[7]可使图像的轮廓变得光滑,断开较窄的狭颈和消除细的突出物。本文采用开运算对二值化图像进行滤波。开运算的结构元素如下所示:
开运算后得到的图像效果如图6 所示。
顶点链编码[7],是在Freeman 链编码的基础上发展而来的,其基码为3。本文采取顶点链编码描述开运算后头发图像区域边缘,通过统计链编码的数量实现对开运算处理后头发区域数的初步统计。然后,依据链码长度、链码最小外接矩形长宽比和链码最小外接矩形面积数据,对头发区域进行筛查,获得符合人头部特征的头发区域。最后,通过统计图像中人头发区域的数量估计图像内的人数。依据链码筛查获得人头发区域,如图7 所示。
依据上述人数估计方法,本文基于教室监控图像构建了测试数据集,依据人员密集程度,将测试图像教室人员密集程度分为高、中、低三种程度,各3 张图像。其测试结果如表1 所示。
分析表1 所示测试结果,在人员密集度低的状况下,本文所提方法对人数估计的准确率较高。分析其原因在于,人员密集度低时,人头部图像重合较少,本文所提方法能较好地实现头发部位与其他部分的分割,从而能更好地实现人头像区域数统计,从而进一步实现图像内人数的估计。在人员密集度高的状况下,本文所提方法对人数估计的效果波动较大。究其原因在于,教室内人数较多时,人员头部图像重叠部分多,出现漏检情况,同样由于多人穿着黑色或深色衣服,从而出现将学生穿的黑色或深色衣服误检为头发区域的情况。
本文在对教室监控图像进行模板剪辑、归一化等图像预处理的基础上,利用图像开运算、顶点链编码方法和区域数统计,实现了图像人数的估计。通过测验可知,本文所提方法行之有效。但也存在估计精度不高的情况,为下步基于教室监控图像和人群密度估计的最新方法进行教室内人数估计指明了研究方向。