李 震,李骈臻,邹绍源,颜 旭,洪添胜
(华南农业大学 工程学院,广东 广州510642)
学校是重要的用电大户,其用电量占社会总用电量的30%以上,而教室用电量在学校的用电总量中又占有较大比例。为解决教室照明用电浪费问题,教学单位采取的节能措施主要包括:加强节能意识宣传、规范教室用电相关规章制度、减少开放教室数量、派专人定期巡查等[1]。以上措施虽然在一定程度上节约照明能耗,但限制了可用教室数,不利于调动学生的学习积极性;开放的教室通常开启所有照明设备,未根据室内人员情况和光线强弱对照明灯具进行自动控制和智能化的科学管理,用电浪费现象依然比较严重。
随着计算机和图像处理技术的发展,机器视觉和视频检测技术已被应用于交通监测、织物检测等领域[2-4]。基于已有视频监控设备进行节能控制是近年来兴起的一个新的研究方向,监控设备根据人员情况、光线强弱、空气温湿度等信息,自动开启或关闭空调、照明及通风设备。由于该技术可在小幅投入的同时,提高监控设备利用率和降低能耗,已在空调节能和城市道路照明控制等方面得到应用[5-6]。目前大多数教室安装了视频监控设备,从摄像头采集的教室图像中可获取室内人员信息,根据该信息控制照明设备,在不影响教室正常使用的同时实现节能的目的。
本文基于教室现有视频监控系统,设计和制作基于机器视觉的教室照明设备节能控制系统硬件及通信网络;研究基于背景差分进行室内人员识别所采用的背景重构算法,提高重构背景的适应性;基于计算机图像处理技术,从教室监控图像中自动获取室内人员信息,检验系统对室内人员的识别准确率和识别效率。
本研究所设计的教室照明节能控制系统硬件主要由图像采集模块、监控计算机、电气控制模块及教室电气线路等4部分组成,如图1所示。图像采集模块为教室已安装的摄像头监控设备及视频传输线路;监控计算机安放在教学楼或学校主监控室,除具备传统的视频监控录像功能外,本系统的监控计算机还完成教室内人员识别和电气控制决策等任务;电气控制模块基于单片机设计,主要完成接收来自监控计算机的控制信息并根据此信息开启或关闭教室内的照明设备;教室电气线路通过改装教室内已有的电气线路,实现电气控制模块和手动共同控制。
图1 系统设计框架
本研究所采用的图像采集模块为湖北平安之星科技有限公司的C103E摄像头,主要参数为:SONY 1/3"CCD传感器,PAL制式有效像素数为752×582pix,NTSC制式有效像素数为768×492pix。摄像头安装位置为教室左前方,视频信号传输采用教学楼内原有监控线路。
由于本研究的监控软件对计算机要求较高,实验中选用一台便携式计算机替代监控室原有的监控计算机。所选便携式计算机的主要配置为:英特尔酷睿2双核处理器T6600,工作主频2.20GHz,2GB的DDR3 1067MHz内存。
由于监控室与教室间通信距离较远,常用的USB及RS232等通信协议受传输距离限制,无法实现稳定的控制信号传输。本系统采用RS-485总线实现监控计算机与电气控制模块间的通信[7]。监控计算机串行通信接口与教室电气控制模块之间的电平转换通过RS-232C/RS-485转换器(UT-201,宇泰科技,中国深圳)实现,电气控制网络框图如图2所示。
图2 电气控制网络框架
控制板主要由AT89C51单片机、MAX485电平转换芯片和继电器模块组成,继电器模块与教室内的照明设备相连。MAX485电平转换芯片将来自控制室的控制信号由RS-485电平转换为TTL电平送至AT89C51单片机的UART接口,单片机根据所接收的控制信号控制相应的继电器模块,实现开启或关闭教室内的照明设备。
安装在监控计算机的主程序基于Matlab(Version 7.01,Mathworks,USA)开发,按功能可分为图像获取、图像处理、串口双向传输、图形用户界面及数据库等5部分,各部分间关系如图3所示。系统软件与计算机硬件间的访问通过调用Matlab相应的内建函数实现,所调用的主要函数包括:创建视频输入对象函数 (videoinput)、获取视频图像(getsnapshot)、打开、查询、关闭和读写串口函数等[8]。
系统图像处理部分采用帧差分与背景差分叠加的方法分离背景和识别室内人员。帧差分法用前一帧图像作为当前帧的背景模型,其优点为:相邻两帧间的时间间隔较短、实时性较强、背景不积累、更新速度快、算法简单、计算量小等;其不足在于对环境噪声和阈值选择较为敏感,对于比较大的、颜色较一致的运动目标,有可能在目标内部产生空洞而影响背景分离效果[9-10]。背景差分法利用背景的参数模型来近似背景图像,将当前帧与背景图像进行差分比较实现目标区域的检测。其中区别较大的像素区域被认为是目标区域,而区别较小的像素区域被认为是背景区域[11-12]。背景差分法的关键是背景重构及其随光照或外部环境的变化而实时更新的算法。
为实现较好的背景差分,本研究提出分段收敛的背景重构算法:视频图像处理程序以预先采集好的空教室图像作为背景重构的第1帧,前50帧以1%的速率收敛,使初步重构背景与真实时刻背景相近;50帧后以0.5%的速率收敛,以得到较好的背景适应性。基于分段收敛的背景重构法递推关系如下
式中:bg(x)——当前重构的背景,sf——第1帧既预先采集好的空教室背景,cf(x)——当前帧,x——帧序号,t——启动快速收敛的阈值帧数,r1、r2——不同区间段的收敛速率。本研究中t的取值为50,既从第50帧开始启动快速收敛。经验证,当r1取1%,r2取0.5%时,算法取得较好的起始背景重构效果。截取教室监控录像中某一帧为起点,对其之后的连续600帧图片按式 (1)进行背景重构,结果如图4所示。
图4 分段收敛法背景重构效果
此外,为了避免灯光的开启与关闭等扰动对所采集图像的影响,本算法中如果当前帧与上一帧相比有较大的差分余量时,将提高重建背景的收敛速率,以得到更好的背景适应性。为此,背景重建的收敛速度应能根据差分余量自适应调整。收敛速度r2的计算如下
式中:r2——收敛速率,取值范围为0~1;re——两帧之间已归一化的有效像素变化率;σ——方差,μ为峰值。实验表明,当σ取0.35,μ取1时,本算法能够较好地根据室内照明情况调整收敛速率,进一步提高背景重构的效果。基于式 (2)计算得到的有效像素变化率及收敛速率间关系如图5所示。
图5 有效像素变化率与重构背景收敛速率关
由于教室内人员活动频率较低,背景与目标间区别较小,采用单一的背景差分方法难以从监控视频中准确识别人员目标。针对以上问题,本研究采用帧差分与背景差分叠加的方法,具体算法如下:
(1)将当前图像和前一帧图像归一化后作帧差分处理,提取人员目标;
(2)将当前图像和重构背景归一化后作差分处理,提取人员目标;
(3)将前两幅差分输出图像加权叠加,进一步增强所提取的人员目标;
(4)将叠加后的图像经过高斯低通滤波器作平滑处理,具体方法为:调用Matlab提供的fspecial函数,构建高斯低通滤波器:
H=fspecial(′gaussian′,hsize,sigma)
其中:hsize表示模板尺寸,本研究选用其默认值 [3,3],sigma为滤波器标准值,单位为pix,本研究选用其默认值0.5;滤波器构建完成后,调用 MATLAB中的imfilter函数对差分叠加输出图像进行线性空间滤波,实现平滑处理;
(5)将平滑处理后的图像进行二值化,并通过形态学操作进一步去除噪声和分割目标,所调用的MATLAB函数为 [L,num]=bwlabel(BW,n),其中BW为待处理的二值化图像矩阵,n为连通区域搜索时的像素数,本研究中n的值为8,返回值L为与BW大小相同的矩阵,L中包含了标记了BW中每个连通区域的类别标签,num为联通区域的个数;
(6)搜索形态学处理后图像中各连通区域,获取室内人员连通区域的最小外接矩形,完成监控图像中的目标识别。
该算法各步骤处理及基于该算法的室内人员识别效果如图6所示。
本系统通过在Matlab中调用计算机串行口对象支持函数的方法实现串口属性设置、数据加载与读取等功能。主要使用的Matlab内建函数包括:创建串行口对象函数scom=serial(com_n)、启动串口函数fopen(scom)、查询串口函数str=get(scom,′TransferStatus′)以及读/写串口函数text=fread (obj,n,′uchar′)和fwrite (scom,val,′uint8′,′async′)等[13-14]。
本系统的图形用户界面如图7所示,该界面基于Matlab的GUI编辑器GUIDE开发[15],整合软件各部分功能并提供友好的图形化人机接口。通过该界面,用户可设置系统对各教室内监控录像进行人员识别的间隔,保存和调用监控录像,手动开启或关闭各教室内的照明设备等。
为检验系统对室内人员的识别效果,应用该系统对晚间教室监控录像进行人员识别。实验场地为华南农业大学第三教学楼教室,所选取的视频情况为:时长15min,NTSC制式,分辨率768×492,各帧间时差为3s,共300帧,其中78帧不含室内人员,222帧含室内人员。运行系统识别各帧中室内人员,并与人工观察结果进行对比,计算系统的正确识别率,计算方法如下
式中:R——正确识别率,Mc、Fc——系统识别人数和该情况所占帧数,Mt、Ft——人工观察人数和该情况所占帧数。
实验结果为:识别平均耗时0.2s,即系统能对5帧/s以下的视频进行实时室内人员识别;当帧中不包含室内人员时正确识别率为100%,既系统不会将教室背景误检测为室内人员;当帧中包含室内人员时,根据室内人员数量差异,识别结果如表1所示。
表1 系统对含室内人员帧识别结果
由表1可得:①当包含室内人员时,系统识别的人数小于或等于实际人数,既未出现将背景误识别为人员的情况;②当帧内所含人员为1、3和4人时,系统仍能够正确识别室内人员,正确识别率达到100%;③当帧内所含人员较多且间距离较小时,系统会将距离较近的人员识别为同一人,既表1中当帧内人员为7人时,系统对某些帧识别人数为6人;④系统对包含室内人员帧的总体正确识别率为93%。
为解决教室照明用电浪费现象,本文研究了基于机器视觉的教室照明节能控制系统。该系统利用教室已安装的监控设备采集室内监控录像,采用帧差分与背景差分叠加的方法从监控录像中分割和识别室内人员,并根据人员情况控制教室内照明设备的开启或关闭。系统能对5帧/s以下的视频进行实时室内人员识别,对不包含和包含室内人员帧的检测准确率分别为100%和93%。随着公共场所监控设备的普及率越来越高,基于机器视觉的能耗控制利用已有的监控系统,在提高监控设备利用率的同时降低能耗,具有较好的普及应用前景。
[1]ZHAO Hong.Discussion of university teaching room lightening energy saving management [J].Internet Forture,2009,18(4):30-31 (in Chinese).[赵洪.高校教室照明节电管理探讨[J].网络财富,2009,18 (4):30-31.]
[2]ZHAO Daxing,ZHU Jinlei,LI Jiuling,et al.Research of textile detecting method based on machine vision [J].Computer Engineering and Design,2008,29 (1):99-101 (in Chinese).[赵大兴,朱锦雷,李九灵,等.基于机器视觉的织物检测方法的研究 [J].计算机工程与设计,2008,29 (1):99-101.]
[3]YING Chekuo,PAI Nengsheng,LI Yenfeng.Vision-based vehicle detection for a driver assistance system [J].Computers& Mathematics with Applications,2011,61 (8):2096-2100.
[4]LUO Jinman,ZHU Juan.Research on highway vehicle detection algorithms based on video image [J].Computer Engineering and Design,2011,32 (2):642-645 (in Chinese). [罗金满,朱娟.基于视频图像的高速公路车辆检测算法研究 [J].计算机工程与设计,2011,32 (2):642-645.]
[5]MA Hongyu.Intelligent lightening controlling system based on image processing technologies[J].Technology Information,2007,21 (7):80-81 (in Chinese).[马红玉.基于图像处理技术的智能照明控制系统 [J].科技信息,2007,21 (7):80-81.]
[6]GAO Feng,WU Qing.Design of the video based intelligent lighting control system on city road [J].Traffic Information and Safety,2009,27 (6):107-109 (in Chinese). [高峰,吴青.基于视频的城市道路智能照明控制系统设计 [J].交通信息与安全,2009,27 (6):107-109.]
[7]CHEN Zaiping,DU Jinli.Communication between single-chip micro-controller and PC for configuration the RS485protocol[J].Journal of Tianjin University of Technology,2009,25(2):78-80 (in Chinese). [陈在平,杜金利.面向 RS485协议配置应用的单片机与PC机之间的通信 [J].天津理工大学学报,2009,25 (2):78-80.]
[8]WANG Qi.A video image signal acquisition method based on MATLAB [J].Public Technology,2008,10 (4):56-57 (in Chinese).[王琪.一种基于MATLAB的视频图像信号提取方法 [J].大众科技,2008,10 (4):56-57.]
[9]LI Aijun.The study upon the traffic image morphological filter disposal methods based on frame difference [D].Shenyang:Shenyang University of Technology,2006:35-38 (in Chinese).[李爱军.基于帧差法的交通图像形态学滤波处理方法的研究[D].沈阳:沈阳工业大学,2006:35-38.]
[10]GUAN Xiangrong,REN Jinchang.Automatic extraction and update of background images in video surveillance [J].Micro-Electronics and Computer,2005,22 (1):95-97 (in Chinese).[关向荣,任金昌.视频监视中背景的提取与更新算法 [J].微电子学与计算机,2005,22 (1):95-97.]
[11]YU Chengzhong,ZHU Jun,YUAN Xiaohui.Video object detection based on background subtraction [J].Journal of Southeast University (Natural Science Edition),2005,35(S2):1-3 (in Chinese).[于成忠,朱骏,袁晓辉.基于背景差法的运动目标检测 [J].东南大学学报 (自然科学版),2005,35 (S2):1-3.]
[12]DONG Wenming,WU Lehua,JIANG Delei.Moving object detection algorithm based on background reconstruction [J].Journal of Chongqing University of Posts and Telecommunications(Natural Science Edition)2008,20 (6):754-757 (in Chinese).[董文明,吴乐华,姜德雷.基于背景重构的运动目标检测算法 [J].重庆邮电大学学报 (自然科学版),2008,20 (6):754-757.]
[13]CHEN Mei.Serial communication between PC and intelligence data acquisition module in MATLAB and its application [J].Science Mosaic,2009,17 (1):65-66 (in Chinese). [陈梅.MATLAB环境下PC机与智能数据采集模块的串行通信及应用 [J].科技广场,2009,17 (1):65-66.]
[14]LI Yongle,YUAN Yi,ZHU Yunjiang,et al.Study of intelligent vehicle velocity control based on MATLAB serial asynchronous communication [J].Journal of Academy of Military Transportation,2009,11 (3):67-70 (in Chinese). [李永乐,袁一,朱云江,等.基于MATLAB串行通信的智能车车速控制算法研究 [J].军事交通学院学报,2009,11 (3):67-70.]
[15]WANG Qiaohua,YE Ping,HUANG Min.Design of GUI based on MATLAB [J].Mining Machines,2005,26 (3):60-62(in Chinese).[王巧花,叶平,黄民.基于 MATLAB的图形用户界面 (GUI)设计 [J].煤矿机械,2005,26(3):60-62.]