迪力阿热木·吐尔地玉苏甫 郭斌
摘要:目前,实验室安全越来越受到了人们的关注,随着人工智能技术的普及,实验室安全设备层出不穷。该设计采用Openmv4 H7为核心、MT9V034摄像头为采集设备、STM32F103C8T6模块为控制设备、OLED12864为显示模块,实现了可以自定义时间间隔的自动控制模式以及手动模式的自动断电控制模块的多种功能。该模块具有体积小,方便安装等特点,能够简易地安装到实验台上。通过对传统目标检测算法的研究与分析,研究了Openmv图像预处理和灰度直方图均衡化的方法,采用帧间差分检测算法和关键帧的人物识别方法,实现了目标识别功能,最终形成基于目标检测的自动断电实验台的设计,该实验台可以准确地实现无人时自动断电,从而保证了实验室的用电安全以及达到了节省能源的目的。
关键词:实验室安全;控制器;目标检测;节省能源
中图分类号:TP391 文献标识码:A
文章編号:1009-3044(2022)18-0080-03
开放科学(资源服务)标识码(OSID):
1 引言
随着实验室现代化建设水平的飞速发展,传统实验室用电安全管理措施的弊端越来越凸显,很难有效地满足各方面提出的要求,暴露出很多安全性问题,因此,实现实验室自动断电的实验台显得十分紧迫。这种基于目标检测的自动断电实验台的设计,不仅为人们带来便利的同时,间接解决资源浪费、发生火灾等漏洞产生的概率,对实验室安全管理意义及改进策略探究上有重大意义。
2 研究现状
早期,人们使用的电子设备与现在的电子设备有很大的不同。这些设备不仅表现在种类繁多,体积大小不一,功能复杂程度以及适用范围的不同,对实验室用电设备实时管理系统方面和实验室能源的管理有着巨大的差距[1]。如今,随着社会的不断发展、实验室规模的扩大、实验台数目的大量增加,人们对实验室用电安全管理方面格外重视。与此同时,人工智能技术的发展及普及,使实验室安全设备层出不穷。
近期国内外实验室电源管理系统的研究发现,世界各国的大学都注重实验室资产的管理和实验数据的分析,形成了动态数据库公司的实验室LabMasterLIMS、莱博韦尔的LabWareLIMS和实验室系统的NautilusLIMS[2]等实验室管理系统。目前,由于越来越多的精密仪器在高校实验室中得到使用,实验室电源管理系统能够保证实验室内的用电安全,是实验室管理系统中不可或缺的一部分,因此实验室的用电要求变得更加严格。近几年,世界各地的学者,研发人员都在对实验室电源管理系统进行研究,在他们的不断努力下,实验室电源管理系统获得了巨大的发展。
本文采用帧间差分检测算法和关键帧的人物识别方法,对传统的人工管理方式进行改进。实现目标识别功能、准确地判断无人时自动断电,解决了用电安全、资源浪费等问题,从而实现了基于目标检测的自动断电实验台的设计,对实验室的发展起到了关键性作用[3]。
3 系统总体设计
3.1 系统总体框图
根据系统的硬件组成需求分析,主要包括5个模块:控制采集模块、目标检测摄像头模块、12864OLED液晶显示模块、按键切换模块、继电器模块。如图1所示。
3.2 软件设计
软件设计主要分为控制采集模块程序、机器视觉目标检测程序、各类数据显示子程序和改变参数及控制手动模块的按键程序。首先OPENMV IDE运行程序,使用sensor.reset()方法初始化相机传感器,OPENMV上P4,P5对应串口3,波特率为115200。摄像头模块运行将开始的十秒左右出现的物体作为目标特征,直至出现特征角点证明已经识别记录目标特征。在检测阶段接收目标输入,通过帧间差分法对每一帧图像画面进行目标检测,如果存在运动目标,则连续的帧和帧之间会有明显的变化。关键帧的人物识别得到画面中的指定目标,用串口通信接收数据缓存,重定义fputc函数循环发送数据,直到发送完毕。使能USART1,GPIO时钟通过IIC协议驱动显示屏打印数据,从而实现机器视觉目标检测程序完成实验台前是否有人的情况进行数据保存;控制采集模块程序完成对目标检测数据的读取及输出,并通过各类数据显示子程序显示对应信息。流程图如图2所示。
3.3 算法实现
本文主要研究了经典运动目标检测,讨论了帧间差分法的目标检测,该过程需要同关键帧的人物识别方法完成目标识别和目标定位任务,即确定给定图像中的目标类别和位置[4],本设计通过帧间差分方法在一定程度上减少了时间和效率问题。
帧间差分法是由于摄像头拍摄的图像都是连续的,因此当场景中存在运动目标时,运动的物体会在两张连续拍摄的图片中处于不同的位置,造成两张图像的差距过大。该方法通过计算两张图像的差距,判断灰度变化,当变化超过预先设定的阈值时,则判定为运动目标,以此完成对目标的检测。该方法有对动态背景不敏感,不需背景建模的优点[5]。如图3所示。
图像序列中像素点的灰度值(x,y)设定为帧t(x,y)与帧t-1(x,y)之间差值的绝对值,以D(x,y)为阈值,并以下列公式表示像素点(x,y)作为前景或背景的区别原则:
[Dt x,y=|Itx,y-It-1x,y |]
[Dtx,y≤T,MT=0 Dtx,y>T,MT=1]
关键帧人物识别在目标检测识别和识别过程中起着至关重要的作用,直接影响到检测的性能。与传统的检测算法相比,误差大大降低,提高了人脸跟踪的精准性。因此该算法通过接收的数据传输给控制模块,控制模块在进行处理发送到OLED显示屏上。与此同时,帧间差分检测算法的人物识别方法需要时刻进行实时检测,时刻做到数据传输工作。
4 核心功能设计
4.1 控制采集模块
Keil公司是一家微控制器(MCU)软件开发工具提供商,在世界处于行业的领先地位。该软件主要用于开发微机,主要用于c51(AT89C51、STC89C51)等、arm单片机(LPC、STM32)、STM32微控制器用途广泛,具有多种功能的可重复使用的引脚。STM32F103C8T6是一款由意法半导体公司(ST)推出的产品,基于Cortex-M3内核的32位微控制器,采用LQFP48对硬件进行封装,是ST公司微控制器中的STM32系列中的产品。STM32F103C8T6的GPIO有上拉、下拉输入等八种模式,因此无须在外接按钮时设计上拉电阻和下拉电阻[6]。如图4所示。
STM32F103C8T6是一个中密度、高性能的产品,支持低功耗模式、休眠模式和停止模式,里面含有模数转换器和定时器以及PWM定时器和通信接口,ARM Cortex-M3和48个LQFP等封装。具有高功效的RISC以及速度为72MHz的频率、存储器和APB总线之间的两个外部连接。
因此,它具有出色的实时性能,出色的效率,最大的集成度,跨家族引脚和软件兼容性。
4.2 目标检测摄像头模块
OPENMV是可编程的一种摄像头,相机本身内置了图像处理算法,处理器运行频率为400MHz,性能较强,深受大家的喜爱。同时,颜色跟踪、人脸识别、目标识别等机器视觉算法在OPENMV4 H7模块上轻松解决[7]。OPENMV4 H7目标检测模块支持0V7725、OV9650、0V2640、MT9V034等摄像头模块。MT9V034是带有全局快门的传感器模块,非常适合需要精确视觉支持的人,因此,本系统中选择了一款支持全局快门的传感器MT9V034来作为本系统的摄像头模块。
识别特定图像中的特定目标并确定其位置和类别是目标检测摄像头模块的主要任务。由于不同物体的外观、形状和姿态以及环境的光照条件和遮挡物的影响都有很大的差异,目标选择在计算机使用领域是一个巨大的挑战。如图5所示:
4.3 显示模块
终端显示器在当前的使用越来越广泛,与此同时,对终端显示器的性能需求也逐渐提高。因此,在各类实验室以及低功耗系统中,均广泛使用了小体积、低功耗、高亮度、高对比度的OLED显示屏。OLED(有机发光二极管屏)是一种新的显示技术,其显示模组主要有裸屏和背板PCB构成,总体尺寸约为0.96英寸。使用被广泛使用的LED驱动模块SSD1306驱动裸屏[8]。大多数情况下,OLED显示屏的尺寸为0.96英寸,分辨率为128*64。功耗低、节能、成品重量轻、抗震系数高、屏幕可视角度可达170度左右、微秒级响应时间快、薄、轻、可弯曲,具有良好的显示效果和便携性,所以本系统中选择OLED12864显示器来作为本系统的显示模块。
另外,STM32F103C8T6控制模块通过IIC协议驱动OLED屏幕,设置PB12为上拉输入模式和通用推免输出模式。如图6所示。
5 系统测试与实现效果
5.1 实验方法
为了检验基于目标检测的自动断电实验台的功能,我们在手动控制模式及自动控制模式状态下做了多次实验。测试系统由主电路板、USB供电线、220V电源线组成,本测试系统硬件为实验室安全用电提供一定的保障,实物在电脑桌以及实验室中进行测试。如表1所示。
5.2 实验结果
基于目标检测的自动断电实验台的设计,按照两个步骤去测试:第一个是自动模式状态,由USB供电、继电器控制220V电源,OPENMV摄像头模块进行目标检测,检测到了目标电源立马开启,在中途目标消失,倒计时开始,当倒计时结束时,电源将自动关闭。默认关闭时间为10分钟,用户根据实际情况按下第二、第三按键进行改变参数。注意:在倒计时过程中重新检测到目标将停止倒计时继续工作,若无就会关闭电源。第二是手动模式状态,如上述自动模式过程一样,唯一不同点是可随时将电源开启与关闭,不用等待倒计时。这两种情况分别进行多次实验,得到了不错的结果。实验结果如图7所示。
首先,实验按照两部分进行测试,即自动模式状态和手动模式状态。考虑测试的准确性,测试时将OPENMV4 H7 MT9V034摄像头的盖子用闭合和打开的方式判断检测到目标,且使用手机以及插板模拟实验台效果。
图(a):该状态为自动模式,打开OPENMV4 H7 MT9V034摄像头,显示Check_states:1,即检测到目标,电源自动开启,手机充电。
图(b):该状态为自动模式,关闭OPENMV4 H7 MT9V034摄像头,显示Check_states:0,即没有检测到目标,电源倒计时10分钟关闭,手机停止充电。
图(c):该状态为手动模式,关闭OPENMV4 H7 MT9V034摄像头,显示Check_states:0,即没有检测到目标,电源手动开启,手机充电。
图(d):该状态为手动模式,关闭OPENMV4 H7 MT9V034 摄像头,显示Check_states:0,即没有检测到目标,电源手动关闭,手机停止充电。
注:该状态为手动模式时,打开OPENMV4 H7 MT9V034摄像头,显示Check_states:1,即检测到目标,根据电源手动开启/关闭,手机充电/停止充电。
6 结束语
为进一步提高实验室用电安全,确保实验室安全运行并达到节约电能的目标。论文设计了一种基于目标检测的自动断电实验台。程序在Keil平台和Openmv IDE平台上进行编程,以实现目标检测以及控制器功能。在算法上研究了Openmv对图像进行预处理,采用帧间差分检测算法和关键帧的人物识别方法,达到了实验台可以准确地实现无人的时候自动断电的效果,基本实现了本设计的所有要求。最后在多次测试过程中,本设计控制反应快,显示屏数据清晰,检测目标准确,按键功能齐全。
参考文献:
[1] 周凤香,戴凡哲,柳良,等.基于STM32的智能辦公系统的设计与实现[J].软件,2021,42(5):131-133.
[2] 陈卫宾.基于物联网的实验室电源管理系统的研究与设计[D].青岛:山东科技大学,2020.
[3] 冯尧文.基于帧间差分的运动目标稳健检测方法[D].哈尔滨:哈尔滨工业大学,2011.
[4] 李惠松,王小铭,张玉霞.一种基于帧间差分与时空相关性分析的运动目标检测算法[J].计算机与数字工程,2007,35(12):32-34,102,160.
[5] 韦智勇,周立广.基于帧间差分与时空上下文的人脸检测跟踪算法[J].企业科技与发展,2020(5):56-57.
[6] 安玲玲,于雷.高校实验室用电设备实时管理系统设计[J].信息技术与信息化,2020(12):40-43.
[7] 杨亦聪.基于OpenCV的监控视频目标检测与跟踪的研究与应用[D].贵州:贵州大学,2020(6).
[8] Wang H B,Tian Q,Hu Z H,et al.Image Feature Detection Based on OpenCV[J].Journal of Research in Science and Engineering,2020,7(2):16-18.
【通联编辑:谢媛媛】