基于Hi3516的矿井运动目标检测系统的设计与实现

杨蒙超宗伟林孙 凯郭 政郭保文（.山西吕梁学院矿业工程系,山西省吕梁市,0000; .中国矿业大学信息与电气工程学院,江苏省徐州市,008; .山西潞安环保能源开发股份有限公司王庄煤矿,山西省长治市,0460）



基于Hi3516的矿井运动目标检测系统的设计与实现

杨蒙超1宗伟林2孙 凯3郭 政2郭保文2
（1.山西吕梁学院矿业工程系,山西省吕梁市,033000; 2.中国矿业大学信息与电气工程学院,江苏省徐州市,221008; 3.山西潞安环保能源开发股份有限公司王庄煤矿,山西省长治市,046031）

摘要针对煤矿井下专门设计的智能化视频监控系统相对较少的情况,设计与实现了一种基于Hi3516的矿井运动目标检测系统。该系统以Hi3516作为核心处理器,通过搭建交叉编译开发平台及程序的编写,实现视频实时采集、H.264编码以及基于改进分层光流法的运动目标进行实时检测,最后采用基于Live555的RTSP服务器完成视频数据的实时传输,实现了远程视频监控及运动目标检测功能。试验结果表明,该系统运动目标检测准确性高,稳定性和实时性较好。

关键词Hi3516 煤矿井下 运动目标检测 视频监控

中图分类号TD673

文献标识码A

近年来,随着煤矿无人化开采的不断推进,大量的视频监控系统被应用到矿区中,但是专门针对矿井特殊环境而设计的视频监控系统却相对较少。煤矿井下现场的高清呈现及运动人员的检测,对于矿区的及时报警、联动处理和事故后的报备情况具有重要的意义。因此,设计和实现智能化的视频监控系统是保证煤矿安全生产的一个重要环节。

智能化视频监控系统关键在于核心处理器性能和相关图像处理算法的优化程度,如何选择合适的处理器及有效的处理算法,能在最大程度上发挥软硬件性能,对于实现智能化视频监控系统至关重要。

Hi3516是华为海思开发的专门针对多媒体信息处理的基于Cortex A9内核的芯片,具有可输出超高清画质和低带宽的情况实现网络传输、显示及存储的优点,并且其特有的IVE（智能加速引擎）技术不但能适应各种智能视频的分析场景,同时在各种光照环境下都能输出高质量的智能分析结果,被广泛应用于实时视频通信、数字图像监控以及网络摄像机等领域。

针对煤矿井下低照度和低清晰度的特殊环境,本文设计并实现了基于Hi3516的矿井运动目标检测系统,该系统采用海思公司的Hi3516作为核心处理器,通过搭建交叉编译开发平台及程序的编写,实现视频实时采集、H.264编码、运动目标实时检测并通过Live555服务器完成视频数据的实时传输。

1　基于分层光流的运动目标检测算法

运动目标检测是指从视频序列图像中提取出运动目标的区域、尺寸以及颜色等特征信息,也是后续目标跟踪及其他图像处理分析的基础。采用改进的分层光流法对煤矿井下运动目标进行检测,取得了较好的检测效果。改进的分层光流法首先采用抗噪性能较好的SUSAN角点检测提取图像中的特征点,然后采用金字塔光流法对特征点进行目标检测,在保证运动目标检测准确的基础上又减少了运算时间。因此,本系统采用这种算法对运动目标进行检测。

2　系统的总体方案设计

基于Hi3516的矿井运动目标检测系统以Hi3516为核心处理器的Demo板作为试验平台,并搭载Linux操作系统,通过固化于Hi3516芯片中的H.264编码模块对前端的CCD传感器MN34041采集到的实时视频数据进行编码,并对H.264编码后的视频数据中的运动物体进行检测,最终实现视频的实时观看及运动物体的检测。

该系统由硬件平台和软件平台组成,硬件平台为海思公司的Hi3516 Demo开发板,操作系统为Linux－2.6.35;软件平台实现从CMOS传感器MN34041获取源数据并由板端的CPLD进行模数转换等一系列处理,首先由H.264编码器完成视频数据编码,其次通过运动目标检测模块进行运动目标的检测。具体的工作流程为:当局域网内有RTSP客户端发起请求连接时,系统启动H.264编码器开始编码,完成编码后的视频帧数据经过运动目标检测模块处理后经由RTSP服务器分发到局域网中的RTSP客户端实现实时监控,观看的同时也可以实时录像,系统整体结构如图1所示。

图1　系统整体结构

3　系统的实现

系统分为视频采集与H.264编码、运动物体检测、网络传输和客户端这4个部分,其中视频采集模块主要是通过前端的CCD传感器MN34041采集实时的数据并通过Demo板上的CPLD芯片完成模数转换,通过Hi3516启动H.264编码模块完成视频编码;运动物体检测模块主要是完成编码后的视频帧进行运动物体检测并作出标记;网络传输模块对开源的Live555项目中的RTSP服务器进行裁剪实现视频的实时传输,通过客户端VLC可以观看到实时监控画面;客户端目前由VLC实现。

3.1Linux交叉编译环境的搭建

嵌入式系统软件的开发不同于普通软件的开发。由于嵌入式开发板端有限的资源,无法在板端进行开发和调试,所以通常需要在PC机上以交叉编译调试的方式进行嵌入式程序的开发和调试。Hi3516的开发通常是在安装Windows操作系统的PC机上运行虚拟机,并将Linux操作系统安装到虚拟机上,然后在Linux环境下完成程序的开发与交叉编译;也可以是1台安装Linux系统的服务器,Windows工作台通过登陆Linux服务器完成Hi3516 Demo板的程序开发与编译,三者同处于一个网络中, Hi3516 Linux开发环境如图2所示。为了开发方便,本系统在安装Windows操作系统的PC机上安装Oracle VM VirtualBox虚拟机,在Oracle虚拟机上安装Ubuntu,最后安装交叉编译器。

图2　Hi3516 Linux开发环境

3.2视频采集与编码的实现

Hi3516 Demo板通过摄像头MN34041完成图像的采集,具体的图像采集与编码流程如图3所示。

图3　图像采集与编码流程

3.3网络传输模块的实现

网络传输模块对开源的Live555项目中的RTSP服务器进行裁剪实现视频的实时传输,因此首先介绍Live555开源项目,然后讨论基于Live555开源项目中的RTSP服务器的实现过程,并在Hi3516 Demo板端实现RTSP服务器。

3.3.1Live555开源项目介绍及源码分析

Live555是一个C＋＋开源项目,提供了跨平台的流媒体解决方案,从而实现了对标准流媒体传输协议诸如RTP/RTCP、RTSP和RTMP等协议的支持,并且支持对不同的音视频编码格式的媒体数据的流化、接收和处理,包括MPEG、DV、JPEG、H.263＋以及H.264等视频和多种音频编码格式。由于Live555项目的良好设计和易于扩展,因此可以很方便地实现跨平台开发使用。

Live555项目中提供了多媒体库文件,因此可以通过该库文件构建不同协议的多媒体应用程序。由于在本设计使用RTSP协议实现视频流的传输,因此选择了live555/live/testProgs目录下的test OnDemandRTSPServer.cpp作为裁剪移植的对象。test On Demand RTSPServer.cpp中,程序的执行可以分为系统初始化、创建RTSP服务器、创建Session以及事件循环这4个步骤。

3.3.2基于Live555的RTSP服务器的实现

将基于Live555的RTSP服务器裁剪移植到Hi3516 Demo板上,实现通过RTSP服务器发送264码流,实现流程如图4所示。首先初始化创建RTSP服务器,然后启动视频编码服务,创建视频源,程序分两步执行:

（1）创建视频编码线程,启动编码发送程序;

（2）执行循环等待RTSP客户端发起请求连接,连接成功后向客户端发送实时数据。

图4　RTSP服务器执行流程

3.4基于改进分层光流法的运动物体检测模块

基于改进分层光流法的运动物体检测模块,既可以在Hi3516板端实现RTSP服务器的基础上增加运动目标检测的功能,又可以最终实现基于Hi3516的矿井运动目标检测系统。

要实现运动目标的检测,需要将视频源绑定到侦测通道,然后将接收到的视频流经过改进的分层光流算法处理,在视频帧中找到运动目标,确定轮廓的尺寸及中心坐标,由于Hi3516出色的图形处理性能,提供了通道叠加的功能,可以根据这些参数画出矩形框,然后将这一图层叠加到编码通道上,经由H.264编码器编码后通过RTSP服务器发送出去,改进分层光流算法在Hi3516板端实现流程如图5所示。

图5　改进分层光流算法在Hi3516板端实现流程

3.4.1在Hi3516板端实现改进的分层光流法

为了程序简洁明了的实现跨平台移植,在Linux环境下,将改进后的分层光流法的用C语言实现并编译成动态链接库的形式,只留出函数接口供程序调用,这样极大的增强了程序的可移植性。利用改进的分层光流法检测运动目标的具体流程如图6所示。

图6　改进分层光流法检测运动目标的具体流程图

3.4.2检测结果叠加到VENC通道

通常情况下可能会在视频中叠加OSD来显示一些如通道号和时间戳等信息,也有可能会填充色块,叠加在图像上的OSD信息与遮挡在图像上的色块统称为区域,Hi3516中使用REGION模块统一管理这些区域资源。

区域创建后,通过海思提供的API函数将该区域叠加到某个通道中,在通道进行调度时,则会将OSD叠加在视频中,从而将区域叠加到视频图像中相应的位置。

4　试验结果及分析

为了验证本文所设计和实现的系统的性能,对系统进行了煤矿现场进行实地实验,实验环境如下:

（1）实验地点:山西长治王庄煤矿。

（2）实验网络:王庄煤矿局域网,网关为192.168.3.1,子网掩码为255.255.255.0。

（3）服务器配置:Hi3516 Demo板,操作系统为Linux－2.6.35,摄像头MN34041,IP地址为192.168.3.2。

（4）客户端配置:统一安装VLC播放器的10台通用PC机,IP地址分别为192.168.3.111～192.168.3.120,操作系统为Windows 7。

（5）视频编码算法:H.264。

煤矿井下实时监控画面如图7所示,运动目标检测结果如图8所示。

图7　煤矿井下实时监控画面

图8　运动目标检测结果

由图7和图8可看出,本文设计并实现的系统在实时传输视频画面的基础上,可以准确无误的检测出运动目标。

连续运行使用板端服务器和10台PC机5 d,测试服务器运行的稳定性,5 d后查看10个VLC播放器的情况,画面播放正常,且保持同步、实时,通过该测试充分证明了该系统的稳定性。

5　结论

通过Hi3516处理器设计与实现软硬件环境,并结合基于改进分层光流算法,最终实现煤矿井下现场的实时监控及运动目标的检测,该系统具有稳定性好以及运动检测准确性高的优点,为后续运动目标跟踪和识别等奠定了基础。

参考文献:

［1］程德强,郭政,刘洁等.一种基于改进光流法的电子稳像算法［J］.煤炭学报,2015（3）

［2］康毅.海思IVE技术开启智能视频监控新纪元［J］.中国公共安全:学术版,2014（22）

［3］Hisilicon. Hi3516 Full-HD IP-Cam SOC产品简介［EB/OL］.海思半导体公司,2012

［4］程德强,刘洁,郭政.基于分层光流的煤矿井下运动目标跟踪算法［J］.工矿自动化,2015（3）

［5］Hisilicon. Hi3516 Linux开发环境用户指南［EB/ OL］.海思半导体公司,2012

［6］Vun N et.al.Implementation of an embedded H.264 live video streaming system［C］.//IEEE International Symposium on Consumer Electronics.IEEE, 2010

［7］孙泉.支持H264的实时流媒体服务器的设计与实现［D］.北京邮电大学,2010

（责任编辑王雅琴）

Design and implementation of moving objects detection system in coal mines based on Hi3516

Yang Mengchao1,Zong Weilin2,Sun Kai3,Guo Zheng2,Guo Baowen2
（1.Department of mining engineering,Shanxi Lvliang University,Lvliang,Shanxi 033000,China; 2.School of Information and Electrical Engineering,China University of Mining and Technology,Xuzhou,Jiangsu 221008,China; 3.Wangzhuang Coal Mine,Shanxi Lu＇an Environmental and Energy Development Co.,Ltd, Changzhi,Shanxi 046031,China）

AbstractIn view of the relative lack of specially designed intelligent video monitoring system for underground coal mine,a kind of moving objects detection system in coal mines based on Hi3516 was designed and implemented. The system took the Hi3516 as the core processor, through programming and setting up the cross compiler development platform,real-time video capture,H.264 encoding and real-time moving objects detection based on improved hierarchical optical flow method were realized,then the real-time video data transmission was achieved through RTSP server based on Live555,which realized the remote video monitoring and moving objects detection.The test results showed that the system had high accuracy of moving objects detection,better stability and real-time performance.

Key wordsHi3516,underground coal mine,moving object detection,video surveillance

作者简介:杨蒙超（1993－）,男,山西长治人,现就读山西吕梁学院矿业工程系,主要从事煤矿开采技术研究。