吴志勇, 鞠传香
(山东理工大学 计算机科学与技术学院, 山东淄博 255049)
一种采用FPGA的轨道异物检测系统
吴志勇, 鞠传香
(山东理工大学 计算机科学与技术学院, 山东淄博 255049)
摘要:为降低货运列车行驶过程中的事故发生率,设计实现了货运轨道异物检测系统.系统包括位于车头上部的视频采集处理装置和位于驾驶室内的异物检测系统两部分.首先,介绍了系统结构和异物检测系统的功能结构,描述了采用FPGA模块的图像采集处理装置的硬件结构.然后,给出了系统异物检测的帧间差分算法和背景减法算法及流程.针对系统之间的数据传输问题,设计了上位机和下位机的通信协议,包括数据结构、帧定义和通信流程.最后,给出了上位机异物检测系统的开发环境和运行结果演示.经测试表明,系统运行正常、检测正确率高,能较好的给予驾驶员异物报警提示.
关键词:异物检测; FPGA; 图像处理; 货运列车
2014年5月25日,国家铁路局首次发布了2013年铁路运输安全监管报告.报告中指出,2013年全国铁路交通事故死亡人数1336人[1].铁路运行安全一直以来都是国家安全总局重点监管对象,铁路部门也通过各种先进管理理念和科技技术来尽量避免事故发生,虽然2013年事故发生率比2012年下降了5.2%,但与国外发达国家相比,我国事故率仍处高位.另外,2013年披露的铁路交通事故中,铁路货车事故占较大比例.通过对事故分析可以看出,大部分的事故如果能够提前300m得到预警,并采取相应的处理措施,就可避免.一直以来,不断发展的科技技术是铁道安全的重要保障,随着软硬件技术的发展,通过在铁路货车车头安装高性能的视频监控设备,并对视频数据进行异物检测,是近年来的研究热点.
本系统将具有高性能FPGA处理模块的视频监控设备附着于火车车头,通过视频采集实时监控前方轨道状态,并通过轨道异物检测算法检测前方是否存在异物,当发现异物后,系统客户端发出报警提示.
1系统结构
轨道异物检测系统由位于火车头上方安装的视频采集处理装置和火车驾驶室内的视频监控客户端构成主从式总线结构.图像采集处理装置通过前置摄像头实时采集轨道前方的轨道图像数据,FPGA可编程模块对采集到的轨道图像进行预处理,然后通过串口端口将处理后的轨道图像数据实时发送到驾驶室内的轨道异物检测系统[2].轨道异物检测客户端同步显示轨道视频,并采用帧间差分法或背景减法实时检测轨道异物,如果发现异物,启动告警程序,提醒驾驶员采取处理措施.系统结构框图如图1所示.
图1 系统结构框图
图像采集处理装置的主要功能是实现货运火车行驶过程中的前方轨道图像采集、图像预处理、程序存储、加载、数据传输等功能,主要包括图像传感器CMOS、图像预处理FPGA编程逻辑芯片、内存SRAM、FLASH闪存、LED/LCD视频信号输出、USB/RS232/RJ45传输接口、电源电路等组成[3].图像采集处理装置采用实时采集处理传输方式,当上位机客户端用户选择开启视频监控时,该装置自动加电,并处于待机状态.当用户选择异物检测功能时,FPGA加载存储在SRAM中的图像预处理程序,并将实时采集的图像数据经过预处理后根据装置的状态通过串口或网口发送到上位机.
视频监控客户端的轨道异物检测管理系统主要负责对图像采集处理装置发送来的图像数据进行分析检测、存储、查询和统计等功能.管理系统包括系统设置、系统控制、图像预处理管理、图像异物检测管理、查询统计等5个功能模块[4],如图2所示.系统设置实现通信参数和系统管理的设置,例如通讯方式的选择(RS232、RJ45),图像预处理方法参数设置(灰度处理、平滑处理和补偿处理),系统用户管理(角色控制和登录控制)等.系统控制实现设备的控制和检测控制,包括设备的启动、待机和关闭,检测功能的启动、暂停和关闭等功能.图像预处理程序的管理包括图像预处理程序的下传更新、流程控制等功能.图像异物检测管理实现本地检测方法的选择,例如帧间差分检测和背景减法检测.查询统计功能包括视频回放查询、报警查询统计、日志查询等功能.
图2 轨道异物实时检测管理系统功能模块
2图像采集硬件结构
图像采集处理硬件部分框图如图3所示,主要包括CCD高清摄像头、视频解码器、FPGA可编程逻辑阵列、数据存储、通信接口和周边电路等.系统选用CCD高清摄像头,经过光电转换、A/D转换后,将图像模拟信号转换为数字信号,然后发送给已加载图像处理程序的FPGA芯片.现场可编程门阵列(FPGA)芯片具有体系结构和逻辑单元灵活、集成度高以及适用范围宽等特点,通过与SDRAM/FLASH/RAM等周边电路的集成,可快速预处理图像,达到实时性要求[5].根据上位机的配置,经过处理后的图像数据通过串口或网口传输给上位机进行显示和检测.
图3 图像采集硬件框图
3轨道异物检测算法
轨道异物检测有多种方法,有主动检测和被动检测,也有固定检测和移动检测.文献[6]采用移动被动式异物检测方法,首先通过Hough变换检测出铁轨,然后分割出铁轨异物.文献[7]同文献[6]的检测方法相同,具体检测算法不同,首先区分出大异物和小异物,然后利用已训练好的向量机对异物进行检测.文献[8]采用固定被动式异物检测方法,通过相对背景差分法对铁路道口进行异物检测.
该系统可选择帧间差分算法和背景减法算法进行轨道异物的检测[9].这两种检测算法都比较常用,也各有优缺点.帧间差分算法通过相邻帧的时间差分来提取异物目标,具有效率高、适应性强的优点和易受运行速度影响的缺点;背景减法算法通过将图像序列和参考背景相减来提取异物目标,具有计算简单、目标形状准确的优点和易受环境影响的缺点.两种算法对比结果见表1.
表1 帧间差分算法和背景减法算法对比
在帧间差分算法中,首先获取当前帧图像,然后与前X帧的图像进行灰度相关性帧间差计算,X值的定义根据系统配置可取2或3等.背景减法算法中,获取当前帧图像后与已建模的背景图像进行背景差分计算,背景图像的建模可根据轨道路段环境的不同分别建模.对差分后的图像进行阴影去除、滤波后,确定异物是否出现.系统轨道异物检测流程如图4所示.
图4 轨道异物检测流程
4通信协议设计
位于车头驾驶室内的轨道异物检测系统与安装于车头上的图像采集处理装置之间采用主从方式进行通信,通信控制都由上位机检测系统发起,下位机图像采集装置给予响应[10].
根据数据传输方向的不同,系统的通信协议包括两种数据结构,即下行数据结构和上行数据结构,见表2、3.下行数据结构包括 Command byte(命令字)、 Command byte complement (命令字反码)、Type(类型)、Length(长度)、Data(数据),主要实现上位机对下位机图像采集处理装置的控制和数据设置;上行数据结构包括Command byte complement (命令字反码)、 Command byte (命令字)、Length(长度)、Total length(总长度)、Data(数据),主要实现图像数据的上传功能.
表2 下行数据结构
表3 上行数据结构
协议中的命令字包括5种类型的帧命令:请求帧、数据帧、握手帧、错误帧和结束帧.命令字功能说明见表4、5.
表4 下行命令字功能说明
表5 上传命令字功能说明
设备加电启动后,上位机检测系统向下位机视频采集装置发送连接命令0xAB,0x54,如果连接正常,上位机返回确认命令0x54,0xAB,再次发送连接命令,三次握手成功后,设备之间连接成功[11].然后,上位机发送实时图像数据上传命令,通信流程图如图5所示.
图5 上位机与下位机通信流程图
5系统实现
系统在Visual Studio .net 2010环境下采用C#语言开发,采用面向对象程序设计方法,设计了系统用例图、活动图和状态图等,封装了若干对象类.划分了多个功能模块,各功能模块之间保证高内聚低耦合,保证系统扩展性和维护性[12].图像数据类中的实时数据接收部分代码如图6所示.
图6 图像数据实时接收部分代码
系统界面友好,异物检测程序演示如图7所示.
图7 程序运行演示图
6 结束语
轨道异物检测系统对行驶中的货运列车给予了安全保障,本文详细介绍了该系统的软硬件设计和实现,通过采用高效的FPGA模块,可有效的对预处理后的图像数据进行异物检测.通过实验可看出,对于低速、运行环境单一的货运列车通过该系统可达到障碍物预警的目的.但对于高速列车,由于速度快、运行环境复杂等特点,仍存在较多问题,这也是下一步系统研究的重点.
参考文献:
[1] 国家铁路局. 2013年铁路运输安全监管报告[EB/OL].[2014-05-22].http://www.nra.gov.cn/zwzc/xwdt/xwlb/201405/t20140522_6185.htm.
[2] 李易难,牛燕雄,杨露.基于DSP_FPGA视频图像采集处理系统的设计[J]. 电子测量技术,2014,37(1):58-61.
[3] 孙科林,周维超,吴钦章.高速实时光纤图像传输系统的实现[J]. 光学精密工程,2011,19(9):2 229-2 236.
[4] 张贵祥,金光,郑亮亮,张刘.高速多通道CCD图像数据处理与传输系统设计[J]. 液晶与显示,2011,26(3):397-403..
[5] 杨帆,杨晓慧,黄勇. 基于FPGA和USB的图像传输平台[J]. 长春工业大学学报,2013,34(4):397-400.
[6] 朱正平,王秀丽,岳秋菊.基于机器视觉的轨道异物侵限检测方法研究[J].甘肃高师学报,2009,14(2):22-24.
[7] 同磊,朱力强,余祖俊,郭保青.基于车载前视摄像机的轨道异物检测[J].交通运输系统工程与信息,2012,12(14):80-82.
[8] 李家才,陈治亚,王梦格.铁路入侵运动目标实时检测技术[J].铁道科学与工程学报,2013,10(6):116-118.
[9] 高凯亮,覃团发, 王逸之,等.一种基于帧差法与背景减法的运动目标检测新方法[J].电讯技术,2011,51(10):86-88.
[10] 李煊,丁为.常用设备串口通信协议及其应用[J].自动化仪表,2011,32:82-84..
[11] Morales N,Toledo J,Acosta L,etal.Real-time adaptive obstacle detection based on an image database[J].Computer Vision and Image Understanding,2011,115(9):1273-1285..
[12] Jiménez F,Naranjo J E.Improving the obstacle detection and identification algorithms of a laserscanner-based collision avoidance system[J].Transportation Research,2011,19(4):654-672.
(编辑:姚佳良)
收稿日期:2014-09-05
基金项目:山东省高等学校科技计划项目(J10LG80)
作者简介:吴志勇,男,wuzhiyong_sdut@sina.com
文章编号:1672-6197(2015)02-0009-05
中图分类号:TP216
文献标志码:A
Obstacle detection system for railway by using FPGA
WU Zhi-yong, JU Chuan-xiang
(School of Computer Science and Technology, Shandong University of Technology,Zibo 255049, China)
Abstract:To reduce the train accidents, ensure the safety of people's life and property,this paper gives the design and implementation of theobstacle detection system for freight railway. The system includes two parts. One is the video capturing and processing device which lie head of train, the other one is the obstacle detection system which is located in the train cab. Firstly,this paper introduces theobstacle detectionsystem structure and function structure, and gives the hardware structure of image capturingand processing device. Then, the algorithms of frames differencing and background differencing for the obstacle detection are proposed including algorithm process. Aiming at the problem of data transmission between the systems, the communication protocol of upper machine and lower machineare designed, including data structure,frame definition and communication process. Finally,the development environmentof the obstacledetection system and the detection result demo are displayed.The test shows that the system runs normally with high accuracy. It couldtimelygive the warningwhen detected obstacles.
Key words:obstacle detection; FPGA; image process; freight railway