塔式起重机机器视觉监控系统设计

孙宏军, 赵作霖, 徐冠群

(1.天津大学 电气与自动化工程学院,天津 300072；2.天津市过程检测与控制重点实验室,天津 300072)



塔式起重机机器视觉监控系统设计

孙宏军1,2, 赵作霖1,2, 徐冠群1,2

(1.天津大学 电气与自动化工程学院,天津 300072；2.天津市过程检测与控制重点实验室,天津 300072)

为解决各类施工现场以塔机运行过程中的安全问题，设计了一套基于视觉传感技术的智能视频监控系统，根据实际需要，在嵌入式平台上配合图像传感器和视觉跟踪TLD算法，实现了对塔机吊臂运动轨迹的追踪定位、判断和预警。测试结果表明：系统的检测率和正确率均能达到95 %以上。

塔式起重机； 机器视觉； TLD算法； 图像传感器

0　引　言

塔式起重机存在着碰撞等一系列安全隐患。鉴于塔机使用的普遍性以及潜在的事故可能性，国外学者做出了许多相关研究，塔机区域控制和防碰撞系统也相继出现：新加坡的TAC-3000塔机防碰撞、区域保护系统通过32位CPU实现了128 bit的数据加密算法，用于实现塔机之间的数据无线交互[1]；日本大林组开发了基于GPS传感器的3台塔机防碰撞系统[2]；德国的Liebherr、法国的Potain等公司也通过引入激光、超声等先进传感器技术实现了对塔机运行状态更加精确的测量。

国内产品大多基于传统传感设备或安装复杂，或功能简单、智能化不足，基于计算机视觉、图像传感器测量技术的快速发展，本文提出了一种基于视觉传感技术的安全监控系统，为塔机吊臂的运行范围划定一片“安全区域”，即“电子围栏”，通过在嵌入式平台上运行TLD视觉跟踪算法，对图像传感器采集到的视频、图形的关键信息进行分析处理，实现对塔臂运动轨迹的追踪定位、判断和预警，保障塔机安全作业的顺利进行。

1　系统概述

1.1系统总体框架

设计系统总体框架如图1，其中：1)图像采集模块：负责采集塔机视频画面，输入至运算处理模块；2)运算处理模块：进行机器视觉智能算法识别运算和处理；3)用户界面：经运算处理模块识别和处理的数据输出并呈现给用户，同时该模块也负责接受用户输入;4)软件部分又包括任务管理和线程管理等环节。

图1　系统整体框架Fig 1　System overall framework

1.2系统功能模块

传统的视频监控系统均是基于PC或服务器平台，在本设计中，结合其应用现场性强的特点，提出了嵌入式塔机智能视频监控平台，将显示和控制部分用嵌入式软硬件的方式实现，并包含智能机器视觉的模块，形成一套“智能黑盒子”迷你系统。

嵌入式硬件平台方案，实现了框架中提出的基本功能，嵌入式平台基于ARM，硬件电路参考了开源硬件Beagle-Board—xM并进行合理优化，整个系统封装成智能视频监控盒，更适合于直接安装在作业现场。

基于图1的框架设计，根据系统需要实现的功能逐一细化为各功能模块如图2。

图2　系统模块设计Fig 2　System module design

其中主要功能模块为：

1)视频画面采集模块：返回需要处理的塔机视频画面帧，本系统采用了USB摄像头和本地文件两种方式，以满足不同需要：

a.本系统中，图像传感器是系统中关键的硬件设备，采用的USB摄像头即通过USB连接线与本地计算机或嵌入式硬件相连的标准USB2.0图像采集设备，内置CMOS图像传感器，适于直接与嵌入式硬件结合应用于监视现场[3]。

b.本地视频文件输入是本系统的特色功能，通过来自视频文件的画面，为监控人员训练目标特征、测试目标算法以及分析事故录像提供方便。

c.画面传输系统：将前端视频画面采集模块采集到的数据传输给后续显示和处理模块。摄像头直接通过USB连接线实现数据传送，本地文件用系统提供的API函数进行读取。

2)后端处理系统，即控制、显示和智能追踪系统，是本智能视频监控系统的核心部分，包含视频解码、图像显示、智能算法、用户交互和存储报警多个模块。

2　系统(嵌入式平台)硬件设计

本设计的嵌入式平台部分基于ARM处理器，结构组成如图3所示。

图3　嵌入式平台硬件结构框图Fig 3　Hardware structure block diagram of embedded platform

本设计中，嵌入式硬件主板选用开源硬件主板BeagleBoard—xM。该主板具有高性能的处理器、大容量内存、丰富的通信接口和视频源以及软件资源，删减串口、专用摄像头插针、用户自定义按钮等无关部分，完成系统搭建。

本设计的嵌入式平台系统如图4所示。

图4　嵌入式平台系统框图Fig 4　System block diagram of embedded platform

3　系统软件设计

3.1软件结构

塔机智能视频监控系统的软件将位置分散的硬件组合成统一的整体，并且直接向用户提供最有用的信息，结合前文提出的系统基本要求和特征，按照功能划分，软件部分主要模块结构如5所示。

图5　系统软件部分框图Fig 5　Block diagram of system software

如图5，智能视频监控系统主要包括图像获取、智能算法和用户交互三个主要的部分，其中：图像获取部分获得来自USB摄像头或本地文件的视频画面帧，并且解码成RGB矩阵；视频监控部分则负责运行TLD算法并将跟踪结果予以呈现；用户交互部分则负责与使用者进行交互。

3.2算法实现

本文设计采用的TLD算法是一种基于在线模型并且实时在线训练的单目标长时间追踪算法，主要由跟踪器、检测器以及学习器组成[4]。跟踪器通过上一帧的视频画面中目标物体的位置计算目标在当前帧的位置；检测器通过不断训练、学习在线样本库检测出目标的位置，通过分析整合，找出当前画面帧中目标物体最有可能出现的位置；学习器根据检测器以及现有知识不断更新分类器，使得算法在面对物体的轻微形变、旋转及体态变化时具备一定的自学习能力，使算法可以长时间追踪同一目标。

TLD算法通过检测和跟踪双重策略确保了跟踪的可靠性，通过PN学习的方式实时更新样本库，达到在线学习的效果，但相对的，运算复杂度较高，系统实现困难，对此，本系统中算法进行了以下修正：

1)TLD算法封装

TLD算法实现中，直接使用源码级的TLD算法会导致代码复杂度高，不便于阅读和修改。本设计基于模块化程序设计的思想，将TLD算法进行封装，以功能块为单位封装成类库[5]，并留出API接口供上层程序进行调用。

2)软件系统多线程设计

监控系统的软件界面直接负责与用户进行交互，因此在进行GUI(图形用户界面)程序设计时，需保证用户输入事件响应的实时性，避免界面卡死失去响应[6]。故在本系统中，因TLD算法、视频画面输入及其解码均是较为耗时的环节，因此采用了现代程序设计中的多线程思想，可以有效地提高用户输入事件的响应速度，改善用户交互体验。

3)基于有限状态机的任务循环

本设计中，机器视觉线程负责图像帧的获取、TLD算法运行、电子围栏越界判定等，其中图像帧的获取和电子围栏的越界判定是通用的(无论视频源为摄像头还是文件)，在每一次循环中均需执行。对于TLD算法部分，采用了状态机的思想，使程序流程更清晰，维护更加便利[7]。

最终用户界面如图6～图7。

图6　电子围栏(双线型/多点型)Fig 6　Bilinear type and multi-point type electronic fence

图7　嵌入式平台软件运行时截图Fig 7　Screenshot of embedded platform software while operating

4　系统测试

4.1评价指标

根据塔机智能视频监控系统的实际情况，提出如下的性能指标[8,9]：1)监控帧率：单位时间内视频画面刷新的数量，帧/s；2)检测帧率：单位时间内运行TLD算法的帧的数量，一般取长时间平均值，帧/s。视频源是USB摄像头时，监控和跟踪分别进行，监控和检测帧率可能不相等；当视频源来自文件时，则对每一帧进行跟踪，二者相等；3)检测率(%):TLD算法能够跟踪到任何物体的帧占所有TLD算法输入帧的比重；4)检测正确率(%):在跟踪到任何物体的帧中，追踪到的区域可认定为物体真实区域的帧所占的比重。

4.2嵌入式平台测试

调试完成后，嵌入式平台与PC平台上搭建的系统进行对比测试，其中视频包括USB摄像头和本地文件两种视频源，结果如表1～表3。

表1　PC/嵌入式平台USB摄像头作为视频源测试结果

表2　PC平台本地文件作为视频源测试结果

表3　嵌入式平台本地文件作为视频源测试结果

4.3测试结果分析

在嵌入式和PC平台上，USB摄像头作为视频源时均能达到5帧/s以上的速度，取决于具体跟踪时选定的目标不同这个速度或快或慢。读取文件时，取决于文件编码和分辨率不同，效率有所差异，但是检测率和正确率均基本达到95 %以上。

在嵌入式平台上，监控和跟踪分离进行，因此其效率是不同的。使用USB摄像头时，监控帧率基本能达到5帧/s，而跟踪帧率基本能达到1.5～2 s一帧；文件作为视频源时效率基本相同，而检测率和正确率也均达到了95 %以上。

综上，跟踪效率和准确率会受到诸如具体的视频源等一些因素影响，但经过上述模拟测试，虽然软硬件较PC端均作出精简设计，但系统在嵌入式平台上同样能达到相近的跟踪速度和很高检测精度，满足目前工程实施过程的需要。

5　结　论

设计了基于机器视觉的塔机智能视频监控系统，针对保障施工作业现场塔机的安全运行的需求，提出了基于嵌入式平台的软硬件设计方案。模拟测试结果表明：嵌入式平台上，监控和跟踪帧率满足工程要求，检测率和正确率高，可显著改善塔机施工作业过程中的安全性和可靠性。

[1]李浩.塔机自动安全监控系统[D].大连:大连海事大学,2008.

[2]谢小光.基于GPRS的塔机实时状态远程监控系统研究[D].杭州:浙江工业大学,2009.

[3]贾佳,白瑞林,钱勇,等.嵌入式彩色图像传感器重构系统的设计与实现[J].传感器与微系统,2011,30(3)：121-124.

[4]龚小彪.基于TLD框架的目标跟踪算法研究[D].成都:西南交通大学,2014.

[5]Emami E,Fathy M,Kozegar E.Online failure detection and cor-rection for CAMShift tracking algorithm[C]∥2013 The 8th Ira-nian Conference on Machine Vision and Image Processing,Iran:MVIP,2013:180-183.

[6]任强,彭瑞.嵌入式Linux下MiniGUI的编译、移植与实现[J].计算机技术与发展,2010(3):13-16.

[7]崔家瑞,李擎.基于有限状态机的智能抄表集中器设计与实现[J].实验室研究与探索,2014(8):134 -139.

[8]姜莉莉,蒋潇,陈昕怡,等.OpenCV在车牌识别中的应用[J].软件,2014(3):45-47.

[9]龚爱平.基于嵌入式机器视觉的信息采集与处理技术研究[D].杭州:浙江大学,2013.

赵作霖,通讯作者，E—mail：joey_zhao@tju.edu.cn。

Design of computer vision surveillance system for tower cranes

SUN Hong-jun1,2, ZHAO Zuo-lin1,2, XU Guan-qun1,2

(1.School of Electrical Engineering and Automation,Tianjin University,Tianjin 300072,China;2.Tianjin Key Laboratory of Process Measurement and Control,Tianjin 300072,China)

In order to solve security problems in the operation process of tower crane,an intelligent video surveillance system based on machine vision is designed.According to actual needs,image sensors and TLD algorithm are selected for the embedded platform to realize positioning,judging and warning of jib motion trajectory.Test results show that detection rate and accuracy of the system can reach above 95 %.

tower crane; computer vision; TLD algorithm; image sensor

2015—11—11

TP 212.9

A

1000—9787(2016)08—0070—04

孙宏军(1974-)，女，副教授，主要研究方向为过程参数检测的数字信号处理、流体参数检测与数值模拟。

DOI:10.13873/J.1000—9787(2016)08—0070—04