王莹 欧阳文全 汪乾 许传浩
摘 要:针对过闸船舶稽查管理中人工监管繁琐、视频复核难度大等问题,本文结合视频分析与图像识别技术,提出了一种船舶抓拍系统。首先,系统对视频流进行背景建模,结合连通域分析法获得目标船舶;然后,通过边缘检测获得目标船舶像素尺寸,并通过转换关系估计船舶高度、长度以及船速;最后,系统后台记录信息存入数据库以便检索。实地使用表明,该系统可7×24小时全天候稳定工作,且具有识别精度高、响应速度快等优点,基本实现稽查复核的自动化与智能化。
关键词:图像处理 背景建模 目标检测 连通域分析 稽查管理
1.引言
随着内河航运的蓬勃发展,视频监控系统作为重要的稽查手段已经被广泛应用到实际的稽查工作中。在当前的船舶稽查复核工作中,通过视频监控可对船名、是否超载等状态信息进行确认,但船舶长宽、吃水等参数仍需要登船测量。这种工作方式未能完全发挥视频监控作用,仍需耗费大量人力且拖慢了放闸速度。
监控稽查工作中还存在着存储大、复核难等问题,当前迫切需要一种自动化手段,对每条进闸船舶进行抓拍记录,同时满足船舶信息自动登记、管理。结合視频分析与图像识别技术,本文提出了一种船舶抓拍系统,经小范围实验证明,该系统可解决上述问题。
2.船舶目标检测
基于视频监控的船舶目标检测是本系统应用的基础,利用视频分析和图像处理技术检测特定区域的船舶,通过背景建模、连通域分析、非目标去除获取目标船舶。算法流程如图1所示。
2.1取视频流
为方便视频信号传输与图像算法开发,本研究使用大华网络摄像头。通过调用大华SDK,可获取帧编码为IYUV格式的视频流。IYUV又称YU12,是YUV420存储格式的一种。YUV有三个分量,“Y”表示明亮度(Luminance或Luma),即灰度值;“U”和“V”表示色度(Chrominance或Chroma),描述影像色彩及饱和度。
由于IYUV彩色图像数据量较大,灰度化可保证在不丢失视频信息的前提下减小计算量,因此首先对图像做灰度化处理。由IYUV像素存储结构可知,将Y信号抽出即可得到视频帧的灰度图。具体编码中,可利用OpenCV提供的接口函数cvCvtColor完成灰度化操作。
2.2背景建模
考虑到长江江面的光照、漫反射等光照影响,本系统采用改进的混合自适应高斯模型(Gaussian Mixture Model,GMM)实现船舶目标检测。
新像素值可由模型中的一个主分量表示,该新值也被用来更新模型。若像素过程被认为是平稳过程,则可使用最大期望法(Expectation Maximization)最大化观察数据概率。然而在实际测试中,像素值会随环境改变,故本系统使用近似法。由于每个像素都有一个GMM模型,使用EM算法计算开销较大,本系统使用在线K均值近似法(On-Line K-means Approximation)以缩短计算成本。GMM模型算法流程如图2所示。
2.3连通域分析
连通区域(C o n n e c t e d Component)指图像中具有相同像素值,且位置相邻的前景像素点组成的图像区域。连通区域分析处理的对象是二值图像,将图像中的各连通区域找出并标记,适用于前景目标提取。在本场景中,输入图像为背景建模后的二值图。
连通域分析采用种子填充法,该方法源于计算机图形学。算法思路:选取一个前景像素点作为种子,然后根据连通区域的两个基本条件将与种子相邻的前景像素合并到同一个像素集合中,最后得到的该像素集合则为一个连通区域。连通域分析结果如图3所示。
2.4非目标去除
连通域分析结果中往往有多个连通域,除船舶目标外可能存在水花、反射太阳光等噪声,因此如何将噪声去除得到目标船舶是本节研究重点。船舶目标相对于噪声具有固定的形状和尺寸,因此可以通过对连通域的各属性设定阈值范围,实现非目标去除。
本节分析的连通域属性主要有前景点数、外接矩形宽高比和矩形度等。已知连通域是一个点集,包含连通域内每个像素点的坐标。区域面积即为该区域内像素点个数n;外接矩形宽高比r即宽度wp高度hp之比;矩形度q即为区域面积与外接矩形面积之比,该值越接近1区域外形越接近矩形;。对以上属性设定阈值,可以去除非目标,进而得到符合先验知识的船舶目标。
本系统的目标连通域需满足式(4)条件:
4.船舶信息管理系统
4.1抓拍与存储
在每个闸口附近部署多个摄像头,7×24小时不间断地对过闸船舶进行抓拍。抓拍采取一船多照策略,确保船名清晰可辨,船舶型号、吃水、货物类型等信息没有遗漏。
将日期、闸次、数量、照片、船舶尺寸等信息有序存储到数据库,方便快速检索查询、统计分析。
4.2实时运行界面
闸口抓拍系统实时运行面如图4所示。
長度复核,显示检测相机画面,画面实时显示船舶的速度与长度,并通过竖线表示检测结果。
宽度复核,显示宽度复合相机的画面,实时显示船舶的宽度。
船舶信息,显示本闸次船舶抓拍时间、速度、长、宽等参数。
细节和全景照片为高速相机抓拍照片,双击可放大。
4.3后台查询统计系统
图5为后台统计的船舶信息,点击可查看船舶详情。
5.结论
本文在高港船闸现有监控设备的基础上提出新的系统,节省了新设备的布设成本,丰富了视频监控功能。新系统可有效解决调取录像时耗时费力、操作繁琐等问题;可拍清船号,使得在日后有据可查;可在抓拍过程中自动丈量船舶尺寸,节省人力成本并杜绝了人为复核可能存在相互包庇导致的漏缴费、少缴费现象;缩短了待闸时间,提高了放闸速度,船员和船闸方实现了双赢。此外,船舶抓拍系统不仅可用于船闸、水利闸和交通闸,还可用于宽度小于600米的内河航道、湖泊重点观测带等区域。该系统解决了目前监控系统普遍存在的问题,具有很强的适用性。
参考文献:
[1]万佳佳.基于高清技术的网络视频监控系统在船闸管理中的应用研究[J].网络安全技术与应用,2016(5):90-91.
[2]潘熠.视频录像在监控系统的发展趋势[J].中国安防,2009(5):53-55.
[3]Chen Y,Cai C,Liu J.YUV Correction for Multi-View Video Compression[C]// International Conference on Pattern Recognition. IEEE,2006:734-737.
[4]Zivkovic Z. Improved Adaptive Gaussian Mixture Model for Background Subtraction[C]. International Conference on Pattern Recognition.IEEE Computer Society,2004: 28-31.
[5]陈英茂,田嘉禾.图像重建-有序子集最大期望值法[J].中华核医学与分子影像杂志,2002, 22(6):379-381.
[6]王爱平,张功营,刘方.EM算法研究与应用[J].计算机技术与发展,2009,19(9):108-110.
[7]王鑫.基于高斯混合模型的k均值初始化EM算法的研究[J].商丘师范学院学报,2012, 28(12):11-14.
[8]Suzuki K,Horiba I,Sugie N. Lineartime connected-component labeling based on sequential local operations[J]. Computer Vision & Image Understanding, 2003,89(1):1-23.
[9]吴潜,居太亮,姚伯威.应用种子填充算法提取图像的形状特征[J].电讯技术,2001, 41(4):88-90.
[10]程蕾.基于毫米波雷达和机器视觉的夜间前方车辆检测研究[D].吉林大学,2016.