出租车异常视频图像信号检测

肖　梅，刘　锴，颜建强，徐昆然，王　杏，郭　捷

(1.长安大学　a.汽车学院; b.地测学院; c.公路学院, 西安　710064；2.西安交通信息投资营运有限公司,西安　710061；3.陕西国防工业职业技术学院,西安　710300)



出租车异常视频图像信号检测

肖梅1a，刘锴1a，颜建强2，徐昆然1b，王杏1c，郭捷3

(1.长安大学a.汽车学院; b.地测学院; c.公路学院, 西安710064；2.西安交通信息投资营运有限公司,西安710061；3.陕西国防工业职业技术学院,西安710300)

摘要：为确保出租车摄像头处于正常的拍摄状态，提出了一种出租车异常视频图像信号检测算法。先通过图像帧的平均亮度值检测拍摄环境光照；接着利用亮度密集度判定图像帧亮度值是否过于集中；随后，依据车顶偏移度和前挡风玻璃偏移度判定图像帧是否为偏转图像信号。当图像帧的拍摄环境光照正常、图像帧亮度不密集、车顶和前挡风玻璃不偏移时，判定为正常图像信号，反之为异常图像信号。对某市出租车视频图像数据进行仿真验证，试验结果表明：出租车异常图像信号所占比例较大，为71.1%，表明算法具有较强的工程应用价值；异常信号检测算法鲁棒性好，检测准确率达94%；算法运行速度快，在Matlab仿真环境下耗时0.34 s/帧。

关键词：图像信号检测；图像处理；出租车；监管

1研究现状

出租车是城市客运系统中不可缺少的客运方式，可根据乘客的个性需求提供灵活、方便的门对门运输服务。城市出租车作为常规交通的重要补充，在方便群众出行、扩大社会就业、树立城市形象、促进城市经济发展等方面具有重要作用。通过对城市出租车现状的调研，发现出租车行业存在的问题主要有运力难以确定[1]、服务质量有待提高[2]、运输组织化水平低[3]和管理部门监管力度较弱[4]等。针对出租车行业的问题，Yang Renfa等[5]从微观经济学理论出发，建立了城市出租车行业监管体系的总体框架，提出了在出租车市场需求和交通供给、服务、运营以及车辆状态等方面进行监管的具体方法和手段。该监管系统可为出租车市场的政府宏观调控提供科学依据。

随着传感技术的快速发展，越来越多的学者尝试将新技术应用于出租车行业。目前，GPS技术已广泛应用于出租车行业。简思思等[6]提出了以GPS-计价器联机系统为技术支持的优化方法，GPS调度中心综合考虑各功能区对出租车的实时需求分布、实时路况以及城市出租车的动态分布，向出租车司机提供实时优化调度建议。然而，驾驶员常常为了避免监管而不使用计价器，导致获取的用于优化调度的需求量信息会产生错误的结果。Shuo Ma等[7]提出利用GPS/GIS技术实现出租车合乘的方案以提高出租车运力水平。该方案通过互联网技术匹配到满足共乘条件的乘客，并通知出租车司机在特定位置搭载预约乘客，可实现出租车资源的合理利用。Yang Tiemei等[8]搭建了基于GPS/GPRS的出租车辆监控系统，该系统以C8051F040为核心处理芯片，利用GPS数据实现车辆定位，车辆和监控中心的通信通过GPRS模块完成，能实现出租车辆的定位和调度功能。Che Xiao Lin等[9]提出一种出租车辆空闲状态监控模型，结合有效的出租车GPS位置数据，可及时调度空闲的出租车以满足乘客需求。通过GPS技术可实现出租车辆的定位和调度等管理，但无法对出租车的乘坐、打表等操作进行监管。近年来，视频数据由于具有丰富的颜色和纹理等信息，基于视频的处理技术在工业中的应用越来越广泛[10]，在安全生产中扮演着重要角色[11]。Liu zhi等[10]设计了一套用于出租车安全监控的CMOS图像采集器，系统包括CMOS图像采集器(OV7120)、大容量闪存ROM和1个微处理器(AT90S8515)，图像数据通过并行端口输出。文献[12]设计了一套图像输出的硬件系统。文献[13]通过在出租车上安装车载监控系统实现更强的监管。目前，出租车视频监控系统只是通过人工对图像进行检测和识别等处理，还未实现图像数据的自动检测和识别。

通过在出租车内安装视频监控，实时获取出租车内的视频图像数据具有以下重要意义：实时采集出租车乘坐状态、地理位置等运营数据，优化出租车的运力和运输组织；可全程监管驾驶员的服务，一旦发生乘坐纠纷，可作为佐证数据；提高管理部门对出租车计费的监管力度，进而提高出租车的服务水平。可见，出租车内的视频监控对于规范出租车的运营有着重要的作用。在实际运营中，出租车经营者或驾驶员为了规避监管，常常关闭或拧转摄像头的拍摄角度，使得监管摄像头形同虚设。基于此，笔者所在团队开发了一套出租车异常视频图像信号检测算法，能自动检测出异常的图像数据，确保摄像头处于正常的拍摄状态。

2出租车异常视频图像信号检测系统

出租车的异常视频图像信号主要包括两类。第一类是错误图像信号，指采集的图像数据出现中断、模糊、遮挡、反光等情况；第二类是偏转图像信号，当出租车司机人为拧转摄像头的拍摄角度时，依靠采集的图像无法对出租车实现监管。

实际中，环境光照、噪声、移动载体和图像压缩等因素的影响增加了出租车异常视频图像信号检测算法的处理难度。

1) 环境光照影响。室外光照的强/弱对图片质量有影响，当室外光线过强时，容易造成拍摄的图像反光；当室外光线过暗时，区域块对比度不明显，很难挖掘有用的图像信息。

2) 拍摄质量较差。一方面，图像采集设备安装在移动载体上，车辆在行驶过程中，紧急驾驶行为(如急加速、急刹车和转弯)和不平整道路均会引起车体晃动，使得采集的图像出现运动模糊；另一方面，为便于存储和传输，常将拍摄图片进行压缩处理，这也会造成图片质量的下降。

出租车异常视频图像信号检测算法的思路是：首先，通过图像帧的平均亮度值检测画面的光照，若平均亮度值过高或过低，则认为是错误图像信号；其次，分析像素亮度的密集度，若像素亮度过分密集，很难提取足够的有用信息，则认为是错误图像信号；再次，自动提取车顶区域，基于车顶区域面积和位置信息，判定车顶区域是否偏移，若偏移则认为是偏转图像信号；最后，利用前挡风玻璃顶部的颜色和位置信息，判定前挡风玻璃是否偏移，若偏移则认为是偏转图像信号。异常视频图像信号检测算法流程如图1所示。算法步骤表述如下：

步骤1异常拍摄亮度检测

令采集的第t帧灰度图像为ft，其图像大小为M×N。当采集的图像亮度过亮或过暗时，难以进行图像信息挖掘，则认为该图像帧为异常图像信号。

(1)

(2)

图1　异常视频图像信号检测算法流程

步骤2像素亮度的密集度检测

当采集图像像素的亮度分布较密集、灰度变化较平稳时，认为其为异常图像信号。本文提出了一种快速的像素密集度检测方法，具体为：

首先，将0～255灰度级的图像按照30个分类划分为9个灰度段，即0～29，30～59，60～89，…210～239，240～255，统计落入每个灰度段的像素数和灰度均值。

其次，合并相近的灰度段。当相邻灰度段灰度均值的差异小于30时，将其合并为一个灰度段，并重新计算新的灰度段的像素数和灰度均值，直到所有相近的灰度段合并完毕。

最后，统计像素亮度分布的灰度段数目。假定合并处理后得到q个灰度段，统计像素数大于T3·MN的灰度段个数。若灰度段数目小于T4，则认为像素亮度分布过于密集，判定为异常图像，令fgt=0，算法结束；否则，令fgt=2。式中：T3为阈值，取值为0～1；T4为密集度阈值，取值通常为3。

步骤3车顶区域提取

正常拍摄的图像，其车顶位于画面中部偏上的位置，亮度较低。车顶提取过程包括3步：

1) 图像分割。利用车顶的低亮度特性提取车顶区域：

(3)

式中：mft为第t帧图像的车顶初图；p为图像中的任一像素点；T5为车顶阈值，本文采取最大类间法自适应地确定阈值。

2) 数学形态学处理

对车顶初图mft进行数学形态学开运算及填补小孔洞操作，得到车顶次图mbt。数学形态学开运算是指先腐蚀后膨胀运算，计算式为

(4)

式中：b为结构元素，通常取5×5～15×15的正方形的结构元素； ∘ 表示形态学闭运算符；mft∘b表示mft被结构算子b闭运算；Θ表示腐蚀运算；⊕表示膨胀运算。

3) 扫描去噪

先对车顶次图mbt进行行扫描去噪，接着进行列扫描去噪，得到车顶图mdt，具体表述为：首先，行扫描mbt的每一行，若连续长度小于图像列10%，则认为是毛刺，直接将mdt的值置为0，否则令其值为mbt。

类似地，对mdt进行列扫描去噪。扫描mbt的每一列，若连续长度小于图像行10%则认为是非车顶，直接将mdt中的值置为0，否则令值为mbt。

步骤4车顶偏移检测

通常，标准车顶区位于拍摄画面的中部略偏右位置，即画面第(0.3～0.7)·M行，第(0.25～0.9)·N列的区域，可得标准车顶区的大小为nc，其计算式为

(5)

车顶偏移检测包括2步：

第1步，统计mdt中各区域块的像素数，提取面积大于0.5·nc且小于1.5·nc的区域块。若没有满足要求的区域块，则判定为异常图像信号，令fgt=0，算法结束；否则，令fgt=2。转入第2步；

第2步，将提取的mdt中的区域块和标准车顶做对比分析，若落入标准车顶区的像素数大于T6·nc，则认为是异常图像信号，令fgt=0，算法结束；否则，令fgt=1。式中，T6为阈值，取值为0～1。

步骤5前挡风玻璃顶部偏移检测

拍摄的前挡风玻璃位于画面顶部，即画面第(1～0.3·M)行，第(0.25～0.9)·N列的区域。前挡风玻璃顶部反射的主要是天空区域，其亮度较高，利用该属性判定前挡风玻璃是否偏移。具体操作为：统计前挡风玻璃区域中落入8和9灰度段的像素数目(灰度段数目统计见步骤2)，当像素数目大于挡风玻璃的80%时，认为前挡风玻璃未偏移，令fgt=1；否则认为前挡风玻璃偏移，此时fgt=0。

3仿真验证

为验证算法的有效性，对某市出租汽车2月、3月、8月和10月的21 768帧图像数据进行仿真验证。采集的图像为RGB图像，大小为768×1 024 像素，即M=768，N=1 024。仿真平台为Matlab 9.0，试验PC机配置为Intel CPU 2.4 GHz和2.0 GB RAM。算法涉及的参数选择为：T1=40，T2=230，T3=0.1，T4=3，T6=0.75；b取9×9的正方形结构元素。

为验证算法的鲁棒性，利用正确率来表征算法的检测精度，正确率wr计算式如下：

(6)

式中：nr为被正确检出的正常图像信号的帧数；nw为被正确检出的异常图像信号的帧数；nt为测试的总图像帧数。

人眼先对采集到的出租车图像数据进行识别，异常的图像信号占总测试图片帧的比重较大，为71.1%。显而易见，大部分采集设备无法获取正常的图像信号，因此对出租车异常视频图像信号进行实时检测具有重要的工程现实意义。

通过对异常图像信号进行检测发现：算法的正确率可达94%，系统鲁棒性能较好。在Matlab仿真环境下，对算法的运行速度进行测试，结果显示平均每帧耗时0.34 s，可实现实时的异常图像信号检测。表1为人眼和本文方法识别结果分析。

表1　人眼和本文方法识别结果分析

注：异常率为异常图像信号帧数和测试图片的比值。

4结论

1) 通过对某市出租车图像数据进行检测，发现图像异常率较高，为71.1%，说明算法具有较强的工程应用价值。

2) 算法鲁棒性好。通过对大量异常图像信号进行检测发现，提出的算法的正确率可达94%，检测精度较高。

3) 在Matlab仿真环境下，对算法的运行速度进行测试，结果显示平均每帧耗时0.34 s，表明算法运行速度较快，可应用于实时异常图像信号检测系统。

参考文献：

[1]刘新,贾松.城市出租车运力规模投放计算方法研究[J].公路与汽运，2012(4)：57-59.

[2]姚志刚.客运出租汽车服务质量的重要度_绩效分析[J].交通运输系统工程与信息,2011,11(5)：181-186.

[3]陈时国.我国出租车行业存在的问题及其解决对策[J].湖南城市学院学报,2005，26(2)：61-63.

[4]曹其杰.我国出租车管理模式分析及改进[J].经营管理者,2009，2009(12)：51-58.

[5]RENFA YANG， YANCHENG GONG.Supervision system of taxi trade based on government regulation[C]//proceedings of International Conference on Transportation Engineering 2007.Chengdu,China：American Society of Civil Engineers，2007.

[6]简思思，张可可，李冰玉.基于 GPS 动态调度的出租车均衡布局优化研究[J].科协论坛，2011(6):67-67.

[7]SHUO MA,YU ZHENG,OURI WOLFSON.Real-Time City-Scale Taxi Ridesharing[J].IEEE Transactions On Knowledge And Data Engineering,2015,27(7):1782-1795.

[8]TIEMEI YANG,WEI XIAO,JIANLING GUO.Design of taxi vehicle monitoring system based on GPS/GPRS[C]//Lecture Notes in Computer Science,3rd International Conference on Artificial Intelligence and Computational Intelligence.Heidelberg,Germany:Springer,2011:82-88.

[9]CHE XIAO LIN,WENG JIAN CHENG,QUAN YU,et al.A GPS data based monitor model of unoccupied taxis at transportation hubs[J].Applied Mechanics and Materials,2014:767-772.

[10]AI HONG，WANGJIAN，YANG YI.Video Monitoring System of Embedded Remote Based on ARM and Fast Motion Estimation Algorithm[C]//IMCCC 2011.Beijing:IEEE Computer Society，2011.

[11]YINPING JIANG，JIE XU，XIAODONG WU，et al.The research of based on ARM9 core units embedded video monitor system[C]//Electric Information and Control Engineering (ICEICE) 2011.Wuhan,China:IEEE Computer Society，2011.

[12]ZHI LIU.A safety monitoring system for taxi based on CMOS imager[Z].proceedings of SPIE-The International Society for Optical Engineering,2005:562-568.

(责任编辑杨黎丽)

Abnormal Video Frame Detection Method for Image Signal from Taxi

XIAO Mei1a, LIU Kai1a, YAN Jian-qiang2, XU Kun-ran1b, WANG Xing1c, GUO Jie3

(1.a.School of Automobile; b.School of Geology Engineering and Geomatics;c.School of Automabile Roads, Chang’an University, Xi’an 710064, China;2.Xi’an Communication Information Company Limited, Xi’an 710061, Shaanxi, China;3.Shaanxi Institute of Technology, Xi’an 710300, China)

Abstract:In order to make the camera of taxi in the right angle, a new abnormal video frame detection algorithm for taxi image signal was presented. Firstly, the shooting light was checked by mean intensity of image. Secondly, intensity concentration was used to calculate if the intensity distribution is in high density. Thirdly, the detected roof and windshield of taxi were filtered based on location filter operator. For correct image signal, the roof and windshield of taxi must be in the top and center of image, respectively. The normal image signal should meet the requirements of the suitable shooting light, extensive intensity distribution, the impartial roof and windshield. Over 20000 image frames of taixes in a city have been tested to verify our algorithm in matlab simulation platform. The test result shows that the amount of incorrect image in total data is very high and is 71.1%, which shows that this algorithm has great engineering vaule. The algorithm is robust, which the detection precision is 94%. The average running time of one frame in Matlab is fast and cost 0.34s every frame.

Key words:image signal detection; image processing; taxi; supervision

文章编号：1674-8425(2016)04-0079-05

中图分类号：TN919.8

文献标识码：A

doi:10.3969/j.issn.1674-8425(z).2016.04.014

作者简介：肖梅(1977—)，女，江西安福人，教授，博士，主要从事图像处理、信息融合和智能交通系统研究。

基金项目：国家自然科学基金项目(61004087)；陕西省国际科技合作与交流计划项目(2015KW-009)

收稿日期：2015-12-29

引用格式：肖梅，刘锴，颜建强，等.出租车异常视频图像信号检测[J].重庆理工大学学报(自然科学)，2016(4):79-83.

Citation format：XIAO Mei, LIU Kai,YAN Jian-qiang,et al.Abnormal Video Frame Detection Method for Image Signal from Taxi[J].Journal of Chongqing University of Technology(Natural Science)，2016(4):79-83.