交通安全事件智能分析系统在大型桥梁的应用

吴承隆，肖 龙，姜永栎，虞永方

(1.宁波市杭州湾大桥发展有限公司 安全营运部，浙江 宁波315327;2.宁波海视智能系统有限公司 研发部，浙江 宁波315040)

杭州湾跨海大桥作为特大型桥梁，由于其处于海面上的地理位置关系，使得其天气条件变化较多，而且很多时候表现不规律。而在普通的视频监控中，监控画面多受环境因素的影响。主要表现如下:海面大风导致的画面抖动;夜晚对向车道灯光对射摄像头;雨水导致的路面积水;雾天引起的能见度过低。

海面大风导致画面抖动。由于是跨海大桥，桥面上风力较大，使得架设在桥面上的摄像机存在晃动，从而导致画面抖动。普通的智能监控所涉及的画面往往是静止画面，然后检测画面中运动物体，而整个画面的抖动，使得检测抖动画面中的运动物体难度增加。夜晚对向车道灯光对射到摄像头。在夜晚的高速行驶过程中，车辆使用光线强烈的远光灯，对向车道的灯光往往使画面呈现出大片灯光，由于灯光也是运动物体，所以容易形成误报，同时有可能导致发生交通事件但检测不到。雨水常常导致路面积水。雨天对于处在海面上的杭州湾大桥来说，是寻常事件，但由于雨水会引起桥面的积水，车辆在行驶过程中映射到桥面形成倒影，从而给使检测带来了难度。雾天引起的能见度过低。车辆一旦出现停留，容易引起交通事故，但由于摄像头的能见度较低导致视频画面的图像模糊不清，而这也是智能监控中难以实现的地方。恶劣天气情况如图1所示。

图1 恶劣天气下的视频情况

1 国内外现状

智能交通事件检测系统是目前世界交通运输领域的前沿研究课题，发达国家提出并执行了一系列研究计划，对交通事件的自动检测因其能够有效地预测交通事件的发生，并对已经发生的交通事件作出迅速的反应，基于视频的交通监控技术的研究与应用，随着数字图像技术、计算机技术、模式识别技术的发展越来越被重视，近年来已经成为图像处理、智能交通等研究领域的重点［1－6］。

2 系统实现方式

由于杭州湾跨海大桥独特的自然环境和实际运营需求，利用计算机视觉与数字图像处理技术，结合当前跨海大桥监控的需要和已有的监控设施，研究在各种气候条件下，实现道路上运动车辆自动检测、运动状态检测、交通事件检测等目标，自动快速检测出车辆逆行，违章停车、缓慢行驶、洒落物、出现行人等交通事件，并自动记录相关数据。图2为交通安全事件检测和联勤预警系统的技术流程图［7－9］。

图2 交通安全事件检测和联勤预警系统的技术流程图

2.1 交通事件监测技术

交通安全事件检测技术主要由以下几部分组成:处理恶劣天气模块、背景建模、目标跟踪、人工智能的人车分离模块以及安全事件检测模块。

2.2 处理恶劣天气模块

将影响视频检测的恶劣天气因素进行归纳，整合到一个处理恶劣天气的模块，该模块包括由于海风引起画面晃动的稳像模块，大雾天由于视线模糊而增强图像质量的去雾模块，夜晚对向车道强烈的灯光照射而用来处理的灯光抑制模块，针对雨天路面积水导致过往车辆在水中形成的倒影，夜晚雨水导致的路面反光等来进行处理的雨天去干扰模块［10－11］。

夜晚去灯光:由于灯光的出现主要在晚上，所以首先要判断当前状态下，是否为夜晚。系统采用了一种简单的阈值分割方式来判断视频画面是否为夜晚。根据杭州湾大桥的特征，夜晚的画面灰度值在0～50和200以上的比例较大，所以通过二分阈值，当比例到达设定的阈值内，则认为是夜晚［12－13］。

当判断出是夜晚时，采用特征点和纹理信息的方法。由于灯光内部较平滑，内部像素值较大，所以周边不会存在特征点和纹理信息，可以通过该区域内是否存在着足够的特征点从而可以判断该区域是否为灯光区域。

雨天去干扰:雨天的干扰原本是出现在夜晚，路面积水导致有倒影，形成误报。根据选用的规则可以划分每个车道，在该车道内如果由于下雨导致的反光，在夜间亮度较大，可以设置一个变动的阈值，来判断该车道内的是否存在着雨天光照的影响［14－15］。

Step1首先判断视频画面，根据画面像素值的亮度画面灰度值在0～50和200以上的比例判断是否为夜晚。

Step2获取每个规则车道内的高亮度，若不存在，则不是夜晚雨天。

Step3若存在高亮度部分，则检测高亮区域内是否有足够数量的特征点存在。

Step4如果不存在则认为该区域为雨天光照引起的区域，若检测中该区域内有足够特征点出现，则认为有车辆进入，开始检测。

2.3 背景建模

背景差分法基本思想是，将当前帧图像像素值与事先存储或者实时得到的背景模型对应像素值相减，若差值大于某一阈值，则判定该像素点属于运动目标，否则判定此像素点属于背景场景，经阈值分割处理并二值化后得到运动目标前景掩模(Foreground Mask)［16－18］。

研究中，首先采用对像素值使用卡尔曼滤波的方式去得到背景

式中，Bt代表在时间t的背景模型;Dt代表当前帧与Bt的差值;而Mt代表运动目标的二值掩码。

该方法在前景目标出现比较少时，有较好的效果，但背景被其他目标遮挡时，该算法就失效了。还有一个问题就是Mt的产生通常是通过Dt阈值和应用形态学操作。这样的自反馈会使滤波变得不稳定。举个例子，一个简单的检测可能会由于被突然变化的光照而导致检测失败。

为解决上述问题，采用一种包含有外部特征的线索来生成更具鲁棒性的Mt，除此之外，修正了上述的背景模型，以解决突然的或者短时的光线变化。使用如下更新方程

式中，Ic()是亮度调节函数;Nt表示最近时间内的中值，这里采用15帧表示，为保证计算速度，采用背景更新率为每秒2帧的速度更新背景，则15帧需7～8 s。采用Ic()亮度调节函数，应用于每个R，G，B值中

其中，kR，kG，kB的值由RC/R，GC/G，BC/B通过前面15帧图像中该位置的像素值计算得到。(RC，GC，BC)表示的是当前帧上该位置的像素值。

通过上述的背景建模方式可以获得一个前景二值图像，前景为白色，背景为黑色。二值图像是指整幅图像画面内仅含黑、白二色的图像，之间不存在其他灰度变化。二值化处理是运动目标检测与提取交通参数的前提，通过确定阈值T，将差值图像中各像素f(x，y)与T比较，大于或等于T，则f(x，y)为运动目标像素，否则f(x，y)为背景像素。由于目标存在与背景颜色相似的部分，使得检测的目标存在空洞和分裂的情况，因此，要对背景差分所得到的运动目标二值图像做进一步后处理。通过获得的目标进行形态学处理，主要应用膨胀和腐蚀操作，获得比较完整的目标，为匹配打下基础。

2.4 目标匹配

当通过背景建模获得处理完的前景图像后，需要对该前景目标区域中的判断是否含有足够的特征点数，如果满足，则进行目标匹配和跟踪，如果不满足，则表明不是虚假目标，不进行目标跟踪。

为实现复杂条件下对不同类型的目标的稳定跟踪，在计算机视觉领域的区域协方差矩阵(Region Covariance Matrix)算法的基础上结合特征点的方法，实现了一种目标跟踪的方法，经过大量的实验测试，取得了较好的效果［19－20］。

在具体的跟踪过程中，采用9维数据特征表示运动目标，如式(4)所示

其中，R，G，B表示为色彩信息;x，y表示为位置信息;I表示为灰度信息。由于在背景建模的过程中也采用了该特征，在计算过程中能够减小计算量，提高运算速度。

为使目标的跟踪更加准确，在采用协方差矩阵的基础上，加入特征点的检测。如果该目标内特征点数没有到达一定数量则不计算特征区域的协方差，从而减少因为灯光引起的误报［21－27］。

2.5 人车分离模块

在人车分类中，研究采用HOG－LBP的前景提取方式来实现人车分离。梯度方向直方图和局部二值模式方法(HOG－LBP)的训练实现［28－29］，流程如下:

Step1获取训练图像。

Step2计算该训练图像的梯度方向直方图(HOG)。(1)梯度计算。(2)直方图统计的方向单元划分(Orientation Binning)。(3)描述符块。

Step3计算该训练图像的局部二值模式(LBP)。(1)选取统一模式LBP8，12。(2)计算像素周边的LBP模式，转换为十进制的模式。(3)统计LBP直方图。

Step4将HOG和LBP的直方图联立，形成一个训练直方图。

Step5将计算出的训练直方图放入SVM分类器中进行训练，从而获得分类识别数据。基于HOGLBP方式的实现。

梯度方向直方图和局部二值模式方法(HOGLBP)的识别实现，流程如下:

Step1获取需要识别的图像。

Step2计算该训练图像的梯度方向直方图(HOG)。(1)梯度计算。(2)直方图统计的方向单元划分(Orientation Binning)。(3)描述符块。

Step3计算该训练图像的局部二值模式(LBP)。(1)选取统一模式LBP8，12。(2)计算像素周边的LBP模式，转换为十进制的模式。(3)统计LBP直方图。

Step4将HOG和LBP的直方图联立，形成一个识别直方图。

Step5将计算出的识别直方图与训练阶段得出的识别数据进行卷积，从而得到一个结果的输出。

Step6如果该输出为1，表明是人;如果输出为0，表明为车辆;如果输出是－1，表明是其他的物体，这里定义为洒落物。

3 智能安全事件的检测实现

安全事件识别的流程如下［30－32］:

Step1当检测出运动目标是，先通过人车分类模块区分是属于哪个类型。

Step2通过目标跟踪的运动方向来确定是否为逆向行驶。

Step3通过目标跟踪的运动距离大小来确定违章停车和缓慢行驶。

通过以上操作，可以将安全事件检测完成。

4 系统运行结果

通过以上的方式实现的算法已在杭州湾大桥中运行，结果如图3～图6所示。

5 结束语

视频处理技术已经成为智能交通中的一个重要组成部分，并且己经显示出广泛的前景。针对高速交通桥梁中存在的各种交通问题进行研究，分析了各种交通问题，提出较好的解决方案，并将研究成果应用于杭州湾跨海大桥。通过在杭州湾大桥的实际应用，该系统能够很好地检测车辆。然而在实际的检测过程中，也存在着由于恶劣天气所引起的一些误报和漏报，这需要在下一步进行提高和继续的发展。

［1］BALLARD D H.Generalizing the hough transform to detect arbitrary shapes［J］.Readings in Computer Vision Issues，Problems，Principles，and Paradigms，1987(1):714－725.

［2］CROES G A.A method for solving traveling－salesman problems［J］.Operations Research，1958 6(6):791－812.

［3］HEIKKILÄM，PIETIKÄINEN M，SCHMID C.Description of interest regions with local binary patterns［J］.Pattern Recognition，2009，42(3):425－436.

［4］MIKOLAJCZYK K，SCHMID C.Indexing based on scale invariant interest points［C］.In IEEE International Conference on Computer Vision，2001:525－531.

［5］MIKOLAJCZYK K，SCHMID C.An affine invariant interest point detector［C］.In European Conference on Computer Vision，2002:128－142.

［6］MORELL J，YU G.ASIFT:a new framework for fully affine invariant image comparison［J］.SIAM Journal on Imaging Sciences，2009，2(2):438－469.

［7］ 袁基炜，史忠科.一种快速运动目标的背景提取算法［J］.计算机应用研究，2004(8):128－129.

［8］ROSENFELD A，VANDERBURG G.Coarse－fine template matching［J］.IEEE Trans.Syst.Man.Cyb.，1977(7):104－107.

［9］ 刘亚，艾海舟，徐光佑.一种基于背景模型的运动目标检测与跟踪算法［J］.信息与控制，2002(31):315－319.

［10］TURK M，PENTLAND A.Face recognition using eigenfaces［C］.Maui，HI:Proc.IEEE Conf.on Computer Vision and Pattern Recognition，1991:586－591.

［11］BLACK M，JEPSON A.Eigentracking:robust matching and tracking of articulated objects using a view－based representation［J］.Intl.J.of Comp.Vision，1998(26):63－84.

［12］LEUNG T，MALIK J.Representing and recognizing the visual appearance of materials using three－dimensional textons［J］.Intl.J.of Comp.，2001(43):29－44.

［13］GEORGESCU B，MEER P.Point matching under large image deformations and illumination changes［J］.IEEE Trans.Pattern Anal.Machine Intell，2004(26):674－688.

［14］VIOLA P，JONES M.Rapid object detection using a boosted cascade of simple features［C］.Kauai，HI:Proc.IEEE Conf.on Computer Vision and Pattern Recognition，2001(1):511－518.

［15］LOWE D.Distinctive image features from scale－invariant keypoints［J］.Intl.J.of Comp.，2004(6):91－110.

［16］GEORGESCU B，SHIMSHONI I，MEER P.Mean shift based clustering in high dimensions:A texture classification example［C］.Nice，France:Proc.9th Intl.Conf.on Computer Vision，2003(8):456－463.

［17］詹翔，周焰.一种基于局部方差的雾天图像增强算法［J］.计算机应用，2007，27(2):510－512.

［18］吴恩华，柳有权.基于图形处理器(GPU)的通用计算［J］.计算机辅助设计与图形学报，2004，16(5):601－612.

［19］丁礼灯，席敏.浅谈智能交通系统在交通管理中的应用［J］.科技创业月刊，2008(4):149－150.

［20］董涛，董慧颖.基于大气调制传递函数的天气退化图像复原方法研究［J］.沈阳理工大学学报，2006，25(5):39－42.

［21］ABDOU I E，DUSAUSSOY N J.Survey of image quality measurements［C］.Dallas，Texas:Processings of 1986 ACM Fall Joint Computer Conference，1986:71－78.

［22］WANG Z，SHEIKH H R，BOVIK A C.Objective video quality assessment，111e handbook of video databases:design and applications［M］.USA:RC Press，2003.

［23］RUSSO F.An image enhancement technique combining sharpening and noise reduction［J］.IEEE Transactions on Instrumentation and Measurement，2002，51(4):824－828.

［24］APOLO R F，SEARA R.A measure for perceptual image quality assessment［C］.Barcelona，Spain:Proc.OfInt.Conf.on Image Proc.，2003:433－436.

［25］ROSENFELD A，VANDERBURG G.Coarse－fine template matching［J］.IEEE Trans.Syst.Man.Cyb.，1977(7):104－107.

［26］SHEIKH H R，BOVIK A C.Image information and visual quality［J］.IEEE Transactions on Image Processing，2006:430－444.

［27］MAYACHE A，EUDE T，CHERIFI H.A comparison of image quality models and metrics based on human visual sensitivity［C］.Chicago，Illinois，USA:Proc.of IEEE Int.Conf.on Image Processing，1998:409－413.

［28］SHEIKH H R，BOVIC A C，CORMACK L.Blind quality assesment of JPEG2000 compressed images using natural scene statistics［C］.In Proc.of the Thirty—Seventh Asilomar Conf.on Signals，Systems and Computers，2003:1403－1407.

［29］HEYMANN S，MULLER K，SMOLIC A，et al.Sift implementation and optimizmion for general－purpose gpu［C］.In Proceedings of WSCG，2007:317－322.

［30］COMELIS N L V G.Fast scale invariant feature detection and matching on programmable graphics hardware［C］.Greece:CVPR，2008.

［31］RUSSO F.An image enhancement technique combining sharpening and noise reduction［J］.IEEE Transactions on Instrumentation and Measurement，2002，51(4):824－828.

［32］冯建辉，杨玉静.基于灰度共生矩阵提取纹理特征图像的研究［J］.北京测绘，2007(3):19－22.