基于光流法的视频分析技术在地铁客流监测中的应用研究

■ 陈亮

1 概述

随着各城市轨道交通系统的快速发展，线网规模逐步扩大，客运量逐年提高，车站人群高度聚集，特别是高峰期间人群拥挤严重，运输压力越来越大，给轨道交通的安全运营带来极大挑战。近年来，国内外轨道交通系统事故频发，旅客滞留、车站关闭等现象时有发生，既延误了乘客出行时间，降低运营服务水平，极大影响线路运营，又对轨道交通的安全运行构成威胁。在这种情况下，对站内的实时监控成为运营管理的必要手段。

目前，轨道交通系统均设有视频监控系统（CCTV），能够监视站厅公共区、站台候车区、站内扶梯、闸机等重要区域。但随着车站建筑规模的不断扩大，监视区域需求增加，CCTV建设规模也越来越大，站内图像达到几十路甚至上百路，给车站值班员带来繁重的监控工作量，很难及时发现前端异常状况，大大降低视频监控系统的时效性和可用性。

为了能实时分析、跟踪、判别监控对象，使系统在关键事件发生时能智能提示并有效上报，为轨道交通运营管理部门及时决策、正确行动提供支持，在地铁客流监测领域采用视频分析技术是十分迫切和重要的，从而提高运营人员效率，提升运营服务水平，最大程度发挥CCTV的实时性和智能性。

2 视频分析技术应用现状

结合各城市轨道交通运营现状、车站客流及物理环境等实际情况，目前比较迫切需要实现的视频分析技术应用包含以下6种：客流监测、客流统计、人员逆向检测、遗留物品/非法滞留检测、扶梯运行监测、翻越扶梯监测。

2.1 客流监测

客流监测是指通过计算背景画面中的客流密度，结合相应的交通参数（如速度、时间等），自动判断指定区域内的拥挤状况，并及时触发报警。

城市轨道交通车站是客流集散的重要场所，高密度聚集的客流易产生站点的安全隐患。运营人员需要时刻关注重要区域的客流通行、疏散情况，必要时采取相应措施。

运用客流监测技术，运营人员可实时掌握客流集散区人流密度。当密度超限时，能够及时触发相应区域监控画面，运营部门可根据实际情况立即采取应急措施，疏散客流，保障城市轨道交通站点客流高效安全集散，降低事故的发生率和严重性，提高站点营运效率。

2.2 客流统计

客流统计是指统计穿越指定区域的目标（人）数量，为各职能部门提供直观的实时客流状态，为换乘车站（站区）及时采取与客流状态对应的客流疏导措施提供判定标准。

2.3 人员逆向检测

人员逆向检测是指当系统检测到目标在单向通行区域反方向行走时自动产生报警。该应用适用于车站单向通道、单向换乘区域的报警检测。

由于在单向通行区域人员流动相对有序，突然有目标逆向行走，容易引起摩擦或碰撞，特别是在客流高峰情况下有多个目标逆向通行时，影响其他乘客正常出行，因此需要车站值班员重点监控，有报警发生时，通知相关运营人员及时出面制止，保证正常的出行秩序。

2.4 滞留检测

滞留检测是指当一个物体在敏感区域停留时间过长或超过预定时间，系统就会产生报警。在人流频繁的地区，经常会出现乘客遗忘包裹行李，或恶意丢弃包裹、摆摊、乞讨等行为。对遗忘的行李和包裹及时发现，能够给乘客带来尽可能小的损失，也能及时发现非法滞留或恶意丢弃行为并给予阻止。

2.5 扶梯运行监测

扶梯运行监测是指当自动扶梯出现运行故障时（如急停、逆行）系统能够自动报警。扶梯是轨道交通车站客流相对集中的区域之一，在换乘车站或交通枢纽站点，这一现象更为突出（如西直门站、北京站），上下车客流较多，自动扶梯经常处于满载状态，一旦扶梯故障，就会引发拥挤、踩踏事故，影响乘客出行安全。因此，及时发现设备运行异常状况，能够协助工作人员采取有效疏散措施，尽可能避免恶性事件发生。

2.6 翻越扶梯监测

翻越扶梯监测指当系统监测到有目标跨越扶梯时自动触发报警信息。提醒工作人员及时出面制止，以免发生危险。

3 视频分析技术研究现状

目前，国内外对视频分析技术的相关研究较多，主要的技术方法包括：根据图像灰度变化进行监测的帧间差分法和背景差分法、根据图像纹理变化的局部特征法、根据人体肤色进行监测的方法及监测物体运动的光流法等。

3.1 帧间差分法

帧间差分法是在对图像序列间隔较短的图像进行差分运算。由于间隔时间短，可以认为光照变化的影响较小，因此，帧间差分法对光照变化有着较强的鲁棒性，并具有简单、运算量小的特点，易于工程实现。

3.2 背景差分法

背景差分法是指用当前的图像帧减去背景图像，获取的差分图像直接就是前景图像。与帧间差分法相比，背景差分法可以精确提取前景物的轮廓，对于背景不变的环境尤为适用。

虽然背景差分法中场景固定不变，但其光照条件一般都随时间变化而变化，很难有固定不变的背景图像。因此，背景差分法最关键的步骤是重建合适的背景图像。背景差分法广泛应用于道路车辆监测中。

3.3 局部特征法

局部特征法通过纹理特征和几何形状监测人体各个部位，从而监测出行人。有以下几种特征分类：（1）SIFT特征；（2）HOG特征；（3）LBP特征；（4）HARR特征。

3.4 肤色监测法

肤色监测法是在图像中选取对应于人体皮肤像素的过程，现已应用于人脸识别与监测、表情识别、手势识别及人体监测等方面。肤色监测法分成2种基本类型：基于统计的方法和基于物理的方法。

利用肤色特征进行行人监测的方法具有计算量小、速度快、易于实时处理的优点，但其在复杂背景和复杂照明条件下的应用还有待研究，且此方法不适于有诸多不同肤色的地区。

3.5 光流法

生物学家Gibson在1950年提出图像的变化是由带有灰度的像素点的运动引起的，以此提出了光流的概念。光流可以看成是物体对应的像素在图像平面运动时的瞬时速度场。

基于光流法的视频分析，根据一定的约束条件估算出图像中的像素点速度，由于图像上的点与物体表面的点一一对应，因此可以较为准确地表征运动物体的实际运动。

光流包含物体运动的众多信息（如根据对光流场的像素进行聚集获取运动物体的轮廓信息；在提取物体运动的同时，观察物体内部的相对运动和局部形变等），根据运动信息的变化情况观察异常运动。

3.6 方法比较

（1）帧间差分法的优点是光照鲁棒性较好，能够适应各种动态环境，缺点是提取的图像通常有空洞和边缘缺省，无法提取出目标的完整区域。另外，当运动目标速度缓慢时，则可能监测不到；而运动目标速度过快时，将把部分背景也监测为运动目标。

（2）背景差分法对于动态场景的变化（如光照和外来干扰等）特别敏感，且分割精度易受噪声影响。

（3）局部特征法从样本中学习到行人很多固有特性，能解决人体形状和外貌各式各样的难点及人体的不同运动方式。但实际视频分析监测过程中，对于解决客流分析不具优势。

（4）由于肤色过滤迅速，且不受拍摄、人体姿势的影响，肤色监测法已成为客流监测方法的基本监测方法之一，但由于自然界中有大量物质与人体肤色相近，且人类肤色本身存在很大差异，该方法会产生一些误检。

（5）光流法是机器视觉中运动图像分析的重要方法，可以比较精确地反应对象的平移运动。在地铁客流监测应用中，通过对图像帧的光流进行计算，可获知乘客客流的运动信息，继而根据运动信息实现对客流情况进行运动分割和跟踪、异常监测告警等。但光流法计算量较大，应用于实时监测系统中有一定的软硬件配置要求；由于对于特定应用场景（如地铁客流）监测效果较好，因此应用比较广泛。

4 光流法在地铁客流监测中的应用研究

4.1 光流法简介

光流的计算是利用图像序列中像素强度数据的时域变化和相关性确定各自像素位置的“运动”，即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系。将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量。

考虑象素点m在位置（x，y）处t时刻的灰度值I（x，y，t），令点m的速度为vm=（vx，vy），若设点m的灰度保持不变，那么，在很短时间间隔dt内，有：

如果灰度随x、y、t光滑变化，将上式左侧泰勒展开为：

σ代表阶数大于或等于2的项，消去I（x，y，t）并忽略σ， 同时设：

则式（2）可改写成：

式（3）就是光流约束方程（Optical Flow Constraint Equation）。由于只有一个约束方程却需求解2个未知数：光流的x分量u和光流的y分量v，因此无法通过一个方程确定光流，这种问题称为孔径问题。由于孔径问题的存在，还需通过假设确立另外一个方程才能求解光流。

计算出的光流场与实际运动场有着密切的映射关系，但光流场并不总是完全对应。

（1）遮挡问题。当物体运动且在摄像头平面的投影存在遮挡时，由于图像没有物体信息，无法在计算的光流信息中反映实际物体运行的状态。

（2）均匀球体的圆周运动。在光源固定的情况下，具有均匀反射特性的圆球在相机前旋转，虽然球面各处有亮度变化，但这个变化不会随着球的转动而转动，图像的灰度不会发生变化。因此，其运动场不为0，但其光流为0。

（3）光照的变化。当外部光照条件发生变化时，即使物体不动，也能根据前两帧的图像观察到光流的存在。

尽管有上述问题的存在，光流法依然是最精确反应物体运动状态的方法之一，并广泛应用于各种运动客流估算的场合。

4.2 光流计算方法

光流的计算要求解光流，需要在光流约束方程的基础上引入新的假设，常见方法有：Horn-Schunck方法、Lucas-Kanade（L-K）方法等。

Horn-Schunck方法的基本假设是光流的变化是平滑连续的，但实际上在运动物体的边界处这一假设并不成立。因此，Horn-Schunck方法求解的光流场的精度往往不够理想。

Lucas和Kanade提出了L-K光流计算算法，其假设如下：在一个小的空间邻域Ω上运动矢量保持恒定，即在该区域内所有的像素具有相同的光流速度；光照恒定，在相邻帧比较期间，物体表面像素的灰度值在监测期间保持恒定不变。

根据上述假设，在空间邻域Ω中可建立如下方程：

可获得一个超定方程组：

或表示为：

L-K方法也是一种密集光流计算，一般认为L-K方法在计算光流的正确性及运算方面均高于Horn-Schunck方法。

4.3 实验结果

OpenCV开发工具（开放源代码的计算机视觉类库 OpenCV（Intel Open Source Computer Vision Library）由英特尔公司位于俄罗斯的研究实验室开发，是一套由一些C函数和C++类开发所组成的库，用来实现一些常用的图像处理及计算机视觉算法）。在OpenCV中，提供L-K光流计算函数，可以简单地调用库函数即可实现对光流的计算。

图1为光流法计算和显示的效果图。（a）、（b）是视频流中的连续两帧图像，（c）是L-K方法求出光流场后作出的光流场图。

4.4 光流法在客流监测中的应用

城市轨道交通由于其运量大、速度快、准时准点，已逐渐发展成为城市的主导公共交通方式。但正是由于城市轨道交通对客流的巨大吸引力，往往导致站点在高峰期客流压力过大，对地铁的运营安全、运营效率和服务水平造成重要影响。因此，需要对客流状态进行监测，其中站厅走廊通行服务水平的监测是其中的一项重要内容。

4.4.1 客流状态监测

城市轨道交通领域的客流监测研究人员邵巍跃提出了行人通道通行服务水平分级方法（见图2）。

通过计算前后帧图像间的光流，可十分方便地获取当前运动个体的密度和速度，进而对通行的服务水平进行评级。

4.4.2 异常运动监测

选取南京地铁某站的楼梯作为监测场景，图3（a）为该楼梯的场景图。为了防止阴影引起的光流对监测造成干扰，通过掩码对原图的无关部分进行掩码屏蔽。

图4为视频流经掩码后计算的光流图，（a）、（c）、（e）为不同客流条件下的场景图；（b）、（d）、（f）为在该时刻计算的光流场。

从图4可以看出，客流密度与光流场占有效背景的面积的比值是一致的，因此基本可以根据光流场的密度推断客流密度。当大于0的光流场密度占整个扶梯或楼梯有效面积80%以上时，认为有大客流发生。

需要注意的是，当客流特别大发生拥堵时，行人行进困难，此时楼梯上光流场的面积有时也较小，和客流较小时一样。为有效区分这2种情况，将异常客流和较小客流的光流场做对比分析，发现有如下特征：客流异常时光流面积忽大忽小，光流位置的变换与光流的方向不一致；客流较小时，光流面积随着位置的变换逐渐变换，光流位置的变换与光流的方向一致。根据上述特征，可对异常客流进行监测，并及时报警提醒工作人员注意。

服务水平A：表现为在地铁站内AFC设施处的通行走廊上行人极少，乘客行走完全自由，AFC设施的路径选择完全不受客流交织的影响服务水平B：表现为在地铁站内AFC设施处的通行走廊上有很少的客流量，行人行走速度自由服务水平C：行人行走速度自由，仅在视线上受到极少影响服务水平D：行人行走速度开始受到彼此间的限制，行人依然可以轻松超越前人，多角度的客流交织和客流渠化现象开始出现服务水平E：行人走廊上行人已经比较拥挤，行人移动速度受到很大限制，超越前人有一定难度，客流渠化现象明显服务水平F：行人走廊上乘客极度拥挤，彼此之间的空间极小，甚至互相有身体接触，行人行进较为困难，易引发行人踩踏事件

图3 光流监测背景图

图4 不同客流场景下的光流图特征

5 结论

光流包含物体运动的众多信息，如根据对光流场的像素进行聚集，获取运动物体的轮廓信息；在提取物体运动的同时，观察物体内部的相对运动和局部形变等；根据运动信息的变化情况观察异常运动。通过对比分析可知，光流法在地铁客流监测领域的应用中，对客流状态的监测和判断有其独到的优势。

此外，光流法虽能在不知场景任何信息的条件下监测独立运动的行人，但是大多数的光流计算方法需要多次迭代运算，计算复杂、耗时，难以满足实时监测的要求。如何进一步提高其运算速度、实时性及其抗噪性是目前的研究热点，也是需要后续跟进的重点。

[1] Park S C，Park MK，Kang M G．Super- resolution image reconstruction：A technical overview[J]．IEEE Signal Processing Magazine，2003，20(3)：21-36

[2] 徐庆贺．监控视频流分析的关键技术研究及应用[D]．上海：上海交通大学，2008

[3] Lipton A J，Fujiyoshi H，Patil R S．Moving target classification and tracking from real-time video[C]．Proceedings of Applications of Computer Vision，1998

[4] Lucas B D，Kanade T．An iterative image registration technique with an application to stereo vision[C]．Proc．DARPA IU Workshop，1981

[5] Lucas B D．Generalized Image Matching by the Method of Differences[D]．PhD Dissertation：Carnegie-Mellon University，1984

[6] Lucas B D，Kanade T．An investigation of smoothness constraints for the estimation of displacement vector fields from image sequences[C]．DARPA Image Understanding Workshop，1981

[7] Intel Corporation. Open Source Computer Vision Library Reference Manual [S]，2001

[8] 邵巍跃．城市轨道交通站内AFC设备通行能力研究及应用[D]．南京：东南大学，2012