基于多模式感知技术在共享单车停放监管的研究

张 成 范志恒 鲁 骏 吴悦玲

（深圳市金溢科技股份有限公司，广东 深圳 518000）

0 引言

共享单车以新兴交通形态的形式在城市中发展，给人们出行带来便利，共享单车的乱停放、区域异常聚集以及停车难等停放管理问题日益严重，共享单车停放问题成为厂商以及相关政府部门亟待解决的问题。

共享单车停放管理方案在实际应用中存在很多问题，例如基于GPS、北斗、蓝牙、RFID定位技术与电子围栏相结合的技术方案，存在定位精度差、无法判断车头车尾乱序停放、倾倒以及堆积等乱停放现象，定位模块消耗大量电能会带来供电问题。基于互锁结构实现的技术方案，由于停放车辆被相互连接到一起，因此车辆移动维护不便。现有共享单车管理技术都不能兼容第三方共享单车进行整齐停放管理，也无法对乱停放车辆进行现场取证。

该文提出共享单车整齐停放管理方法，采用基于深度学习的视频识别与UWB射频高精度定位识别技术相结合的方法，对共享单车的位置、姿态等进行精准的停放管理，与停车管理系统相比具有明显的优势。该系统不仅对停车区域内的车辆位置进行停放管理，还实现了对车辆停放姿态、方向、两车之间距离的监管，同时保存车辆停放现场图像，为监管处罚提供依据。

1 视频与射频双模识别技术研究

1.1 视频识别技术

共享单车视频识别技术通过摄像头实时采集车辆指定停放区域的视频图像，根据深度学习识别模型，判断所停放车辆的停放姿态，并且获取在指定区域的车辆位置信息。通过对实时视频图像进行车辆识别，根据动态跟踪技术[1]，可以筛选出正在停车过程中的车辆。最终，该模块会将正在停车过程中的车辆的位置信息与姿态识别结果发送给共享单车停放数据处理模块。

目前深度学习物体检测算法很多[2]，经典的深度学习物体检测算法有RCNN（Regions with CNN features）系列、SSD（Single Shot MultiBox Detector）和YOLO（You only Look Once）系列，在这3个系列的模型中，SSD和YOLO是Single Shot检测器模型，模型的检测速度更快。SSD在多个feature Map上进行多尺度预测，预测层是Detector/Classifier，是全卷积，而YOLO是全连接层。如图1所示。

图1 Faster R-CNN、SSD、YOLO检测层示意图

该项目采用的共享单车检测模型是SSD目标检测框架，包括sequeezenet-ssd、mobilenetv2-ssd等。预先设计的车辆停放姿态为直立停放、倾倒停放以及车身堆叠3类停车姿态。车辆停车姿态如图2所示。

图2 共享单车停车姿态

1.2 射频UWB定位识别技术

UWB测距原理一般是双向飞行时间法TW-TOF（Two Way-time of Flight）。UWB定位方法包括TOA（Time of Arrival）定位、TDOA(Time Difference of Arrival)定位和AOA(Activity On Arrow)定位3种。该文采用TDOA算法定位，TDOA技术不需要电子标签与定位基站之间往复通信，只需要定位标签发射一次UWB信号，工作时间短，功耗低，容易实现更高的定位动态和定位容量。并且TDOA定位只需要在基站之间进行同步，不需要在基站与电子标签之间进行时间同步，基站的位置是固定不变的，所以TDOA定位精度会更高。

该定位系统是由安装在停车区域4个角的基站、安装在车身上的电子标签和UWB控制器组成的。由于采用了4个基站同时工作的冗余设计，因此不受周边无线通信设备的影响，抗干扰能力强，保证稳定的工作状态。TDOA算法原理图如图3所示。

图3 TDOA原理图

该方法不仅可以定位电子标签的精确位置，还可以通过广播的报文传输电子标签内存储的关键车辆信息，其中关键信息包括共享单车的品牌、共享单车ID等信息。另外，由于共享单车在户外使用，电子标签采用太阳能充电的方式，可以解决定位模块消耗大量电能所带来的供电问题。

1.3 数据融合技术

通过实时接收视频识别的车辆检测识别数据，以及射频UWB定位识别定位的电子标签的数据，基于视频检测中共享单车的车身姿态数据、位置信息数据和电子标签的精确位置等数据进行融合[3]，进而判断该共享单车的停车行为是否符合停车规范要求。该项目引入了NTP（Network Time Protocol）服务，保证共享单车视频识别和射频UWB定位识别能进行时间同步。视频数据与射频数据的关联配准时序如图4所示。

图4 视频数据与射频数据关联配准时序

该技术分别实现了视频和射频对车辆姿态的检测。在共享单车视频识别技术中，基于视频的检测是通过车辆姿态检测模型直接检测出车辆停放时的车头方向与停车姿态；基于射频的车辆姿态检测是在每辆共享单车上分别安装2台电子标签，通过2个标定的坐标位置信息垂直投影到大地坐标系中的距离，来判断车辆的车头方向与停车姿态。射频对车辆姿态检测的状态包括直立停放与倾倒停放。当车辆直立状态时，2个电子标签垂直投影到大地坐标系中的距离为D1；当车辆倾倒状态时，2个电子标签垂直投影到大地坐标系中的距离为D2，通过试验数据可得其判断共享单车姿态的阈值为0.38 m，其检测的方法原理图如图5所示。

图5 UWB姿态检测方法原理图

当检测出的车头方向与该指定区域要求的停车车头方向相反时，即判定为停车车头颠倒；当停车姿态出现车头颠倒、车身倒地以及车辆堆叠的情况时，即判定为出现违规停车；通过电子标签的精确位置数据即可以判断相邻车辆的停车距离。当停车距离过大时，，例如当停车距离大于1 m时，即判断为停车不规范。

2 系统设计

该系统采用模块结构化设计，主要由3个模块组成，包括共享单车视频识别模块、射频UWB定位识别模块和共享单车停放数据处理模块。系统的整体系统构成图如图6所示。

图6 整体系统构成图

3 系统软件设计

共享单车智能监管系统软件采用分层设计，主要分为数据访问层、业务逻辑层和表示层。数据访问层负责获取硬件数据检测信息，业务逻辑层负责通过获取的数据判断业务逻辑，表示层主要体现在演示中间件，用来显示检测结果与过程信息。

4 试验验证与分析

为了验证深度学习视频检测与射频识别定位技术的性能，该文在深圳科技园试验场进行了共享单车智能监管系统的测试，试验场景图如图7所示。分别进行共享单车违停识别的测试和姿态检测的测试试验。采用的测试工具见表1。

表1 测试工具表

图7 试验场搭建图

该文利用3万张单车样本训练Mobilenet-SSD模型，训练误差率0.1，测试集准确率为98%，深度学习视频检测效果图如图8所示。

图8 深度学习单车检测效果图

4.1 定位精度测试

在测试场中，选定长30 m，宽20 m的停车区域，设定相机所在位置为该系统的坐标原点，通过共享单车智能监管设备对测试场中不同位置的共享单车进行定位检测，每辆车重复定位5次，去平均值，定位车辆数量不少与10辆。其定位结果与全站仪测量的定位数据进行对比。试验结果见表2。通过测试，智能监管设备的定位精度在0.2 m范围内。

表2 共享单车智能监管设备定位精度

4.2 违停识别测试和单车姿态测试

通过在测试场地内划定电子围栏为停车区域，设定相机所在位置为坐标原点，通过共享单车智能监管设备定位单车的位置，以电子围栏为依据判定单车的违停状态（非违停车辆状态In，违停车辆状态Out）以及姿态测试。

针对违停识别测试，样本车辆依次放在停车区域内、停车区域外不同位置；针对姿检测试中车辆倾倒状态、直立状态进行不同位置测试。每个车辆重复测试5 次，测试车辆总数不少于20 辆，总共100 组数据。选取前20 组测试数据见表3。

表3 共享单车智能监管设备违停识别检测与姿态检测

通过计算，测试的违停识别准确率为96%，姿态检测准确率为97%。

5 结论

该文将视频深度学习技术和UWB射频识别定位技术相结合，实现了对共享单车的智能监管，单车定位精度达到亚米级，单车违停识别率为96%，姿态检测准确率为97%。采用该文方法能够解决共享单车乱停放、入栏停车不规范、停放不整齐、不兼容第三方共享单车等问题，可以满足共享单车精准监控的技术需求。