车载视觉分析技术在市容秩序场景中的应用

肖林龙 姜悦涛 陈立坚

(1.成都市城市管理科学研究院；2.成都市城市管理委员会)

随着改革开放的深入推进和城市现代化建设的快速发展，城市管理工作面临越来越大的压力和挑战，违规店外经营、占道经营、打包垃圾、无照经营游商、共享单车乱停放等“城市病”日益突显。传统的城市管理手段愈发难以满足城市现代化发展需要，虽然国内各地城市均组建了人员规模较大的城市管理大队,并结合固定监控摄像头进行线上视频巡查，在一定程度上提高了问题发现效率，但是固定监控摄像头视角范围有限,难以监控背街小巷等城市管理案件的高发区域,并且人工观看监控视频的方式不仅耗时,而且极易疲劳造成误判。另一方面，车载移动视频监控作为21 世纪快速发展的一种数字监控技术。只要视频源或接收端设备具有移动能力,就可称之为移动监控[1]。主要基于移动流媒体、视频压缩、4G 或5G 信号传输等技术,实现无线视频传输及视频的在线观看和操作等需求。车载移动视频监控弥补了固定点位监控视频的不足,增加了视频监控的灵活性[2]。随着深度学习、计算机视觉、边缘计算[3]等人工智能技术的不断成熟和完善，城市管理手段、管理模式、管理理念的创新迎来了新的思路。开展车载移动视觉分析技术在城市管理场景中的应用研究，探索利用人工智能技术实现对“违规店外经营、占道经营、打包垃圾、无照经营游商、共享单车乱停放”等市容秩序问题自动识别告警，弥补日常工作中人工巡查的短板，大幅提高城管部门对城市管理问题的及时发现和实时处置能力，对城市管理数字化转型升级具有重要实用价值。

1.AI 视觉技术与需求分析

AI 视 觉 技 术(Artificial Intelligence Computer Vision，AICV)是研究如何让机器“看见”的科学，常用的AI 视觉分析技术包括目标检测[4]、图像分类、目标跟踪、图像分割等。其中，目标检测是指在图像或视频中检测出特定目标的位置和大小；图像分类是指将图像划分为不同的类别；目标跟踪是指在视频中跟踪目标的运动轨迹；图像分割是指将图像分割成不同的区域或物体。

综合城市管理部门应用需求和研究现状，本文搭建的市容秩序车载视觉分析平台应满足以下要求:一是实现违规图像自动采集。对城市管理违规店外经营、占道经营、打包垃圾、无照经营游商、共享单车乱停放等常见违规行为抓拍，采集准确率不低于80%，采集的图片分辨率不低于1080×720，采集的信息中包含GPS 地址信息；二是违规信息自动存储。实时将数据上传至市容秩序车载视觉分析平台，同时具有断点续传功能；三是违规信息在线查看与审核。平台能够满足在线分类查看或查询各类城市管理问题，并具有人工审核功能，通过人机交互不断提升平台视觉分析能力。

2.平台架构和功能设计

2.1 设计思路

针对城市管理领域的特点和应用需求，本文主要采用目标检测和图像分类两种技术，以实现对车载移动场景下的市容秩序问题自动识别告警，具体设计思路为：图像采集、图像处理、特征提取[5][6]、目标检测，利用基于深度学习的YOLO 和SSD 目标检测算法[7]，对经过预处理和特征提取后的图像进行特定目标的位置和大小检测；五是图像分类，使用支持向量机算法[8]将目标检测图像进行分类，例如车辆、行人、建筑等。

2.2 平台架构

平台由AIOT 设备管理层、标准化API 接口层、应用模块层和安全防护体系四部分组成，其架构如图1 所示。其中AIOT 设备管理层用于实现硬件设备管理，主要将高清视频图像采集设备和平台联通，提供数据流媒体服务；标准化API 接口层由场景感知、目标检测和算法模型组成，用于实现对视频数据流的分析识别，并针对每一种市容秩序场景封装成对应API 接口，提供给应用模块调用；应用模块根据标准化API 接口封装应用，主要实现全域感知、数据分析、历史事件、案件中心和平台管理等应用功能；安全防控体系主要包括设备接入安全、数据安全管理和系统安全管理。

图1 市容秩序车载视觉分析平台架构图

2.3 平台功能

系统具备四大功能。一是全域感知，实时对违规店外经营、占道经营、打包垃圾、无照经营游商、共享单车乱停放等常见违规行为自动采集，通过AIOT 设备管理层提供流媒体服务。二是数据分析，对通过标准化API 接口得到的每一种市容秩序违规行为进行统计分析，得到高发违规类型等指标数据。三是案件中心，对违规信息在线分类查看或查询各类城市管理问题，并进行人工审核，通过人机交互不断提升平台视觉分析能力。四是平台管理，提供车载终端停用、启用、算法赋能、识别频次等功能。

3.关键技术介绍

3.1 卷积神经网络（CNNs）

当前主流的卷积运算是以卷积核共享的方式跨空间域执行，需要重复应用这些卷积运算，才能捕获更有效的信息，例如采用更多的卷积核来增加通道数和深度。为了获取更多的视觉元素特征，本文采用局部卷积策略，每个位置的特征用不同卷积核处理，这比标准卷积能够更有效地提取空间特征。

3.2 YOLO 目标检测算法

YOLO（You Only Look Once）目标检测算法是一种基于图像全局信息进行预测的目标检测算法，它把目标检测问题处理成回归问题，用一个卷积神经网络结构就可以从输入图像直接预测目标位置、大小和类别。自 2015 年由Joseph Redmon 等人提出初代模型[9]以来，领域内的研究者们已经对 YOLO 进行了多次更新迭代，模型性能越来越强大。本文采用的是由Chien-Yao Wang 等人在模型结构、重参数模块、标签分配方式、模型缩放上进行了改进而提出的YOLOv7 模型[10]，YOLOv7 能够同时支持移动 GPU 和从边缘到云端的 GPU 设备,在移动车载场景中能够执行实时目标检测，无论是从速度还是精度上，均超过了目前已知的所有检测器。

3.3 安全管理技术

一是设备接入安全，前端监控设备接入视频智能分析平台时，采用虚拟专线或物理专线方式。且对所有接入视频智能分析平台的前端设备进行身份认证，身份认证基于公安机关颁发的数字身份证书，认证协议采用符合GB/T28181或GB35114 的认证协议。二是数据安全管理，重要视频数据的签名和加密符合GB35114 的规定。对其他重要的非视频数据在传输和存储过程中通过签名、加密等措施进行完整性和机密性保护。三是系统安全管理，视频智能分析平台系统的物理安全和传输网络安全符合GB/T22239 的相关规定。平台对HTTP 请求，通过安全证书将传输数据加密，在通信过程中保证信息不会被窃取及篡改。

4.平台实验效果

4.1 场景选择

针对城市管理领域的特点和应用需求，本研究针对违规店外经营、占道经营、打包垃圾、无照经营游商、共享单车乱停放五大场景开展实时检测可行性研究，各实验场景对应算法功能介绍如表1 所示。

表1 各实验场景算法功能对应表

4.2 实验结果

为验证市容秩序车载视觉分析平台的功能和性能，本研究于2022 年在成都市主城区进行了试点应用，分别验证在白天、夜间、和一些复杂环境的抓拍效果，以及自动获取违规事件的凭证是否清晰、准确地反映违法行为人、时间、地点、事实等客观构成要素。实验采用了基于YOLOv7 的目标检测算法和支持向量机（SVM）的分类算法，对车辆、行人和建筑等目标进行了检测和分类,围绕“违规店外经营、占道经营、打包垃圾、无照经营游商、共享单车乱停放”五类高发市容秩序问题场景，进行了四个月的车载巡查实验，并通过三次算法迭代升级部署，三次算法迭代部署识别正确率变化情况如表2 所示。

表2 三次算法迭代部署识别正确率变化情况

4.3 实验结果分析

实验发现，当车辆行驶速度高于50 km/h 时，视频监控图像逐渐模糊，无法进行车载视频图像的智能分析。考虑到城市管理问题多出现在居民居住区及大型商超集市周边，其道路类型多为狭窄支路，道路限速规定一般限制在40km/h。本文最终将车速控制在30km/h 至40km/h 之间，经过三次优化模型参数以及对采集的数据进行人工审核打标签，补充样本数据，五种算法在白天、夜间和复杂环境下的准确率均值分别提升到87%、83%和80%，获取的违规事件凭证清晰，能准确地反映违规行为人、时间、地点、事实等客观构成要素。

5.总结及建议

5.1 总结

本文针对城市管理领域的特点和应用需求，围绕“违规店外经营、占道经营、打包垃圾、无照经营游商、共享单车乱停放”市容秩序问题，设计并实现了一个市容秩序车载视觉分析平台，通过实验验证，将车速控制在30km/h 至40km/h 之间，五种算法在白天、夜间和复杂环境下的准确率均值分别达到87%、83%和80%。获取的违规事件的凭证清晰，能准确地反映违规行为人、时间、地点、事实等客观构成要素。实验结果表明，车载移动场景下AI 视觉分析技术可以有效地提高城市管理工作的效率和准确性，具有很好的实用性和可扩展性。

5.2 建议

基于本文研究成果，针对城市管理领域不同场景和不同目标的特点，建议持续优化和改进AI 视觉分析算法和模型，开发基于车联网和5G 技术的车载设备，提高数据传输速度和带宽，为AI 视觉分析提供更好的数据支撑。研究基于多模态数据融合的AI 视觉分析技术，将图像、视频、语音等多种数据形式融合起来，提高分析的全面性和准确性。完善AI 视觉识别结果在线闭环管理机制，探索搭建AI 视觉案件分析处置场景，实现城市管理问题智能化与自动化管理，有效节约人力资源，解决执法机关人力不足的问题，为探索城市智慧化管理提供新的路径。