基于视觉物联网的智能公交信息采集系统设计

贺冬

(上海赢谊物联网科技有限公司,上海200436)

目前公交系统已广泛使用各种信息化管理平台，但站点数据采集能力及实时动态数据获取能力存在短板和不足，基于人工的管理方式严重制约公交站点智能化管理水平的提升。为推动公交站点现场数据的价值提升，响应一网统管号召，需要强化站点数据采集及数据价值挖掘服务能力，使管理由传统人工干预型向人机交互型转变，由经验判断型向数据分析型转变，由被动处置型向主动发现型转变，实现公交站点智能化管理的基础是基于实时动态数据，其中数据采集、数据清洗与挖掘、数据服务实时推送对于智慧公交站点管理具有基础性作用。

1 系统架构概述

基于视觉物联网的智能公交信息采集系统由站点视觉数据采集摄像机及多维数据传感器组、前端边缘计算智能主机设备、云服务器以及基于云服务器提供的云服务四大部分组成。从整体系统物理拓扑上分为感知互动层、网络层、应用服务层和用户界面层。

感知互动层主要由站点前端数据采集设备、边缘计算智能终端等硬件设备组成，实现本地化数据采集、自动分析处理、上报、存储等功能。

网络层主要是作为物联网智能终端和云平台之间通讯的桥梁。通过骨干网、无线网等不同的方式的网络进行传输数据，使得平台和设备之间更高效的通讯。

应用服务层作为对多种事件数据进行综合分类、统计、分发、记录，并进一步实现数据价值挖掘的后端云平台。

用户界面层是云平台的数据展示中心。

2 系统实现方案

2.1 系统功能设计

2.1.1 信息采集子系统

信息采集子系统主要由视频及相关数据采集设备、边缘计算智能终端主机及网络传输设备组成，该主机系统还可扩展接入报站屏、站台多维传感数据采集从机和主电源监控从机等设备，这些传感器和视频数据采集设备可以安装在候车亭亭体、灯箱、顶棚以及站台内其它站牌等设备中，通过综合监管智能终端主控CPU进行串/并联作业。

2.1.2 任务分发子系统

任务分发子系统是由站点事件数据采集与统计、数据融合管理平台和数据中心服务器集群组成，作为整体技术和服务支撑。站点智能终端上传的数据通过合适的网络传输方式上传到应用服务器，由应用服务器对接收到的数据进行处理并转发到相应的业务服务器，从而实现了数据的分布式存储和分析展示，同时各系统间通过不同的网络形式进行信息交互与共享，使得整个云平台在多台业务服务器下协同高效的运行。

2.1.3 入库子系统

入库子系统平台部署在阿里云的ECS环境中，数据层的实现主要是通过对前端设备对站点数据进行实时采集分析，将采集到的数据按不同的数据结构类型分别存储在MYSQL、MONGODB、REDIS、以及云端的OSS中，同时将数据库服务器进行集群管理，实现读写分离和数据安全管理。系统采用的对象型数据库，所有的对象都必须隶属于某个存储空间，每个存储空间都严格地设置了地域控制、访问权限、生命周期等，数据多重冗余备份，以保证数据的可靠性、安全性。

2.1.4 数据展示子系统

数据展示子系统将各大业务服务器中事件消息以及对应提取和编排的视频监控信息、照片监控信息、运营管理信息、站点周围的应急信息、安全监管信息等信息分别通过适配兼容浏览器的网页端、手机的移动端、以及通过WEBSOCKET协议实现的中控大屏端进行展示，并提供系统用户访问和操作的交互界面，对不同的系统用户进行不同的权限分配管理。从而实现科学高效的在一个平台上对站点进行全方位，多角度的监管和运维。

2.2 系统软件架构设计

系统软件架构采用面向服务的体系结构进行设计，选择主流的Python语言进行开发，先进的、开源的DJANGO技术框架，B/S多层设计架构，通过业务系统集群的方法实现平台的稳定、高效，依托城市地理位置信息将城市的公交站点进行网格化管理，对站点的公共设施、候车人群和公交车辆进行全方位监管。如图1所示。

该系统对公交站台设备采集到的结构化数据和非结构化数据按照时序在一定准则下加以自动分析、综合，将相关原始数据进行分类挖掘和清洗为符合站点管理指标的有效数据，通过站点设施事件管理模块、站点预报站屏监管模块、站点客流监测及数据统计分析模块、站点日常运维数据管理分析模块、车辆进站事件监管模块、网格事件管理模块等六大业务模块进行集群数据应用，通过信息处理技术完成所需的决策和评估任务，保证公交体系内多个系统之间数据的连通性和及时通信，各业务系统既可独立服务，又能通过合适的网络协议进行串联服务，实现业务服务的组件化、服务化以及数据的有效共享。

在系统设计时充分地考虑到数据安全和系统安全的问题。为了保证系统的安全、可靠，我们建立了安全事件管理平台来实现影响系统或数据的机密性、完整性或可用性的安全事件管理流程，整个流程包含安全事件的受理渠道、处理进度、事后汇总等流程，在安全事件事后分析阶段通过追查安全事件根本成因来更新相关安全策略，以防止类似事件再次发生。目前整个系统的数据都存储在阿里云中，物联网智能终端向服务器发送数据都是采用的数据加密的方式发送数据，保证数据在传输过程中不被篡改。另外设备上的数据都采用了重传机制，一旦数据发送失败，就会把数据保存到本地，待设备网络正常后再补发数据，保证数据不会丢失。为了保证系统的稳定、可靠，采用了云盾防DdoS清洗服务，户抵御各类基于网络层、传输层及应用层的各种DDoS攻击，为了防止系统被入侵的风险，采用了云盾安全体检服务，通过端口安全检测、网站Web漏洞检测、网站木马检测功能，及时发现系统未知漏洞。

2.3 系统实现效果

2.3.1 前端识别

通过将站点的不同形式的事件进行模型训练，将设计的算法移植到边缘主机，实现了站点黑屏、小广告、画布脱落、玻璃破碎、私家车违法占道、共享单车乱停、站台涉水、站点人流等不同维度的事件分类和处理。如图2所示。

图2 站点智能识别图

2.3.2 后台管理

在系统后台可以收到自动设定的事件消息以及照片回传，按照每个站点形成事件列表，方便查看。

2.3.3 数据展示

以VUE架构开发的用户数据可视化前端平台，方便用户对设备情况和事件统计等各个数据模块进行一览查阅和管理。

2.3.4 智能运维

通过故障或安全事件自动触发故障派单系统，结合电脑端后台管理和手机端运维小程序，实时准确进行故障维修派单、处理状况跟踪、销单闭环，提升公交运维智能化水平。

3 关键技术及创新

3.1 信息采集分发的全过程化管理

整套场景识别并提取数据信息过程中，传统的中心云端处理的方式存在视频数据对网络资源占用高，中心计算资源压力大，前端数据回传速度慢、用户无法及时对事件做出闭环响应的技术难题，经过组织技术团队多次沟通和市场技术调研，将整体网络数据架构设计为前端边缘计算处理，截取事件前后几分钟录像或照片信息在前端存储，并标注为事件二进制消息回传云中心服务器的方式，完美解决了以上问题。具体实现逻辑如图3所示。

图3 边云网络数据流架构逻辑图

将整个网络架构分为中心服务器端（Server）、站点前端（Client）、用户端（User），所有站点的边缘计算主机为client端，分为实时直播流媒体和内部文件存储，实时直播流媒体分为人为触发回传和设置回传，内部文件回传分为人为调取和设置回传，其设置的定时或事件触发回传，满足回传条件时，主动回传给Server端，并在硬盘建立目录，存入硬盘该目录，并把存储路径写进数据库。Server端调取时，通过数据库检索硬盘文件路径和文件名，实现调用。

Server端是由云计算中心的交换机、服务器、存储硬盘和数据库组成，交换机负责分配IP地址和端口，服务器负责运行数据库和平台软件，硬盘负责建立服务端的存储路径和存储具体数据内容，数据库负责存储简单的数据字节和视频存储路径。

当事件发生时，将前端视频数据流通过算法提取的事件信息以字节形式通过多个Client端传输到Server端，并分发给多个User端，当多个用户收到事件消息，如果要看原始视频时，Server端要处理多个User端的调用指令，找到并把指令传给对应的多个Client端，Client端接收指令后，将对应的数据流回传到Server端，复制分发给对应的User端。当User端点击直播时，Server端接收直播指令并传至对应的Client端，Client端的实时流媒体直接回传给Server端，并在User端播放；User端点击历史录像或历史事件时，Server端接收查询指令先判断是前端存储还是服务器存储；如果是前端存储，将指令传至对应的Client端，Client端查找本地存储的路径，将对应的录像或对应时间段的录像回传给Server端，并在User端播放；如果是服务端存储，通过数据库查找服务端硬盘对应的地址，并在User端播放。

3.2 智能终端边缘计算技术

在边缘计算主机芯片架构选取时，设计思路为将所有视频录像所涉及的事件进行算法建模、识别训练，并移植在边缘计算主机中，通过前端识别算法进行过滤，我们前期工作重点考虑图像识别过滤中对CPU的资源占用，实际模型训练过程中，发现采用神经网络分析算法过程中图像和图形相关运算工作量非常大，而且前端视频处理对解码能力要求也很高，因此将整套边缘计算硬件终端的主芯片设计为具备CPU、GPU、NPU、VPU多种资源处理器的架构，包含六核ARM 64位处理器CPU（双核Cortex-A72+四核Cortex-A53，主频1.8 GHz）、四核ARM Mali-T860 MP4 GPU（支持OpenGL ES1.1 /2.0 /3.0 /3.1 ,OpenVG1.1 ,OpenCL,DX11；支持AFBC（帧缓冲压缩））、高性能NPU（支持8bit/16bit运算，支持TensorFlow、Caffe模型，运算性能高达3.0 TOPs）和VPU（支持4K VP9和4K 10bits H265/H264 60fps视频解码，支持2路以上多格式视频解码(WMV,MPEG-1/2/4,H.264,VP8)1080P@30fps解码，支持反交错、去噪、边缘/细节/色彩优化的视频后期处理器），以及支持实时图像缩放、裁剪、格式转换、旋转等功能的RGA，采用3G LPDDR3内存和16GB eMMC存储，终端模块以CPU为计算核心，采用VPU、GPU、NPU作为辅助，结合多级流水，多线程并行等优化方法，同时对算法进行了深度优化，对目标检测模型进行深度裁剪，最终在该设备上实现了基于深度学习的多场景覆合算法，可以满足多种复杂场景视频、图像同时计算、分析、处理、提取的完整流程，同时对主板的数据接口进行了完整的设计，符合场景使用要求。如图4。

图4 智能终端计算流程

整体流程划分为视频采集、图像预处理、目标检测、目标跟踪及结果输出（包括统计结果及视频输出）等阶段，各阶段使用典型的并行处理模式，巧妙地设计数据交互方式，满足数据交互需求。使用多级流水，可以减低IO操作的等待时间，将同步操作转换为异步操作，充分利用CPU资源，使用多级流水操作几乎可以消除IO带来的延迟影响，实现数据采集及结果保存零消耗，极大地提高了单位时间内数据处理的吞吐量。

4 结论

本系统基于视觉物联网和智能信息数据采集技术，构建了从站点边缘计算到云端服务处理这一系列完整的数据综合服务体系，实现了公交站台周边数据链网状微生态内相互数据关联化。通过创新服务内容和自动化服务方式，为城市公交站点构建先进的信息基础设施，提高了站点设施故障处置效率和站点安全事故响应速度，优化了站点公共设施管理与运营服务绩效，填补了城市公共交通精细化管理的盲区，拓展了物联网及大数据技术与传统行业管理有机结合的新领域。