公共地点人流量统计预警平台

杨志虎， 赵家曼

(东北林业大学 信息与计算机工程学院, 哈尔滨 150040)

0 引 言

近些年，越来越多的智能系统进入人们的生活，智能安防领域也成为计算机应用的热点领域。人流量统计是公共场所安防的主要任务，解决在多场景下(地点，天气，时间等)保持较高的识别与预测能力，减少与阻止公共地点容易发生的群体恐慌事件成为热点中的热点。

人群计数的方法分为传统的人群计数算法以及基于深度学习的人群计数算法。传统的人群计数方法可以分为基于检测和基于回归两类，基于检测的方法主要使用一个滑动窗口检测场景中的人群，训练一个分类器，利用从行人全身提取到的小波、HOG、边缘等特征检测行人，并统计人数，由于人群的遮挡，这种方法效果并不理想；基于回归的方法，主要思想是学习一种特征到人群数量的映射。该类方法主要分为二步：

(1) 提取场景的低级特征，例如前景特征，边缘特征，纹理和梯度特征；

(2)学习一个回归模型，例如线性回归、岭回归或者高斯过程回归，学习一个低级特征到人群数的映射关系。

基于深度学习的方法分为目标检测或者人流密度估计两种方法。在目标检测方法中，大多使用为改进Fast R-CNN而提出的Faster R-CNN为代表的双阶段神经网络结构[1]，和集成了很多细节设计与技巧的YOLOv3为代表的单阶段神经网络结构[2]，直接对人群进行人体或者人头的识别，目标检测算法的准确率高，但是存在模型推理速度慢，密集人群中的检测性能低的问题。在密度估计方法中，从2016年Multi-column Convolutional Neural Network(MCNN)被提出，其主要解决从单张静态图像精确估算人群密度分布和数量[3]，人群密度就作为计算机视觉中一个主要的任务被广泛研究。其推理速度快，对密集人群人数的统计更加有效，但是容易受到使用场景的影响，例如训练数据集中、天气、时间段等。

在公共地点的安防场景中，不仅需要实时的人群数量统计，还需要对未来一段时间的人群数量变化进行预测，用以判断实时人数与前端时间预测人数的差异，触发更加有效的预警。

本文主要基于一些场景，如学校、广场、车站、旅游景点(太阳岛，中央大街)等公共场所，来研究解决以下问题：

(1)将目标检测算法和密度估计算法相结合，各取优势，最大化精度和最小化耗时，增强实时性，提出一种目标检测算法和密度估计算法相互监督继续训练的机制；

(2)使用机器学习中的回归模型，对下一段时间的人数变化进行预测，并与实时数据对比，触发更为有效的预警；

(3)满足边云协同的构建：边缘系统实时处理与分析，流数据写入数据库；云端整合各种数据，展示在网页，并配合使用者进行本地决策、实时响应，事件跟踪与记录等。

1 算法架构

项目算法的整体架构分为3个算法模块：密度估计算法，目标检测算法，回归预测算法；并在3个模块间增加了数据传递，互动模块等机制，如图1所示。

图1 项目核心算法架构

在密度估计算法通道中，选用了3个经典的神经网络模型(MCNN，Switching-CNN，CP-CNN，CSRNet)做对比实验，在ShanghaiTech数据集的平均绝对误差MAE和均方误差MSE预测结果对比见表1。由表1可知，CRSNet的MAE与MSE更低，有更快的推理速度，本文将其作为密度估计算法通道的核心算法。密度估计算法通道的具体流程为：针对某一特定的地点，启动预训练好的模型，等待目标检测生成新的数据，目标检测生成的数据投送到位后，开始迁移训练，训练完成后进行常规的人流量估计人物；到特定的时间或者收到管理者的指令后，进入下一轮的再训练。

表1 在ShanghaiTech数据集的平均绝对误差MAE和均方误差MSE预测结果

在目标检测算法通道中，本文选用了经典的双阶段目标检测神经网络Faster R-CNN，Faster R-CNN将特征提取，区域候选网络(RPN)，目标区域池化，目标分类整合在一个网络中，提出了一种有效定位目标区域的方法，按区域在特征图上进行特征索引，降低了卷积计算的时间消耗，相比较之前的双阶段网络在速度和精度上都有非常大的提升。相比较单阶段网络，本文使用目标检测算法主要目的是生成新的数据，用于迁移训练密度估计模型，所以应当选用准确率更高的双阶段网络。目标检测算法通道的具体流程如下：针对某一特定的地点，开始识别预测，并将识别后的图片和对应值入库，等到一定数据量后投喂给密度估计算法，使其进行迁移训练，其可间断性的被唤醒，生成不同场景下的数据，极大地提升密度估计模型的可靠性，同时其一部分数据也将反馈给预测模型，这部分数据与密度估计生成的实时数据将被整理为时序数据，用于预测下一时间段人数的变化。

在预测算法中，本文选用了两种预测算法，一个是时间跨度较小的线性回归算法，一个是时间跨度较大的决策树模型。在时间跨度较小的线性回归算法中，在自己录制的视频中，进行了时间序列的长度测试实验，并采用均方误差MSE进行评估，实验结果见表2。在该通道最后选用了Lasso，时序长度为7的方法。在时间跨度加大的预测模块中选用了XGBoost，其提供有关缓存访问模式、数据压缩和分片的见解，以构建有延展性的提升树系统，XGBoost可用比现系统少得多的资源来处理数十亿规模的数据，满足综合城市中的所有场所的数据，打破数据孤岛。

表2 常用的机器学习回归算法在不同时序长度(LEN)下的对应的结果

算法框架的主要任务是提供人流量估计；骚乱，拥挤等人群异常事件的预警；未来情况的实时预测；生成样本数据等次要任务。骚乱，拥挤等人群异常事件的预警主要由两部分组成，第一部分由密度估计算法通道生成，对比前后几帧密度图的变化，密度图大范围的变化与检测值超过阈值的变化会触发对应的预警；第二部分由小时间跨度的预测值与密度估计输出的实时监测值作差，超过阈值也会触发对应的预警。

2 系统与平台

系统的整体流程如图2所示。摄像头采集数据，在边缘端进行基础数据处理，入库，方便用户对数据源查询和储存，生成的样本数据；之后进行流数据处理，高效快捷，将处理完的数据记录存入数据库，可视化在手机APP与网页平台，如图3所示。的网页平台主页面包括了3个主要选项卡，监控列表显示接入的所有监控设备，预警状态显示有预警状态的地点，异常记录是对一些异常信息的记录；用户权限是用于限定用户权限；云端展示是针对全域监控的整体查看，详细信息与历史回顾，方便用户查询历史信息。

图2 系统的整体流程

图3 网页平台的主页面

3 结束语

本文使用深度学习与机器学习的一些算法，构建了一个用于公共地点人流量统计和紧急事件的预警系统。该系统首次使用多种算法搭配的策略，解决多场景部署，突破了传统人工监控的限制，借助计算机强大的数据处理能力，自动地分析和抽取视频源中的人流信息，由计算机代替人工监控，真正实现实时监控，即时反应，提高人流监控的效率和人流监控的准确度，识别能力更高，识别场景更加丰富，具有可靠监控、报警精确度高、响应速度快等特点。将在接下来的系统与平台升级中，加入危险动作识别，人脸对比检测等功能，实现更多方面的智能安防。