基于三维空间的多行人重识别方法

摘要：为了解决监控中的遮挡问题和提高人群监控的准确性，该文提出了基于三维空间的多行人重识别方法，结果表明，该方面可以大幅提高监控系统的覆盖范围和人群监控系统在复杂环境下的识别与跟踪准确性，有效支持密集人群环境下的安全监控需求。

关键词：三维空间；行人重识别；人群监控

doi：10.3969/J.ISSN.1672-7274.2024.07.021

中图分类号：TP 3 文献标志码：A 文章编码：1672-7274（2024）07-00-03

Multi-pedestrian Rerecognition Method Based on Three-dimensional Space

SUN Yiyang

（Hubei University. Wuhan 430062， China）

Abstract： In order to solve the occlusion problem and improve the accuracy of crowd monitoring， a multi-pedestrian rerecognition method based on three-dimensional space is proposed. The research results show that the coverage of the monitoring system and the identification and tracking accuracy of the crowd monitoring system in complex environments can be greatly improved， and the security monitoring requirements in dense crowd environments can be effectively supported.

Keywords： three-dimensional space; pedestrian rerecognition; crowd monitoring

1 研究背景

当前，目标识别、目标跟踪等技术已广泛应用于视频监控领域。然而，现有视频监控系统中，监控端摄像头等设备存在容易被遮挡、远距离成像效果较差等问题[1-3]。由于摄像头取景范围有限，造成难以完整地检测到行人的面部特征、手足运动轨迹，从而无法达到实时监控的效果。另外，单一维度的摄像头无法获取行人在多个方向的运动轨迹。在行人面向镜头行走时，无法获取行人坐标位置。因此，本文提出一种基于三维空间的多行人重识别方法，以解决以上问题。

2 研究方法

行人重识别是指在视频监控系统中，通过分析行人的外观特征或行为特征，实现在不同场景、不同摄像头下对同一行人的再次识别。多行人重识别方法包括如下步骤：

步骤1，将监控区域划分为存在多个可安装平面的立体监控空间（见图1）；基于立体监控空间的各个可安装平面布设分布式监控装置（见图2）。

步骤2，利用布设的分布式监控装置获取当前监控目标区域的实时监控图像，利用神经网络模型判断采集的实时监控图像中是否存在行人[4]。

步骤3，当监控图像中存在行人时，则采用基于邻域判定的跟踪拍摄方法控制分布式监控装置对行人进行跟踪[5]。

识别行人轨迹方法如下：

①布置摄像头时将其按相同间距排列，对于安装面a，定义其长度为Lc，宽度为Lk；安装面a存在x×y个分摄像头，分摄像头两个方向上的间距分别为Lc/x、Lk/y；对于安装面b、c，以安装面b为例，定义其长度为L，在安装面b上安置n个分摄像头，则每个分摄像头之间间距L/n；共设置n个安装面a，摄像头平行于地面安装，每个安装面上均安装摄像头。

②设置预警区域，取导轨两侧距离为dy1的矩形区域，与中心点距离近的一侧为近侧，与中心点距离远的一侧为远侧；以摄像头背面中心，取半径为dy2的圆形区域。设置切换区域，取导轨两侧距离为dq1的矩形区域，与中心点距离近的一侧为近侧，与中心点距离远的一侧为远侧；以摄像头背面中心，取半径为dq2的圆形区域。

③当中心点进入预警区域，系统对中心点相对于导轨或者摄像头的运动轨迹（从进入预警区域到进入切换区域的运动过程中，图像采集到的一系列位置坐标形成运动轨迹[6-7]，每隔t秒进行轨迹点采样，t可取0.1）进行拟合，每隔t秒可以得到一段运动轨迹，可采用最小二乘法对图像的x、y坐标进行线性拟合，形成预判运动趋势方向的方向线段y=ax+b，x、y分别为图像的横纵坐标。根据视频每帧时间（1/24 s）以及帧数（图像数）p，可以推算出运动速度v=L/（1/24×（p-1）），其中，L为每隔t秒运动轨迹的起始位置的直线距离。将平面沿半径方向平均划分为m个扇形区域，对应了m个方向。设置计数器，计数器包括m个值，对应m个扇形区域的计数值。每隔t秒进行一次计数器更新，当方向线段所指的方向位于第i（i=1，…，m）个扇形区域间时，第i个计数器值为v×k+c，其中，k为速度比例系数，c、k均为经验值。

当下层安装面a的导轨或者摄像头（背面）遮挡住上层安装面a的摄像头视野时，避免遮挡的方法：首先采用深度学习神经网络方式对摄像头获得的图像进行识别[8]，并对已有的导轨或者摄像头背面的数据集进行训练，然后对实时图像中的导轨或者摄像头进行识别，获取下层导轨或者下层摄像头在图像中的位置，从而获取当前摄像头与下层导轨或摄像头的对应位置关系。如图3所示。

对于导轨，中心点进入切换区域时，最后一段方向线段的重合直线与切换区域相交于两点，分别位于近侧、远侧。上层安装面的摄像头当前位于近侧交点，移动摄像头至远侧的位置。对于摄像头，中心点进入切换区域相交时，最后一段方向线段的重合直线与切换区域相交于两点，分别位于近侧、远侧，上层安装面的摄像头当前位于近侧交点，移动摄像头至远侧的位置；最后一段方向线段的重合直线与切换区域相切时，不进行切换。

当中心点与切换区域边界相交时，摄像头移动至远侧位置的方法。

（1）对于导轨情况，设相交点为A。设置扇形区域，扇形区域圆心为A，将A与导轨的垂线设为扇形的对称中心，扇形角度可取经验值α。扇形与远侧交点为B、C，A与导轨的垂线与弧线BC交点为D。近侧边界以A为界，两侧分别取L、R两个点，形成角BAL和角CAR，如图4所示。

（2）对于摄像头情况，设相交点为A。设置扇形区域，扇形区域圆心为A，将A与摄像头中心点O的线段设为扇形的对称中心，扇形角度可取经验值β。将线段AO沿AO方向延长摄像头圆形的半径r至摄像头与扇形的切点D，扇形弧线的两个终点为B、C。以A为交点取AD的垂线LR，形成角BAL和角CAR，如图5所示。

（3）当角BAC属于m个扇形区域方向中第p，p+1，...，q个区域时（p≤q≤m），则取计数器中第p，p+1，...，q个计数值的和为sum1。当角BAL属于m个扇形区域方向中第p，p+1，...，q个区域时（p≤q≤m），则取计数器中第p，p+1，...，q个计数值的和为sum2。当角CAR属于m个扇形区域方向中第p，p+1，...，q个区域时（p≤q≤m），则取计数器中第p，p+1，...，q个计数值的和为sum3。不含角BAC、角BAL、角CAR，当角LAR属于m个扇形区域方向中第p，p+1，...，q个区域时（p≤q≤m），则取计数器中第p，p+1，...，q个计数值的和为sum4。

取sum1、sum2、sum3、sum4中最大值summax：summax等于sum1时，移动摄像头，直到中心点位于D为止；summax等于sum2时，移动摄像头，直到中心点位于B为止；summax等于sum3时，移动摄像头，直到中心点位于C为止；summax等于sum4时，摄像头保持不动。

在具有多个安装面ai（i=1，…，n）情况下，当中心点与切换区域边界相交时，完成前述预防遮挡的算法，如果summax等于sum1、sum2、sum3，则进行区域重叠测试[9]。如果距离最近的摄像头无区域重叠，则改用该摄像头进行重识别；如果所有摄像头都处于区域重叠状态，则系统发出警告提示。

3 研究结果

（1）本研究提出了一种基于三维空间的行人重识别方法，对于被监控区域，将其抽象为存在多个可安装平面的立体空间；通过多组摄像设备，分别将其布置在被监控区域内的多个安装平面，通过配套的固定支架和活动导轨，实现摄像设备可活动的目的；可根据目标监控区域人群活动情况进行动态调整摄像头分布情况，达到分布式摄像监控和预警的目的。

（2）本研究通过在垂直于地面方向安装多个可安装平面，每个安装平面可独立识别一个行人的运动轨迹，从而能够重识别多个行人。同时，对于判定为重识别目标的行人（如重点监控对象），引入基于邻域判定的跟踪拍摄方法，对目标行人进行跟踪拍摄，通过提前关注潜在危险人员达到危险预防的目的。

（3）本研究能够弥补现有技术存在监控端摄像头等设备摄像过程中容易被遮挡、远距离成像效果较差等问题，能够对重点关注人员进行不间断的、高质量的视频监控，为社会治安管理提供了有效支持。

如图6所示，单个摄像头摄像范围为S2，未覆盖范围S1，造成摄像死角，导致重识别失败。在增加了摄像头2后，监控覆盖范围S2增大。如图7所示。

8 mm焦距摄像头为典型焦距值，为拍摄更清晰画面，往往采用更小焦距，同时监控距离变小影响监控效果，8 mm焦距摄像头角度在30°～40°。以10 m×10 m场地为例，设置8 mm焦距摄像头，常见的摄像头角度为40°，在场地两侧安装摄像头如图8所示，大幅提升了监控范围。

为提高摄像质量，需要扩大摄像角度，尽可能减小焦距。而已有的摄像头在较近距离摄像时会产生桶形畸变，尤其是广角摄像头，如图9所示。

在此情况下，距离摄像中心点越远，畸变越明显。因此，需要尽可能将摄像头摄像中心靠近被摄像物体，这样可以减小畸变，更精确确定行人位置坐标。行人运动速度约为1.2 m/s，使用导轨能将摄像头以最高至3 m/s以上速度移动到行人上方位置，并跟随行人移动。如果在人高速奔跑的情况下，还可以通过更多的安装面a上的摄像头辅助捕捉人员信息，避免单一摄像头摄像范围有限且固定，而无法捕捉到人员图像。

参考文献

[1] 宋婉茹，赵晴晴，陈昌红，等．行人重识别研究综述．智能系统学报，2017，12（6）：770-780．

[2] 李擎，胡伟阳，李江昀，刘艳，李梦璇．基于深度学习的行人重识别方法综述[J]．工程科学学报，2022，44（5）：920-932．

[3] 刘莎，党建武，王松，等．结合一阶和二阶空间信息的行人重识别[J]．激光与光电学进展，2021，58（2）：299-307．

[4] 罗浩，姜伟，范星，等．基于深度学习的行人重识别研究进展[J]．自动化学报，2019，45（11）：2032-2049．

[5] 赵元龙，单玉刚，袁杰．改进YOLOv7与DeepSORT的佩戴口罩行人跟踪[J]．计算机工程与应用，2023，59（6）：221-230．

[6] 孔玮，刘云，李辉，等．基于深度学习的行人轨迹预测方法综述[J]．控制与决策，2021，36（12）：2841-2850．

[7] 李琳辉，周彬，任威威，等．行人轨迹预测方法综述[J]．智能科学与技术学报，2021，3（4）：399-411．

[8] Girshick R. Fast r-cnn[C]//Proceedings of the IEEE international conference on computer vision. 2015： 1440-1448.

[9] 卢小平，卢遥，焦金龙，等．基于重叠区域相关系数的视频影像关键帧提取算法[J]．武汉大学学报（信息科学版），2019，44（2）：260-267.