陈治国
摘要:针对目前基于图像的室内人员计数方法存在遮挡导致计数不准的问题以及基于红外传感器与无线传感器的室内人员计数方法存在硬件成本高、使用限制大的问题,文章提出了一种使用现有的WiFi设备进行室内人员计数的方法。通过收集室内的WiFi信号数据并提取其中的信道状态信息,网络能够学习WiFi信号变化与室内人员数量之间的映射关系并计算出室内的人员数量。由于缺乏相关的开源数据集,在自行采集到的数据集上进行试验,实验结果表明文章所提出的方法能得到较为准确的计数结果。
关键词:室内人员数量计数;WiFi信号;信道状态信息;无线感知
中图分类号:TP391.1;TP391.4文献标志码:A文献标志码
0 引言目前,普及的室内人员计数系统一般基于图像方案[1]、红外传感器[2]以及无线电传感器方案[3]。基于图像的室内人员计数方法依托成熟的图像处理技术,被大范围地应用在诸如教室、办公室等人员流动性较小且对统计室内人数有需求的场所。摄像头下盲区的存在以及遮挡性问题,使摄像头视线外区域里的人员难以统计。这导致图像方案统计出的人数可能少于实际人数。近年来,相关领域的研究人员针对遮挡问题提出许多方案,譬如双摄像头方法以及视频方法[4],这些方式通过减少遮挡区域,利用时间序列上的信息进行互补缓解了遮挡对于计数准确率的影响,但未消除遮挡区域的存在,俯视视频[5]消除了遮挡区域的存在,但对摄像头的安放位置提出了较高的要求。
基于红外传感器或者无线传感器的室内人员计数方法消除了室内环境对于计数准确率的影响,而且实现的原理更加简易,即人员通过安装传感器的出入口进出时,传感器通过收到的信号变化判断当前有人通过,并对当前室内人数统计结果进行增减。该方案在使用时面临两个问题。首先,传感器必须安装在需要统计场所的每一个出入口,才能保证人员出入数据的统计完整,这限制了传感器的安装环境,提高了传感器方案的使用成本。其次,传感器需要准确判断人员的出入状态,即当前通过传感器的人是进入室内还是离开室内。最直接的做法是,将该场所的出入通道划分为入口与出口,但多数场所只有一个进出口,而且这种方法对需要出入该场所的人影响较大。通过传感器信号变化详细分析通过人员的移动方向[3]可以避免上述问题,但这也对传感器提出了较高的要求,提高了整个系统的硬件成本。
本文为避免传统的基于图像的室内人员计数方法在遮挡性、可见性上的缺陷,以及基于传感器的方法在经济性以及安装便利性上的限制。对WiFi信号在室内人员计数领域的可行性以及应用进行了探究,设计了基于WiFi信号的室内人员计数系统。该系统采集家用路由器发出的WiFi信号,将WiFi信号中的信道状态信息(Channel State Information,CSI)指标作为神经网络的输入,通过神经网络建立当前WiFi信号的CSI指标的变化与当前室内人数的映射,即可使用输入的CSI信号获取到路由器所处场所的室内人员数量,系统框架如图1所示,摄像头用于同步采集图像信息和标注WiFi信号,图像经过OpenPose的处理得到室内的人员数量标注。接收端获取到发射端发射的WiFi信号,输入网络用于训练以及预测室内人数。Loss为损失函数,图像得到的标注通过损失函数监督优化网络训练。
1 使用CSI信号进行室内人员计数
1.1 CSI信号采集与标注CSI指标反映了WiFi信号在传输过程中的变化,即WiFi信号发送端发送的信号与WiFi信号接收端接收到的信号之间的差异。与接收信号强度指示器(Received Signal Strength Indicator,RSSI)不同,CSI拥有比RSSI更细的粒度。RSSI反映了WiFi信号的整体强度,而CSI可以反映WiFi信号上的不同链路上的不同频率的载波上的功率损耗以及相位偏差。一组链路代表发射端的任意一根天线与接收端的任意一根天线组成的天线对。现代的家用路由器与WiFi大多支持多入多出技术(Multiple-Input Multiple-Output,MIMO)。因此,采集到的CSI信号内一般存在多个链路。由于WiFi信号是正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)信号,因此存在着多个频率不同的子载波。因此,一帧CSI信号的数据尺寸为n×i×j。其中,n为WiFi信号的载波数量,i为发射端的天线数量,j为接收端的天线数量。一帧CSI信号中的每个元素的数值都为复数,复数的实部和虚部分别表示WiFi信号载波的幅度变化与相位变化。其表达式为:
本文使用开源的CSI工具采集WiFi信号,从中获取CSI信息。CSI采集工具能从Intel 5300網卡中采集WiFi信号并从中提取CSI信息。CSI采集工具可用不同的链路提取带宽为20MHz的30组不同载波的CSI信息。采集WiFi信息时,使用双天线的WiFi路由器作为信号发射端,以100 Hz的速度向外发送WiFi数据。使用带Intel 5300网卡且安装有CSI信号采集工具的Linux电脑作为信号接收端,Intel 5300网卡的WiFi天线数量为3。
由于缺乏公开的相关领域数据集,因此在采集CSI信号时,技术人员还需对CSI信号进行标注。本文在采集CSI信号时同步使用摄像头采集视频帧,通过图像方法OpenPose从视频帧中获取当前场所内的人数作为CSI信号的标注,CSI信号与标注之间使用时间戳进行对齐。
1.2 网络框架整个网络的框架如图1所示,整体可以分为去噪模块、编码器以及解码器3个模块。
在路由器发射WiFi时,由于路由器的成本限制,并不能保证以稳定的功率向外发射WiFi信号,其功率在一个小范围内随机波动。除此之外,由于发射端与接收端之间的数据传递速率并非完全同步,这个过程可能存在着接收端延迟采样导致的WiFi信号上的相位偏移。功率的随机波动以及WiFi信号的相位偏移表现在CSI信号上就是在实部与虚部上的随机噪声。传统的平滑去噪方法能够单独去掉CSI信号在实部上或虚部上的噪声,但由于是对实部或虚部的噪声分别进行处理,会导致信号的实部与虚部之间关联丢失。CSI信号的实部与虚部之间是相互影响的,WiFi信号的相位变化也会对WiFi信号的幅度造成影响,因此进行去噪时应该尽可能地保留CSI信号的实部与虚部之间的关联。
CSI-ratio信號[6]可以通过原始采集到的CSI信号计算转化而来,原始的CSI信号转换到CSI-ratio信号的本质是莫比乌斯变换,其利用莫比乌斯变换的保圆性,在去噪的同时保留了CSI信号的实部与虚部之间的关联。CSI信号到CAI-ratio信号的转换公式如下:
其中,i与j为相邻链路。在去噪模块消除掉CSI信号上的噪声后,由编码器网络对CSI信号中的深层特征进行提取。由于WiFi信号在室内进行传播时,人体运动将导致传播环境发生改变,导致信号的传播路径改变,最终对CSI信号中的实部与虚部造成影响。因此,编码器主要是提取CSI信号变化中与室内人体信息相关部分的特征。
CSI信号的载波数量远大于接收端的天线数量与发射端的天线数量。因此,解码器的本质是一个生成器模块,以CSI信号的载波数量作为初始的特征层数量,以发射端与接收端的天线数量作为每一个特征层的数据尺寸。通过7层逆卷积层将CSI信号转换为尺寸为3×224×224矩阵,并在其后附加两层卷积核大小为3,步长为1的卷积层。编码器模块中的每一层逆卷积层与卷积层之间都使用ReLu激活函数进行非线性映射,得到的深层特征信息为3×224×224的矩阵。
解码器模块负责从深层特征中提取人员数量信息。该模块使用Res-Net作为从深层特征提取人员数量信息的主干网络,大量的特征数据提取工作已经在编码器部分完成。因此,该Res-Net网络仅包含1个Res-Net Block块。在经过Res-Net的数据进行平铺后,利用一层线性回归层转换为1个具体的数字,该数字即为对应的室内人员数量。
1.3 损失函数人员数量作为离散值,使用分类常见的交叉熵损失函数可能会得到更加精准的结果,但将系统设计为分类模型,则该系统可统计到的人员数量会受训练时的分类数量限制。因此,该系统被设计为回归模型。当使用更为常用的MSE损失时,会存在模型训练后期收敛较慢的问题,因此使用L1损失来对网络模型进行优化。
其中,L表示计算得出的损失值,n为样本数量,gi表示对应样本的真实值,pi为对应样本的预测值。
2 实验结果及分析本文提出的方法使用自行采集到的CSI数据集进行训练与验证,该数据集包含了室内场景的不同人数下的CSI信号数据,数据集共有3 885帧CSI数据以及对应的人数标注;其中,70%的数据用于训练模型,30%的数据用于评估模型。
2.1 实验细节本文提出的方式使用PyTorch进行实现,网络的训练过程中是同Adam优化器对网络权重以及学习速率进行调整,初始学习率为0.001,批大小为16。训练过程中使用RTX3060进行训练,网络共进行了10次迭代,每次迭代耗时24s左右。在性能较弱的设备上仍能进行快速迭代,证明该方法所需要的计算性能较低,有利于普及使用。
2.2 实验结果数据集的验证集下的整体实验结果如表1所示。表1中的每列表示从图像方法得到的标签值,每行表示利用网络从WiFi信号中获取到的预测值,每个数据都是对应情况的出现次数。
从表中可知,在训练集共1 165组数据中,网络共1 073次得到正确结果,整体正确率为92%。具体分析情况,当室内人数为0到3人时,正确率分别为96%,94%,91%,84%。由结果可得,到室内人数增加时,网络从WiFi信号中提取出正确室内人员数量的难度增加,这是由于当室内人数增加时,对WiFi信号的干扰相互叠加。若将结果分为室内有人与无人两种情况,网络判断室内是否存在人员的正确率上升到99%,证明室内存在人员活动时,对于WiFi信号的干扰十分明显。综上所述,实验结果表明使用WiFi进行室内人员计数具备可行性。本文提出的方法在应用于室内人员计数时,具有较高的准确度。
3 结语
本文提出了一种使用WiFi信号进行室内人员计数的方法。通过提取WiFi信号的CSI信息,利用神经网络提取CSI信号中由于人体运动导致的不同链路不同载波上的信号变化差异之间的关联,初步实现了使用WiFi信号进行室内人员计数的目的,验证了将WiFi信号用于室内人员计数的可行性。
参考文献
[1]曹伟东.机器视觉在建筑升降机中人员计数的运用[D].上海:东华大学,2016.
[2]易金桥,黄勇,廖红华,等.热释电红外传感器及其在人员计数系统中的应用[J].红外与激光工程,2015(4):1186-1192.
[3]龚伟.基于毫米波雷达的人数统计、姿态识别及跟踪系统的设计和实现[D].武汉:华中科技大学,2020.
[4]陈思.基于视频监控的室内人员计数方法研究[D].合肥:安徽建筑大学,2019.
[5]王翠翠.基于俯视视频的室内人员计数方法研究[D].合肥:安徽建筑大学,2021.
[6]ZENG Y,WU D,XIONG J,et al.Boosting WiFi sensing performance via CSI ratio[J].IEEE Pervasive Computing,2020(1):62-70.
(编辑 王永超)
Counting method of indoor people based on WiFi signal
Chen Zhiguo
(Xihua University, Chengdu 610039, China)
Abstract: In order to solve the problem of inaccurate counting caused by occlusion in image-based indoor people counting method, and the problem of high hardware cost and usage limit in the indoor people counting method based on infrared sensor and wireless sensor, a method of using existing WiFi device to count indoor people is proposed. By collecting indoor WiFi signal data and extracting channel state information (CSI), the network can learn the relationship between WiFi signal change and the number of indoor people, calculate the number of indoor people. Due to the lack of relevant open-source datasets, the network was evaluated on the datasets collected by authors. The results shown that the method proposed in this paper can obtain accurate counting results.
Key words: indoor people counting; WiFi signal; CSI; wireless perception