基于信道状态信息的室内人群计数方法*

吴哲夫，吕晓哲，方路平，龚树凤

(浙江工业大学信息学院，浙江 杭州 310023)

人群计数是人类活动感知应用的重要技术之一，在许多应用场景下，估计室内人数具有重大的价值。例如智慧楼宇根据室内人数来控制和优化系统及能耗[1]，通过控制室内人数可以有效降低安全事故发生率，抑制疫情疾病的传播。此外，收集人数信息还可用于进一步应用场景分析，例如室内人数信息可以用于衡量人们对商店中产品的感兴趣程度，并依此选择适当的产品进行推荐；还可以根据不同时间段排队的人员数量来进行流量调控，以优化等待时间。

在计算机视觉领域内，人群计数主要通过图像分析技术来实现，主要分为基于检测框和基于密度图回归两种方法。在基于检测框的方法上，康帅[2]通过改进YOLOv4算法在网络主干部分中加入混合空洞卷积以提高行人特征提取能力，并且为了获取更多细节特征，还提出用空间锯齿空洞卷积结构来代替原先网络中的空间金字塔池化结构。朱繁等[3]提出了一种基于改进Mask R-CNN的检测算法，通过使用全卷积网络分割前景对象以实现细粒度检测。这种方法首先利用预测框检测人体，根据预测框数量求和得到人数信息，但存在较为严重遮挡时准确率会大幅度降低。在基于密度图回归的方法上，Liu等[4]在人群计数中运用迁移学习，提出了一种基于高斯过程回归贝叶斯模型自适应的解决方案。除此以外，近年来又提出了MCNN[5]、SwitchingCNN[6]、CSRNet[7]和SANet[8]等回归模型。这些模型将输入图像映射成密度图，在高密度环境下提高了预测精度。以CSRNet为例，模型将VGG-16的前10层作为前端，将空洞卷积层作为后端，以扩大感受野并在不丢失分辨率的情况下提取更深层的特征，并且使用纯卷积层作为主干来支持具有不同分辨率的输入图像。

图像中不同人的尺度大小经常呈显著变化，为了获取尺度特征信息，基于图像进行密度图回归的算法往往会设计多分支的具有不同大小感受野的网络模型结构。虽然这样做确实能获得一定性能的提升，但尺度的多样性也受到了分支列数的限制。另一方面，列数越多模型复杂度越高，计算时间扩大的同时可能会导致效果变差。除了模型方面的问题外，由于基于图像的预测方式需要依靠视频或图像采集技术，因此设备成本高昂，并且还会带来大量的处理要求，同时可能给人们带来极大的隐私侵犯困扰。除此以外，不管是基于检测框的还是基于密度图回归的方式，在遇到严重遮挡情况时，性能都会大打折扣。因此，这些传统基于视觉的方法并不适用于一些室内场所。

针对上述问题，本文采用WiFi的信道状态信息(Channel State Information，CSI)来进行室内人群计数。一方面，目前WiFi网络非常普遍，许多室内环境下为CSI应用提供了无所不在的信号条件；另一方面，基于CSI方法可避免隐私问题，且由于其良好的穿透性还可以解决图像采集中普遍存在的遮挡问题。目前，CSI已经被广泛应用于人体行为感知领域中，包括手势识别[9]、姿态识别[10]、人体定位[11]、呼吸检测[12]等，因此其可行性已经被证实。例如，党小超等[13]将CSI特征和信号接收强度指示(Received Signal Strength Indication，RSSI)特征融合用于室内定位的研究，利用KNN算法在复杂和空旷两种实验室场景内均取得了超过70%的定位精度。

在基于无线信号的人群计数方面，Simone等[14]提出了一种基于CSI多普勒频谱的人群计数方法，采用朴素贝叶斯分类方法，在两个不同的房间内准确率分别达到了73%和64%，精度较低。Sanctis等[15]采用奇异值提取CSI特征并进行了人数区间的五分类估计实验，其平均准确率达到了84%。Xi等[16]通过获取每个子载波的非零元素百分比(Percentage of non-zero Elements，PEM)作为特征进行人数推断，在人数较少时有效突出了特征差异。进一步地，Zhou等[17]采用深度学习网络模型来更好提取数据特征，在最多5人的会议室实验中将准确率提升到了89%。

上述基于CSI的室内人群计数方法，使用数值化统计特征向量作为输入，虽然可以达到较高的准确率，但是相同情况下特征关联性不明显，不同情况下特征差异不够直观，需要训练次数较多。为了解决这一问题，设计了将无线信号转化为时序热图进行深度学习分类的人群计数方法，首先对CSI数据预处理后映射到时间序列热图图像中，然后在图像域采用CNN来提取高级特征并识别，从而进行相应人数估计。这种将CSI数据转换为RGB热图再利用CNN网络识别的方式在基于CSI的动作分类工作[18]中已经被证明是可行的，并且相较于利用统计特征的处理方法，RGB热图的特征表达形式更利于人数特征观察区分。此外，CNN网络可以获得同一类别图像之间一定程度的相关性，相比于常用机器学习算法通常具有更优良的识别性能，因此在图像分类识别中更有优势。

本文后继内容安排如下:第一节详细描述了系统的设计原理，主要包括数据预处理、热图转换和网络结构设计三个部分；第二节介绍了实验验证环境和实验步骤；第三节分析了静态和动态两个环境下的实验结果，并和其他方法进行了比较；最后在第四节对本文工作进行了总结和展望。

1 系统原理及实现方法

传统基于无线信号进行室内人员定位的研究工作中通常是通过信号接收强度RSSI来实现[19]的。相比于RSSI，CSI受到环境的影响更小。图1是一个CSI样本上不同子载波随时间的变化曲线，可以看出曲线较为平稳，说明了CSI信号具有一定的稳定性，因此本文选用CSI信息进行数据分析，从而提升人群计数的精确度。

图1 CSI三维子载波样本波形

所设计的室内人群计数系统如图2所示，分为数据采集、数据预处理、离线训练生成模型和在线预测四个阶段。在数据预处理阶段，系统首先利用CSI数据采集平台提取CSI信号，并进行滤波去噪和平滑处理，然后对处理后的CSI数据进行PCA降维。为了更好地提取特征以便区分不同情况，进一步将预处理后的CSI数据转化为热图。在离线阶段，系统根据CSI热图特征，利用设计的CNN网络训练获得一个预测模型。在线阶段利用训练生成的预测模型对热图进行预测，最终获得预测结果。

图2 室内人群计数系统

1.1 数据预处理

原始信号中的噪声对于识别人数没有意义，甚至会降低准确性。因此，尽可能多地消除噪声以最小化其对CSI的影响非常重要。图3中列出了一个原始信号样本波形，不难发现原始波形存在许多毛刺。为此，系统首先使用巴特沃斯滤波器进行处理。低通滤波后的信号在极值处仍然存在一些毛刺，针对这一点，对滤波后的信号采用五点三次算法进一步平滑处理。

图3 滤波和平滑前后对比曲线

图3展示了原始信号和滤波平滑预处理后的对比曲线，可以看到，最终的波形消除了大量锯齿，并且很好地保留了数据原来的变化情况。

系统采集到的CSI原始数据包含了3×3×30个子载波样本，在同一数据中抽取不同样本进行分析，结果如图4所示，其中样本序号表达为发射天线_接收天线_子载波序号。

图4 不同子载波样本波形

从图4中可以看出这些样本的波形相似度很高，可以推断如果利用所有子载波样本，会大大增加数据的冗余度，并且还将提高数据复杂度，影响数据处理时间。因此，需要对其进行分析，降低数据重复性，本文利用主成分分析法PCA降维提取出30个子载波样本。

1.2 热图转换

经过预处理后的CSI信号具有30个子载波，这些子载波在每个时间点上都有一个对应的幅值，可以转换为图像上的一个像素值，因此热图是CSI信号在数据层面的另一种表现形式，CSI信号幅度对应于热图颜色。于是，首先将预处理后的CSI数据转换为热图，然后再用一个滑动窗口在时间维度上对其进行分割，并设置窗口长度为50，以获得多个样本数据。CSI直接转换的热图分辨率为1 192×1 282，包含了许多与特征不相关的无用区域，因此需要将每个热图进行再处理提取出主要特征区域，并且为了能够输入网络将图像统一至相同尺寸大小。最后，将转换后的热图划分为训练集和测试集。图5显示了一个CSI信号数据样本经转换后得到的热图。

图5 CSI热图样本

图6显示了不同情况时的转换后的热图样本差异性，可以看出无人、3人、5人相互之间差别较大，但相同人数时热图之间相似较大。因此，不同人数时热图之间存在一定差异性，而当人数相同时，热图之间存在一定相关性。

图6 无人、3人及5人的热图样本

1.3 网络设计

卷积神经网络CNN是一种深度前馈神经网络，已成功应用于多个领域，尤其是在图像识别与分类相关领域。CNN将局部感受野、权值共享以及时间或空间亚采样这三种结构思想结合起来，获得了某种程度的位移、尺度、形状的不变性，避免复杂的预处理等操作得到原始图像的有效表征。

为了能够快速训练获得预测模型，系统没有选择非常复杂的网络结构，而是设计了一个新的轻量型CNN网络。因为过于复杂的CNN网络有时难以优化且容易陷入过拟合，而一些结构较为简洁的网络模型在避免过拟合问题的同时，也能高效取得不错的训练和分类结果。系统设计的网络结构如图7所示。在网络中，激活函数对于神经网络模型学习和理解非常复杂的非线性函数非常重要，系统设计的网络使用ReLU作为每一层的激活函数，并选择softmax作为最终输出层的激活函数。

图7 热图处理的CNN网络结构

作为训练中的一个重要组成部分，损失函数用于衡量实际人数与预测结果之间的差异。使用分类交叉熵作为损失函数，其定义为:

式中:s表示样本类数量，yi表示每一类的预测分布概率，表示每一类的真实分布概率。交叉熵表示了真实概率分布和预测概率分布之间的差异性，其值越小表示模型预测效果越好。通过使用均方根优化器最小化损失函数的值，更新权重直到损失函数收敛。

2 实验设计

为了模拟人员位置相对固定的办公环境和走动较为频繁的商业环境，实验设计了两种不同的场景，分别是一个相对静态的教室和一个动态的会议室，并在其中进行数据采集和结果预测。实验场景如图8所示。

图8 实验场景

在实验中，使用两台配备了Ubuntu操作系统和英特尔5300网卡，并安装了CSI Tool[20]的笔记本电脑，组成一对发射器(TX)和接收器(RX)，并且都外接了三根天线便于增强信号。

在一个6 m×10 m的教室环境内，发射器和接收器之间的距离是8 m，进行了最多9人的实验。参与者坐在座位上或站着，每次收集数据时，其位置都是固定的，并且没有非常明显的行为动作。在另一个9 m×9 m的会议室环境内，实验设置发射器和接收器之间的距离为6 m，并允许参与者在发射器和接收器之间随意走动。两个实验场景下的相关参数如表1所示。

表1 实验场景相关参数

3 实验结果分析

在进行实验之前，首先分别对两个环境内采集的数据随机划分获得训练集和测试集，并在训练集上训练获得预测模型。以教室环境下为例，图9显示了该环境下的模型训练损失过程，系统设计的网络模型的损失随着训练次数的递增开始下降并最终收敛趋于稳定。

图9 教室环境下模型训练损失

3.1 实验预测结果

图10展示了在静态环境下的实验预测结果，其中横坐标代表真实人数，纵坐标代表预测数量，每种人数情况下测试样本各50个，实验平均准确率达到了98.8%。

图10 静态环境下实验结果

为了进一步验证本文系统的有效性，实验考虑当环境中有人员运动等干扰情况下，系统是否还能对室内人数进行准确的估计。在另一个会议室场景内，允许室内人员在天线覆盖范围内随意活动，实验采集了室内人数最多为5人和无人情况下的CSI数据，然后进行数据分析和人数估计。实验结果如图11所示，可以看到在有人员活动的情况下，虽然预测精度有了明显下降，部分情况下跌至72%，但整体上仍然能达到89.3%，尤其是在无人、2个人和5个人情况下其估计准确度达到了96%以上。

图11 动态环境下实验结果

两个实验表明系统所采用的方法在静态和动态环境下都可以取得了不错的效果。虽然系统方法无法完全避免人员活动带来的影响，但仍然表现出了一定的环境抗干扰能力。

3.2 与机器学习算法的对比

为了显示本文算法的良好性能，在两个环境下使用机器学习算法处理信号统计特征来获得预测结果，以作为对比。具体来说，选择了均值(mean)、标准差(std)、均方根(rms)和极差(range)这四种常用的统计特征进行不同方式的结合，除此以外还选择了PEM[16]特征，并分别使用机器学习KNN算法和SVM算法处理，对预测结果准确率进行计算。在两个环境下的分类预测平均准确率结果分别如图12和图13所示。

图12 静态环境下两种机器学习算法实验结果

图13 动态环境下两种机器学习算法实验结果

从以上预测结果可以看出，融合了均值、标准差、均方根和极差的特征选择方式在KNN和SVM两种机器学习算法上都取得了最高的准确率，并且与之前一致。相较于静态环境，由于动态环境下的人体位置和动作等因素都会影响数据采集，因此准确率都有一定程度的下降。

本文所提的算法同上述KNN与SVM两种机器学习算法在两个环境下的对比结果如表2所示。结果表明，本文算法均优于其他两种机器学习算法的预测性能，并且在教室静态环境下和其中结果最好的方法相比，准确率提升了4.5%，而在会议室动态环境下则提升了2.7%。

表2 教室静态和会议室动态环境下准确度对比

两个环境下的对比结果都证明了本文提出算法的有效性，即通过将CSI数据转化为热图并采用CNN网络进行特征提取的方法可以有效提升人数预测准确率。所提方法将幅值转化为像素值以实现从CSI数据到热图的映射，从图像表达上有效增大了不同人数情况下特征之间的差异性，然后通过使用CNN网络进行图像特征提取识别从而实现人数的准确估计，因此具有良好的性能。

4 总结

本文详细介绍了基于信道状态信息CSI的室内人群计数方法。首先，建立了室内环境下基于CSI的人员计数实验平台进行数据采集，并通过巴特沃斯低通滤波器对原始CSI数据进行滤波，在进行平滑处理后利用PCA进行数据降维，从而降低计算复杂度。然后，将预处理好的CSI数据映射成热图，利用滑动窗口分段截取，并设计了一个卷积神经网络基于热图进行训练以最终获得一个预测模型，实现了不同情况下的人数识别。实验分别在两个不同的环境中进行，最终在静态的环境下准确率能够达到99%，而在动态干扰环境下也能获得89%的准确率，均高于基于机器学习结合输入统计特征向量进行预测的准确率，证明了本文方法的有效性。

在未来的工作中，还将研究如何将模型更好地应用于其他不同环境，目的是提升系统鲁棒性和抗干扰能力。除了实现室内人数估计外，如何利用更多信息来更细粒度描述室内人员活动状态，比如位置信息和动作姿态估计也是下一步的研究目标。