基于手机多源传感器的室内火灾行人行为识别

陈国良， 曹晓祥

(1. 国土环境与灾害监测国家测绘地理信息局重点实验室， 江苏 徐州 221116； 2. 中国矿业大学 环境与测绘学院， 江苏 徐州 221116)

近年来，随着传感器城市建设的一步步推进[1],借助传感器进行行为识别成为一项研究热点.无论是在情境感知、健康监测，还是智慧医疗、安全监控等，行为识别都是其中重要的一环，但是这其中面临着个体化差异、复杂情境等突出问题，行为识别仍面临着诸多挑战.就此，国内外学者开展了大量研究工作：文献[2-4]均是通过使用简单穿戴式设备，提取加速度传感器采集的数据片段特征值，完成对特定行业从业人员重复率较高的工作行为分析、分类与识别，但是额外设备的投入一定程度上限制了其推广应用.文献[5-7]则是借助视觉图像完成室内行人行为识别.其中，文献[5]是在对各种目标行为建立图像特征库的基础上，训练产生行为识别的深度学习网络模型；文献[6]在监督学习基础上开发了一种新颖的3D卷积神经网络(CNN)动作识别模型，通过监控视频解析行人细粒度行为；文献[7]是通过提取视觉图像中人体轮廓，比较不同轮廓间的动态时间规整距离(DTW)，从而达到行为识别的目的.借助视觉特征的行为识别方法，虽然有较高的识别准确度，但是面临着数据处理困难、大规模人群中个人行为特征提取困难等问题.

智能手机集成越来越丰富的传感器使得可通过手机内置传感器输出多感官数据流实现情景感知服务、生活记录等.文献[8-17]均是借助手机实现行人简单行为感知.其中，文献[8-9]都是提出了一种仅选取手机加速度计、陀螺仪、气压计输出的时域特征作为唯一特征量，通过特征提取运算实现8种人体日常行为模式和4种摔倒行为模式的实时识别；文献[10]则使用多种分类算法对手机陀螺仪、磁力计和加速度计不同组合方式采集的不同设备位置7种常见行人活动数据分类结果进行了对比试验，结果表明多种传感器组合一定程度上提升了行为分类准确率，同时在特征提取上加入了数据频域有关特征.

文献[18]在提出“情境推理”概念基础上抽象出的情境信息金字塔，描述了传感器数据、数据特征、简单活动与复杂情境之间的基础联系，低层简单的行为活动作为行人情境感知、生理和心理状态推估中重要的一环具有重要的研究意义.当前室内火灾频发，对人民生命财产安全产生了极大威胁.由于基础设施条件、能力限制，发生火灾时室内行人安全状态无法得到有效监控和保障，因此，借助手机内置传感器识别室内火灾行人细粒度行为进而理解行人当前生理、心理、位置状态有着极大的研究价值.

针对当前室内火灾情境，提出一种基于手机多源传感器的室内火灾行人细粒度行为识别与匹配的方法.借助手机内置多源传感器完成对行人当前表征行为特征的数据采集，在异常子序列探测后提取行为特征向量，利用Key-DTW算法以及相应训练成型的分类模型分别对特征各异的室内火灾行人异常行为进行匹配、理解.

1 数据采集与预处理

1.1 数据采集

(1) 传感器选择.当前智能手机内置丰富的传感器元件，这些测量元件输出的数据在很大程度上反映了用户当前各种行为信息.因此，手机多源传感器数据具有较大的研究价值.一般手机配备的传感器如表1.

(2) 设备位置选择.当手机位于身体不同部位时，伴随不同的摆动幅度，数据特征呈现出一定差异，就此试验选用了行人常见的3种设备位置(图1)，分别为手中摆臂、下衣口袋、手中使用，针对具体行为选用合适的设备位置.

表1手机内置传感器列表及其作用

Tab.1Listsofdifferentinertialsensorsofsmartphoneandtheirfunctions

传感器名称字段用处加速度计TYPE_ACCLEROMETER判断行走、静止、跑步陀螺仪TYPE_GYRSCOPE判断转弯、掉头等方向传感器TYPE_ORIENTATION判断是否迷失方向等GNSS模块GPS_PROVIDER判断位置等磁力计TYPE_MAGNETIC_FIELD判断是否乘坐电梯等气压计TYPE_PRESSURE判断楼层信息等光线传感器TYPE_LIGHT判断光线可见度等

图1 测试设备所处位置

1.2 数据预处理

(1) 数据筛选处理.设定各类传感器数据阈值，丢弃超过阈值的错误数据.由于平滑等处理会损害某些异常行为数据特征，因此，尽量保持数据原特征.

(2) 数据切片.精准反映行为特征要求传感器保持较高的采样频率，这也就导致数据量过大问题，不利于异常子序列的探测和特征值提取工作，因此，需对数据进行合理切片，片段长短选取既要保证不损失数据特征，又要降低数据浪费.

(3) 异常子序列探测.行人在发生各种特征行为前，往往是处于一种相对稳定的状态，比如静止、匀速行走等.在此，将某些关键性行为发生时所观测的传感器数据视为异常数据序列.在一组传感器数据序列中提取出行为数据即探测数据序列中的异常数据序列，并将探测结果用于特征值提取.有2种探测方法.

一是3σ探测.通过大量实验分析发现，在绝大多数组数据中，有以下规律：数据中至少有99.7%左右的数据位于平均数±3个标准差(σ)范围内.一般将3σ以外的探测数据称为异常值.

(1)

异常值序列Xoutlier为

(2)

由于行人传感器数据采集频率较高，采集数据量较大，计算整组数据往往会掩盖数据特征，极易引起探测误差.考虑持续时间长短不一的行为，设计使用30 s和1 s的大、小滑动窗口进行数据切片，相邻窗口均有50%重叠，分别计算各个窗口数据特征，探测各个窗口可能出现的异常值.探测结束后，以异常值为中心，重新设置、扩充窗口，提取该窗口下的数据序列，用于特征值提取.滑动窗口、扩充窗口大小依据试验经验进行设置.

二是利用四分位数进行异常探测.使用滑动窗口(四分位数异常探测过程中窗口大小可适当扩大，该方法适合处理大规模数据)进行异常值探测，将窗口内数据按照从小到大排序，其中位于25%处数值为上四分位，用Vfl表示，75%处为下四分位，用Vfu表示，计算上、下截断点时序数据的幅值.

上截断点时序数据的幅值d1为

d1=Vfl-kVfl-Vfu

(3)

下截断点时序数据的幅值d2为

d2=Vfu+kVfl-Vfu

(4)

式中：参数k并非固定值，可以依据经验进行调整.将小于d1或者大于d2的数据称为异常值.探测结束后同样以异常点为中心，设置数据扩充窗口，抽取异常数据序列.

(4) 特征值提取.手机传感器采集的为离散数据量，通过单点数据无法分析行人行为特征，需对抽取的异常子序列进行特征运算.考虑传感器输出的均为载体坐标系下数据，在不同设备姿态下，单轴传感器数据面临较大的不确定性，因此选用总的加速度、角速度用于特征计算.当行人进行某些动作时，躯干呈现一定幅度变化，三轴总加速度也表现出不同特征，比如跑步、上楼等，使用总加速度平均值、标准差、最大值、最小值、峰度和偏度对这些行为具有很好的区分效果；行人进行与方向变化有关的动作时，比如转弯、掉头等，使用三轴总角速度的此类特征也能够对这些行为有较好的区分.针对行人加、减速过程，提出一种利用总加速度波峰检测结果分析峰值变化走向分析运动趋势的特征量.

平均值为

(5)

方差为

(6)

最大值为

Vmax=max(X)

(7)

最小值为

Vmin=min(X)

(8)

峰度为

(9)

偏度为

(10)

波峰趋势为

Vtrend=f(xmax 1,xmax 2,xmax 3,…)

(11)

式中：X为总加速度或角速度序列；min和max分别表示求向量的最小值和最大值的函数；xmax 1、xmax 2、xmax 3表示窗口内所有波峰值；f表示获取拟合波峰向量得到的直线的斜率的函数.

2 行为解析

2.1 行人异常行为解析

当室内发生火灾时，由于面临着各种突发情况,行人往往伴随各种异常行为.不同的应激性行为手机内置传感器输出的数据信息往往带有不同的特征.针对火灾这一特定情境进行行为模拟试验，图2即为可能出现的异常行为的模拟试验数据特征.行人在摔倒和下蹲时(图3)加速度发生突变，加速、减速过程加速度波峰呈清晰的上升和下降趋势，静止、跑步、爬行和下蹲走则在加速度幅值上有些较大差异，但是爬行和下蹲走(图4、5)过程中数据起伏杂乱程度又有所区别.正是不同动作数据所呈现的不同特征，为动作识别、分类提供了可能.另外，借助此类行为的识别，可以进一步推估行人当前的生理、心理状态，比如加速可能表明行人在危险迫近时的恐慌，摔倒、静止表明可能出现受伤等情况，爬行和下蹲走的识别可判断行人正处于危险之中等.

图2 加速、减速时总加速度变化

Fig.2Accelerationdatacharacteristicsofaccelerationanddeceleration

图3 摔倒、下蹲时总加速度变化

图4 常速、静止、跑步时总加速度变化

Fig.4Accelerationdatacharacteristicsofwalkingatnormalspeed,staticandrunning

图5 爬行、下蹲走时总加速度变化

Fig.5Accelerationdatacharacteristicsofcrawl,squat&moving

2.2 反映位置状态细粒度行为解析

反映位置状态的关键行为是指室内火灾行人在逃生过程中，经过某些特殊点位、区域时，手机内置传感器输出数据会表现出一定的特征，通过对此类特征的分析，既能获取行人当前的位置信息，又一定程度上反映了室内逃生通道、出口的安全性、可用性，为室内实时应急疏散决策提供了丰富的信息.具体包括楼梯、电梯、扶梯、转角、门窗等。有关加速度变化情况见图6、7、8.

图6 乘坐厢式电梯时总加速度变化

图7 楼梯上、下行时总加速度变化

图8 转角、掉头时角速度变化

Fig.8Angularvelocitydatacharacteristicsofmakingaturnandturninground

3 行为识别与匹配

3.1 机器学习分类试验

采用的分类算法，包括决策树、人工神经网络、贝叶斯、向量空间模型、集成学习、基于关联规则等.选取决策树中C4.5算法、随机森林(RandomForest)、支持向量机(SVM)、朴素贝叶斯(NaiveBayes)、逻辑斯蒂回归(Logistic)以及基于实例分类器中最邻近算法(KNN)进行行为识别分析,其简介如表2.

行人传感器数据采集数据量往往很大，人工进行异常序列、特征值提取存在较大困难，需借助高性能计算机进行统计机器学习.利用计算机实现数据批量处理，将采集的大量先验数据训练成可靠性、准确度高的预测模型，对未知数据借助模型进行分类、聚类等.本文主要利用机器学习实现行人行为识别，即行为分类过程.具体分类流程如图9所示.

表2 不同分类算法简介

图9 基于分类器的行为识别流程

3.2 基于KeyDTW算法的行为匹配

基于Key-DTW算法用于衡量2个离散序列的相似程度，该算法可以用于计算不同长度序列的相似度，能够对序列的延展与压缩有较好的适应性.在行人特殊行为识别过程中，不同行为主体完成某一行为往往带有较大的时间差异性，但传感器数据特征仍保持有较大的相似性，因此，可以借助该算法对相同行为进行判别.

对于M维关键点序列的行为参考向量R和W维关键点序列的行为向量T(M不一定等于W).构造矩阵AMⅹW，矩阵中每个数表示2个序列中对应值的欧氏距离.搜寻最短路径，即1组相邻的矩阵元素的集合，记为P={p1,p2,p3,…，pl}，其中P满足以下条件：

(1)l∈[max(M,W),M+W-1].

(2)p1=a11,pl=aMN.

(12)

式中:m、M′表示序列R中元素序号；w、W′表示序列T中元素序号；amw表示2序列中第m和w个元素的欧氏距离；D(R,T)为2向量最终距离累加量；D(m,w)为路径最小累加值.整个Key-DTW度量过程中仅使用行为观测数据序列中的关键点，极大减少了数据存储量，提高了计算速度.

基于key-DTW算法的行为匹配分为2个阶段：离线行为参考向量库构建和在线行为识别阶段.离线阶段是通过采集大量行为数据，训练产生出最佳的每种行为的参考向量；在线阶段通过传感器采集数据，对出现特征的行为数据进行提取，利用key-DTW算法将提取特征数据同参考向量库中的各个行为向量进行相似度计算，得到最优的行为匹配结果.具体流程如图10所示.

图10 基于Key-DTW算法的行为匹配流程

4 试验结果与讨论

(1) 异常探测试验.分别使用3σ探测和四分位数异常探测法对1组包含100次异常行为数据组进行探测试验.比较探测结果表明，使用四分位法进行异常探测有着更高的正确率，能够达到96%左右的准确探测，具体结果如表3所示.

表3 异常探测方法结果比较

(2) 行为分类试验.火灾行为模拟试验均是在夜间照明条件较差的楼道进行，以模拟火灾室内烟气条件下能见度低的环境；行人均保持较高的移动频率，以模拟真实环境下恐慌急躁心理.试验中3名身高不一的自愿者于3处不同位置携带3台设备进行数据收集工作，筛选处理后共保留1 377组不同行为数据样本，利用WEKA平台对数据进行分析处理.分类处理过程使用10-fold cross-validation方法来测试不同分类算法准确性，即将数据集分成10份，轮流将其中9份作为训练数据，1份作为测试数据.图11显示的为不同设备位置使用不同分类器试验结果，结果显示手持使用时数据特征保持更为完整，具有更高的分类准确率.

由表4中分类准确率可以看出在决策树类别下的算法，准确度均超过了90%.其中RandomForest算法达到了92.88%，是6个算法中最高的.最小序列优化(SMO)、NaiveBayes算法和Logistic算法的分类准确度均超过了80%，而IBK算法分类效果较差，只获得了68.19%左右的准确度.从分类模型建立效率来看，各算法之间的差异不是很大.根据其分类时间长度可以分为2组，第1组为RandomForest、Logistic算法，需要的时间较长；第2组包括J48、SMO、IBK、NaiveBayes算法，该组算法的效率比第1组高约10倍以上，耗时可不计.

图11 设备处于不同位置时分类器识别准确率

Fig.11Recognitionaccuracyofdifferentclassifierindifferentpositionsofdevice

表4 不同分类器正确率和效率

(3) 行为匹配实验.提取出异常行为数据序列后，分别使用欧氏距离、DTW距离、Key-DTW距离将异常行为序列同参考行为向量进行相似性比较，分析对比试验耗时和匹配结果准确性.具体结果如表5所示.

5 结论

针对室内火灾情境下行人安全监控缺失问题，提出了一种基于手机多源传感器的室内火灾行人细粒度行为识别与匹配的方法.以内置多源传感器数据为基础，借助基于分类算法构建的分类模型完成行人应激性行为识别；对于持久性动作序列，则是利用Key-DTW算法实现相似性行为匹配.最后，通过对行人细粒度行为理解以完成对行人即时心理、生理、位置状态的监控.

表5 行为匹配结果

注：“+”表示匹配正确，“-”表示匹配错误.