结合手机传感器和卷积神经网络的人体行为识别

石代伟 张若英

摘 要 单一传感器在人体行为识别中误差较大，针对此问题提出一种利用智能手机中惯性传感器并结合卷积神经网络（convolutional neural network， CNN）的人体行为识别方法。文中利用构建的卷积神经网络模型自动提取加速度和角速度数据特征，并结合Softmax分类器识别人体行为。实验结果表明，相比于现有的研究，该模型在人体6种行为上取得了较高的识别准确率，平均识别率可达97.22%，说明了卷积神经网络在提取特征上的优势以及本模型的可行性。

【关键词】手机传感器数据 行为识别 卷积神经网络 特征提取

1 引言

随着人们生活水平不断提高、生活节奏的加快，许多健康问题日益突出。同时，我国已逐步进入老龄化人口发展阶段，人口老龄化问题越来越严重，相应地就需要投入更大的人力和物力来看护老人。基于此，人体日常行为识别越来越受到关注。

在人体行为识别的研究中常利用单一的加速度传感器采集行为信息，然而人体行为多种多样，这就造成人体行为信息种类过于单一，无法得到准确测量信息的问题。当前，随着智能手机等移动设备感知、计算能力的飞速提升，以移动设备作为载体的人体行为识别又成为新的研究热点。同时，传统的支持向量机、随机森林等行为识别方法都必须先提取传感器数据的时频域特征，并从大量的时频特征中进行特征选择，且难以取得高识别率。鉴于此，本文采用智能手机内置的加速度计和陀螺仪读取人体行为的加速度和角速度数据，并利用CNN进行特征学习，自动提取信号特征，结合Softmax实现人体行为识别。

2 多传感器数据行为识别模型

2.1 卷积神经网络

卷积神经网络是一种深度学习网络，通过引入卷积层和池化层，形成深层网络，简化了复杂的预处理过程，利用网络的局部连接和空间共享特性，使其成为一种高效的识别方法。鉴于CNN的高效性，当前已有研究将其与传感器数据相结合并应用于人体行为识别及相关研究中。图1是一种卷积神经网络的结构图，包括卷积层、池化层和全连接层（输出层），卷积和池化层用来提取特征，全连接层用来分类。

2.2 CNN行为识别模型

本文将CNN应用于手机传感器信号进行人体行为识别，手机采集的数据包括3维加速度和3维角速度，CNN采用图1中结构。传感器信號通常为单一维度或多维信号，故本文中卷积和池化过程采用一维卷积和一维池化，图2所示为本文CNN中传感器数据处理过程中的数据大小变化。

本文从智能手机中采集数据，并进行预处理操作，以保证数据样本的一致性。文中利用高通滤波器从采集的加速度中得到身体加速度信号。在滤波操作后将各信号按时间对齐并分割数据。考虑到人体行为的实际情况，每个行为样本设为2s左右较为合适。本文中时间窗 大小设为100，每个时间窗间重叠度为窗口大小的一半，故在CNN输入层样本大小为1*100*9。

如图2所示，输入样本大小为1*100*9，然后经过两次卷积和池化提取行为特征，经过全连接层和Softmax层识别人体行为。两次卷积和池化操作后输出大小为1*7*1620，且每次卷积后都利用Relu函数修正特征图，在池化后将得到的数据特征作为全连接层的输入进行分类。全连接层神经元个数设为500，得到数据大小为500*1，作为Softmax的输入进行分类。在本文中，损失函数Loss采用交叉熵损失进行定义，并利用Adam算法更新权重。

3 实验验证与结果分析

本文中利用智能手机采集大量样本进行行为识别，编程语言采用Python，并利用TensorFlow构建卷积神经网络，在构建完CNN模型后，在该环境下进行数据运算。本文中采集6种人体行为的传感器数据，包括站立、步行、上楼、下楼、坐与躺等行为。其中，训练样本数为6942，测试样本数为3058。实验验证部分包括CNN训练误差、行为识别率以及与其他算法的性能对比。在具体训练过程中，每次迭代训练批量数据，当模型训练完毕，网络参数更新结束，得到行为识别模型，测试数据的识别率达到97.22%。图3所示为训练过程中得到的训练误差曲线和识别率曲线。

图3横坐标为epoch，表示所有训练数据总训练次数，纵坐标分别表示训练过程中的损失函数和行为识别率变化。在训练过程中，图中的误差曲线总体上在开始时呈下降趋势，后趋于平缓，识别准确率总体上在开始时呈上升趋势，后趋于平缓。

本文将卷积神经网络和手机传感器数据相结合进行人体行为识别，利用测试数据得到的6种行为的识别结果如表1所示。从表中可以得到每一类别正确识别和错误识别为其他行为的结果。

从表1中可见，在测试样本中，站立行为有21个样本被错误分类为坐下行为，坐下行为有37个样本被错误分类为站立行为，对这两种行为的识别效果低于其他四种行为。

本文为更好地验证CNN行为识别模型，在卷积层和池化层提取特征后，将全连接层的输出作用于其他分类器并对比识别性能。本文在对比算法的选择上，选择SVM、随机森林和逻辑回归进行对比。图4所示为利用CNN模型提取的特征分别作用于四种分类器得到的人体行为识别结果。

从图4中可见坐下和站立行为的识别效果低于其他四种行为的识别效果，且每种行为的识别率较为接近，总体识别率较高，平均识别率达到97%左右。

综上，本文中的方法无需通过人工方式提取原始数据的特征，避免由于人工提取特征对行为识别产生的影响，而且利用CNN进行人体行为识别时识别率较高，说明CNN应用于惯性传感器信号的可行性，本文中的CNN模型较传统行为识别模型具有优越性。

4 结束语

本文提出一种采用智能手机中惯性传感器并结合卷积神经网络识别人体行为的方法。文中通过智能手机中的加速度计和陀螺仪采集三轴加速度和角速度信息，利用CNN自动提取特征，结合Softmax分类器进行分类识别，在人体6种行为模式上取得了较高的识别率，识别准确率能达到97.22%。实验结果表明，在本文模型下，行为识别准确率有一定的提高，说明了CNN在行为识别研究中的可行性。

参考文献

[1]张洁.基于加速度传感器的人体运动行为识别研究[J].自动化与仪器仪表，2016（03）：228-229.

[2]周飞燕，金林鹏，董军.卷积神经网络研究综述[J].计算机学报，2017，40（06）：1229-1251.

[3]Wang L.Recognition of Human Activities Using Continuous Autoencoders with Wearable Sensors[J].Sensors，2016，16（02）：189.

作者简介

石代伟（1991-）， 男， 硕士研究生。研究领域为行为识别。

张若英（1976-）， 女， 博士。研究领域为行为识别。

作者单位

重庆邮电大学通信与信息工程学院 重庆市 400065