基于加速度曲线的CNN人体行为识别模型

范琳　王劲松

摘要：针对不同用户携带手机的位置和习惯，分析基于手机传感器获取的三轴加速度信息，分别将三轴加速度和合成加速度绘制曲线图，将图片输入CNN进行分类，结果显示，三轴加速度曲线能有效的区分人体日常行为。

关键词：人体行为识别；加速度曲线；CNN；手机位置无关；

中图分类号：TP274+.2 文献标志码： A 文章编号：1009-3044（2018）19-0191-02

随着人们生活质量的提高，工作压力的增大，越来越多的人开始寻求健康的生活方式。各种智能手机、智能手环和智能穿戴系统兴起，能督促用户每天进行适量的运动。目前的智能手机APP或智能手环，能进行计步，或者在用户告知的情况下记录用户的跑步时间，越来越多的研究者提倡一种不被察觉的行为识别，利用智能手机的感知和计算能力以及合适的算法来进行移动用户行为识别。

本文拟采用深度学习方法，基于手机内置的加速度计采集三轴加速度信息，针对不同用户携带手机的习惯，从人体不同位置的获取加速度数据，绘制三轴加速度与合成加速度曲线后，输入CNN网络的卷积层、池化层和soft-max分类器进行处理，构建一种基于深度学习的人体行为识别模型。

1 已有研究

1.1 基于传统机器学习算法的人体行为识别研究

国内外在基于智能终端的人体行为识别方面已有若干研究，使用智能终端采集加速度、陀螺仪、麦克风等信息，基于传统机器学习方法进行建模。论文[2-7]分别论述了使用多传感器及传统机器学习算法进行人体行为识别的研究。

1.2 基于深度学习算法的人体行为识别研究

深度学习动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据。随着深度学习的兴起，国内外展开了基于深度学习的人体行为识别研究，因为深度学习对图像和声音的识别效果非常好，一部分学者利用深度学习中的CNN或DBN算法进行图像、声音和视频处理，来进行智能家居中的人体行为识别。

基于加速度信息的人体行为识别，其中论文[8]提出一种基于加速度计的人体行为识别方法，使用了深度学习算法中的卷积神经网络。构建了一种CNN模型，改变了卷积核以适应三轴加速度信号的特点。同时在同一数据集上将广泛使用的机器学习算法跟深度学习比较，包含了8种典型行为，实验结果显示CNN工作良好，不使用特征提取也能达到平均准确率93.8%。论文[9]提出一种腕戴式装置Wristocracy用于感应识别人的用户（特别是老年人）的行为，用于日常生活行为识别。从多个用户收集详尽的家庭为基础的日常生活活动和IADLs数据，基于深度学习的监督网络进行分类。能够识别22种的日常活动。

本文拟采用深度学习方法，基于手机内置的加速度计采集三轴加速度信息，构建一种基于深度学习的人体行为识别模型，设计不同的数据组织方式，将人体行为加速度数据输入深度神经网络，比较在不同数据组织方式下的行为识别率，构建最优深度行为识别模型。

2 基于CNN的人体行为识别模型

课题基于ARM处理器的智能手机作为嵌入式系统硬件平台，基于Android2.3系统，搭建轻量级行为数据采集器，能实时采集加速度信息。在不同手机穿戴位置的情况下，对不同行为进行数据采集。实验设计如下：采集15名用户的行为数据，其年龄分布为：20-30岁5人，30-40岁8人，40-50岁2人，基本覆盖智能手机用户群；采集的行为信息分为5种，分别是静止、走路、跑步、上楼、下楼；针对每种行为，用户的手机穿戴位置细分为3种，分别是（a）包里、（b）裤兜、（c）手中，其中手机在包里放置的情况，不区分图1中的三种包的情况；每个用户针对每种行为和位置采集10次运动过程中的加速度信息，每次采集10秒。课题组采集多人运动加速度信息，共包含不同行为不同位置的样本1973份。

手机被不同的用户携带在不同地方，手机方位在运动过程中是时刻变化的，由此所采集到的三轴加速度中，三个方向的加速度中某一个的变化规律并不能说明人体运动的规律。为了消除手机方位的影响，论文将三轴加速度合成，合成加速度[a]能体现人体运动的剧烈程度。

卷积神经网络在图片识别领域已经获得了非常好的分类识别效果。借鉴卷积神经网络在图片识别领域中的应用，提出一种基于加速度图片的数据构造方式用于卷积神经网络在人体行为识别领域中的应用。绘制三轴加速度的曲线，并作为图片输入CNN。

图1给出了基于三轴加速度曲线的卷积神经网络构架，网络输入层是经过归一化处理过的大小为28×28的三轴加速度图片，其中三种不同颜色的线条分别代表x、y、z轴的加速度信息。卷积神经网络中的池化层由前一层中的局部小矩阵与卷积核卷积得到，输出为下一层的卷积层；卷积层由前一层池化层中的局部小矩阵经过池化过程得到，输出为下一层的池化层。通过局部感知器能够抽取到信息源中的局部细微信息，然后将这些局部信息与一个卷积核作卷积计算得到一个特征矩阵，即特征集。在卷积的过程中可以多设几组卷积核，每个卷积核的权值各不相同，这样就可以获取到多个特征矩阵，从而能够通过平均多个特征矩阵的方式较为准确地标识信息源。

3 实验结果与分析

采集到的行为信息包括走路、上楼、下楼、静止和跑步五种行为，合计为1973个样本。分别基于1973个样本的三轴加速度计算合成加速度，按照2：1的比例分配训练集和测试集，然后将训练集和测试集对应加速度数据与合成加速度数据画成像素大小为48×48的方形图片；最后获取方形图片的像素点信息作卷积神经网络的输入项输入到卷积神经网络中进行神经网络的训练和测试。

对于区别度较大的跑步和静止而言，基于三轴加速度的测试集分类结果正确率为85.5和90.1，基于合成加速度的分类结果正确率为80.6和89.9，而对于区别度较小的走路、上楼和下楼分类结果不太理想。深度学习对数据量大的信息，分类效果更好：对于三轴加速度和合成加速度而言，三轴加速度包含的信息更多，因此分类效果更好；而原始加速度数据构造的矩阵，其矩阵内部都是有效信息值，而绘制成图片后，在图片中大量信息为空白，只有中间的曲线包含有效值，为稀疏矩阵，因此识别准确率不高。

4 結论

针对不同用户携带手机的位置和习惯，分析基于手机传感器获取的三轴加速度信息，分别将三轴加速度和合成加速度绘制曲线图，将图片输入CNN进行分类，并将原始三轴加速度数据构造矩阵送入CNN，结果显示，三轴加速度数据构造的矩阵分类效果要优于曲线图，基于三轴加速度构建的人体行为识别模型能有效地区分五种人体日常行为。

参考文献：

[1] Hinton，Geoffrey E，Ruslan R.Reducing the Dimensionality of Data with Neural Networks[J].Science，2006，313（5786）：504-507.

[2] Bao L.and Intille S.，Activity recognition from user annotated acceleration data[J].Pervasive Computing.LNCS vol 3001，2004：1-17.

[3] N Ravi，N.Dandekar，P.Mysore，and M.L.Littman. Activity recognition from accelerometer data[C].In Proceedings of AAAI，2005：1541-1546.