基于手机传感器的握持方式判断及运动状态识别

黄一鸣，雷 航，周 瑞，桑 楠



基于手机传感器的握持方式判断及运动状态识别

黄一鸣，雷 航，周 瑞，桑 楠

(电子科技大学信息与软件工程学院 成都 610054)

传统运动识别技术多以传感器位置固定为前提进行识别，但当传感器放置位置或握持方式发生变化时运动识别率会受到相应影响。该文提出了一种基于手机传感器的握持方式判断及运动状态识别方法，解决了传感器随放置位置不同影响运动识别率的缺点。该方法首先通过传感器对设备握持方式进行判断，使用不同握持方式下的三轴加速度数据进行特征提取，通过多层小波变换得到各层高频和低频部分，对其进行组合形成初级特征，用奇异值分解对初级特征进行降维得到最终特征，使用基于径向基核函数的多分类支持向量机(SVM)对特征分类，进而判断不同握持方式下的不同运动。实验结果表明，该方法对不同运动方式下的平均识别率为93%。

运动识别; 奇异值分解; 支持向量机; 小波变换

现今手持智能移动设备极速发展，各类传感器(加速度传感器、光照传感器、陀螺仪等)越来越多的集成到移动终端，使其功能更趋多样化、智能化，推动了普适计算的进一步发展。普适计算的一个中心要素是具有识别和理解人的能力，该能力获取人的上下文信息包括人的状态、位置、环境[1]等，因此越来越多的研究关注于人体运动信息的识别。人体运动识别方法主要分为基于视觉和基于传感器，前者从包含人的图像序列中检测、识别、跟踪人并对其行为进行理解和描述[2]，后者使用可穿戴传感器对用户运动信息进行收集，并对传感数据进行分析，识别出人的运动[3]。基于传感器的方法通常具有以下步骤：传感器信号预处理、特征提取及特征分类。文献[4]使用加速度传感器的均值、标准差、合加速度的均值以及两波峰间距作为特征，对6种运动进行分类(走、跳、上下楼、坐、站立)，使用多层神经网络进行分类，达到91.7%的分类正确率。文献[5]对加速度传感器数据进行离散小波变换，将每层高低频的能量作为运动特征，使用朴素贝叶斯和多层感知器的分类方法对7种运动(静止、行走、跳、冲刺跑、击球、截球、运球)分类，得到最高87%的准确率。以上两种方法都需将传感器固定于身体特定位置才能进行识别，降低了灵活性。文献[6]使用二次判别法(quadratic discriminant analysis, QDA)和最近邻法(k nearest neighbors, KNN)对5类运动(静止、行走、骑车、开车、跑步)进行了分类，并分别达到95.8%和93.9%的正确率。文献[7]将加速度信号的自相关模型系数和信号幅值区域作为特征，使用BP(back propagation)神经网络对4类运动(躺下、站立、行走、跑步)进行分类并达到99%的正确率。以上两种方法都只考虑了较少的运动状态。文献[3]以加速度信号的均值、标准差、能量及相关系数作为特征，对6类运动(站立、行走、跑、上下楼、起立、打扫、刷牙)使用简单投票的方法融合多个决策树分类器进行分类。文献[8]使用两轴加速度信号的均值、能量、频域熵以及相关系数作为特征，使用决策树对20种运动进行分类，分类正确率为80%左右。文献[9]使用两轴传感器，通过最小二乘支持向量机(LS-SVM)对8种运动(站立静止、站立摆手、轻微摆手行走、正常摆手行走、转弯、上下楼)进行分类，该类方法并没有对运动进一步细分，精确识别出具体是何种速度下的运动。

使用传感器进行运动识别，以往研究大多基于传感器固定于身体某位置的假设，识别方法对传感器位置要求较高，实际情况中传感器在运动过程中可能出现位置变化，影响判别精度。不同位置下传感器数据不同，分类依据也不同，固定传感器使其灵活性大大降低。近年来研究也开始考虑传感器的位置无关性[10]，但精度却不及固定传感器的方法。本文提出一种首先判断移动设备握持方式，再根据不同位置使用不同分类模型进行运动分类的方法。解决了传感器固定造成的灵活性低以及分类种类少的缺点。该方法首先对不同握持方式下的多传感器数据进行分析，确定设备位置；然后使用多层离散小波变换处理原始加速度传感器信号，将每一层的高频部分和最后一层的低频部分作为特征，使用奇异值分解法对特征进行降维得到轻量级的特征；最后用基于径向基核函数的SVM进行特征分类。实验结果表明本文方法识别了5种握持方式(耳边、兜、贴近身体一侧、胸前、身体一侧摆动)下的5种运动(静止、慢速、快速、常速、跑步)。

1 系统结构及预处理

1.1 系统结构

系统主要分为4部分：传感器数据的收集及预处理、运动特征提取、手机握持方式识别、行人运动状态识别。系统结构如图1所示，图2为该系统的实现流程。图1中预处理模块对不同轴向多传感器数据进行整理和降噪预处理操作。特征提取模块根据不同握持方式提取不同传感器数据特征，并进行降维处理。运动状态识别分为训练阶段和识别阶段，训练阶段对运动状态特征进行学习、获取分类模型参数；识别阶段使用训练所得模型参数，对未知类别数据进行分类，最终输出识别结果。后文将详细介绍各个模块。

1.2 重力去除

该系统获取手机中运动传感器(加速度传感器)数据。集成在手机中的三轴(,,)加速度传感器分为两种：一种是由于恒定重力作用产生的加速度，另一种是用户握持设备运动产生的加速度[11]。为了获取真实运动状态需将重力剔除，因此将重力及传感器本身的测量误差均视为噪音。该方法分别对重力和测量误差产生的噪音进行降噪处理。去除重力干扰，使用滤波器公式如下[11]：

(2)

1.3 加速度数据降噪

为降低传感器测量噪音，本文使用了简单移动平均(simple moving average,)的方法。方法其基本原理是将每个数据值替代为其邻近数据的均值，降低噪音数据对波形的影响，从而让曲线更加平滑，突出整个曲线的变化趋势，便于后续分析及处理。式(3)为滑动窗口为的平滑：

(4)

图3 SMA滤波效果

2 握持方式及运动状态识别

2.1 握持方式识别

握持手机方式不同，传感器数据变化规律也不同。如正常行走时，手臂的自然摆动会引起近程传感器读数交替变换。根据此类现象对手机握持方式(耳边、兜、贴近身体一侧、胸前、身体一侧摆动)进行判断，流程见图4所示。获取光照、近程、加速度传感器数据，依据数值变化特点进行握持方式判别。握持方式按近程传感器数据划分三大类：靠近、远离、远近交替。靠近身体对应传感器数值较小，远离身体对应传感器数值较大，远近交替对应传感器数值大小交替变换。

对靠近身体这一类别，结合光照传感器、加速度传感器及Android系统状态，判别出耳边、兜里及贴近身体静止3种方式。当光照强度为0且系统状态为通话，判定为耳边；当光照强度小于20 lux时，判断为放在兜里；当相邻加速度传感器差值的绝对值小于5 m/s2，判断为贴近身体静止。对远离身体这一类别，结合加速度传感器及系统触屏状态，判别出操作手机及看手机。通过调用系统函数获取系统触屏状态，当状态为触摸时，判断为操作手机。当加速度传感器轴数值大于5 m/s2，判断为看手机。远近交替这一类别，近程传感器会出现数值的交替变换，据此可判断此时握持方式为握持手机双臂摆动行走。以上对于阈值的设定均为实验环境下经验值。判断出握持方式后，按各类握持方式，选取相应轴向加速度数据进行运动特征提取及运动状态分类。

2.2 运动特征提取

提取运动特征主要有时域法及频域法，时域法直接提取传感器时序序列的统计特征，如均值、方差、最大值、最小值等，频域法则大多通过傅里叶变换得到信号频率构成，据此分析传感器时序序列。两种方法能一定程度上地反应运动波形特点，但都较片面，无法全面对波形特性进行描述。本文采用两步进行特征提取，首先使用能同时提取信号时频信息的离散小波变换进行波形分析，使用文献[12]的Mallat算法对波形信息进行小波变换，提取出信号高频及低频信息，并组成初级特征，再使用奇异值分解将较高维度的特征进行降维，获得适合分类的最终运动特征。Mallat算法是一种信号分解的方法，使用阶层式架构，对原始运动信号在不同尺度下进行分解，从而得到低频分量(即近似部分)和高频分量(即细节部分)，分解过程如图5所示。

低频分量为信号的近似值，是大的缩放因子产生的系数；高频分量为信号的细节值，是小的缩放因子产生的系数。其中每层的低频和高频分量通过式(5)和式(6)进行计算：

(6)

图5 离散小波变换阶层结构

图5中每层分解都需通过两个互补的高通滤波器和低通滤波器，并输出该层级的高频部分及低频部分。每一层的输入为上一层的低频输出，以此类推。其中低通滤波器系数为：

同理高通滤波器系数为：

(8)

为获得较多运动的细节，该方法将传感器的采样频率设置为50 Hz，但短时间内将产生到较大维度特征，不利于后续分类操作，故将原高维特征通过奇异值分解(singular value decomposition, SVD)的方法进行降维[13]，得较低维度特征。奇异值分解为对任意实矩阵，那么存在正交阶酉矩阵和阶的酉矩阵，使得：

(10)

所以：

(12)

单位向量则为：

由此：

(14)

2.3 运动状态识别

得到不同握持方式下的运动信号特征后，使用支持向量机SVM进行特征分类[14]。SVM属于监督式学习，分为训练阶段和测试阶段。训练阶段采集不同握持状态下，每2 s内的不同轴向加速度信号作为原始数据，通过上节介绍的小波变换和SVD进行特征提取及降维，并用径向基函数为核函数的软间隔支持向量机进行训练，最终得到分类模型。测试阶段，先经过握持方式判断，根据结果选取相应轴向上的加速度信号，对其进行与训练阶段相同的特征提取及降维操作，最后使用训练阶段得到的模型进行运动状态识别。

为得到较好的泛化能力及非线性分类效果，使用基于径向基的软间隔支持向量机，解决多维的运动状态分类问题：

(15)

3 实验结果与分析

3.1 握持方式识别

本节对5种握持方式进行实验，每种握持状态进行样本数为100的测试。令ST为一侧不动，为兜里，为耳边，为看手机，为接触屏幕，为手臂摆动；其中看手机和接触屏幕均归为胸前握持。实验发现，兜里和一侧不动的判别结果依赖于光照条件，所以光照对判别结果有一定影响。正常光照及弱光条件下进行的测试如表1和表2所示，每类为100个测试样本。

表1 正常光照条件下的握持方式判断结果

表2 弱光条件下握持方式判断结果

常光及弱光条件下，判别结果差别集中于兜里和身体一侧静止两类。因兜里的状态判断依据是近程传感器数值为0且光照传感器数值处于较小值。弱光环境下，即使未放在兜里，靠近身体一侧时光照传感器数值也会较小，故身体一侧静止和兜里两个状态易混淆。

3.2 运动状态识别

本节对不同握持方式下的5种运动状态识别进行实验。HT代表握持方式，AT代表运动状态。实际常光场景中握持手机贴近身体多数为静止状态，较易判断，故只对摆手、胸前、兜、耳边4种握持方式下的运动进行识别。胸前选择轴数据；耳边、摆手、兜中选择轴数据。交叉验证所得分类正确率如表3所示，不同运动状态识别率如表4～表7所示。

表3 训练分类正确率

表4 胸前状态下运动分类混淆率

表5 摆手状态下运动分类混效率

表6 耳边状态下运动分类混效率

表7 裤兜状态下运动分类混效率

由表3可见，胸前、裤兜、耳边3类静止状态下的分类均正确。静止状态各轴数值在0附近波动，与其他几类差别较大，故分类正确率较高。摆手静止为站立不动状态下摆手，与匀速行走中摆手相似，故分类表现低于胸前、兜、耳边3类。

本文分别使用文献[15]中的4种常用分类算法，对运动状态识别效果进行比较，结果如表8所示。由表可看出，通过参数寻优的SVM在几种情况中综合表现最好，能够实现较高的运动识别正确率。支持向量机以结构化风险最小为目标，决策面取决于支持向量，并非利用数据的分布情况，故其在较小数据样本上的分类效果优于其他几类分类算法。

表8 常用分类器分类效果比较

3.3 特征及其他方法对比实验

本节选用不同特征进行运动识别对比。以胸前握持为例，对常用特征如方向速度、统计特征(均值、方差[16])进行实验对比。

表9 不同特征下的分类效果比较

运动状态特征/% 统计特征Y方向速度本文特征 静止42 100100 慢走46 4398 匀速75 6795 快速847695 跑步100 10096 平均精度69.47796.8

由表9可见统计特征存在慢走和静止识别率较低的情况，这是由于统计特征对速度较小变化的敏感度不高，导致静止和慢走混效率较高。轴方向(前进方向)只能在静止和快速跑动时效果明显，其余速度下分类效果较差，出现慢走与匀速，快速与匀速产生混淆的情况。综上，本文特征提取方法较优。

表10 不同识别方法效果对比

表10为不同方法的综合识别精度对比。该表中HMM以随机森林进行特征选择用隐马尔科夫模型进行分类[17]。该方法虽然平均精度为92%，但是其运动的分类数量较少，也未考虑到手机握持对识别的影响。ANN以自回归系数作为特征用人工神经网络进行分类[10]。该方法虽特征提取过程较简单，但识别精度较低。GMM以高斯混合模型进行分类[18]。该方法使用固定在手腕上的传感器进行数据采集，虽然有91%的识别精度，但缺乏灵活性。综上，本文方法相比以往识别及特征选取算法有一定提高。

3.4 握持及运动综合实验

本节将握持方式及运动识别结合在一起进行实验。3.1节所提到的握持方式受光照影响，故此节实验均处于正常光照条件下进行。实验结果如表11所示，其中摆手及兜中识别率较低而耳边及胸前识别率较高。当设备相对固定时，运动的随意性对传感器数据影响较小，引入的运动识别噪声也就较小。摆手及兜两种状态下，不同人的摆手姿势不相同，手机放入兜中的姿态也不同，干扰了运动分类，故两种状态下的分类识别率较低。

表11 握持及运动状态综合识别

4 结束语

本文使用两段式方法对握持方式及运动状态进行识别，识别出5种握持方式(耳边、兜、贴近身体一侧、胸前、身体一侧摆动)下的5种运动状态(静止、慢速、快速、常速、跑步)。以往研究常忽视掉手机握持方式对运动识别的影响。本文创新地将手机的握持方式考虑到运动识别中，首先识别握持方式再识别运动状态。用小波变换对原数据进行特征提取，用SVD对高维特征进行降维，最后使用基于径向基核函数的支持向量机解决运动多分类问题。未来可进一步提高在弱光情况下的握持方式识别率，研究更多的运动状态。

[1] ABDULLAH M F A, NEGARA A F P, SAYEED M S, et al. Classification algorithms in human activity recognition using smartphones[J]. International Journal of Computer and Information Engineering, 2012, 6: 77-84.

[2] 王亮, 胡卫明, 谭铁牛. 人运动的视觉分析综述[J]. 计算机学报, 2002, 25(3): 225-237.

WANG Liang, HU Wei-ming, TAN Tie-niu. A survey of visual analysis of human motion[J]. Chinese Journal of Computers, 2002, 25(3): 225-237.

[3] RAVI N, DANDEKAR N, MYSORE P, et al. Activity recognition from accelerometer data[C]//American Association for the Artificial Intelligence. IAAI' 05 Proceedings of the 17th conference on Innovative applications of artificial intelligence. [S.l.]: AAAI Press, 2005, 5: 1541-1546.

[4] KWAPISZ J R, WEISS G M, MOORE S A. Activity recognition using cell phone accelerometers[J]. ACM SigKDD Explorations Newsletter, 2011, 12(2): 74-82.

[5] MITCHELL E, MONAGHAN D, O'CONNOR N E. Classification of sporting activities using smartphone accelerometers[J]. Sensors, 2013, 13(4): 5317-5337.

[6] SIIRTOLA P, RÖNING J. Recognizing human activities user-independently on smartphones based on accelerometer data[J]. International Journal of Interactive Multimedia and Artificial Intelligence, 2012, 1(5): 38-45.

[7] KHAN A M, LEE Y K, KIM T S. Accelerometer signal-based human activity recognition using augmented autoregressive model coefficients and artificial neural nets[C]//Engineering in Medicine and Biology Society, 2008. [S.l.]: IEEE, 2008: 5172-5175.

[8] BAO L, INTILLE S S. Activity recognition from user-annotated acceleration data[C]//Pervasive computing. Berlin, Heidelberg: Springer, 2004: 1-17.

[9] PEI L, LIU J, GUINNESS R, et al. Using LS-SVM based motion recognition for smartphone indoor wireless positioning[J]. Sensors, 2012, 12(5): 6155-6175.

[10] KHAN A M, SIDDIQI M H, LEE S W. Exploratory data analysis of acceleration signals to select light-weight and accurate featuresfor real-time activity recognition on smartphones[J]. Sensors, 2013, 13(10): 13099-13122.

[11] Google Inc. Isolating the force of gravity using a low-pass filter, 2014[EB/OL]. (2015-11-2). http://developer.android. com/reference/android/hardware/SensorEvent.html#values.

[12] MALLAT S G. A theory for multiresolution signal decomposition: the wavelet representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1989, 11(7): 674-693.

[13] HOLMES G, DONKIN A, WITTEN I H. Weka: a machine learning workbench[C]//Proceedings of the 1994 Second Australian and New Zealand Conference on Intelligent Information Systems. [S.l.]: IEEE, 1994: 357-361.

[14] CHANG C C, LIN C J. LIBSVM: a library for support vector machines[J]. ACM Transactions on Intelligent Systems and Technology (TIST), 2011, 2(3): 27.

[15] HOLMES G, DONKIN A, WITTEN I H. Weka: a machine learning workbench[C]//Proceedings of the 1994 Second Australian and New Zealand Conference on Intelligent Information Systems. [S.l.]: IEEE, 1994: 357-361.

[16] LEE Y S, CHO S B. Activity recognition with android phone using mixture-of-experts co-trained with labeled and unlabeled data[J]. Neurocomputing, 126 (2014): 106-115.

[17] RONAO C, CHO S B. Human activity recognition using smartphone sensors with two-stage continuous hidden Markov models[C]//2014 10th International Conference on Natural Computation. [S.l.]: IEEE, 2014: 681-686.

[18] ALLEN F R, AMBIKAIRAJAH E，LOVELL N H. An adapted gaussian mixture model approach to accelerometry-based movement classification using time-domain features[C]//28th Annual International Conference of the IEEE. Engineering in Medicine and Biology Society [S.l.]: IEEE, 2006: 3600-3603.

编 辑 蒋 晓

Activity and Holding Mode Recognition Using Multiple Sensors

HUANG Yi-ming, LEI Hang, ZHOU Rui, and SANG Nan

(School of Information and Software Engineering, University of Electronic Science and Technology of China Chengdu 610054)

Traditional activity recognition methods are based on sensors at the fixed positions of users. Once the sensors’ positions are changed, the performance of the methods will be degraded. Unlike most of these studies, the proposed system firstly detects the holding mode of the phone, and then recognizes the human activities. Our work contains preprocessing, feature extraction and classification. By using wavelet transform and singular value decomposition to extract and reduce features dimension and using RBF-based SVM (support vector machine) for classification, the system is able to recognize 5 holding modes (close to body on the side, swing, holding at the front, close to ear) and 5 activities (stationary, slow walking, normal walking, fast walking and running). Comparing with 4 common classifiers, the result shows that the proposed method performs the best and its detection accuracy is about 93% .

activity recognition; singular value decomposition; support vector machine; wavelet transform

TP181

A

10.3969/j.issn.1001-0548.2017.02.014

2015-11-19；

2016-05-03

国家科技部基金(2012BAH44F02）

黄一鸣(1991-)，男，博士生，主要从事机器学习、模式识别方面的研究.