基于BSN和CHMMs的人体日常动作识别方法研究

姜 鸣＊，， 王 哲 龙， 刘 晓 博， 赵 红 宇， 胡 耀 华

(1.大连理工大学 控制科学与工程学院，辽宁 大连 116024；2.东莞理工学院 电子工程学院，广东 东莞 523808；3.中国科学院沈阳自动化研究所 机器人学国家重点实验室，辽宁 沈阳 110016；4.大连交通大学 电气信息学院，辽宁 大连 116028)

0 引 言

人体传感器网络(body sensor networks，BSN)是无线传感器网络在人体监督中的应用，通过多个固定在人体上的传感器节点，BSN可以采集各肢体部位的运动信号，使用无线网络将这些信号发送到远程接收终端，通过分析这些运动数据来识别不同的人体动作[1].已有研究显示，应用 BSN 识 别老年 人[2－3]、慢性病患者[4－5]，以及术后病人[6]等特殊人群的日常动作，可以有效地提高对这些人群的医疗监护质量[7－8].

BSN数据的处理通常被归结为一个分类过程[9]，每个类别对应一个人体动作，常用的分类器包括贝叶斯分类器、决策树、最近邻分类器、支持向量机和隐马尔可夫模型等[10－13]，分类过程通常基于特征层融合和基于决策层融合两种数据融合方式[14].在基于特征层融合的分类方式中，首先提取每个传感器节点的信号特征，之后使用特征选择和特征降维技术将这些特征整合为特征向量，最后使用分类器对特征向量进行分类.在基于决策层融合的分类方式中，首先提取每个传感器节点的信号特征形成特征向量，之后使用分类器对每个特征向量进行单独分类，最后应用决策规则对分类结果进行融合.以上两种分类方式的不足之处在于，分类过程只考虑了传感器节点本身对分类结果的影响，而不同传感器节点之间的内在关联在分类过程中没有被充分考虑，因此限制了分类结果的准确率.

本文建立一个基于BSN的人体日常动作监督平台，通过固定在人体四肢和腰部的5个加速度传感器节点采集人体的动作信号.针对动作识别过程中存在的多传感器数据融合问题，提出一种基于耦合隐马尔可夫模型(coupled hidden Markov models，CHMMs)的动作识别方法，该方法在分类过程中通过建立不同传感器节点之间的关联，提高识别结果的正确率.

1 耦合隐马尔可夫模型

1.1 模型的建立

CHMMs是Brand等[15]在隐马尔可夫模型(hidden Markov models，HMMs)基础上提出的扩展模型.HMMs是用来描述含有隐含未知参数的马尔可夫过程的概率模型，已经成功地在语音识别、图像识别和生物序列分析等多个领域中得到应用[16].CHMMs将多个HMMs结合在一起，能够对含有多个相互关联数据链的随机过程进行建模和统计分析.目前CHMMs已经在语音信号处理[17]和生物信号处理[18]中得到使用.BSN 中每个传感器节点构成一个单独的数据源，因此BSN数据包含多个相互关联的数据链，适合采用CHMMs对其进行建模和分析.

本文采用CHMMs作为动作识别工具，对每个人体日常动作建立一个模型，模型结构如图1所示，其中N为传感器节点的数量，T为观测序列的长度表示第n个(1≤n≤N)传感器节点在第t个(1≤t≤T)时段内的隐藏状态表示第n个传感器节点在第t个时段内输出的观测值.在本文建立的CHMMs中，传感器节点的隐藏状态代表了相应肢体部位的运动模式，同一肢体部位运动模式的不同转换方式描述了该肢体部位的不同动作，不同肢体部位之间运动模式的相互影响描述了不同肢体部位之间的协同运动.

图1 应用BSN数据建立的人体日常动作的CHMMs结构Fig.1 Structure of CHMMs for modeling human daily activities based on BSN data

1.2 模型参数的训练

令第n个数据链包含Kn个状态，in表示其中的第i(1≤i≤Kn)个状态，令λ表示CHMMs的参数集合，λ包含以下参数.

本文采用Pernkopf[19]提出的基于期望值最大(expectation maximization，EM)算法的参数训练方法进行参数估计，使用训练数据集X0训练参数集λ，基本思路如下:首先给出参数集的初始估计λ′；在E阶段，应用forward－backward算法计算在参数集λ′下，CHMMs对训练数据集X0的似然值P(X0｜λ′)；在M阶段，重新估计参数集λ″使得CHMMs的似然值最大化；E阶段和M阶段迭代交替进行，直到似然值的增长P(X0｜λ″)－P(X0｜λ′)小于指定阈值.

1.3 应用CHMMs进行动作识别

本文应用CHMMs作为分类工具对Q个人体日常动作进行识别.令X表示总训练数据集，X中的元素为等长的观测序列，即带有动作标签的特征向量序列.令Xq(q＝1，…，Q)表示X的子集，Xq包含所有属于第q个人体日常动作的训练样本.建立Q个CHMMs，每个模型描述一个人体日常动作，令λq表示通过Xq训练得到的第q个模型的参数集.对未知动作类别的观测序列y，首先计算所有CHMMs对y的似然值，之后选择具有最大似然值的模型对应的人体日常动作，即识别结果为

2 基于BSN的人体日常动作监督平台

2.1 监督平台的建立

本文建立了一个基于BSN的人体日常动作监督平台，平台由信号采集端和信号接收端组成.图2所示为本文建立的BSN监督平台中各节点的示意图.传感器节点上安装有一枚三轴加速度传感器 (ADXL330)，能够采集±3g范围内的三维加速度信号.传感器节点负责将采集到的加速度信号通过无线收发芯片发送至信号接收节点，信号接收节点将接收到的信号保存在电脑中.实验中信号采集端包括5个传感器节点，分别固定在人体左右前臂、胸口和左右小腿.

2.2 实验数据的采集

实验有8名志愿者参加(4男、4女)，共进行9个日常动作，包括“站”“坐”“躺”“走路”“上楼”“下楼”“跑步”“骑车”和“划船”，前7个动作在实验室中完成，后2个动作在健身房中使用健身器械完成.实验中加速度信号的采样频率为20Hz，每个动作的持续时间约为20s，每个动作重复进行3次.图3所示为使用本文建立的BSN监督平台采集到的“走路”的一组加速度数据，图中横轴表示样本点的数量n，纵轴为加速度传感器输出的电压值V，与实际加速度值呈线性关系.从图3中可以直观地观察到，不同加速度传感器的信号波形之间具有较明显的关联，具有相似的波形周期，这种关联是由不同肢体部位之间的协同运动所产生的.

图2 BSN监督平台Fig.2 BSN monitoring platform

图3 使用BSN监督平台采集到的“走路”的一组加速度信号Fig.3 Acceleration signals of walking collected by using BSN monitoring platform

3 实验结果与分析

3.1 实验数据预处理

首先使用滑动窗口分割技术将实验数据分割为若干等长的时间片段(观测窗口)，每个观测窗口拥有一个人体动作的标签，实验中滑动窗口的长度选择为32个样本点(约1.5s)，相邻观测窗口之间有50%(16个样本点)的数据重叠，可以避免窗口边缘的信息丢失.之后提取观测窗口内的信号特征，形成特征向量.实验中选择的信号特征包括时域特征和频域特征两部分，如表1所示，这些特征的有效性在已有文献中得到了证明[9－13].

表1 实验中选择提取的信号特征Tab.1 Extracted signal features in the experiment

3.2 实验结果分析

本文采用十折交叉验证的方式验证本文提出的动作识别方法的效果，具体步骤如下:(1)将经过预处理之后的实验数据随机分为10个大小相同的子集；(2)选择其中1个子集作为测试数据集，合并其他9个子集作为训练数据集，训练CHMMs，并计算在测试集下的识别正确率；(3)循环执行步骤(2)共10次，每次选择不同子集作为测试数据集；(4)将平均10次测试结果的正确率作为最终的识别结果.在训练和测试CHMMs时，观测序列的长度选择为10，即每10个特征向量组成一个观测序列，相邻观测序列之间有9个特征向量的重叠，确保序列边缘信息不被丢失.此外，实验中选择了一些常用的人体动作识别方法进行对比，包括基于特征层融合和基于决策层融合的两种分类方式，分别选择支持向量机(support vector machine，SVM)和隐马尔可夫模型作为分类器.在特征层融合中，将不同传感器节点的特征向量进行直接累加；在决策层融合中，使用贝叶斯决策准则作为融合分类结果的方法.这些识别方法同样采用十折交叉验证方式得到最终的正确率.

表2所示为使用不同识别方法得到的识别结果的正确率，A1～A9分别代表实验中进行的9个人体动作.从表2中可以看到，本文提出的基于CHMMs的动作识别方法的平均识别正确率最高，达到91.81%，而基于特征层融合和决策层融合的两种分类方式，无论采用SVM还是HMM作为分类器，都没有取得理想的识别效果.这说明本文提出的基于CHMMs的动作识别方法能够挖掘不同传感器节点之间的关联性，从而有效地提高人体动作识别结果的正确率.实验中除了计算识别结果的正确率，即精确度(accuracy)，还计算了灵敏度(sensitivity)和特异度(specificity)这两个常用的评价分类器性能的指标[20]来进一步验证本文提出方法的效果，其中灵敏度和特异度的定义如下:

表3所示为使用不同动作识别方法得到的所有动作识别结果的平均精确度、灵敏度和特异度.从表3中可以看到，除了精确度外，本文提出的动作识别方法在灵敏度和特异度两个指标上同样取得了满意的结果.

表2 使用不同动作识别方法得到的人体动作识别结果的正确率Tab.2 Accurate rate of human activity recognition by using different recognition methods

表3 使用不同识别方法得到的人体动作识别结果的平均精确度、灵敏度和特异性Tab.3 Average accuracy，sensitivity and specificity of human activity recognition by using different recognition methods

4 结 论

本文建立了一个基于BSN的人体日常动作监督平台，使用固定在人体四肢和腰部的5个加速度节点采集人体动作信号，通过分析这些信号来识别人体动作.针对动作识别过程中存在的多传感器数据融合问题，提出了一个基于CHMMs的动作识别方法，该方法能够有效地挖掘不同传感器信号之间的关联，提高识别结果的正确率.通过对实验采集的9个人体日常动作的加速度数据进行处理，发现使用本文提出的动作识别方法的识别结果取得了满意的精确度(平均0.918)、灵敏度(平均0.354)和特异度(平均0.931)，均高于已有的基于特征层融合和决策层融合的动作识别方法.实验结果说明，本文提出的基于CHMMs的动作识别方法符合BSN数据的特点，能够在基于BSN的人体日常动作识别中得到应用.

[1]YANG G Z，Yacoub M.Body Sensor Networks[M].New York:Springer－Verlag，2006.

[2]Scanaill C N，Carew S，Barralon P，etal.A review of approaches to mobility telemonitoring of the elderly in their living environment [J].Annals of Biomedical Engineering，2006，34(4):547－563.

[3]King R C，Atallah L，Wong C，etal.Elderly risk assessment of falls with BSN [C]／／Proceedings of 2010International Conference on Body Sensor Networks. Washington D C:IEEE Computer Society，2010:30－35.

[4]Steele B G，Belza B，Cain K，etal.Bodies in motion:Monitoring daily activity and exercise with motion sensors in people with chronic pulmonary disease[J].Journal of Rehabilitation Research and Development，2003，40(5):45－58.

[5]Boyle J， Karunanithi M， Wark T，etal.Quantifying functional mobility progress for chronic disease management [C]／／ 28th Annual International Conference of Engineering in Medicine and Biology Society.New York:IEEE，2006:5916－5919.

[6]WANG Zhe－long，JIANG Ming，ZHAO Hong－yu，etal.A pilot study on evaluating recovery of the post－operative based on acceleration and sEMG [C]／／Proceedings of 2010International Conference on Body Sensor Networks. Washington D C:IEEE Computer Society，2010:3－8.

[7]Aziz O，Lo B，Pansiot J，etal.From computers to ubiquitous computing by 2010:health care [J].Philosophical Transactions of the Royal Society A:Mathematical，Physical and Engineering Sciences，2008，366(1881):3805－3811.

[8]Atallah L， YANG Guang－zhong. The use of pervasive sensing for behaviour profiling—a survey[J].Pervasive and Mobile Computing，2009，5(5):447－464.

[9]Preece J S，Goulermas Y J，Kenney P J L，etal.Activity identification using body－mounted sensors— a review of classification techniques [J].Physiological Measurement，2009，30(4):1－33.

[10]BAO Ling，Intille S S.Activity recognition from user－annotated acceleration data [J]. Pervasive Computing — Lecture Notes in Computer Science，2004，31(1):1－17.

[11]SUN Zuo－lei， MAO Xu－chu， TIAN Wei－feng，etal.Activity classification and dead reckoning for pedestrian navigation with wearable sensors [J].Measurement Science and Technology，2009，20(1):1－10.

[12]YIN Jie，YANG Qiong，Pan J J.Sensor－based abnormal human－activity detection [J].IEEE Transactions on Knowledge and Data Engineering，2008，20(8):1082－1090.

[13]Singla G，Cook D，Edgecombe M S.Recognizing independent and joint activities among multiple residents in smart environments [J]. Ambient Intelligence and Humanized Computing Journal，2010，1(1):57－63.

[14]YANG G Z，HU X P.Multi－sensor fusion[M]／／YANG G Z， Yacoue M，eds. Body Sensor Networks.New York:Springer－Verlag，2006:239－286.

[15]Brand M，Oliver N，Pentland A.Coupled hidden Markov models for complex action recognition [C]／／ 1997IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Juan:IEEE Computer Society，1997:994－999.

[16]Dietterich T G.Machine learning for sequential data:A review [J].Structural，Syntactic，and Statistical Pattern Recognition，2002，2396(1):227－246.

[17]Chu S M， Huang T S. Audio－visual speech modeling using coupled hidden Markov models[C]／／2002IEEE International Conference on Acoustics，Speech，and Signal Processing(ICASSP).Orlando:IEEE，2002:2009－2012.

[18]Rezek I，Roberts S J.Estimation of coupled hidden Markov models with application to biosignal interaction modelling [C]／／ Neural Networks for Signal Processing X:Proceedings of the 2000IEEE Signal Processing Society Workshop.Sydney:IEEE，2000:804－813.

[19]Pernkopf F.3Dsurface analysis using coupled HMMs [J]. Machine Vision and Applications，2005，16(5):298－305.

[20]Fawcett T.An introduction to ROC analysis[J].Pattern Recognition Letters，2006，27(8):861－874.