基于改进隐马尔科夫模型的鲁棒用户行为识别

何敏 彭岚倩 刘宏立 胡久松

摘 要：提出了一种基于改进隐马尔科夫模型的用户行为识别方法.采用遗传算法用于优化隐马尔科夫模型的初始参数，将混沌算子代替遗传算法中高斯变异算子，以避免传统遗传算法在收敛过程中的停滞和早熟问题，并有效解决传统隐马尔科夫模型中Baum-Welch算法对初始参数敏感的问题.此外，采用UCI中ADLs数据对用户行为进行识别，实验结果表明该方法具有很高的识别率和可靠性.

关键词：隐马尔科夫模型；遗传算法；Baum-Welch算法；用户行为识别

中图分类号：TP391 文献标志码：A

Abstract：An improved Hidden Markov Models （HMM） was proposed to recognize the user's behavior. In order to improve the learning efficiency of Baum-Welch algorithm in HMM， and to solve the problem of initial sensitivity， the improved GA s used to optimize the initial parameters of HMM， in which the Chaos operator is utilized to avoid the problem of stagnation and premature convergence of the traditional GA in the convergence process. Finally， the experiment results based on ADLs data in UCI show the algorithm's availability and reliability for user's behavior recognition.

Key words：Hidden Markov Models； Genetic algorithm； Baum-Welch algorithm； users behavior recognition

随着机器学习算法和人工智能的进步，智能家居领域在中国兴起了浪潮.利用室内布置的智能家居传感器，以无线传感技术采集并记录用户在日常生活中的行为数据，因相似数据中隐含了用户的某种行为模式，通过记录的数据对用户生活习惯建模就可以实现用户行为识别[1-2].用户行为识别技术在运动识别、健康监测、跌倒监测等多个领域得到了研究和应用[3-7]，如文献[3]中介绍了一种基于智能手机传感器的用户行为识别系统；文献[4]介绍了使用可穿戴式设备的惯性传感器来识别人类活动的系统；文献[5]中将用户日常行为识别技术应用到用户健康监测；文献[6]对记录的活动序列进行分析，分析结果应用到惯性导航领域；文献[7]基于智能移动设备对用户行为记录的数据实现了用户行为跟踪；文献[8]利用极速学习机ELM分类器对移动用户行为进行识别，提出一种位置无关的多模型移动用户行为识别方法；文献[9]结合L（2，1）范数稀疏特征选择和超法向量提出了一种新的深度图像序列行为识别方法，并利用线性分类器Liblinear进行分类；文献[10]针对目前行为识别通用模型对步行、上楼、下楼等易混淆行为识别准确率较低的情况，提出了一种基于小波分解及决策树分类器的行为识别通用模型；文献[11]对近年来提出的基于不同深度学习框架的人体行为识别新进展进行了逐一介绍和总结分析.

用户行为识别技术的关键是找到能精确体现人体行为逻辑顺序的关系模型，但可直接观测到的传感器状态与隐藏用户行为状态之间不具有一一对应的关系.隐马尔科夫模型HMM（Hidden Markov Model）具有双随机过程的特性[12]，能够很好地描述两种状态的隐含关系；再者，HMM具有完善的数学模型和理论基础，能很好地分析时序事件，且已在协议异常检测、手写识别、股票预测和DNA序列识别、动作识别[12-14]等方面大量应用.

本文采用HMM对用户日常行为进行建模.HMM模型的矩阵参数辨识是用户行为识别的重点，传统的Baum-Welch算法任意选取初始参数来重估，能够使迭代向着正确的方向發展，且收敛速度快，但是由于Baum-Welch迭代算法是根据梯度下降的方式进行局部优化，致使参数在迭代估计的过程中易陷入局部最优而影响最终值[15-18].为解决上述问题，本文将遗传算法引入到HMM的Baum-Welch算法的训练当中，利用遗传算法全局寻优的优点，有效避免了Baum-Welch算法对初值的敏感.

1 相关理论及算法介绍

1.1 隐马尔科夫模型HMM

HMM模型包含两个随机过程，即观测状态和隐藏状态，并利用参数表示随机过程的统计特性.HMM描述的是概率统计下的状态转移模型，应用马尔科夫假设对连续时刻之间的相关性建模，依赖于以下两个独立条件.

HMM模型需要解决三个问题，即模型原始矩阵参数值设定、可观测状态序列概率及最可能出现的隐藏状态序列[17].

1.2 基于GA的HMM模型优化算法

在HMM训练过程中，Baum-Welch算法对随机选定的初始矩阵参数会产生较大的差异，使结果陷入局部最优，影响建模准确性.由Holland教授提出遗传算法把自然界中“优胜劣汰，适者生存”的思想引入参数优化算法中，并通过选择、交叉和变异对个体进行选择，保留适应度值好的个体，淘汰适应度值差的个体，反复循环，就得到了进化得好的种群[18-19].本文结合遗传算法全局搜索的优点[20-21]，将经过遗传算法优化后的结果当作HMM的矩阵初始参数，从而解决Baum-Welch训练算法对初始参数随机选择造成的敏感问题.但使用传统的遗传算子，又会容易被进化过程当中产生的“超级个体”困住，无法使其余染色体得到同样的进化，丢失了优秀的染色体，使得进化停滞.针对这一问题，本文对最易产生超级个体的变异算子进行改进，采用混沌算子进行变异操作，以普遍提高进化结果的质量.算法详细步骤如下：

1）染色体编码

为保证遗传算法在产生新个体的同时能满足这一条件，需要对每一代新个体的参数进行归一化处理，把HMM三个矩阵的各个参数作为染色体的各个基因，图1给出了两个隐藏含状态时的编码示意图.

2）适应度函数

适应度函数的选择是评选个体的重要参数，由于求解的问题不同，表达式也会有不同，联系HMM的学习算法特性，对于给定的观测状态序列，找到使条件概率P（O|L）最大的HMM参数，基于此特性，把log（P（O|L））作为适应度函数[15]，从而保证结果的最优化.

3）选择算子

选择操作通过对适应度函数的评估，使适应度好、生命力强的个体遗传到下一代，选择算子（通常为基于适应度的函数）是对整个种群执行优胜劣汰的操作，是为了避免有用遗传信息在群体进化过程中被遗失，提高全局收敛性和计算效率.本文采用轮盘赌法选择算子，挑选出适应度高的个体.

4）交叉算子

在自然界中，两个染色体通过交换彼此之间的信息，从而完成种群繁衍更新，提升算法的全局搜索能力.传统的一点交叉，会丢失许多优秀基因，致使个体多样性减少.由于存在上述问题，本文选用算术交叉算子，算术交叉是指两个染色体的基因通过选择系数进行组合，从而产生新后代，算术交叉过程如下：

5）改进变异算子

变异有助于新个体的产生.普通的变异一般采用基于高斯分布的随机数字进化，由于高斯函数的分布通常有长而扁平的尾巴，远离中心轴距离较远的个体变异概率较低，相较之下混沌算子的变异概率在横坐标0附近对应的纵坐标的概率是最高，具备了高斯分布的特性，且在远离中心点的地方也有较高的概率，产生的后代跟父代差异更大，基于上述考虑，本文采用文献[18]中提到的混沌映射算子用于变异操作，得到映射模型：

2 基于改进HMM模型的用户行为识别

由于人体行为产生的信号时序性较强，且隐马尔科夫模型的输入数据通常是一维数据.因此，在用于用户行为识别时，将门磁等传感器采集的数据通过预处理转换为一维向量进行训练.图2中列出了传感器和用户行为关系的HMM模型.

本文采用前述的基于改进HMM模型方法对用户日常行为识别，具体流程图如图3所示.

首先对训练数据进行预处理，将训练数据集中的时刻统一划分为26个时段，使数据集构成的数据长度一致，对数据存储提供了方便.预处理之后将训练数据作为观测数据，在HMM训练过程中，把经过遗传算法优化后的结果当作HMM的矩阵初始参数，引入Baum-Welch算法中学习，得到重估后的概率矩阵参数，基于概率矩阵参数构建模型库.将待识别的测试数据采用前向算法，计算HMM模型库中log（P（O|L））的值，从各个HMM对应的前向概率对数值中选取最大的值所对应的HMM模型作为该测试数据对应的模型.利用前向概率找到了合适的模型，最后用Viterbi算法解码，动态寻找最佳路径，得到观测数据对应的隐状态，即用户行为.

3 实验结果及分析

为验证上述方法的有效性，本文采用UCI数据集中ADLs[22]（Activities of Daily Living）数据作为对象进行实验.数据集中记录了两组数据，分别是12种传感器和10种用户生活习惯，通过在门、沙发、床、橱柜、冰箱和厕所冲水箱等地方放置相应的传感器采集数据，数据集总共记录了35天的生活数据，按比例5∶2分为训练数据和测试数据.并且对结合改进GA的BW算法、结合传统GA的BW算法[23]、经典BW算法[24]三者的标准方差进行比较，并计算识别率.从图4仿真结果图中可以看出结合改进GA的BW算法产生的结果明显优于结合传统GA的BW算法.

为了比较三种算法在训练隐马尔科夫模型参数的收敛性，采用标准误差进行结果对比：

抽取一个样本观察在BW迭代过程中转移概率矩阵得到的标准误差如图5所示.可以看出三种算法中，经典BW算法[24]的标准误差接近0.24左右才收敛，传统GA结合BW算法[23]的标准误差接近0.2左右收敛，改进GA經过BW迭代后的标准误差接近0.14时收敛，改进GA得到的初始值经过BW迭代后提高了全局搜索能力，避免了对初始值敏感这一问题.

图6为改进后的遗传算法跟传统的遗传算法[23]的适应度值的比较，（a）图中给出的是改进GA的最佳适应度和平均适应度值，从图中可以看出两者之间趋向一致且最佳适应度值跟平均适应度值差距不大，染色体之间的适应度值均比较高，没有进化的超级个体，实现了全局优化，而（b）图中在第6代最佳适应度值出现了突增，且后面代数平均适应度值增长缓慢，说明该算法产生了超级个体，适应度值远远超过其他染色体，循环一直不能跳出该值，陷入了局部优化.综合以上分析，改进的GA实现了全局优化，更加准确地训练出HMM模型，提高了系统的质量，从而验证了改进的遗传算法的稳定性和有效性.

4 结 论

针对传统HMM模型中Baum-Welch算法易受初始参数影响的问题，本文提出了一种基于改进HMM的鲁棒用户行为识别方法，将A，B，π三个矩阵的各个参数作为染色体的基因，对其进行全局搜索优化.为保证模型的稳定性，本文利用改进的遗传算法，将混沌变异算子代替传统高斯算子应用到遗传算法中，用改进后的算法得到的结果作为BW算法的初始参数，随后建立HMM模型库，为用户行为匹配提供了途径，之后用Viterbi算法解出对应的用户行为，最后用UCI数据集中的ADLs数据进行实验，对经典BW、传统GA+BW和改进GA+BW三种算法在迭代过程中矩阵参数的标准方差进行比较，并对算法的最佳适应度和平均适应度值进行对比，结果表明本文提出的方法在识别准确率、标准误差上都要优于另外两种算法，在适应度上也能看出弥补了传统遗传算法的缺点，从而验证了算法的有效性和可靠性.

参考文献

[1] LI M， LIN H. Design and implementation of smart home control systems based on wireless sensor networks and power line communications[J]. IEEE Transactions on Industrial Electronics， 2015，62（7）：4430-4442.

[2] ORDEZ F J， ENGLEBIENNE G， TOLEDO P D， et al. In-home activity recognition： Bayesian inference for hidden Markov models[J]. IEEE Pervasive Computing， 2014，13（3）：67-75.

[3] HOSEINI-TABATABAEI S A， GLUHAK A， TAFAZOLLI R. A survey on smart phone-based systems for opportunistic user context recognition[J]. ACM Computing Surveys（CSUR）， 2013，45（3）：1-33.

[4] BULLING A， BLANKE U， SCHIELE B. A tutorial on human activity recognition using body-worn inertial sensors[J]. ACM Computing Surveys（CSUR）， 2014，46（3）：57-76.

[5] CHIANG J H， YANG P C， TU H. Pattern analysis in daily physical activity data for personal health management[J]. Journal Pervasive and Mobile Computing， 2014，13（4）：13-25.

[6] ZHOU B， LI Q， MAO Q， et al. Activity sequence-based indoor pedestrian localization using smart phones[J]. IEEE Transactions on Human-Machine Systems， 2015，45（5）：562-574.

[7] MARTIN H， BERNARDOS A M， IGLESIAS J， et al. Activity logging using lightweight classification techniques in mobile devices[J]. Personal and Ubiquitous Computing， 2013，17（4）：675-695.

[8] 王忠民，韩帅，宋辉.一种位置无关的多模型移动用户行为识别方法[J].计算机应用研究，2017，34（4）：1060-1062，1066.

WANG Z M， HAN S， SONG H. A location-independent multi-model mobile user behavior recognition method[J]. Application Research of Computers，2017，34（4）：1060-1062，1066.（In Chinese）

[9] 宋相法，张延锋，郑逢斌.基于L（2，1）范数稀疏特征选择和超法向量的深度图像序列行为识别[J].计算机科学，2017，44（2）：306-308，323.

SONG X F， ZHANG Y F， ZHENG F B. Activity recognition from depth image sequences based on L（2，1） norm sparse feature selection and super normal vector[J]. Computer Science， 2017，44（2）：306-308，323.（In Chinese）

[10]贺炎，王斌，王忠民.小波分解在移动用户行为识别中的应用[J].北京邮电大学学报，2016，39（4）：67-70.

HE Y， WANG B， WANG Z M. Application of wavelet decomposition in mobile user behavior recognition[J]. Journal of Beijing University of Posts and Telecom， 2016，39（4）：67-70.（In Chinese）

[11]朱煜，赵江坤，王逸宁，等.基于深度学习的人体行为识别算法综述[J].自动化学报，2016，42（6）：848-857.

ZHU Y， ZHAO J K， WANG Y N， et al. Summarization of human behavior recognition algorithm based on deep learning[J]. Journal of Automation， 2016，42（6）：848-857.（In Chinese）

[12]王昌海，張建忠，徐敬东，等.基于HMM的动作识别结果可信度计算方法[J].通信学报，2016，37（5）：143-151.

WANG C H， ZHANG J Z， XU J D， et al. Identifying the confidence level of activity recognition via HMM[J]. Journal on Communications， 2016，37（5）：143-151.（In Chinese）

[13]HASSAN M R， NATH B. Stock market forecasting using Hidden Markov Model： a new approach[C]//International Conference on Intelligent Systems Design and Applications. 2005：192-196.

[14]溫加睿，刘丽娜，芮玲，等.基于自学习特征与HMM的人体动作识别[J].系统仿真学报，2015，27（8）：1782-1789，1795.

WEN J R， LIU L N， RUI L， et al. Human action recognition based on self-learning feature and HMM[J]. Journal of System Simulation， 2015，27（8）：1782-1789，1795.（In Chinese）

[15]ALEMDAR H， KASTEREN T L M V， NIESSEN M E， et al. A unified model for human behavior modeling using a hierarchy with a variable number of states[J]. International Conference on Pattern Recognition，2014，29（2）：3804-3809.

[16]PATTERSON D J， FOX D， KAUTZ H， et al. Fine-grained activity recognition by aggregating abstract object usage[C]//IEEE International symposium on Wearable Computers. 2005：44-51.

[17]CRANDALL A S， COOK D J. Using a Hidden Markov Model for resident identification[C]//Sixth International Conference on Intelligent Environments. IEEE Xplore， 2010：74-79.

[18]YANG L J， CHEN T L. Application of chaos in genetic algorithms[J]. Journal of Communications in Theoretical Physics， 2002，38（8）：168-172.

[19]HALALAI R， LEMNARU C， POTOLEA R. Distributed community detection in social networks with genetic algorithms [C]// IEEE International Conference on Intelligent Computer Communication and Processing. 2010：35-41.

[20]LIAO L， FOX D， KAUTZ H. Location-based activity recognition using relational Markov networks [C]// International Joint Conference on Artificial Intelligence. 2005：773-778.

[21]刘振军，杨迪雄.面向工程全局优化的混沌优化算法研究进展[J].计算力学学报，2016，33（3）：269-286.

LIU Z J， YANG D X. Research advances of chaos optimization algorithms for engineering global optimization[J]. Journal of Computational Mechanics， 2016，33（3）：269-286.（In Chinese）

[22]ORDONEZ F J， De TOLEDO P， SANCHIS A. Activity recognition using hybrid generative/discriminative models on home environments using binary sensors [DB/OL]. Sensors. https：//archive.ics.uci.edu/ml/datasets/Activities+of+Daily+Living+（ADLs）+Recognition+Using+Binary+Sensors， 2013-13，5460-5477/2017-5.

[23]吴刚，邱煜晶，王国仁，等.基于隐尔可夫模型和遗传算法的地图匹配算法[J].东北大学学报（自然科学版），2017，38（4）：472-475.

WU G， QIU Y J， WANG G R， et al. Map matching algorithm based on Hidden Markov model and Gennetic algorithm[J]. Journal of Northeastern University（Natural Science）， 2017，38（4）：472-475.（In Chinese）

[24]BILMES J A. A gentle tutorial of the EM algorithm and its application to parameter estimation for Gaussian Mixture and Hidden Markov models[M]. U.C. Berkeley： International Computer Science Institute， 1998：120-126.