基于傅里叶-隐马尔科夫模型的人体行为识别方法研究

胡炜

（延安大学体育学院，陕西延安716000）

人类历史文明悠久，不断发展，创造了文明，在推动社会进步的过程中，由于自身能力有限和对生产效率的追求，创造了许多机器辅助工作，促进人类社会的发展。在计算机研究领域，当前主动识别和判断外界信息功能成为热点，通过计算机自动甚至主动识别，满足人类的信息服务需求，实现计算机视觉领域的转变。从“观察人”到“理解人”的转变是一个活跃的研究主题，通过计算机视觉技术，从图像序列中，对人进行检测、跟踪和识别，理解和描述人的行为，摆脱传统人机交互的方式，进一步发展相关技术，使计算机能够进行自动分析，获取人体信息，实现计算机系统的人性化和智能化，促进计算机系统的发展。以视觉为基础的人体行为分析，逐渐受到人们的关注。人体运动视觉分析的最终目的，是使计算机像人一样，能够观察和理解世界。但计算机很难准确提取轨迹特征，本文以傅里叶-隐马尔科夫模型为基础，探究人体行为识别方法。

1 运动目标检测

在序列图像中，从背景图像提取变化区域，采用背景减除法分割运动目标，就是运动目标检测的主要目的。背景图像和当前帧图像相减，差值高于某一阀值，运功目标中就会出现像素。在研究中，背景建模利用高斯建模的方式。受各种因素的影响，运功区域内部有小缝隙，二值图像有小部分噪声，需要特殊处理消除噪声区域，提高图像效果，使图像符合实际人体轮廓，提高信息的真实性。

采用形态学可以消除噪声。开运算、闭运算、膨胀、腐蚀等都是形态学的基本运算。

2 人体行为图像识别

2.1 提取图像特征

获取人体行为二值图像轮廓是人体行为序列图像识别的基础。首先要了解傅里叶理论，为方便计算，采用轮廓图像中心距，了解变换后特征，转化特征向量序列，方便图像的提取。识别人体的行为，主要采用隐马尔可夫模型（HMM）分类器。以傅里叶-隐马尔科模型为基础，探究人体行为识别方法。首先提取图像特征，然后进行矢量量化，接着进行分类识别。传统的傅里叶描述子要进行一维序列转化，将XY平面的轮廓曲线，转化成UV复平面，成为一维序列。有序点集为（xi，yi），一维序列为zi=xi+jyi，i=1，2，…，N。轮廓像素数为N。对zi取离散傅里叶变换得到：。

传统的傅里叶变化法在计算中，有不同的采样点数目，并且采集间隔小，复数运算多，运算量很大。因此，以中心距为基础，进行傅里叶变换运动，对人体的行为特征进行描述，可以避免复数运算。采样方法采用等间隔的长度，保证相互比较的图像中，轮廓点数相同，采样图像的轮廓。将人体的边界轮廓线分成N等份，N通常为2的平方，本次研究中N为128。假设人体轮廓坐标（xi，yi），i=1，2，……，N，为轮廓像素点数，轮廓重心坐标（xe，ye），其中xe=同时。

从人体轮廓上的任意一点到中心的距离是ri，ri=，所有的距离构成的特征矢量是R=（r1，r2，…，rN）。R的傅里叶变换公式为：

2.2 矢量量化

提取图像轮廓后，进行矢量量化，开始数据计算，然后根据隐马尔可夫模型进行分类。在矢量量化中，符号序列为特征向量序列转化。采用K均值聚类算法，聚类行为特征向量的序列，并编号，将人体行为序列，转化成符号序列，进行计算机的有效识别。

2.3 隐马尔科目模型

在人体行为识别中，采用无跨越左右型的隐马尔科夫模型。改进传统的隐马尔可夫模型，减少计算的复杂度，提高人体行为的识别率。模型的拓扑结构如图1所示。

图1 HMM模型拓扑结构图

确定HMM模型的初始参数十分重要，初始参数直接影响识别结果。描述本模型采用参数λ=（π，A，B），A是状态的转移矩阵，B是状态输出概况矩阵，π是初始状态的概率分布矩阵。根据无跨越左右型HMM的结构特性，设置的初始状态概率矩阵为：

矩阵A中，每一行的总和是1，在数值计算中假设a11=a12，a22=a23，…。

离散模型中每个状态都有M个输出概率，M是每类行为的码本大小。N行，M列的状态输出矩阵为B，B初始参数为。码本大小为M，bj(k)为在B矩阵中，第j行的k列的元素。训练模型参数采用使用已知的人体行为观察值序列，确定初始模型。采用Baum-Welch算法的方式，进行参数训练，训练每一个HMM模型。由于数据库比较小，采用固定训练次数。识别人体行为，输入观察符号序列O，O=v1v2……vT，其中T表示时间长度。在隐马尔可夫模型中，输入待识别的观察符号输，计算输出概率，采用前向算法进行计算。最终识别样本的所属类别，是最大概率对应的HMM的行为。

3 试验结果

人体行为识别模型，采用背景减除法计算二值图像序列，获得人体轮廓，如下图，图2是当前帧的图像，图3是前景目标，图4是根据顺序获得的轮廓数据重构人体的轮廓图。傅里叶变换后，振幅和能量是正相关，振幅越大，能量越高。经过傅里叶变换，通过中心距构成特征的矢量R，结果显示，低频部分是大部分能量聚集地区，通过30维低频分量，就可以对人体行为的大体形状进行描述。

图2 当前帧

图3 前景目标

图4 轮廓图

检验采用N=4，M=10的HMM模型，检测不同不同行为，跑、弯腰、做和蹲、走。布置简单的背景，测试人体行为的视频序列，每种行为分别执行四次，采集视频序列长度为50帧到100帧。将所有数据分成4种类型，每种类型有10个人执行，10个人分别对5种行为执行一次。两类数据作为测试，两类数据作为训练。测试每种模型对未知行为序列的识别情况，训练每种行为的HMM模型。设置每种行为码本为10，矢量量化特征向量总标号50。根据向前法计算行为模型的序列概率，概率最大所对应的模型，作为待识别行为的所属类型，所有行为被识别情况如下表。平均94%的行为都可以被正确分类，也有小部分行为分类错误。

表1 待识别行为的分类情况

4 应用分析

人体形状可以通过运动进行人体检测，获得图像。但是需要采用定量或者定性分析，判别运动的人体行为。人体行为识别的关键是人体形状特征的描述，通过良好的特征提取，就能提高人体行为识别的效果。傅里叶描述子是傅里叶变换后的系数，是对物体边缘曲线信号的频域空间分析，对封闭的物体形状边缘曲线进行傅里叶变换。离散傅里叶变换是可逆变换，不会有信息的增减。以傅里叶描述子为基础，提取运动人体的轮廓线，需要利用当前图像和背景图像的差分和二值化，对人体区域进行检测。经过形态学处理，获取纯粹的物体图像。然后利用边缘跟踪算法，提取运动人体的轮廓。人的行为是许多静态姿态组成，依据八邻域边缘跟踪方法提取轮廓属于二维形状，转成一维能够降低识别的复杂性。傅里叶描述子将图像转特征，变换为一维的特征向量，通过一维转换，方便轮廓的获取，而且频谱频率主要集中在低频区域，在实际计算中，傅里叶变换后的能量，只需要集中记录低频部分序列，在30维低频分量，就可以描述人体轮廓大致信息。传统的傅里叶变换方法，需要大量的复数运算，计算麻烦，需要耗费较多时间，本次采用中心距的变换方法，描述人体的行为特征，可以避免复数运算。在刻画人体轮廓结构，以及动态信息中，傅里叶描述子能够有效压缩数据。傅里叶描述的低频部分，决定轮廓的大体形状，高频部分基本上决定轮廓的细节，高频部分对匹配的作用不大，甚至增加计算量。

隐马尔可夫模型是一种统计模型，由马尔科夫链发展而来，适用于动态过程的时间序列建模，应用广泛，具有坚实的数学理论基础，。隐马尔可夫模型能够表示观察值和状态间的概率依赖关系，以及状态间的概率转化关系，是良好的描述现实问题的工具，引入隐马尔可夫模型，进行人体识别，有利于提高识别概率。马尔科夫过程描述的是重要的随机过程，在马尔科夫链模型中，观察值和状态一一对应。隐马尔可夫模型并不是一一对应，不能直接看到状态，只能看到观察值，需要得知观察值在状态中的初始概率、分布情况、状态转移概率矩阵，才能得到实际的状态序列。在实际应用中，一个对象控制的二层序列模型如果能够被一个可见状态受隐状态描述，就能采用隐马尔可夫模型的方式，根据可见序列分类识别隐序列。要在实践中成功运用隐马尔可夫模型，需要解决估值问题、解码问题和学习问题。当前，隐马尔可夫模型已经应用多种领域中，比如图像、语言识别、手写字识别、通讯盲平衡中等，人体行为识别领域是其新的应用领域。在体育运动中，尤其是体育竞赛、体育教学等活动中，通常需要人体行为识别，更好地判断体育中人体的行为，或者更好地引导教学，利用傅里叶-隐马尔科夫模型建立人体行为识别方式，都能够满足体育活动的需要。

5 结束语

文中基于傅里叶-隐马尔可夫模型，建立人体行为识别系统，识别性能良好，通过傅里叶描述子，提取人体轮廓特征，分析人体行为的形状特征，与隐马尔可夫模型相结合，进行人体行为分类识别，实验人体行为识别过程，证明该模型的有效性。本次研究从特定角度提取了人体行为的部分特征，对于多角度、多特征相融合的人体行为分析，需要进一步研究特征提取方法，设计更好的动态模式识别分类器。

参考文献：

[1]楚国玉，姜瑛，赵宏.基于隐马尔科夫模型的移动应用端行为模式识别[J].价值工程，2016，35（19）:173-175.

[2]尹坤阳，潘伟，谢立东，等.一种基于深度学习的人体交互行为分层识别方法[J].厦门大学学报：自然版，2016，55（3）:413-419.

[3]李思岑.基于高阶隐马尔科夫模型的人体行为识别研究[D].成都：西华大学，2016.

[4]王忠民，曹洪江，范琳.一种基于卷积神经网络深度学习的人体行为识别方法[J].计算机科学，2016，43（s2）:56-58.

[5]楚国玉，姜瑛，赵宏.基于隐马尔科夫模型的移动应用端行为模式识别[J].价值工程，2016，35（19）:173-175.

[6]唐超，王文剑，李伟，等.基于多学习器协同训练模型的人体行为识别方法[J].软件学报，2015，26（11）:2939-2950.

[7]姜枫，张丽红.基于随机Dropout卷积神经网络的人体行为识别方法研究[J].测试技术学报，2016，30（1）:17-22.

[8]张伟.智能空间下基于非视觉传感器数据的人体行为识别方法研究[D].济南：山东大学，2015.

[9]孙岩.基于隐马尔可夫模型的动作识别的研究与实现[D].沈阳：沈阳航空航天大学，2015.

[10]瞿涛，邓德祥，刘慧，等.多层独立子空间分析时空特征的人体行为识别方法[J].武汉大学学报：信息科学版，2016，41（4）:468-474.

[11]赵欣，周海英.一种结合深度信息的人体行为识别方法[J].科学技术与工程，2017（1）:244-249.

[12]王忠民，屈肃.一种极速学习机人体行为识别模型迁移方法[J].西安邮电大学学报，2015，20（1）:49-54.

[13]吴冬梅，谢金壮，王静.基于多特征融合的人体行为识别[J].计算机应用与软件，2015，32（11）:171-175.

[14]张爱辉，孙克辉.PCRM的改进及其在人体行为识别中的应用[J].计算机工程与设计，2016，37（9）:2515-2519.

[15]苟涛.基于可穿戴式三轴加速度传感器的人体行为识别[J].自动化应用，2015（12）:61-62.

[16]王鲁昆，唐功友，张健，等.连续时变自编码机在人体行为识别中的应用[J].上海交通大学学报，2016，50（7）:1065-1070.