基于深度图像的人体骨骼提取技术的研究

关　沫，梁梦雪（沈阳工业大学　信息科学与工程学院，辽宁　沈阳　110870）

一种浮选泡沫视频图像自适应筛选方法

尹逊越，廖一鹏（福州大学　物理与信息工程学院，福建　福州　350100）

基于深度图像的人体骨骼提取技术的研究

关沫，梁梦雪（沈阳工业大学信息科学与工程学院，辽宁沈阳110870）

利用Kinect设备获取深度图像，通过前景提取得到深度图像中的人体目标，使用距离变换（包括欧氏距离、城市街区距离、棋盘距离方法）和图像细化算法（包括Hilditch细化算法和Zhang快速并行细化算法）研究并实现了人体骨骼的提取，通过实验对各算法的运行效果进行了对比分析。同时，利用深度图像具备深度信息这一特点解决了在骨骼提取中出现的人体自遮挡问题。在获取的人体骨骼线基础上根据人体测量比例定位人体各骨骼关节点，最终通过实验证明了该骨骼提取方法的有效性。

Kinect；深度图像；细化算法；骨骼提取

0　引言

随着人机交互技术的发展，人们对各种计算设备的控制不再局限于使用键盘、鼠标、遥控器、触摸屏或各种传感器，还可以让用户直接与计算机进行“沟通”，通过对人体动作的分析得到人体运动的参数，解析出相应的控制指令使计算机完成相应的任务，实现非接触式的人机交互。人体骨骼提取是人体运动分析过程中捕获人体动作的关键步骤，对分析人体的运动姿态，获取人体运动参数有重要意义。在人体运动过程中，经常会出现人体自身遮挡的情况，如何解决这一问题是获取人体动作的难点。本文使用Kinect设备获取深度图像，对人体的骨骼提取技术进行研究，并利用深度图像具有的深度信息来解决人体自身遮挡问题。

1　深度图像的前景提取

Kinect通过其红外发射器向三维场景中发出连续的近红外激光方式获取深度图像，当激光照射到粗糙物体时就会形成具有高度随机性的衍射斑点，称为激光散斑。激光散斑是一种具有三维纵深的编码技术［1-2］。根据成像物体的不同距离会变换出不同图案的激光散斑，被激光散斑照射的空间内会即时地对其进行标记，之后红外摄像头接收空间内的标记，并将相关的数据传递给Kinect的内部图像处理器芯片，图像处理器再分析接收到的散斑图案在空间中的距离，最后形成深度图像。

本文通过对深度图像的深度值的判定把前景区域和背景区域进行区分。在这里就会涉及关于阈值门限的设定内容，深度图像前景提取中阈值的限定发挥着关键性的作用，阈值门限的取值取决于深度图像中深度值最大的点。深度图像前景提取的公式如式（1）所示：其中，fg（x，y）是前景图像中（x，y）处的逻辑值；d（x，y）表示深度图像中（x，y）处坐标的深度值；θ代表阈值门限，在不同的场景下最大深度值不同，导致阈值是一个可变的值，阈值θ要根据最大深度值的参数进行选定。定义θ=（k×dmax），其中用dmax表示最大深度值，k的取值与检测准确率有关联。检测准确率如式（2）所示：其中，α代表正确检测到的目标数，β代表检测到的目标总数。为达到相对最好的检测效果，使漏检和误检都尽可能小，从实验可以得出当k取值为0.75时基本可以达到最佳效果［3］。前景提取的图像如图1所示。

图1　人体前景提取原图像

2　人体骨骼提取方法

在上述工作中实现了深度图像中人体目标前景提取，但在人体运动过程中，经常会出现人体自身遮挡的情况，本文利用深度图像中的深度值解决其他剪影的骨骼提取方法可能无法解决的遮挡问题。为了实现更为准确的骨骼提取，对现有的一些骨骼提取方法进行了实验研究。

2.1距离变换算法

（1）欧氏距离

欧式距离是最常用的距离定义方式，即所在空间内任意两点的直线距离［3］。欧氏距离公式如式（3）所示。其中，p、q分别代表深度图像的背景坐标点与前景坐标点的集合。图2是目标人体的前景提取后的图像，其中（b）为欧氏距离变换后得到的图像。

图2　欧氏距离变换的效果演示图

（2）城市街区距离和棋盘距离

街区距离也称为绝对值距离，即一个像素点从它的起点处移动到它的终点位置所需要的步数，并且要求像素点的移动限定在它的上下左右这几个方向，如式（4）所示。图3为城市街区距离变换后获取到的图像。

棋盘距离的基本思想是像素点可以在沿着对角线的方向上进行移动，在对角线方向上移动的距离称为棋盘距离，如式（5）所示。图4为棋盘距离变换后得到的图像。

图3　城市街区距离变换图　

图4　棋盘距离变换图

2.2图像细化算法

图像的细化操作是在保持图像原有的形状基础上再除去图像上的一部分点，最后获取到所需要的骨架图［4］。本文采用Zhang快速并行细化算法与Hilditch算法进行对比研究，探索在人体骨骼提取上效果更佳的方法。图5是利用Hilditch细化算法得到的骨骼提取图像，图6是利用Zhang细化算法得到的骨骼提取图像。

图5　Hilditch细化算法效果

图6　Zhang细化算法效果

从上述方法成像效果看，欧氏距离提取出的人体骨骼线比较连贯，但位置上存在偏移，有较明显的误差；使用城市街区和棋盘距离变换算法提取人体骨骼线有时会出现不连贯的现象。从图像细化算法的成像效果来看，Zhang快速并行细化算法提取的人体骨骼线更干净，图像更清晰、更稳定，图像比较流畅时基本没有多余毛刺。最终选定Zhang快速并行快速细化算法进行人体骨骼的提取。

3　利用深度信息处理人体自遮挡问题

如果人处于Kinect设备要求的可视范围内，做一些产生遮挡的动作，如手臂处于身体前面的位置，就会在获取的深度图像中产生与身体部分不一样的深度值，可以利用不同的深度数据来处理手臂遮挡的问题。

先确定人体区域部分，然后根据深度值分布的情况在人体区域进行查找，把与身体区域深度值相差较大的部分看成是手遮挡在身体前面的情况；而与身体区域深度值相差不大的部分，则看成是身体部分。对前景区域的腐蚀会致使人的头部、腿部和手臂先被腐蚀掉。

为了处理手臂遮挡的问题，要将手臂与身体部分区分出来，再分别提取骨架，最后融合在一起。首先，需要确定身体区域内部近似于矩形的部分，如图7（a）所示，求出这一部分深度值的平均值，把此处的深度值记为h。删去与平均值相差3以上的深度值，就可以除去手臂遮挡在身体前面的区域部分，便于求得身体区域的深度值。其次，对剩下的深度值部分再求平均值，这样得出的平均值就是身体部分的平均深度值，设定此处深度值为h*。将与深度值h与深度值h*相差4以内深度值的部分设置为零，最后留下的部分就是除去了身体矩形区域部分而得到的手臂部分，如图7（b）所示。最后对得到的手臂部分进行腐蚀操作，如图7（c）所示，可以得到比较干净的手臂部分的图像，继续进行细化处理可得到最后的手臂骨架部分，如图7（d）所示。图像变化的整个过程如图7所示。

图7　提取手臂区域图像和手臂细化后图像

将得到的手臂部分的骨骼图与前面得到身体部分骨骼图相融合就可以得到完整的骨骼图。如图8所示，图8（a）为深度图像前景提取后进行图像处理得到的图像；图8（b）为（a）图直接进行Zhang快速并行细化所得到骨骼线；图8（c）是将（b）图人体骨骼图像与图7（d）图手臂骨骼提取的图像相组合，最后得到人体骨骼提取后的图像。

图8　人体骨骼提取的完整组合图

4　人体骨骼点的定位

本文以NASA人体测量数据中人体比例方面的数据为基础，实现人体骨骼关节点的定位。考虑到人的大部分动作都是通过手臂来完成的，所以着重研究人体上半身的骨骼点的标记。

通常将头部细化后的顶点位置设定为头部骨骼关节点位置，但这样的定位方法较为粗略，为提高头部骨骼关节点定位准确度，本文先检测头部区域位置，然后在此区域内找到重心点位置，把重心点设定为人头骨骼关节点。在人体手臂弯曲时提取到的手臂骨骼线是有弧度的，不能准确定位哪个点为肘部骨骼关节点。本文通过深度图像得到三维空间中两点间的实际距离，相应的方法最早在openkinect.org网站上由StéphaneMagnenat提出，这里不再详细说明。将手臂线上的点转换为对应实际空间的坐标，依据最大三角形算法找出一个点，使得这个点满足与肩部关节点和手部关节点，这3个点在实际三维空间中构成的三角形面积最大［5］。最后能够认定这个点为手臂中的转折点，即为肘部关节点。如果求出的面积都很类似，并且值都非常小，那么可以近似认为手臂是伸直状态，此时取肩部关节点与手部关节点连线的中点位置为肘部关节点。如图9所示，弧线是人体骨骼提取图中手臂骨骼线图，连接A点和B点能够与弧线上的点构成三角形，在多个可能的点中，选取能够构成最大三角形的那个点所在的位置，将其确定为肘部关节点。

图9　最大三角形算法示例图

5　实验结果分析

在实验中采集了几十组人体图像，重点分析研究两种情况，一种是当手臂不与身体形成遮挡时，人的双手会自然在身体两侧。选取几组处理过的深度图像前景提取图，先进行人体骨骼线的提取，再定位出人体各部位的骨骼关节点，如图10所示。

图10　无遮挡的深度图和骨骼提取图

另一种是手臂与身体存在遮挡的情况，图11是一些有代表性的图像。每组第一张是深度图像前景提取再进行图像处理后的图像；第二张为进行人体骨骼提取得到的人体骨骼线；第三张为提取遮挡部分的骨骼线；第四张为将第二张和第三张提取的骨骼线进行叠加，并标记出骨骼关节点位置的图像。

图11　有遮挡的深度图和骨骼提取图

6　结论

本文首先获取深度图像的前景部分，对距离变换和图像细化算法的骨骼提取方法进行了研究与实现。根据深度图像所具备的深度信息解决人体运动中可能存在的自遮挡问题。其次，在实现骨骼提取的基础上定位人体骨骼关节点，检测人头所在位置，并设定人头重心点为头部关节点位置。根据最大三角形算法实现手臂的肘部关节点定位，人体其他部位关节点参考人体比例结构进行定位。最后通过实验验证了本文中人体骨骼提取方法的有效性。

［1］CHEN L，WEI H，FERRYMAN J M.A survey of human motion analysis using depth imagery［J］.Pattern Recognition Letters，2013，34（15）：1995-2006.

［2］LEE S.Depth camera image processing and applications［C］.19th IEEE International Conference on Linage Processing，IEEE，2012：545-548.

［3］STEFAN G，ROBIN S.Anti-aliased euclidean distance transform［J］.Pattern Recognition Letters，2011（32）：252-257.

［4］包建军，樊菁．鲁棒的二值图像并行细化算法［J］．计算机辅助工程，2006（4）：43-46．

［5］李斌．单幅深度图人体关节点定位［D］．武汉：华中科技大学，2012．

一种浮选泡沫视频图像自适应筛选方法

尹逊越，廖一鹏
（福州大学物理与信息工程学院，福建福州350100）

摘要：针对浮选视频图像获取过程中出现的图像质量问题，提出一种浮现泡沫视频图像自适应筛选方法。首先通过分析浮选图像纹理特征选取评价参数，然后采用改进BP神经网络建立图像质量评判模型，对不同质量图像进行评判筛选。实验证明，该方法筛选速度快且识别正确率和效率高，筛选后的图像分割效果好。

关键词：浮选图像；BP神经网络；图像质量

Abstract：This paper proposed an adaptive filtering algorithm for flotation froth image of video.The algorithm was used to filter froth images that have poor quality.By analyzing the flotation image texture features，it decided the evaluating parameters.Then，it established image quality evaluation model based on improved BP neural network to judge and filter different quality images.The experiments show that the algorithm can fast and correctly filter images with different quality，and the result of segment for filtered flotation images is perfect.

Key words：flotation image；BP neural network；image quality

0　引言

现代选矿工业中，泡沫浮选的主要目的就是提高矿物中精矿的品位［1］。浮选工艺复杂，是一个含有固、液、气三相变化的物理化学过程［2］，并且泡沫表面运动状态不稳定，获取的图像特征也各不相同。传统生产方式主要是人工控制，并且有主观依赖性大、劳动强度大、资源利用率低等局限［3］。随着机器视觉和数字图像处理技术应用到浮选中，通过机器实时对浮选表面进行监控，提取特征参数。这些特征参数主要包括泡沫大小、形状、纹理特征、流速［4］等。

针对浮选图像质量的评价，只有无参考质量评价方法。有些学者通过利用共生矩阵内的纹理特征参数［5］对图像进行质量评价。本文通过提取浮选泡沫图像纹理特征参数并利用BP神经网络，建立浮选图像质量评价模型［6］，然后采用经典改进分水岭分割算法［7］来验证所筛选图像处理效果。实验证明：本文所用浮选图像质量评价方法可以筛选出不同质量浮选图像，筛选出来的合格图像分割效果明显，而且自动识别准确率得到了提高。

1　灰度共生矩阵理论及特征参数提取分析

1.1灰度共生矩阵参数提取

灰度共生矩阵表达了图像灰度分布在空间位置上反复出现情况，其定义为θ方向上相隔距离d的一对像素分别具有灰度值i和 j出现概率，记为P（i，j；d，θ）。设f（x，y）是对应图像空间位置坐标（x，y）的灰度值，L为图像灰度等级，Lr、Lc代表图像行和列的维数。f（x，y）=i和f（x+Dx，y+Dy）=j为像素对，取值为0°、45°、90°和135°，公式如下所示：

本文选取灰度共生矩阵中4个纹理特征，以及图像灰度和高亮区域所占比例作为浮选图像质量评价指标。各特征参数表达式如下所示：

（1）图像能量asm为：

（2）图像熵值ents为：

（3）图像惯性矩I为：

（4）图像相关性idm为：

其中，ux、uy是均值，σx，σy是方差。

（5）图像灰度均值ave为：

（6）图像高亮区域所占整幅图像比例pw为：其中，Sw为高亮区域的像素总数，S为总像素数。

1．2各项特征参数数据特性分析

本文在研究分析时分别选取曝光过度图像、曝光不足图像、模糊图像以及正常图像各30幅，并提取各特征参数。图1是图像纹理特征分布状态。

图1　浮选视频图像各纹理特征时间分布图

图1中（a）到（f）分别为对应能量、熵值、惯性矩、相关度、灰度均值和高亮区域比率评价指标的分布图。从图1中纹理特征分布图中可以明显看出，不同质量浮选泡沫图像之间特征参数分布差别明显，但是有些特征参数的分布区分度较低。

2　BP神经网络算法

2.1神经网络结构

BP神经网络原理通过误差反向传播算法对网络进行不断训练，减少目标与实际输出误差，按照输出层到中间层再到输出层的顺序逐渐修正连接权值。通过不断修正误差，提高输入正确率［8］。BP神经网络结构图如图2所示。

图2　神经网络结构图

把4种不同质量图像并分别设为1～4共4个等级并编码，分别为1000、0100、0010、0001。对应有4个输出神经元。隐含层神经元经过试验得出神经元个数为34时学习效率最小。

BP网络的学习过程为：

（1）初始化权值wi，j和vi，j，阈值θj和γt在（-1，1）之间随意取值。

（4）通过vij，dt和中间层输出 bj计算中间每个单元一般性误差ejk。

2.2BP神经网络算法改进

BP神经网络经常会陷入局部极小值和收敛，本文采用附加动量法和自适应学习速率法对BP神经网络进行改进。附加动量法对权值wi，j在反向传播基础上对前一次权值进行加权产生新权值，计算公式如式（8）所示。其中，η为学习效率，α为动量因子，n为训练次数。附加动量法可以使权值误差更加接近误差曲线最底部，使之可以跳出局部极小值。其收敛机制如式（9）所示。其中，E（n）表示第n步误差。

3　实验仿真结果与分析

本文中采用双层网络结构，隐含层传递函数tansig（n），输出层传递函数logsig（n）。最小均方误差和学习效率为0.01和0.1，动量系数为0.95。将图1中样本数据作为样本学习训练，另取80组数据作为校验样本。校验样本如表1所示，仿真结果如表2所示，分析实验结果和人工判别成功率如表3所示。

表1　校验样本数据

样本正常图像过曝光图像曝光不足图像模糊图像2.1 996.9 3.11.3 999.6 2.5 2.8 2.2 1.1 2.6 998.9 3.9 3.2 3.41.3 998.51 000等级1级2级3级4级01 00001 00001仿真值（10-3）真实编码

表3　图像质量判别成功概率统计

由表1和表2看出，本文方法所判别结果与实际图像结果一致。在试验中，对150幅图像处理时间不到0.01 s，完全可以满足现场需求，且判别正确率比人工识别精确。对筛选后不同质量的图像进行了经典改进分水岭算法分割，分割效果对比如图3所示。

图3　质量不同浮选泡沫图像分割效果

从图3可以看出，不同质量浮选泡沫图像的分割效果，经过分水岭算法的分割后，（a）图像泡沫基本被分割出来，（b）、（c）和（d）图像分割效果非常差。经过筛选，在对高质量图像进行分割或是特征参数提取时，结果更准确，处理效果更好。

4　结论

数字图像处理技术应用于工业浮选是为了辅助生产，提高矿物回收率，降低劳动强度。本文选取浮选图像纹理特征作为图像质量评价指标，通过分析各因子随时间序列分布状态，并利用改进的BP神经网络生成浮选视频图像自适应筛选模型。该模型可以快速准确地对浮选图像进行质量评价，筛选出不同质量浮选泡沫图像，提高图像识别效率和精度。在今后研究中，把该图像质量评价结果应用于浮选图像智能采集，实现图像采集系统自动控制，当曝光过度时，可以采用减少曝光时间、减少进光量或降低图像亮度，反之，增大曝光时间。对于模糊图像直接从图像序列中删除掉，由此提高浮选实时监控系统实用性和图像采集效率。

参考文献

［1］何桂春，黄开启.浮选指标与浮选泡沫数字图像关系的研究［J］.金属矿山，2008（8）：96-100.

［2］MORAR S H，HARRIS M C，BRADSHAWD J.The use of machine vision to predict flotation performanc［J］.Minerals Engineering，2012（36）：31-36.

［3］刘文礼，路迈西，王勇，等.煤泥浮选泡沫纹理特征的提取及泡沫状态识别［J］.化工学报，2003，54（6）：832-372.

［4］阳春华，周开军，牟学民，等.基于计算机视觉的浮选泡沫颜色及尺寸测量方法［J］.仪器仪表学报，2009，30（4）：717-721.

［5］杨彪，江朝晖，陈铎，等.基于客观参数的图像质量评估［J］.计算机仿真，2009，26（5）：232-235.

［6］范媛媛，桑英军，沈湘衡.基于BP神经网络的图像质量评价参数优化［J］.应用光学，2011，6（32）：1150-1156.

［7］丁伟杰，范影乐，庞全.一种改进的基于分水岭算法的粘连分割研究［J］.计算机工程应用，2007，43（10）：70-72.

［8］LI X W.Combined use of BP neural netwo-rk and computational integral imaging reco-nstruction for optical multiple-image security［J］.Optics Communica，2014，31（5）：147-158.

（收稿日期：2014-12-27）

作者简介：

尹逊越（1988－），通信作者，男，硕士研究生，主要研究方向：图像处理、模式识别。E-mail：yxyuesmile@sina.cn。

廖一鹏（1982－），男，博士研究生，主要研究方向：图像处理与模式识别。

Research on human skeleton extraction based on depth image

Guan Mo，Liang Mengxue
（School of Information Science and Engineering，Shenyang University of Technology，Shenyang 110870，China）

In the paper the depth images are collected by Kinect hardware devices，and the human target in the depth image is obtained through foreground extraction.The human skeleton extraction methods including distance transform，such as Euclidean distance，city block distance and chessboard distance，and thinning algorithm，such as Hilditch and Zhang fast parallel thinning algorithm are researched.The contrast analysis is carried out using the experiment result of the algorithms mentioned above.At the same time，the human self-occlusion issue is solved by using the feature of depth image with depth information.The skeletal joint points in the skeleton line are located according to anthropometric proportion.Finally，the experimental results illustrated the effectiveness of the skeleton extraction method in the paper.

Kinect；depth image；thinning algorithm；skeleton extraction

Adaptive filter algorithm of froth flotation video image

Yin Xunyue，Liao Yipeng
（School of Physics and Information Engineering，Fuzhou University，Fuzhou 350108，China）

TP391.44

A文章编号：1674-7720（2015）12-0038-04

2015-01-27）

关沫（1976-），女，博士，副教授，主要研究方向：嵌入式技术，计算机视觉。

梁梦雪（1990-），女，硕士研究生，主要研究方向：嵌入式技术，计算机视觉。

51文献标识码：A

1674-7720（2015）12-0042-03