OpenPose算法人体姿态识别应用研究

沈阳理工大学 周 越 陈琪然

针对传统图像提取算法、目标识别算法识别精度低，识别性单一，设备容量要求高，无法进行强度较高的交互而难以判断出手势发起人等问题。通过研究Openpose姿态估计算法，将多个关键点设为目标，再进行多目标距离进行处理具有较高的鲁棒性。该算法改进可以对手部和姿态进行单独编码，在人脸识别框架的基础下进行区域姿态的筛选，进而节约计算时间。

随着无人驾驶汽车的快速发展，路面信息变得尤为复杂，因此无人汽车在行驶过程中能准确识别车辆指挥员手势并进行判断变得愈发重要。

手势识别技术对人机交互要求较高，我们通过识别车辆指挥员的手势与我们训练的手势进行对比识别进而执行指令。

我国的手势识别技术也发展了很多年，国内知名高校汇集了大量的研究成果。浙江大学计算机系的董钟书团队研究出一种基于人体表面的手势识别技术。可以通过对运动分割帧间图像进行估计，将运动、形状、纹理等信息统一进行手势识别；研发出的在线识别系统可以识别9种手势，识别率很高。李德平团队提出一种基于AdaBoost算法和光流相匹配的实时手势识别方案：与计算机的摄像头相连读取手势视频片段便可对手势作出较为准确的识别。

国外对于基于视觉的手势识别的研究也进行了很长时间。麻省理工和加州理工的YoungShill Lee、Se-Jun Park等人通过采用熵分析法，将手势区域从复杂背景的视频流中分割出来，然后进行手势识别。使用链码法检测出手势区域轮廓，最后通过计算得出从手势区域的质心到轮廓的距离。该系统可识别出7种手势，平均识别成功率超过92%；8个人中，每人的手势的平均识别成功率达到93%-100%。

本文通过改进openpose算法进行人脸和手势识别。

1 OpenPose算法主要流程介绍

姿态估计算法可以分为Bottom-Up方法和Top-down两个不同的方向。Bottom-Up方法的原理是先通过检测图像中的人体的关键点，然后将图像中的关键进行分配，进而分配于不同的人身上。Top-down方法的原理是将人体和关键点进行分开检测，先运行一个人体检测器，此人体检测器可识别出人体，当识别到人体后，再对关键点进行检测并得出结果。

传统的自上而下的单人姿态估计方法当人体检测器发生故障时无法恢复，在没有识别到人时就无法继续识别关键点如手、脚等，而且每个人都要与姿态估计器进行对应，耗费时间过多。为了克服以上问题，我们提出了使用OpenPose算法，bottom-up表现形式通过PAFS进行展示，二维向量场可通过PAF进行表示，可以对人的肢体手、脚等所在图像区域进行方向位置的编码。关联编码的作用是为贪婪解析提供足够的全局上下文，高质量的结果可以通过很少的计算成本实现。

2 改进的OpenPose算法

首先我们先获取识别后的人脸坐标，对右上角左下角坐标分别标注为（xa1，ya1），（xa2，ya2），由以上两个坐标我们可以获得脸的宽度W=xa2-xa1，高h=ya2-ya1。然后进行人脸栅格化，对栅格化的矩阵进行坐标标记，同理格栅化后的矩形的右上角左下角可以标注为（xmi，ymi），（xmi，ymi），i为划分的第几个区域，通过坐标相减可将人脸的左上角左下角区域表示出来，后面的区域也是同理类推。

接着通过使用改进的OpenPose算法通过PAFS将手部关键点对应上，采用贪婪算法对关键点进行编码。手部关键点表示图如图1所示，以9号为手掌中心，将手部关键点分为21个。定义手掌位置坐标（xf,yf），当xa

图1 手部关键点示意图

3 实验仿真与分析

我们通过搭建平台环境对改进后的OpenPose手势定位方法进行验证。本实验所需硬件环境为CPU Intel（R）Core（TM）i9-10900K CPU@3.50GHz 64G内存，显卡为NVIDA GeForce RTX 3090。软件环境采用WINDOWS10，修改OpenPose源码采用VS2018和Opencv3.5，利用python3.6进行调用。

表1 算法对比

实验结果表明，根据肤色进行定位的手势识别技术在阳光充足背景简单的情况下表现良好，但是当阳光不充足或背景较为复杂时检测状况不佳。本文的算法改进了OpenPose算法运算量高无法流畅实验结果表明，本文实验成果符合预期，在允许对手和脸进行关键点检测的前提下可以获得较好的精度和流畅的速度。由于实验环境可能有所差别，检测结果可能与上表有些许出入。

本文的改进算法与传统图像提取算法相比较下具有较高的有效性并具有高鲁棒性，可以在相关实际应用场景中发挥良好的作用。