人体姿势估计OpenPose技术在康复领域的应用进展

何英春, 詹益镐, 许桂清, 裴骏

在康复医学中采用肢体运动进行功能评估与客观化训练设计是研究热点[1];借助非侵入式的人体运动解析来优化康复过程与效果已成趋势;相关研究通常采取行为捕捉与追踪技术,可分为基于视频人形骨架点与惯性传感器两类,已广泛应用于上肢康复、平衡评估与步态分析等方面[2-5]。基于惯性传感器的方式虽准确性高但存在交互弱、成本高、体感不适、隐私泄露等问题[6]。而视频捕捉人体骨架点的方式恰可以解决上述问题,该方法通常采用的是Kinect或OpenPose技术。Kinect拉开了骨骼关键点追踪人体运动的序幕,为人体姿态估计算法的萌生提供基础。但其硬件受限且布建复杂;相比之下,基于深度学习的OpenPose技术具有实时性,使用一般相机拍摄即可,此技术应用在康复医学前景日益受到重视。目前,仅有总结姿势估计算法在康复评估中应用,尚未见从评估到训练的概述[7]。本文介绍OpenPose技术及其介入康复领域的契机,并阐述OpenPose技术在康复评定、训练及远程监测中的应用。

1 OpenPose技术简介

OpenPose技术是卡内基梅隆大学感知计算实验室开发的世界上首个基于深度学习的实时单人或多人二维姿态估计技术。OpenPose采集数据简单,仅用手机拍摄的视频即可获得运动的时间序列且无须标记,它利用部分亲和域(part affinity fields,PAFs)把多人姿势检测转化为二分匹配的问题[8]。其优势一是数据量大,可同时检测130个人体关键点,有效解决图像遮挡以及复杂背景等问题[9];二是特征提取速度和检测周期与人数无关,实现高精度和实时性;三是首次将躯体、手部、脸部的特征整合识别[10]。

2 OpenPose技术介入康复契机

数字处理需求是目前临床康复中亟待解的问题。一是量表评估繁杂,难以量化、主观性强且其它评估设备有限[11-12];二是居家康复患者依从性差、动作不规范[13]。正是因此,亟待引入高效客观且具备监督性的数字化手段来提升康复临床评估与训练的实效。相比于佩戴繁杂的传感器与有严格环境限制的Kinect技术,OpenPose仅需使用手机摄影就可以实时掌握肢体的位置并进行分析,可满足某些临床康复的数字处理需求,具有广阔的应用前景。以上肢训练为例,较之于治疗师仅凭经验调整动作,OpenPose以深度学习程序计算影像,达到实时动作估算,更能准确指导康复训练以保障训练效果。Feng等[14]就是利用OpenPose判断自闭症儿童能否根据机器人的指令模仿抬手动作与抬手程度以收集训练反馈,说明OpenPose可以监督肢体训练。此外,Li等[15]证实使用OpenPose可提取手部精细运动特征进行康复评估。王怀宇等[16]还首次借助OpenPose技术使用2个普通摄像头通过三维重建,解决了侧面、头部动作难以捕捉的问题,使OpenPose更广泛地应用于康复医学。Gu等[17]使用OpenPose计算成人步行的下肢角度,结果误差≤ 10°,其精度可媲美需标记的深度相机。其它学者也指出OpenPose精度较高,可用于运动分析[18-19]。以上均说明OpenPose技术可协助解决部分康复评估训练中与动作相关的问题,可作为康复领域发展的可靠平台,推陈出新的整合应用更能强化OpenPose介入康复医学的范畴。

3 OpenPose技术在康复领域的应用研究

OpenPose技术在康复领域的应用主要聚焦于采集康复动作,辅助进行康复评估与规范训练;与互联网融合构建包含咨询与反馈的完整康复云端。

3.1 OpenPose技术在康复评定中的应用 康复评定是评估功能障碍、制定计划的基础。但传统评定存在耗时长、量化难、主观性强的短板,OpenPose技术可在一定程度上弥补这些短板。

3.1.1 姿势评估 进行姿势评估时,关节角度是主要观察指标。Kim等[20]分别使用Kinect和OpenPose技术分析10人在有/无身体遮挡,从正面/非正面视角等条件进行坐、站、伸举姿势的关节角度计算快速上肢评估(rapid upper limb assessment, RULA)/快速全身评估(rapid entire body assessment,REBA)等工学姿势评估分数。以Xsens运动捕捉系统结果为标准,没有遮挡时OpenPose测得角度的均方根误差总平均值为8.4°,RULA/REBA评分平均绝对差值为0.70,Kinect系统的结果分别为13.4°与0.77;另外在有遮挡与非正面视角的条件下,相比于OpenPose,Kinect系统的角度测量与姿势评分误差均上升,显示出OpenPose测量角度与姿势更精准且受遮挡和视角的影响小,表明其在半自动人体工学姿势评估方面很有前途。Huang[21]提出一个以功能性运动检测诊断为依据、OpenPose技术为检测手段的全身运动功能检测系统,以进行姿势纠正。其特别之处是将关键点等转化为躯干与地面夹角、腰部旋转角等物理治疗临床指标,把每个指标的评分标准转换成好、中、坏3个测试等级。物理治疗师利用屏幕测量软件,与肉眼测量观察到的坐标和角度结果对比,其中Openpose检测的弓蹲与全蹲动作指标误差均在±2°、躺下抬脚误差为±3°。此举可省去传统人工测角的麻烦。但研究也同时发现OpenPose辨识人体卧位时容易出现误判,需要改进。

3.1.2 功能评估 现有功能评估多使用量表,主观性强且定量难。近几年来,OpenPose技术在功能评估中的应用取得较大进展。Fan等[22]提出脑梗塞康复评估,定义6种康复动作(行走、抬起左臂、抬起右臂、抬起双臂、抬起右腿、抬起左腿),利用OpenPose框架平台,设定关节的轨迹作为神经网络数据进行训练,得到可靠的评价模型;结果步行与抬腿的测试识别准确率均在95%,证实基于深度学习的运动功能评估模型的可行性。Shi等[23]利用OpenPose技术把运动功能评估转化为关节轨迹的模式回归问题,应用傅里叶变换对轨迹进行归一化,通过回归模型来评估运动质量,以专业人士评分为标准,误差为0.331。Li等[24]则利用 OpenPose技术计算人体摇晃时压力中心轨迹,与测力板的数据进行相关性和误差比较,结果表明OpenPose可能成为临床平衡评估的替代方式。可见OpenPose数据可计算多种运动指标从而实现便捷的功能评估,解决量表评估过于主观的问题。

3.1.3 跌倒预测与步态评估 为提升跌倒预测的准确性,不少研究聚焦于建立基于OpenPose技术的跌倒检测模型;此类研究通常涵盖肢体动作分类,可区分不同动作,也可定义不同的参数指标定量判断[25-26]。例如,采取髋关节中心下降速度、人体外部矩形宽高比、偏转角度和脊柱比例等来区分跌倒与其他状态[27- 29]。黄展原等[25]利用OpenPose技术构建静态与动态数据分类模型,并在3个公共摔倒数据集上进行检测。结果显示动、静态数据的检测率分别为76.3%、84.5%,这提示OpenPose在检测动态动作时准确度下降;而Linc等[26]的跌倒预测模型不同之处在于,把关键点坐标原点从左上角调至人体中心进行相对归一化处理,使该模型的准确率达98.2%。Chen等[28]则研究跌倒后的站立情况,以判断是否需要发出警报求助。由此,在居家康复时,医生通过视频就可进行个案跌倒风险评估。

步态也是康复关注的重点。步态参数已被用于预测老年人跌倒风险和评估康复治疗效果[30],故也有诸多研究探索OpenPose技术用于步态检测,其中第一步皆是提取步态周期。Takeda等[31]进行正常步态、固定踝关节和模拟下肢功能障碍测试;在正常步态测定髋膝踝角度一致的基础上,研究穿戴踝足矫形器或拄着拐杖是否会影响OpenPose的识别能力;结果显示整个步态周期踝关节的ICC为0.75,高于未固定状态,证实该方法适用于步态障碍患者。另有研究结合OpenPose技术与三维坐标,通过提取踏频或步态偏差指数也可识别异常步态[32-33]。此外,Stenum等[34]利用OpenPose数据,比较不同摄像机估计的步态时空参数,换算参数的同步性,为自动化步态分析提供流程。以上证实OpenPose能直接从视频中分析步态。

对于跌倒检测,当前研究主要通过换算OpenPose所得数据,定义不同的指标以验证跌倒预测模型的可靠性;而对于步态分析,OpenPose除了换算时空参数识别异常步态,更是进阶实现自动化步态分析流程。

3.1.4 传统体育康复评估 除现代康复手段外,OpenPose在中医传统体育康复中也有所体现。苏波等[35]为实现自动化评估八段锦,利用OpenPose构造出融合位置、角度和速度的特征矢量,以动态时间规整算法的序列为对比,结果具有同步性,在KTH数据集上的动作识别准确率达到96.7%。Liu等[36]通过OpenPose萃取出太极拳关节运动轨迹特征,并以专家评分为衡量标准,结果能准确识别不同熟练程度的太极拳动作;另有研究利用OpenPose教学与评估五禽戏动作规范程度,以促进青少年体育运动热情[37]。在传统体育康复方面,OpenPose当前集中在动作识别的准确性上,在此基础上判断熟练程度,同时也可与其它技术交互搭载,促进传统运动的推广。

3.2 康复训练中的应用 OpenPose可大量撷取准确的肢体的动态轨迹,这有助于形成康复训练系统或云端平台,使得训练效果更臻完善。康复系统与云平台的区别在于,系统聚焦于特定功能的康复训练或搭载少量技术;而平台则是在互联网的基础上连接前端与后端,除训练外还包括康复咨询、评估、以及康复讯息的推荐,往往搭载多种其它技术,互动性强;另外各自选取的动作搭建模型不同,但目前选取的动作皆为较偏简单的康复动作。

3.2.1 借助康复系统指导训练 针对中风康复,肖琳琳[38]检测OpenPose识别和判断病人康复动作的能力,选择10人完成弓步压腿、下蹲、抬腿、曲肘抬臂、抬臂与前下腰6组动作,每个动作的识别率在90%以上,准确性最低为93%,证实可有效地识别且判断动作准确性。王怀宇[16]针对上肢功能障碍设计的智能康复系统以OpenPose技术先形成主动康复训练标准动作参数,在患者训练时,从数据库中读取标准动作参数,以交互的方式指导患者居家训练,此软件主要服务于患者,更进一步针对肩部骨架研制外骨骼康复机器人让患者自主使用手扶随动训练架完成训练,可实现OpenPose技术与康复机器人的融合。Yan[39]为深入研究运动康复训练,在OpenPose融合康复机器人指导手部康复运动训练中搭载虚拟现实场景,实现三重融合。

3.2.2 借助康复云平台指导训练 相对于系统,平台覆盖面更广。唐心宇[10]融合OpenPose和Kinect,综合运用虚拟环境、机器学习、云平台等设计情景交互式康复训练平台,使用OpenPose计算运动角度、幅度进行康复评定,通过互联网搭建高效的康复数据管理平台,真正实现实时监控。刘亚楠[40]将OpenPose技术同时运用在识别动作和规范患者姿势上,设计具备康复咨询、评估、训练指导、反馈的全套流程平台,选取了肘关节曲伸、上抬以及腿部弯曲等动作进行系统测试,20次测试均评判稳定,即可准确识别动作并测量角度。此外,还有研究可根据用户既往的测试结果计算并提供个性化的康复方案[21]。康复云平台可关注康复训练的全过程,OpenPose技术促进了康复云平台的形成,有助于优化康复过程与效果。

3.3 康复远程监测 各种辅助治疗手段在康复过程中应用备受关注。研究显示互动游戏可将提高康复率15%[41]。据此,Shapoval等[42]利用互动游戏平台,为老年人提供有效康复和支持;该平台以OpenPose技术实时跟踪训练者身体位置,并同时显示相关数据,实现监督训练与数据分析同步。结果显示,基于此平台的训练效果优于常规训练,提示OpenPose技术在居家康复中的使用潜力。另外,Tong等[43]根据OpenPose技术结合改进的双流网络相,提出以康复动作识别网络监测中风康复患者训练行为的可行性。他们通过5个康复动作(双手合十进行坐位、站位、坐位左右、站位左右移动、从坐到站)的幅度和角度变化,构建了标准康复姿势数据集,并与人类运动数据集和静态数据集比较,结果康复动作识别准确率达100%,可监测中风病人康复恢复状态。

OpenPose技术应用于康复领域,多为识别人体关键点,通过关节轨迹、角度与步态参数等指标识别与分析运动状态来实现动作评估与训练监测。在康复评估方面,OpenPose技术需与其他标准评估对比,证明其可靠性;而在训练监测方面,更关注的是对于康复动作的识别、学习及评价规范性,以提升患者进行自主训练意愿。然而在上述任务的相关研究中,应用场景较为局限;此外,康复动作的选择也较为贫乏,显示这些方面仍有很大的研究空间。

4 限制与不足

尽管OpenPose技术已应用在康复多方面,但其仍然存在许多亟待解决的问题:①自身的限制:基于大规模的数据采集,准确性虽高但计算复杂、时间长,且内源性程序无法自主修改;②成像限制:OpenPose采集的图像会受光线的影响而使得结果发生变化,在照明不良时可靠度降低[44];③ 相对位置限制:目前多数实验采用固定的相对位置,距离过远与遮挡过多会影响OpenPose识别性能,使得关节活动的定位失准,产生较大误差[45];④ 精确度限制:虽可充分替代无标记式动作捕捉系统,但在精确度上仍低于标记式动作捕捉系统[46];⑤实验对象限制:目前多数研究选取健康年轻人的动作数据,不具全面性,需扩充不同年龄层或功能障碍患者动作数据。

5 总结与展望

OpenPose自身的限制以及研究的不足,促使未来需要关注以下方面。首先需对运动参数以及摄像头的配置问题进行深入研究;其次,对于OpenPose技术存在的测量误差,需再对比黄金标准以确定误差范围,并且探索校准方式提高测量精度。例如,对于动态康复动作,应开发OpenPose的校准技术,以解决因相对距离变动引发关键点间距离变动的误差;再次,在实际应用场景开展利用OpenPose技术进行康复评定、指导的临床试验,需增加老年人或病患为研究对象的研究反馈;再者,目前已证实OpenPose在2D关节估计具有足够的精度,但从物理治疗的角度来看,人体的运动更倾向于3D模式,故探讨OpenPose或其改进模型采集3D信息具有必要性。最后,OpenPose技术可融合其它技术开展多方面研究。如结合表面肌电观察肌肉、足底压力、气体分析仪、脑电等。未来在康复发展大趋势下,OpenPose或其进阶技术将为实现康复全覆盖,提升健康保障作出贡献。