基于Kinect 体感器的康复机械手臂系统算法设计与实现

杨文璐，李唯杰

（上海海事大学 信息工程学院，上海 201306）

医学理论和临床医学证明,除了手术治疗和药物治疗外,科学的康复训练对中风偏瘫患者的肢体运动控制功能的康复起着重要的作用[l—3]。科学康复训练可以恢复患者部分或者全部的运动控制功能[4]。

传统的康复型机械手臂能够帮助中风患者进行被动康复训练，但也存在如下不足：首先，训练师需要手动键入控制参数，无法使用直观的自身动作进行机械手臂的操控；其次，传统康复型机械手臂虽然可以实现前屈、后伸、外展、内收、上举以及旋转等简单动作[5]，但训练动作模式固定，运动轨迹单一，无法完成非常规动作的训练；最后，传统机械臂分步动作衔接时机械停顿感强，患者使用体验差。

本系统的创新之处有：现有Kinect体感器的研究中，缺乏运用到康复型机械手臂的案例，并且缺乏对速度控制的分析论述[6]；本系统Kinect体感器控制的康复型机械臂除转动角度控制外，通过输入信息与反馈信息比较的方法，获得转动角速度控制参数，使机械手臂平滑运动，有效降低机械停顿感，使患者在使用时更加舒适自然；可控制机械手臂完成非常规动作，多自由度动作的同时协调运动，提高患者康复效果。

1 康复型机械手臂与Kinect体感器

康复机械臂结构图如图1所示。此机械臂共有3个旋转自由度，实现肩关节上下旋转、前后旋转和肘关节屈伸旋转，并且可以模仿人体手臂的运动，此特点区别于其他类型的工程机械臂[7-8]。

图1 三自由度康复型机械手臂结构图Fig.1 Three degrees of freedom rehabilitation

分析机械手臂的机械结构与电子系统，可以得到以下机械臂性质：机械手臂自由度1转动角度范围为90度，自由度2的转动角度范围为180度，自由度3转动角度范围为100度。腕关节，肘关节，肩关节三点所确定的平面必须与身体所在平面垂直。

如图2所示，Kinect体感器是微软公司推出的体感外设，可以实现实时的运动捕捉、麦克风输入等功能[9]。人们可以站在Kinect体感器前通过自己的肢体动作与计算机进行交互[10-11]。Kinect获得视频信息后，在空间中识别出人体,并将取得的三维空间中的深度图像信息，转换为骨骼数据信息。其中所利用的骨架追踪技术是Kinect的核心技术。这个技术可以实时捕捉人体的动作[12]。

图2 Kinect体感器外观图Fig.2 Appearance of Kinect

2 各自由度转动角度及角速度控制算法

2.1 各自由度转动角度控制算法

通过肘关节的一个自由度，肩关节的两个自由度可以实现基本的机械手臂运动。首先进行零点位置的标定，设定每个自由度转动的中间位置为零点。根据人体手臂各个关节运动特点确定各自由度转动范围，自由度1转动范围为[-45,45]度，自由度2转动范围为[-90,90]度，自由度3转动范围为[-50,50]度。

2.1.1 肩关节（自由度1和自由度2）转动角度控制算法

如图3所示，首先建立坐标系。自由度1的转动角度与深度方向（Z方向）无关。因此确定自由度1的转动角度参数只与平面XOY有关，即该自由度只控制手臂在身体所在平面上进行运动。大臂与Y轴之间夹角的正切值等于肘、肩两个关节的横坐标差值与纵坐标差值的比。考虑调整零点位置，得到自由度1的转动角度控制算法为：

自由度2（如图4所示）控制肩关节带动的大臂在垂直于身体的平面进行运动。该运动过程中肘关节的运动轨迹为以肩关节为圆心，大臂为半径所画出的圆。因此得到自由度2转动角度具体控制算法为：

图3 自由度1转动角度示意图Fig.3 Degree of freedom 1 rotation angle

图4 自由度2转动角度示意图Fig.4 Degree of freedom 2 rotation angle

2.1.2 肘关节（自由度3）转动角度控制算法

自由度3（如图5所示）控制肘关节的展开与收拢，展开的最大位置为肩、肘和腕关节三点在同一直线上 （即180度）。收拢时的极限位置为大臂与小臂的夹角为80度。利用三维坐标系获得空间中大臂与小臂之间的夹角，得到肘关节夹角与机械手臂控制参数之间的数值关系为先反转再平移。通过此关系得到该自由度角度控制算法如下：

图5 自由度3转动角度示意图Fig.5 Degree of freedom 3 rotation angle

2.2 各自由度转动角速度控制算法

选取合适的速度控制参数是消除机械系统运动机械感，使机械手臂平滑运动的重要因素。速度参数变化明显时，机械系统运动将会出现急停急起的现象。这些动作不符合人体手臂运动的规律。由于本实验采用的机械手臂由于机械系统的限制，可以执行的最大速度为每秒30度。因此在考虑转动角速度的控制算法中，将着重考虑以上因素。

考虑到角速度参数需要满足以下条件：准确有效控制机械手臂模仿人体手臂运动；应避免机械手臂运动急停急起的现象。为了解决上述问题，本系统提出一种新的速度控制方法，将体感器采集到人体手臂关节位置信息与机械手臂当前位置信息进行比较，以两者的位移差确定当前角速度，体感器捕捉到的人体关节位置信息与机械手臂反馈的位置信息之差与转动角速度控制参数的大小应成正比。自由度1控制大臂在身体侧方运动，考虑到康复病人实际使用情况，其运动速度范围在每秒20度以内。自由度2和3的最大角速度不超过每秒30度。算法示意图如图6所示。具体算法为：

式中γ为发送给机械手臂的自由度转动角度值与机械手臂反馈的当前角度值之差，由于已知机械手臂运动的目标位置，因此无需再给速度参数定义方向。

图6 转动角速度控制算法示意图Fig.6 Rotation angular velocity control

如图7所示，图中依次为自由度1、2和3在机械臂实际使用过程中的1 851个速度参数数据。该图表明该角速度算法下得到的角速度参数变化范围小，所有参数均落在机械手臂可以识别执行的角速度范围内，均为有效数据。

3 系统实现

基于Kinect的康复机械手臂控制系统整体分为两个部分，体感器端与机械手臂控制端，通过SOCKET通信技术实现两者通信。利用体感器获取彩色图像、深度图像以及骨骼图像，得到右肩，右肘，右腕的三维坐标，通过控制算法得到机械系统转动角度与转动角速度的控制参数，最终执行机械手臂运动。

图7 各自由度角速度数据Fig.7 Rotation angular velocity data

如图8所示，软件用户界面与实验场景需要考虑到训练师在操作上简易方便，患者在使用上安全可靠，将用户界面尽可能简洁化，机械手臂设置了限位器的装置，保护患者的手臂不会被机械伤害。

图8 用户界面与实验场景图Fig.8 User interface and test site

4 实验结果及分析

4.1 实验过程记录

为了分析本系统的准确性，进行了下述试验。本实验对以下6组动作：大臂侧方向运动，大臂前后运动，肘关节收拢与展开，大臂的侧向运动伴随肘关节运动，大臂前后运动伴随肘关节运动以及3个自由度同时运动分别进行测试。每组动作随机根据不同的幅度以及速度分别进行100次测试。测试结果如表1所示，表中的失败表示机械手臂未能完成训练动作的次数；基本完成表示机械手臂完成动作，但存在机械的停顿感；完成良好表示机械臂流畅准确的完成训练动作。

表1 机械臂运动准确性统计Tab.1 The accuracy statistics of mechanical arm motion

4.2 实验结果分析

从实验结果中可以得到，该系统能对绝大部分的常用训练动作进行识别，并能准确控制机械臂进行动作的模仿。其中对自由度1和3的控制较为良好。对自由度2（即手臂前后运动）的控制方法有待提高。当手臂前后摆动，超过肩关节位置时，系统往往不能进行有效的识别和控制。在今后的研究中，将结合机械臂的性能对其进一步研究。

5 结束语

文中介绍了利用Kinect体感器采集训练师手臂信息，得到康复型机械手臂的控制参数，帮助训练师操控康复机械臂对中风患者进行上肢康复训练。其中主要论述了机械手臂各自由度转动角度以及转动角速度的控制算法。应用合适的角速度控制算法，减少机械臂在运动时的停顿感，使得机械臂在运动时准确平滑流畅，有效提高患者的使用舒适度与康复效果。该系统在下一步的研究中，将会围绕进一步的动作准确性和动作的实时性来展开，减少机械系统的延时。最终使该系统更好的服务于医疗康复事业。

[1]常俊玲,孙波.运动再学习对偏瘫患者上肢功能恢复的影响[J].现代康复,2000,14(5):654-655.CHANG Jun-ling,SUN Bo.Effect of motor relearning training on upper extremity function in hemiplegia patients[J].Modern Rehabilitation,2000,14(5):654-655.

[2]缪鸿石.中枢神经系统（CNS）损伤后功能恢复的理论(六)[J].中国康复理论与实践,1997,3(3):98-105.MIAO Hong-shi.The theory of rehabilitation after injury of the Central Nervous System(CNS)(6)[J].Chinese Journal of Rehabilitation Theory and Practice,1997,3(3):98-105.

[3]李大年.缺血性脑血管病治疗进展[J].山东医药,2000,40(1):35-42.LI Da-nian.The recent advances in the treatment of ischemic cerebrovascular disease [J].Shandong Medical Journal,2000,40(1):35-42.

[4]黄东锋,毛玉瑢,徐光青,等.重症监护室中风患者早期康复治疗的价值[J].中华物理医学与康复杂志,2001,23(6):328-329.HUANG Dong-feng,MAO Yu-rong,XU Guang-qing,et al.Value of early rehabilitation on severe stroke patients in Intensive Care Unit(ICU)[J].Chinese Journal of Physical Medicine and Rehabilitation,2001,23(6):328—329.

[5]车仁炜,吕广明,孙立宁.五自由度康复机械手臂的设计[J].机械设计,2005,22(4):18—21.CHE Ren-wei,LV Guang-ming,SUN Li-ning.The design of the five degrees of freedom mechanical rehabilitation arm[J].Journal of Machine Design.2005,22(4):18—21.

[6]林海波,梅为林,张毅,等.基于Kinect骨骼信息的机械手臂体感交互系统的设计与实现 [J].计算机应用与软件.2013，30（2）：157-160.LIN Hai-bo,MEI Wei-lin,ZHANG Yi,et al.Design and Implementation of Robot arm somatosensory interaction based on KINECT skeletal information[J].Computer Application and Software,2013,30(2):157-160.

[7]钟琮玮.仿人型乒乓球机械手运动学及动力学控制方法研究[D].杭州：浙江大学.控制理论与控制工程，2011.

[8]洪熠.基于气动人工肌肉仿人机械手臂肩关节的运动控制[D].上海：上海交通大学，2009.

[9]ZHANG Zhen-you.Microsoft Kinect Sensor and Its Effect[J].MultiMedia,IEEE.Feb，2012:4-10.

[10]淦创.基于3D体感技术的动态手势识别[J].光电技术应用,2012,27(4):55-58.Gan Chuang.Dynamic Gesture Recognition Based on 3D Kinect[J].Electro-Optic Technology Application,2012,27(4):55-58.

[11]邵隽,马娜.浅谈基于Kinect的应用程序开发[J].计算机光盘软件与应用,2012(8):173,179-180.SHAO Juan,MA Na.Introduction to Application Development Based on Kinect[J].Computer CD Software and Applications,2012(8):173,179-180.

[12]余涛,叶金永,邵菲杰,等.Kinect核心技术之骨架追踪技术[J].数字技术与应用,2012(10):115.YU Tao,YE Jin-yong,SHAO Fei-jie,et al.Skeleton tracking technology,the core technology of Kinect[J].Digital Technology and Application,2012(10):115.