基于概率神经网络的多模态感知假肢手

焦伟，刘思成，韩博，宫玉琳

（长春理工大学 电子信息工程学院，长春 130022）

手是人类最重要的运动执行器官之一，人类的大部分工作都是由双手独立或协调完成，生活、工作、学习、运动和交流更是离不开一双完好的手。人手具有多种自由度，还可以让人拥有对不同物体的感受：软、硬、光滑、粗糙、冷、热等，是人认知整个世界必需的身体部件之一。但是对于上肢残疾的患者来说，手臂的缺失令他们的生活和工作十分不便，让他们很难融入正常节奏的社会生活。

随着传统电子技术、机械技术和人工智能技术的深度融合，基于肌电信号及传感器反馈的假肢研究已越来越成为电子技术和生物医学工程等领域的研究热点。本文研究设计一款基于概率神经网络的多模态感知假肢手，可以完成十余种手势动作的识别，并具有触觉、温度和滑觉的感知反馈功能，实时采集外部信息并通过相应的刺激反馈给人体，实现人与假肢的智能交互。

1 假肢总体结构设计

1.1 系统总体介绍

人的上肢由32块骨骼与50余块肌肉驱动，具有很高的灵活性与适应性，而假肢作为人体缺失肢体的补充替代物，在完成动作数量、抓握力、开合范围、模态感知等方面都有较高的要求。

假肢手具有六自由度，包含拇指的两个自由度与其余四指分别具有的一个自由度。同时为了满足手部的感知需求，装配了触觉、温度和滑觉感知反馈传感器，系统整体结构框图如图1所示。

图1 系统整体结构框图

系统的核心控制器是意法半导体公司的STM32F系列的103C8T6，程序存储器容量是64 KB，工作电压为2～3.6 V，结合了高性能的RISC内核，运行频率可达72 MHz，具有高速内嵌存储器，外部连接至两个APB总线。STM32F103C8T6具有12位模数转换器、计时器、PWM计时器、标准和高级通信接口，很好地满足了系统的设计需求。

1.2 力触觉感知

假肢手系统力感知部分采用薄膜压力传感器FSR402对压力进行采集，其电阻会随着作用在传感器表面施加力的变化而变化，当压力增大时，电阻减小，压力采集的灵敏度范围在0.02～6 kg，误差较小。传感器外接电压转换模块，将有压力时传感器的电阻变化转换为0～3.3 V的电压变化和开关量信号，利用单片机ADC进行采集，实时监控假肢手指上的压力变化。

1.3 温度感知

假肢手采用温度传感器HDC1080接触式温湿度传感器，可以同时测量精度较高的温湿度信息。系统所需温度系统的温差范围为-20℃～50℃，精度为0.2℃，同时此传感器用于仿生手臂的指尖，对温度传感器的大小有一定的要求，所以此温度传感器体积必须以小为主，电路需要简洁。因此，此温度传感器HDC1080可以很好地满足设计的需要。HDC1080通过IIC进行读写操作，具有速度快、准确性强的优点。同时温度传感器精度达到±0.2℃，符合设计要求。

1.4 滑觉感知与信号调理电路

在假手的有效控制中，滑觉的检测是一个重要部分。通过滑觉检测能够得到假手对物体施加水平压力的最小数值。滑觉传感器是能够检测滑动的传感器。因此采用PVDF压电薄膜元件LDTO-028K。

PVDF触滑觉传感器有两个作用：一是检测假手抓取物体时，假手与物体的接触情况，即作用在物体上的垂直作用力的大小；二是根据物体的滑动趋势产生控制物体的作用力。

PVDF在受到外力作用时会产生轻微形变，其材料晶面会因此形变产生电荷信号。因其具有高敏感度、低声阻抗、高稳定性的优点，所以可将它用于人体触滑觉的检测与判断[1]。

PVDF传感器通过检测其因滑动与触碰产生的不同的电荷强度来判断滑动的产生，以此来控制手部动作的力度，实现一定程度上抓取的及时性、准确性和可靠性。

由于PVDF在外力触碰情况下产生的是电荷信号，所以需要设计PVDF传感器的信号调理电路来采集触滑觉信号。电路原理如图2所示，由电荷放大器、滤波放大电路、主放大电路、陷波电路组成[2]。

图2 滑觉调理电路原理图

2 基于表面肌电信号的手势动作识别

2.1 肌电信号的采集

人体的运动系统主要由骨骼肌组成，人在生活中的各种身体活动都需要以骨骼肌与完整的神经活动作为基础，肌电信号（EMG）便是肌肉运动时细胞所产生的动作电位。表面肌电信号（sEMG）是浅层肌肉EMG和神经干上电活动在皮肤表面的综合效应，可以通过电极在肌肉表面进行引导采集，由于表面肌电信号与肌肉的运动状态存在一定的关联性，所以可以在一定程度上反映神经肌肉的活动。

实验表明，肌肉的动作电位可以产生-90～30 mV的电势差，表面肌电信号的幅值在100～5 000 μV。有用信号的频率成分位于0～500 Hz范围内。根据波士顿大学神经肌肉研究中心利用双极型模型得到的肌电频谱，绝大部分频率集中在50～150 Hz之间[3]。

采用MYO臂环实现对手臂肌电信号的采集如图3所示。使用者将MYO臂环佩戴在手臂上，将采集到的表面肌电信号作为假肢手的控制信号，经过信号特征提取、模式识别之后输入假肢手控制器控制假肢手的动作。

图3 肌电信号采集图

经由MYO臂环采集到的原始肌电信号经过硬件上的滤波和降噪等处理后，仍然会存在工频噪声、尖峰幅值等干扰，所以还需要进行软件上的滤波处理[4]。

2.2 活动段检测

活动段检测采用移动平均法和阈值法相结合的方法对动作起始点进行检测，从而得出动作的有效数据段[5]，实现该方法的一般步骤如下所示：

（1）对每一类动作的每个通道的原始sEMG信号进行绝对化，再滑动求和（滑动长度N=50），通道个数为I（1≤I≤8）。算法实现为：

式中，I为通道数；N为单个窗口采样数目；xk为采样点信号幅值。

（2）对所有滑动窗绝对求和后的数据求平均值，算法公式为：

式中，l为每一个通道sEMG的采样点个数；Emg-MAVI(l)代表通过滑动平均之后的绝对平均值。

针对不同的手势动作难以确定哪一个通道的sEMG较好，直接将I个通道的Emg-MAVI(l)信号相加，根据有效的阈值来检测动作起止点，从而判断出有效的手势动作sEMG数据段，如图4所示，经过传感器采集，截取8个通道中的4个通道原始数据。

图4 四个通道的原始数据

2.3 特征提取

为挖掘表面肌电信号中隐藏的有用信号，并剔除多余部分信号的干扰，提高对人体行为的识别率，通过提取时域特征来获取sEMG的特征。

时域特征的提取不需要对肌电信号进行任何变换，可直接通过对原始肌电信号时间序列进行计算，由于表面肌电信号中信息多集中于500 Hz以下，且时域特征在低频环境中有良好的分类性能表现，具有计算复杂度低的特点[6]。故提取的时域特征有5种。提取以下三种：

通过八通道采集肌电信号，对每一路肌电信号分别提取3种时域特征，共计24种时域特征，所得到的特征参数将用于手势动作分类。

2.4 手势识别

2.4.1 概率神经网络概述

概率神经网络（PNN）网络模型如图5所示，该神经网络分类器采用四层PNN神经网络算法，它的四层网络结构分别是输入层、模式层、竞争层和输出层[7]。PNN是一种基于贝叶斯最优分类决策理论与核密度估计的概率密度非参数估计方法的神经网络算法[8]。相对于其他常见的神经网络，PNN的主要技术优势在于：

图5 PNN神经网络模型

（1）学习的过程较其他的神经网络更简单，它可以将原本需要非线性学习算法的任务通过直接使用线性学习算法来解决。

（2）收敛速度快，实时性也相对比较好。PNN网络中相对应的连接权值就是模型样本的连接和分布，不必再进行训练，连接的权值由输入层直接决定。

（3）信息划分更准确，对错误、噪声容忍程度更大。当代表性的训练样本数量已经足够多时，判别面就会逐渐趋向贝叶斯的最优分类面。从本质上说，PNN是一个监督神经网络分类器。

如图5所示，从左至右对PNN神经网络基本模型介绍如下：

（1）第一层为样本的输入层；

（2）第二层通过非线性权值映射出输入向量与各模式的匹配关系，称为模式层；

（3）第三层通过相对线性网络将模式层中统一模式的向量做加权平均，称为竞争层；

（4）第四层输出层通过对竞争函数的临界值判断，输出拥有最大后验概率密度的神经元。

2.4.2 基于概率神经网络的手势识别

识别系统通过建立概率神经网络（PNN）对手势动作进行分类和识别，特征信号d1，d2，…，dn代表n种不同的动作特征数据，输入层接收待识别样本特征数据，该层神经元个数与输入向量长度相等，输入向量传递给模式层：

式中，p为待分类动作个数。

模式层计算测试样本与训练样本中的每一个样本的Gauss函数的取值，得到神经元个数等于训练样本的个数。测试样本D与训练样本C之间的Gauss函数取值为：

式中，C为训练样本；σ为平滑参数，其值一般在0到1之间。通过调整可以提高分类精度：

式中，m为训练样本个数。

Euclidean为待测试样本D与训练样本C的距离，其值为：

模式层高斯函数的神经元被σ激活后，得到初始概率矩阵P：

竞争层的主要作用是线性求和、加权平均。将模式层中同一模式的神经元的输出做加权平均，该层神经元个数与样本模式总数相同，且与模式层神经元建立连接关系的前提条件是两者属于同一模式分类[9]。假设共有h个动作，并且各类样本数量相同，均为k，通过竞争层求得各个样本属于各类的初始概率和矩阵S：

输出层将具有最大后验概率密度的神经元输出，即可得到分类结果。

初步建立网络模型后，将实验数据的80%，约480组数据用于模型训练集。其余约20%的数据，共120组用作测试集。通过输出层的结果对网络的有效性进行判断。

为了测试建立的神经网络的学习识别性能，选取8种动作，共32组数据对网络进行测试，动作类型代码如表1和图6所示。使用MATLAB搭建概率神经网络（PNN），测试结果如图7所示。发现在32组数据中，只有1组数据出现错误结果，识别率可达到96.8%，识别准确率如图8所示。

表1 手势类型代码

图6 手势动作图

图7 测试结果

图8 肌电信号动作识别准确率

可以看出建立的神经网络识别率较高，说明这三种特征在提取表面肌电信号的特征向量方面具有良好的实用性。比较好地代表了信号的特征。通过使用PNN神经网络对特征向量进行测试，证明了PNN分类模型的识别结果是可靠的。

3 假肢手的反馈系统设计

3.1 力触觉反馈系统

在力的反馈部分，采用机械震动进行刺激，该方法装置简单，人体感知明显，响应速度快。将模块贴合于人体皮肤表面，当假肢采集到压力信息，单片机控制震动模块产生响应频率的震动，人体便可以清楚地感知到作用到假肢上的压力。

系统硬件组成包括：薄膜压力传感器、电压转换模块、微型振动器、单片机以及锂电池等。合理的刺激范围可以有效的对肢体残疾者，进行触觉再现，帮助使用者更好地完成假肢动作。

首先由假肢手指部分的薄膜压力传感器采集作用于假肢的压力信息，经过电压转换模块利用单片机的ADC将压力信息进行采集，然后根据采集到力的大小确定刺激程度，最后由单片机控制震动系统对人体进行触觉反馈，令使用者可以实时感受压力情况，从而进行动作。

传感器串联一个固定电阻，测量固定电阻两端的输出如下：

式中，R0为固定电阻；RS为传感器电阻。

在一般情况下，固定电阻取值建议是取传感器应用电阻范围值的1/3到1/2。另外，通过选择合适的固定电阻可以使压力和输出电压在一定压力范围内呈现一定程度的近似线性关系。根据测量电路的阻抗要求，分压器后可以加一个运算放大器。

系统电压转换电路原理如图9所示，采用分压电路接法将薄膜压力传感器变化的电阻信号转换为可以被处理器识别的电压信号，电路采用5 V供电，输出信号范围0～3.3 V，转换精度±0.1 V。

图9 线性电压转换电路原理图

得到如图10所示的电压与力的线性关系后，将电压值与震动模块的振动频率进行函数关联，当电压值越高，模块的震动频率越高，关系函数如下：y=-350×adcx+800，其中adcx为单片机采集到的电压值，y值决定单片机输出的占空比，从而实现模块不同程度的震动。

图10 输出电压与施加力的关系图

3.2 温度反馈系统

温度控制系统有开环闭环两种形式。开环控制是无反馈控制系统。为提高假肢温度反馈的舒适度和精准性采用了闭环控制。

温度反馈选择半导体制冷片，半导体制冷片是利用半导体材料的珀尔帖效应制成的，两端一端能吸热降温，另一端能放热[10]。为实现温控系统的实时反馈能力，采用常用的PID算法实现对温度的精准反馈。

在27℃室温（T0），5 V供电的情况下，测试传感器接触不同温度的物体，半导体制冷片达到相应温度的反馈时间，实验结果如表2所示。

表2 温度反馈时间表

实验结果表明，在室温环境下，假肢接触到温度较低的物体时，半导体制冷片达到目标温度的时间略长于接触到温度较高物体的时间，在实际情况下，低温对假肢的伤害远低于高温。假肢采用的PLA材料温度耐受能力较好，日常所接触到的温度不会对假肢造成过大的物理性损伤，而遇到过高温度时（大于80℃），可以通过设置报警装置以提醒使用者控制假肢离开温度源，从而达到高温时的保护与日常温度的反馈感知功能。

3.3 滑觉反馈系统

在对假肢手的控制中，需要控制假手握力精准度以达到对不同物体施加最适合的力。使用PVDF压电薄膜传感器以检测微弱的触滑觉信号。

滑觉反馈系统模拟人的抓握过程。人在抓握物体的时候，通过皮肤的一系列生物感受器确定物体的位置、重量、状态等信息，反馈给大脑，并通过大脑控制手指关节的握力大小。

假肢系统在采集到手部触滑觉电信号后，对其进行方差和均方根的特征提取，获得此时抓握的触觉和滑觉的状态。并通过实际的测量获得触觉和滑觉中触碰和滑动的阈值信息。利用判定触觉或滑觉特征是否大于阈值来检测手部的抓握状态和物体在手中的滑动趋势。

接触压力产生的电信号与滑动所产生的电信号具有明显的区别，假手控制系统可以进行区分辨别。在利用PVDF实现假手反馈时，用PVDF传感器检测信号判定假手是否与物体接触，如果未接触则控制假手关节舵机继续带动手指内拉，当传感器得到已经握住的信号，则停止内拉进行下一步活动。

PVDF滑觉传感器主要作用于握住物体后将物体拿起的过程，检测物体是否具有轻微的滑动。因为手部的滑觉反馈需要非常敏感，以便于在非常短的时间内便能通过关节舵机内拉获得能够拿起物体的摩擦力。所以使用PVDF来检测滑觉信号。若触碰后拿起时无滑觉信号则握物拿起过程结束。若触碰后手指和物体之间接触力不够，则继续手指内握。

图11为PVDF压电薄膜接触物体所产生的滑觉响应信号图，当压电薄膜与物体产生接触时，会产生一个明显的脉冲信号，通常选择以该信号作为接触特征值。对滑觉的判断采用阈值法，当信号的特征值大于阈值时，认为滑动产生。对连续N个采样值进行计算得到均值和方差，具体计算方式如下：

图11 触滑觉响应信号图

4 总结与展望

本文设计了一款基于概率神经网络的多模态感知假手。其通过MYO臂环与软件处理完成肌电信号的采集处理，对多种动作进行测试，均取得了较好的分类结果。触觉、温度和滑觉的感知反馈系统有效地帮助肢体残疾患者重新获得手臂部分的感知，验证了此研究的实用性。

随着人机接口技术的发展，利用肌电信号SEMG的手势识别控制假肢与多种传感器的结合作为交互媒介是实现人与机器交流的有效途径，也是当今的研究热点，人体的运动行为较为复杂，这也是肌电感知的人机交互过程中的难点[11]。

此系统为基于SEMG的假肢控制与感知反馈的研究和应用提供了一次参考。在未来的研究中，可以通过寻找不同患者的SEMG的共性特征与增加容错机制来提高手势动作的识别率，完成更多的假肢手部动作以适应不同情形下的需要。或者集成数量更多的传感器，通过发展迅速的智能处理算法处理感知数据，获得更精确的反馈。

基于SEMG和感知反馈的假肢研究仍是未来的研发热点，新成果的不断出现必将为残疾人的生活带来更好的改变。