基于柔性传感器的手势识别神经网络智能手套的研究

摘 要 本文提出一种基于柔性传感器阵列的手势识别智能手套。目前，手势识别无论是在结构设计、制备及后续算法等方面都得到了广泛的研究。在此背景下，为了获得更好的用户体验，降低手势识别的成本，我们提出了一种柔性传感器阵列的手势识别手套。该手势识别智能手套包括柔性传感器阵列、LABVIEW采集和处理电信号系统、神经网络识别。柔性传感器阵列包括基底、形变敏感层、电极和封装层，采用聚二甲基硅氧烷、氢化苯乙烯-丁二烯嵌段共聚物、铂催化硅橡胶、聚酰亚胺、聚对苯二甲酸乙二酯中的一种或多种为基底和封装层，形变敏感层则为离子凝胶，电极通过导线引出;LABVIEW的模拟通道、外置的数据采集卡以及PCB电路板作为采集和处理电信号系统。

关键词 手势识别;柔性传感器阵列;LABVIEW信号采集;神经网络

1背景

本文的研究内容是利用柔性传感器阵列并结合人工智能算法，实现集感知与识别一体的基于柔性传感器阵列的手势识别智能手套的制备，实现手势的实时识别。国内外的研究多是采用视觉方式来进行手势识别。Mohidul Alam Laskara等人提出了一种基于前向和后向运动的手势检测方法。该方法基于立体视觉，采用基于视差图的质心运动及其强度变化作为特征，以条件随机场（CRF）为分类器对姿态进行识别[1]。Dipak Kumar Ghosh提出了一种静态手势识别方法，克服了手势图像的光照、旋转、大小和位置变化等问题，该工作利用同态滤波和灰度世界技术补偿手势图像的光照变化，提出了一种图像旋转技术，使分割后的手势旋转不发生变化[2]。Han Zhao Zhu 等人为了解决手势识别系统基于固定位置，无法随时随地使用的问题，提出了一种基于固定在用户腰部的图像采集带的手势识别方法，以提高用户的友好性，获取稳定的手势信息[3]。目前基于视觉的手势识别，需要高精度的摄像头，成本要求高，且条件苛刻，要求手势识别过程中不能出现遮挡情况，因此，在人机交互领域的应用仍受到一定的限制。近几年，随着柔性可穿戴传感器的发展（灵敏度高、生物兼容性好、制备方便、成本低廉），其人机交互领域中显示了潜在的应用前景。它可以为听力受损者开发助听器、使非常年幼的儿童能够与计算机进行互动、观察患者的情绪状态或压力水平，它还能在虚拟环境中导航或操作、视频会议通信、远程教学，应用十分广泛。所以，本实验旨在设计一种集信号感知与智能识别为一体的智能手套，实现一种新型的人机交流方式，推动人机交互的发展。

2结果与讨论

2.1 手势识别系统的总体设计方案

本文结合柔性传感器阵列与人工智能算法，提出了一种集信号感知与智能识别为一体的智能手套，以期实现对不同手势的感知、识别。通过该项目的工作，推动人机之间的交流，减少人们在人机交互过程由于对外在设备存在排斥而产生的抵触情绪。

本课题实施具体步骤如图1所示：

制备基于高导柔性凝胶基的高灵敏传感器阵列并固定于手套上;

智能手套电信号的采集，并对手势变化引起的微弱电信号进行放大、去噪处理;

利用LABVIEW模拟通道获取电信号，并将电信号转化为数组形式;

通过LABVIEW判定结构进行程序识别。

本设计方案将传感器感知与智能识别相统一。LABVIEW信号的采集与判定结构的程序识别相结合，实现感知与识别的一體化。利用柔性可穿戴传感器灵敏度高、生物兼容性好、制备方便、成本低廉的优点，结合模板匹配技术，成功识别手势。

2.2 柔性传感器阵列

柔性传感器阵列包括基底、形变敏感层、电极和封装层，采用聚二甲基硅氧烷、氢化苯乙烯-丁二烯嵌段共聚物、铂催化硅橡胶、聚酰亚胺、聚对苯二甲酸乙二酯中的一种或多种为基底和封装层，形变敏感层则为离子凝胶，电极通过导线引出，制备过程如图2所示。

本文使用的柔性传感器具有良好的稳定性，图3（a）是传感器拉伸0～100%状态下电流电压变化图像，传感器每隔10%拉伸量记录一次电流随电压变化趋势，由图可知，拉伸量一定时，电流基本与电压成正比关系，表明传感器内部电阻稳定，不易受温度等外界环境干扰。本文使用的传感器不仅具有良好的稳定性，还有很高的灵敏度。图3（b）是传感器截取2V工作电压时电流随拉伸的变化图像，图中可知，拉伸量越大，电阻通过传感器的电流越小，根据欧姆定律

可知，电流减小，电阻增大。图3（c）是传感器的电阻变化率随拉伸的变化图像，根据灵敏度系数计算公式，

（1）

（2）

其中，为灵敏度系数灵敏度，为电阻变化率，为形变量，为拉伸率。

由公式（1）、（2），灵敏度系数为106，表明该柔性传感器具有高灵敏度。图3（d）是传感器拉伸50%的电信号，随着时间推移，传感器每拉伸一次，在极短的时间内就会产生非常明显的电信号，根据图中红色虚线所辖时间范围，响应时间为5ms左右。拉伸多次后，电压峰值一直稳定在2.0V左右，具有较高的稳定性能。

总之，本文使用的离子液体传感器灵敏度高、稳定性强、生物兼容性好、制备方便、成本低廉，能很好地贴附在人体皮肤上，而且，还具有一定的透明度，是成功检测电信号的基础。

2.3 手套的信号采集

本文搭建LABVIEW信号采集系统，获得手势识别过程中的电信号数据。

首先，搭建LABVIEW信号采集系统，通过外设的数据采集卡获得各个手势的电信号，如图4所示。然后将柔性传感器阵列贴附于手套上，通过不同手势带动手指运动，进而引起电信号的变化，通过这些电信号，即可实现对手势的识别。见图5。

2.4 手套的智能识别

本文采用的判别方式，是基于神经网络判定的手势识别。通过LABVIEW将电信号阵列转换为数字信号，向嵌套的神经网络的输入层实时导入数字信号。通过中间层加权取值，建立迭代函数，再通过神经网络的迭代训练，优化迭代函数，通过输出层返回对应的“0-9”手势的判断（如图6）。

3结束语

本文结合柔性传感器阵列与人工智能算法，提出了一种集信号感知与智能识别为一体的智能手套，以期实现对不同手势的感知、识别。通过该项目的工作，推动人机之间的交流，减少人们在人机交互过程由于对外在设备存在排斥而产生的抵触情绪。

参考文献

[1] Mohidul A L，Amlan J D，Anjan K T，et al. Stereo Vision-based Hand Gesture Recognition under 3D Environment[J]. SECOND INTERNATIONAL SYMPOSIUM ON COMPUTER VISION AND THE INTERNET，2015（58）：194-201.

[2] Ghosh D K，Ari S . On an algorithm for Vision-based hand gesture recognition[J]. Signal Image and Video Processing，2016，10（4）：655-662.

[3] Zhu H Z，Bo Y K，Xue Z L，et al. Gesture Recognition Based on the Image Acquisition Belt[J]. Journal of Physics：Conference Series，2018（1087）：62016.

作者简介

陈龙飞（1998-），男，江苏扬州人;现就读学校：苏州大学，本科在读，研究方向：机械电子。