基于多模态传感的交互式手套系统＊

姚新伟，陈 铭，刘 畅，吴新丽，吴跃成，杨文珍

(1.浙江理工大学机械工程学院，浙江 杭州 310018；2.之江实验室类人感知研究中心)

0 引言

触觉在日常生活中的作用不言而喻[1]。由人体工程学可知，人最常用的感觉通道是视觉(80%)和听觉(14%)，其次是触觉及其他通道(6%)。因此，为了提高VR/AR 技术中的交互性，许多研究者都在努力将触觉、嗅觉、味觉等其他感觉通道引入到虚拟世界中来[2,3]，力求建立一个多模态的虚实融合交互系统。其中力触觉是人类获取环境信息仅次于视觉的重要感觉[4]，同时能否利用多模态人机交互技术实现人类智能的训练和强化，是人机交互研究的新命题[5]。

我们设计的基于多模态传感的交互式手套系统把人与虚拟世界紧密地连接在一起，建立了一个多模态的虚拟融合交互系统。手套系统操作者不仅可以远程操作，同时也能感受到虚拟环境的力触觉变化及温度变化，这是人机交互技术实现中的创新点。

1 系统整体设计

对于多模态传感的交互式手套系统的设计主要分为三个功能模块：上位机系统设计模块、下位机系统设计模块、系统通讯设计模块。其中上位机系统为PC 端的虚拟环境，下位机系统为交互式手套，两者通过无线蓝牙连接通讯。

2 上位机系统设计

2.1 上位机场景建模

上位机的场景在Unity3D 中进行建模。主要实现方式如下：在PC端的虚拟实验环境中导入手模型→在手模型上添加C#代码和碰撞器→通过脚本监测碰撞→实现玻璃棒搅拌、玻璃瓶倒水、玻璃棒搅拌碰撞音效、倒水音效、烧杯底部结冰等。PC 端上位机场景功能框图如图1 所示。上位机场景建模图如图2 所示，其中(a)是场景整体效果图，(b)是场景动画曲线图，(c)是烧杯运动图，(d)是玻璃棒运动图。

图1 上位机场景功能框图

图2 上位机场景建模图

2.2 上位机程序设计

上位机场景发生变化时会生成触觉信息，经上位机数据编码后传递给下位机系统。系统中制定上位机场景向下位机系统发送的数据格式，为下位机系统进行数据解算提供统一标准。其中触觉信息数据应包括如下信息：起始位、振动元件的振动等级、半导体致冷器的升温/降温指令以及温度变化等级，同时实现每个执行元件的独立动作。上位机场景程序设计的流程如图3所示。

图3 上位机程序设计流程图

3 下位机系统设计

3.1 温度控制程序设计

手套系统温度控制元件设计采用一种半导体致冷器，当器件有电流通过时，一侧加热，另一侧冷却，这主要是由帕尔贴效应引起的[6]。半导体致冷器在下位机系统中工作时产生的热量Q由公式⑴确定：

其中，πab为帕尔贴系数，I为通过元件的电流，为矢量，产热侧与电流方向有关，R为线路及半导体阻抗之和，U为半导体致冷器的外加电压。

在下位机系统中除了让半导体致冷器实现冷热变化外，还要设置温度阈值，本系统采用PID控制实时的温度变化。温度控制流程如图4所示。

图4 温度控制流程图

在实际应用中程序运行阶段目标温度和实时温度差值较大，为了防止输出量超限以及积分过饱和，手套系统对输出值和积分部分进行限幅滤波处理。根据系统所处实际环境的温度首先将目标温度限定在人手不会受伤的温度范围内，对温度增加或减少的阈值进行限定。系统会对N-1 次的温度值进行判断，并将第N 次获取的温度数据和第N-1 次的温度数据进行做差处理，若两次温度差值的绝对值超过了温度阈值，说明第N 次的温度值异常，则用第N-1 次的温度值替代第N 次的温度值。其中第N-1 次的温度值通过程序循环进行保存，延时1s 后将第N 次的温度数据直接赋值给第N-1次，从而实现温度的智能控制。

3.2 振动控制程序设计

振动元件属于微型直流电机的一种，元件通电之后，线圈在永磁体产生的磁场中受到力的作用，驱动带有偏心配重的转子在磁场中旋转，产生激振力。当元件处于直流工作状态下时，可产生的激振力为：

根据公式⑵，激振力F 可以通过改变施加电压进行调节。因为不同的激振力给人的触感不同，故通过改变主控制器的输出电压，即可得到不同的触感。

上位机环境的虚拟场景操作发生相互作用时，下位机主控制器通过力触觉反馈的模型计算出力触觉的反馈信号大小。上位机环境的力触觉反馈信号越强，控制信号越强，分为Ⅰ-Ⅴ个级别。下位机的主控制器将检测到串口输入的String 类型数据进行编码，同时将编码后的数据转换为十六进制用于BLE 蓝牙模块传输。编码部分将从上位机向主控制器传输的控制数据格式化，整个协议的数据标准格式为：起始位+帕尔贴工作等级+帕尔贴发冷/发热指令+振动等级。振动电机采用PWM 来控制振动电机输出的功率，调节PWM 信号的参数，设置0%、25%、50%、75%、100%不同的占空比，生成不同的振动等级。振动控制软件设计流程如图5所示。

图5 振动控制软件流程图

3.3 交互程序设计

在手套系统的交互功能设计中，采用弯曲传感器控制上位机场景中虚拟手的抓拿操作。弯曲传感器是一种角位移测量的装置，由一种可变电阻组成。

触觉再现手套的弯曲传感器把采集到的弯曲传感数据经过均值滤波后发送到了上位机系统，上位机系统通过BLE 蓝牙接收到的数据在数值上存在小幅度的波动，系统将接收的数据平滑处理，使上位机环境中的虚拟手弯曲动作映射更加平滑。平滑处理采用一阶滞后滤波算法，调整滤波参数，实现灵敏度和平稳度之间的平衡。一阶滞后滤波采用一次的采样值与上一次滤波输出值进行加权，权值的大小使得输出对输入有反馈作用，得到有效的滤波值：

其中，α 为滤波系数，X(n)为采样值，Y(n-1)为前一次滤波输出值，Y(n)为本次滤波的输出值。根据公式⑶，可以得到滤波的输出值。弯曲控制程序流程如图6所示。

图6 弯曲控制流程图

4 系统通讯设计

上位机的接收程序编码在下位机完成，接收的数据为真实物体的弯曲信息数据。一组完整的数据应当包括：起始位+数据位+分隔符+数据位。分隔符用来分隔不同的有效数据，区别不同的手指弯曲信号，使用符号“/”对四个数据进行分隔，上位机每次接收周期读取一行数据，检测分隔符位置确定具体手指弯曲信号。

下位机接收程序的编码部分在上位机完成，分为两个阶段，首先是将输入的String 类型数据进行编码，再是将编码后的数据转换为十六进制用于BLE 蓝牙模块传输。编码部分将从上位机向下位机传输的控制数据格式化，整个协议的数据标准格式为：

起始位+帕尔贴工作等级+帕尔贴发冷/发热+AAAAA。

具体数据格式如表1所示。

表1 数据格式

其中，帕尔贴工作等级分为0-5 级，从低到高，表示温度变化速度：帕尔贴发冷/发热数据格式设置为1和2，模式1 为发冷模式，模式2 为发热模式；AAAAA可以为1-5 个等级，即11111-55555，从低到高，表示不同的振动强度刺激，对应上位机虚拟场景中物体硬度不同。系统整体通讯设计如图7所示。

图7 系统通讯设计流程图

5 系统用户体验

对手套系统进行温度感知和触觉感知实验，可以分析设备的灵敏度，探索人体手部皮肤对振动、触摸和温度刺激的判断能力以及设备的可行性。

我们使用手套系统分别对温度、振动刺激进行了感知辨别实验。实验选择了十名参与者在25℃的室温下进行测试，其中五名男性，五名女性，均为右利手，无皮肤病或其他影响触觉感知的情况，此前也未参与过类似实验。每人进行Ⅰ-Ⅴ次实验，分别记录参与者对振动等级的感知正确率和反应时间以及对系统温度变化的感知正确率和反应时间情况。实验过程如图8所示，实验结果如图9所示。

图8 实验过程图

图9 实验结果图

从实验结果可以看出手套系统对参与者提供的触觉感知较为准确，反应时间较短。其中对极端的振动和温度刺激反应时间最短，感知正确率最高。

6 结束语

该系统结合人机交互过程中的触觉反馈研究工作，设计了多模态虚实融合的交互式手套系统。将振动触觉和温度触觉与人机交互融合起来，增强了交互的真实性和沉浸性，有效提升了3I 指标。解决了人机交互过程中不真实、不自然的问题，但尚不能模拟振动、温度之外的触觉变化，能在小型装置上复现全通道的触觉信息并且不影响灵活性仍要作为今后的主要研究方向。