移动终端信息的振动式触觉信号编码表征方法

尹馨予, 苏宇宁, 孙晓颖

(吉林大学 通信工程学院, 长春 130012)

移动设备目前已成为人们通过视觉和听觉渠道交流信息的重要工具. 但对于没有视觉和听觉能力的人, 使用移动设备获取信息存在诸多不便. 特别是由于许多设备取消了机械按钮而选择使用触摸屏作为交互界面, 没有视觉和听觉的人几乎无法使用. 为使人们在视听觉受干扰的情况下仍能获得信息, 研究者们提出了触觉方式传递信息, 辅助或替代视觉和听觉交流[1-4], 如具有触觉反馈的可穿戴设备和盲人阅读器[5-7]等.

多数触觉传输利用时间编码或时间与空间组合的方式传输信息[8-9]. Williams等[10]通过在实验者的前臂和指尖放置了两个Mark Ⅱ音圈马达, 并通过控制振动的频率、 持续时间和空间位置设计了16种触觉编码. 该方法传输的信息量为3.12 bits, 平均识别率为65%； Liu等[11]使用线性音圈电机作为触觉执行器, 提出了3种频率和2种频率的振动触觉编码, 通过调整频率和时间长度分别代表26个字母和10个数字, 该方法的平均识别率分别为84%和95%. 在这些设计中使用的触觉执行器数量、 大小和分布不适用于移动设备, 未考虑到其所提出的触觉设备的人体感知能力, 触觉编码方法不能直接在移动设备上使用. 本文考虑以微型振动执行器输出的振动触觉信号作为信息载体[12-16], 通过调节频率、 持续时间、 间隔[17]设计信息的触觉编码.

触觉编码的设计应考虑人的信道能力和最大可接受的信息传输量. 传输的信息量过大或小于信道容量都将导致人机交互能力[18]不合理应用. 一般感知通道的信息传输量(information transmission, IT)最大约为2.3～2.5 bits, 最小输入种类为两种类型, 而空间感知信道最少可利用3～4种输入类型传输3～3.3 bits的信息量. 触觉编码所使用的输入种类应保证其两两之间存在一定范围的感知差异.

本文在移动设备上设计全局振动触觉, 使用者可通过手持设备, 以手掌皮肤接触接收触觉信息. 使用者感知到的触觉效果是连续的振动触觉信号, 由强度不同的独立振动信号和信号时间间隔组成. 独立振动信号作为编码码元排列组合成不同码位的触觉编码信号, 信号之间设置一段时间间隔. 根据心理物理学分析的感知差异对信号参数进行调整, 以供使用者明确感知到编码信号的强度变化, 从而识别出编码信号表示的信息. 这种编码方法也可将空间信息转换为时间信息, 空间分布的信息传输点对应时域编码的码位, 以连续的编码信号表示空间信息.

1 振动触觉信号设计

本文为筛选出有识别度的振动触觉信号, 验证了信号频率、 时间长度和时间间隔3种信号参量的感知阈值, 感知实验均在本文设计的硬件设备上进行.

1.1 硬件设备

触觉信息传输中硬件设备的两个主要部分为触控屏移动设备和交流振动电机. 本文选用安卓系统的智能手机作为触觉传输的移动设备, 产生振动信号的振动执行器选用线性电机. 选用X轴AWA线性电机, 尺寸为19 mm×6 mm×3 mm, 占用空间较小, 可植入手机内部使用. 此外, 线性电机能独立调节振动波型的频率和幅度, 满足研究频率参量的感知阈值[19]. 使用手机端的通用串行总线(universal serial Bus, USB)端口控制线性电机. USB端口通过数据线连接调用线路板上的DRV2605芯片, I/O(Input/Output)端口输出5 V恒定的单极性方波信号驱动线性电机工作. 实验中使用两个线性电机安装在设备背部上下两端, 避免实验者手部直接接触线性电机, 如图1所示.

图1 硬件设备与感知阈值实验Fig.1 Hardware equipment and sensing threshold experiment

1.2 振动触觉信号的感知

使用心理物理学可分析人体对振动触觉信号的感知阈值[20], Weber等[3]研究表明, 差异感知取决于可感知的刺激增量(ΔΦ)与原刺激(Φ)之比：

(1)

其中C为感知常数.刺激的物理量与感知量之间存在一种对数关系：

Ψ=klogΦ,

(2)

其中Ψ为刺激的感知强度,k为恒定常数.通过两种心理物理学定律, 分析振动触觉信号的物理-感知关系与感知差异.通过人体感知阈值实验确定人对振动触觉信号的时间频率、 时间长度及时间间隔3种时间参量的感知程度与差异性, 实验者主观评估感知强度.利用感知差异设计触觉编码, 减少每个编码之间的识别干扰, 并保证设备能在最短的时间内有效传递足够的信息.同时, 结合振动加速度客观数据分析感知变化.

使用PWM(pulse width modulation)调制的方波信号驱动线性电机, 以一个周期的方波作为单个脉冲, 其每个周期信号的占空比为50%, 独立振动信号由多个脉冲组成, 占空比是根据线性电机前后运动特性选择的, 如图2所示. 选择10名实验者(右撇子)进行测试, 实验者左手手持设备, 右手操作界面, 左手掌心贴在设备背部且避免直接接触电机, 屏蔽听觉干扰. 实验者主动点击界面上的虚拟按键, 驱动设备输出信号. 参考振动触觉信号阈值分析选择测试参数[21-23]. 根据AWA线性电机谐振频率与测试经验选取[24-25]频率测试参数为100,200,300,400 Hz, 以20 ms独立振动信号进行测试. 时间长度测试的固定条件为200 Hz独立振动信号, 将5 ms信号作为最小振动刺激. 测试范围为5～60 ms, 最小差异为5 ms, 最大差异为50 ms[19]. 时间间隔测试设置连续的两个200 Hz,20 ms振动信号, 信号之间添加时间间隔, 测试范围为1～100 ms, 以1 ms递增.

图2 信息在移动设备上的触觉传输过程Fig.2 Tactile transmission process of information on mobile devices

在感知数据基础上, 加入客观数据对照, 使用4528-B加速度计测量频率及时间长度参量的加速度数据, 加速度计固定在AWA线性电机上, 测试其切向与法向的加速度数据.

时间长度参量调节会引起信号长度和振动加速度二维数据变化, 在较短时间内, 加速度非线性上升, 而时间长度以线性形式增长. 时间增长到一个节点值后, 加速度数据达到峰值, 此后只有信号时间长度影响感知强度差异. 用两个阶段的对数变化Sp(x)描述实验中所有参数结果为

Sp(x)=Kacclogxacc+Ktimlogxtim,

(3)

x=xacc+xtim.

(4)

拟合得出两个参量的调节系数Kacc,Ktim及分割两个阶段的节点xp,xacc和xtim分别为节点前后的信号时间长度参数.

1.3 感知强度

频率参量感知数据结果如图3所示. 在20 ms振动时间范围内, 加速度以一定幅度衰减. 使用力变率(jerk)表示加速度衰减, 4种频率振动切向力变率依次为411,1 542,749,330 m/s3, 法向力变率依次为133,337,43,68 m/s3.

图3 频率参量实验结果Fig.3 Experimental results of frequency parameters

由图3可见, 100,300,400 Hz的水平加速度数据差异较小, 但300 Hz比100 Hz的力变率约高1倍, 使得300 Hz感知弱于100 Hz. 频率参量感知实验数据分析结果列于表1. 4种频率振动信号有显著性差异, 用显著性差异的水平(F)和检验水平(P值)表示, 单因素方差分析结果为F(3,36)=81.626,P值<0.001.

表1 频率参量感知实验数据事后检验的图基分析多重比较结果

时间长度实验数据以最小二乘法多项式拟合连接, 呈现两个不同阶段的连续变化趋势如图4所示. 由图4可见, 第一阶段, 加速度呈非线性增长变化, 此时振动加速度与时间长度共同影响感知结果； 第二阶段, 加速度数据上升到平稳状态, 不再继续增加, 此节点后差异感知仅依靠信号时间长度变化, 感知变化率逐渐减缓. 实验结果表明, 加速度数据的变化率逐步减缓, 法向数据比切向数据变化程度小, 以切向加速度数据作为主要干扰因素. 当xp=30 ms时, 切向加速度达到峰值38 m/s2, 对应感知曲线中凹陷位置,xp前感知变化率比xp后大, 拟合后该曲线的调节系数Kacc=2.42,Ktim=3.21, 均为常数.时间长度参量感知实验数据分析结果列于表2, 在30 ms前的数据两两对比的差异感较明显, 而30 ms后的数据对比显著性较差, 12种时间长度振动信号具有显著性差异, 单因素方差分析结果为F(11,108)=15.472,P值<0.001.

表2 时间长度参量感知实验数据事后检验的图基分析多重比较结果

图4 时间长度参量实验结果Fig.4 Experimental results of time length parameters

时间间隔参量感知实验结果如图5所示. 由图5可见, 15 ms后的数据呈离散分布, 此时振动被感知为有微弱分离感, 逐渐脱离一个连续的长信号； 50 ms开始已有部分实验者能感知到两个分离的信号, 直到90 ms, 曲线分布密集, 实验者均能感知到两个振动.

图5 时间间隔参量实验结果Fig.5 Experimental results of time interval parameters

2 触觉信号的区分

针对不同的应用场景, 本文提出振动触觉信号的两种编码模式： 等长编码和变长编码. 描述编码的识别情况需考虑人类的触觉感知和判断. 等长编码具有固定的长度, 可表示盲文和二进制编码, 而变长编码可实现不同的触觉等级表示更多层次的信息. 人的感知并不总处于一个稳定状态[22]. 同理, 在编码信号识别中存在一种模糊状态, 使一种触觉编码信号被识别时会与其他编码信号混淆.

图6 等长编码和变长编码的混淆矩阵Fig.6 Confusion matrix of equal-length codes and variable-length codes

(5)

3 触觉编码传递信息

结合感知阈值和信源编码定理设计信息的振动触觉信号编码表征形式, 并根据所表达的信息内容, 设计具有一定感知差异的多种触觉信号编译信息. 考虑到一般触觉信道能力约限制在2.5 bits, 采用两种类型的输入, 利用频率和持续时间设计触觉编码的独立信号, 并在独立信号之间添加一个间隔, 便于触觉信息识别. 触觉传输绝非仅以好与坏、 强与弱简单说明, 而应该从信息传输的本质进行评价.

应用信息理论分析编码方案的触觉信息传输量, 可用概率表示IT, 对于特定的刺激-响应(Si,Rj), 其IT数量可表示为

(6)

其中P(Si,Rj)为Si和Rj的联合概率,P(Si|Rj)为Rj给定情况下Si的条件概率,P(Si)为Si的先验概率.IT方程中的概率可用发生次数近似估计, 根据刺激-响应混淆矩阵得到最大似然值估计ITest为

(7)

3.1 信息编码方法

在移动设备上实现文本信息触觉编码传输, 首先需要确定编码码元的振动信号形式, 文献[26]研究表明, 信息可以简单地以触觉信号的存在与缺失表示两种码元传输.作为编码码元的振动触觉信号, 其参数调节需要确定合适的Φ及ΔΦ, 以保证人能明确感知到信号之间的差异. 编码信号由频率和时间长度调节的振动触觉信号与信号之间的时间间隔组成. 选取通信常用的二进制编码形式, 以两个独立振动触觉信号作为码元设计信息的触觉编码, 每个编码码元都传输1 bit. 用短信号、 长信号、 低频和高频的组合表示两个触觉编码码元(·, - ). 举例表示16种信息(文本： 0～9, A～F)的振动触觉信号编码方式, 两种编码列于表3.

表3 16种文本的两种编码

3.2 信息编码传输的验证

为验证两种信息编码触觉传输效果, 设置编码信息识别实验. 使用感知阈值实验的硬件设备, 利用触控屏上的虚拟按键驱动电机, 按键不标注该振动信号所表征的文本. 两种码元以10 ms,30 ms,100 Hz和200 Hz组合设计, 频率、 时间长度参数选取的差异感知常数Cf=1,Cd=2, 感知差异度分别为58%和47%. 等长编码信息传输率为4.60～5.06 bit/s, 变长编码信息传输率除“0,1”外为100,33.33 bit/s, 其余在4.82～7.41 bit/s范围内. 两种编码方法分别测试10次, 每次实验的文本顺序均不相同. 实验中为实验者提供文本与信号编码的对照表.

3.3 结果与讨论

共采集10名实验者的数据, 实验时长约为1～2 h(包括休息时间). 与感知阈值实验方式相同, 实验者在实验前未经过编码信号识别训练, 实验不存在编码文本外的结果. 等长编码与变长编码的实验结果如图7所示. 图7可显示每种刺激-响应结果次数以及刺激集Si与响应集Rj的准确度与精度, 矩阵中从左上角至右下角的对角线数据为响应正确数据, 由深度不同的灰色标记显示, 表示为刺激-响应结果正确的高频程度, 刺激集Si与响应集Rj的精度以每列(每行)刺激响应正确次数除以每列(每行)数据总和得出. 由图7可见, 大部分感知混淆情况发生在相似的触觉编码信号之间, 特别是在变长编码中明显可见混淆数据大多数集中在码长相同的小区间范围内, 且范围内包含的刺激种类越多, 其混淆数据分布越明显.

图7 等长编码与变长编码实验结果的刺激-响应混淆矩阵Fig.7 Stimulus-response confusion matrix of experimental results of equal-length codes and variable-length codes

等长编码方法传输的平均信息量约为3.43 bits, 平均信息传输速率为4.13 bit/s； 而变长编码方法传输的信息量大小约为3.83 bits, 平均信息传输速率为8.34 bit/s, 码长相同的各区间范围内传输的信息量约为1,1.89,2.39,0.99 bits, 两种方法传输损耗分别为15%和5%. 在实验中实验者存在一个适应阶段, 如图8所示. 由图8可见, 在等长编码实验错误数据结果中, 有6名实验者能轻松识别编码, P1,P8,P9在第1,2次实验错误率较高, 只有P5通过10次实验后未提升编码识别率, 说明通过一定时间训练人可以稳定接收等长编码传输的信息.

图8 10名实验者在实验两种编码时的错误识别数据Fig.8 Data of error recognition by ten experimenters in testing two codes

10名实验者在等长编码实验中接受的平均信息量为3.64(±0.37)bits, 变长编码实验为3.91(±0.14)bits, 与刺激响应混淆矩阵得出的信息量数据相符. 除P1,P5偏移值较大, 其余数据均在平均范围内. 在等长编码实验信息量小于3.5 bits的实验者在变长编码测试中有明显提高, 变长编码可高效传输信息, 降低信息相似度. 因此只要经过系统性且长时间编码识别训练, 人可以触觉接收移动设备传输的文本内容. 从而验证了基于人类感知能力的触觉编码传输信息的可行性, 选择合适的触觉参数可提高人机信息传递效率.