燕学智, 李瑞格, 武秋爽
(吉林大学 通信工程学院, 长春 130022)
近年来,智能手机、平板电脑等多媒体终端日益普及,成为应用最为广泛的人机交互媒介[1],触摸屏技术也成为当下最为普遍的交互方式之一。然而,绝大多数触摸屏操作依赖于视觉和听觉[2-3],仅有大约15%的信息来自触觉,相比于视听交互技术的迅速发展,触觉交互技术研究仍处于起步阶段。触觉反馈的缺失会降低操作效率和用户体验[4],限制触摸屏产品在嘈杂和视觉障碍环境中的应用。
2001年,Robles-de-la-Torre和Hayward[5]在Nature上撰文证明人类对物体形状的触觉感知取决于手指受到的作用力,为触觉再现技术的实现提供了重要的理论依据。早期的触觉再现研究主要针对间接式力触觉反馈技术,研究者主要通过鼠标、机械臂、指点杆等媒介间接控制力触觉感知。典型应用包括Rosenberg和Brave[6]的力反馈操作杆、Sensable公司的笔式触觉再现设备(Phantom设备)和IBM公司[7]的trackpoint力反馈设备等。上述力触觉再现设备能够产生几牛顿量级的触觉感知,模拟多种触觉感受,在机器人遥操作、军事、医学等方面发挥了重要作用[8]。然而,该类设备的触觉接口与视觉接口分离,难以再现复杂精细的特性信息[9],在多目标复杂任务中甚至会干扰目标选择,且装置体积较大,携带不便,难以与现有的多媒体终端产品结合应用。相比之下,表面触觉再现技术具有体积小、功耗低、集成性高等优势,易与现有触摸屏产品集成应用,成为多媒体终端触觉再现的最佳选择。
表面触觉再现技术可通过裸指触摸屏幕来感知视觉对象的形状、纹理等触觉特征,利用人类的触觉感知通道提高人机交互操作的真实性和沉浸感,在生活、娱乐、教学、军事等领域展现出独特优势[10]。现有的表面触觉再现技术的现状研究大多集中于两方面:①对典型的原理样机设备的具体介绍;②对触觉再现技术的简单比较和重难点分析。2006年,陈旭和宋爱国[11]对针式振动触觉再现、空气压力触觉再现、静电阵列触觉再现和锯齿表面触觉再现设备进行具体介绍和简单的性能比较。2007年,王爱民和戴金桥[12]分别对力觉再现技术和触觉再现技术的研究进展进行介绍。2008年,陆熊和宋爱国[13]也从上述两方面着手,分类介绍国内外的研究现状及相关应用。2008年,Chouvardas等[14]对手指皮肤结构和典型的触觉再现设备进行介绍。2011年,郝飞等[15]对振动式、压力式、电刺激式和温度刺激式设备进行介绍,并简单比较了4种方式的性能。然而,上述研究所提设备多为早期的穿戴式或体积较为庞大的非表面触觉再现设备,未对近年来的成果进行系统性的分析和总结。除此之外,由于表面触觉再现原理多样,设备性能受多种因素影响,导致该领域评价标准表述不一,难以得出有效的性能评价。现有研究对设备的各项性能评价均过于主观,未给出客观可信的评估标准,制约了表面触觉再现技术的设计开发与实际应用。
本文对近十年的表面触觉再现技术进行了介绍。根据表面触觉再现原理的不同,将现有技术分为振动式、压力式、压膜式、静电力式和电刺激式,详述5种技术的工作原理、性能指标和优缺点,对该领域的最新进展进行梳理和完善。针对现有评价方式过于粗糙和主观的问题,提出了一种表面触觉再现技术的评估方法。通过制造难度、工作区间、可调范围、感知强度、功率损耗、再现效果和用户体验7种性能指标来全面评价现有设备,采用专家打分法和层次分析法获得4种设备在每种性能指标下的权重,为各领域选择和评价所需设备提供参考,弥补了现有评价方式的缺陷。本文将所提方法应用于多媒体终端领域,得到4种设备在该领域下的7种性能指标合成权重及性能排序,为设备的终端应用提供参考。总结现有设备的不足,讨论未来的研究和改进方向。
表面触觉再现设备通过在皮肤表面产生轻微刺激,使皮肤浅层感受器兴奋进而引起各种感觉,增加交互过程中的沉浸感。现阶段多媒体设备趋向小型化、智能化和便捷化,设计扩展性强和兼容性好的轻便型表面触觉再现设备成为研究重点。下面将具体介绍5种不同类型的设备,并总结设备的优势与不足。
振动式表面触觉再现设备通过控制线性马达、音圈电机等各种振动器使装置部分或整体振动,刺激操作者手指产生振动触感。按照振动方式的不同,可将振动式表面触觉再现设备分为形状表面触觉再现设备和分布式振动表面触觉再现设备2类[16]。前者通过振动器控制插针阵列等皮肤接触器的升降位移再现触觉,后者则通过分布排列的振动器施加固定频率振动使皮肤产生形变再现触觉,2种设备的触觉再现原理如图1所示。虽然形状表面触觉再现设备中并无明显的振动环节,与现有对振动设备的认知不符,但早期的振动式表面触觉再现设备定义较为广泛,所有依靠振动器直接产生振动或间接带动接触器产生振动的设备都可归类为振动式表面触觉再现设备。
图1 2类振动式表面触觉再现设备Fig.1 Two types of vibratory surface tactile representation device
1.1.1 形状表面触觉再现设备
1997年,Ikei等[17]通过压电致动器驱动50个半径为0.5 mm的振动插针以250 Hz频率振动,使插针产生5~57 μm位移,用以刺激手指皮肤,如图2所示。该设备可产生10种可区分的感知量级,但装置体积较大,且触感微弱。
2000年,Hayward和Cruz-Hernandez[16]研制出一种形状表面触觉再现设备,由皮肤接触器、黄铜薄膜、压电致动器和控制系统组成,在±200 V电压下产生±5 mm位移,振感较强烈,但工作区间仅为12 mm×12 mm,且分辨率低,如图3所示。2002年,Wagner等[18]研制出一种针式形状表面触觉再现设备,36个RC伺服电机带动6×6的插针阵列运动,可再现16种简单形状,如图4所示,但插针转换速率仅为38 mm/s,且整体再现范围过小,触觉再现效果受限。
图2 Ikei表面触觉再现装置原理及结构[17]Fig.2 Principle and structure of surface tactile representation device by Ikei[17]
图3 Hayward表面触觉再现设备[16]Fig.3 Surface tactile representation device by Hayward[16]
图4 触觉显示样机[18]Fig.4 Tactile display prototype[18]
1.1.2 分布式振动表面触觉再现设备
2009年,Yatani和Truong[19]研发出SemFeel设备,将5个振动电机嵌入手机后端,通过调节电机振动强度再现定位、线性、循环等11种振动模式,如图5所示。该设备可帮助用户区分不同的按钮操作,准确度可达90%,但设备体积较大。
图5 SemFeel设备[19]Fig.5 SemFeel device[19]
2010年,韩国Yang等[20]研制出T-mobile设备,可为手机提供线性和循环2种方向信息,如图6所示。该设备由12个振动嵌板组成,每个嵌板均可独立控制,加载8种PWM信号,同一嵌板振动间隔需超过18 ms,不同嵌板振动间隔需超过24 ms,但设备的振动嵌板体积过大且与显示器脱离,携带不便。
图6 T-mobile设备[20]Fig.6 T-mobile device[20]
图7 磁针式触觉感知系统[22]Fig.7 Tactile perception system using magnet needles[22]
振动式表面触觉再现是研究最早的表面触觉再现技术,早期的形状表面触觉再现设备存在制造难度大等一系列问题,难以应用于实际,因此逐渐被淘汰。随着制造工艺的发展,振动式表面触觉再现设备的集成化和便捷化程度有所提升,且工作区间可达整个屏幕,触感强烈,有效提高了交互性能。但该类设备需带动屏幕整体振动,过程中产生的机械形变难以控制,触感粗糙,反馈形式单一,可调范围小,且振动过程会产生较大的功率损耗,难以应用于大尺寸触摸屏设备。
压力式表面触觉再现设备使用气体、形状记忆合金等对手指施加变化的压力,模拟手指接触物体时的形变,从而再现触觉感知[21]。由于空气具有良好的压缩性,气体的挤压和膨胀不会造成用户的不适感和不安全感,而形状记忆合金具有恢复性强、延展性好、可实现多种变形形式等特点,因此基于气体和形状记忆合金材料的压力式表面触觉再现技术受到了广泛关注。
1998年,Asamura等[22]研制出一种磁针式压力表面触觉再现设备,如图7所示。设备由安装在用户手掌下部的4个两两间距2 mm的磁针和4个垂直放置的通电线圈构成,可产生正向和反向2种驱动模式。正向驱动模式可同时刺激皮肤浅层和深层触觉感受器,再现轮廓信息;而反向驱动模式则只能刺激浅层触觉感受器,再现纹理信息。但该设备存在感觉不真实、工作区间小、结构复杂等问题。同年,Asamura等[23]研制出一种气压表面触觉再现设备,通过控制激励信号参量选择性刺激不同深度的皮肤感受器,1V/100 Hz的输入信号可产生2.8 kPa气压,如图8所示。
图8 气动和针型触觉再现设备结构[23]Fig.8 Structure of tactile representation device using air and pin[23]
2004年,Makino和Shinoda[24]将吸入压力刺激(SPS)和多基元触觉刺激(MPTS)2种技术应用于掌上表面触觉再现设备,使该设备选择性刺激RAI和SAI 2种浅层皮肤感受器。SPS技术可产生较为稳定的触觉刺激,精确控制皮肤形变量;MPTS技术可组合多个触觉产生单元,实现较大面积的触觉再现。该装置解决了刺激单元与皮肤接触不稳定、难以精确控制等问题,但仍存在结构复杂、制造工艺高等问题。
2008年,Koo等[25]使用25 μm厚的电活化聚合物研制出一种柔软的指套型表面触觉再现设备,可产生0~3.5 kV电压,使4×5排列的电活化聚合物阵列在电场作用下改变凸起高度,刺激指尖皮肤,如图9所示。该设备灵活性高,制造工艺简单,但最大只能产生471 μm位移,总体有效区域仅为11 mm×14 mm,可调范围小,感知强度较弱,所需电压高,功率损耗大。
图9 可穿戴触觉显示设备的3D结构[25]Fig.9 3D structure of wearable tactile display device[25]
压力式表面触觉再现设备安全性高,不会造成操作者的不适感和抵触心理,用户体验良好,但气压表面触觉再现设备存在气体外泄等不可控因素,控制过程中精度有限,且设备需要较为复杂和精细的制造工艺,加工难度大,难以实现大范围连续细腻的触觉再现效果。
空气压膜指当两平板中的某一个作高频振动时,气体无法及时溢出而在两板间形成的高压空气薄膜[26]。标准Reynolds方程[26]可描述空气压膜效应:
(1)
式中:σ为压膜系数,反映了空气黏滞力与压缩力间的量化关系;R为平板半径;Pa为标准大气压;h0为两平板间距;ω为平板振动频率;μ为空气黏滞系数。
图10 空气压膜效应原理Fig.10 Principle of air squeeze-film effect
图11 T-PaD设备[28]Fig.11 T-PaD device[28]
2010年,Marchuk等[29]研制出LATPaD设备,工作区间约为83 mm×49 mm,适合与手机、小型平板电脑等结合使用,如图12所示。该设备底层为LCD屏幕,上层为透明玻璃板和安装于板上的压电振动片,可产生0~1 N法向力和-0.5~0.5 N切向力。2011年,英国哥伦比亚大学Lévesque等[30]在LATPaD上验证可变摩擦力对单指平移操作性能的影响,并将其应用于时间/音量调节、文件拖拽等应用中。2012年,Lévesque等[31]又将设备应用于单指滚动交互,进一步研究设备的应用场景。
2011年,Amberg等[32]研制出STIMTAC装置,如图13所示。第一代设备用USR60超声电机和LVDT产生振动,工作区间仅为几厘米,之后采用轻便的力传感器代替笨重的光学传感器,用USB实现供电和信息传输,耗电量降低90%,从体积和能耗方面提升了设备性能。
2012年,Dai等[33]研制出SlickFeel设备,使用30 kHz电信号和500 Hz电信号分时控制,可产生滑动和点击2种触觉反馈,如图14所示。触觉振动单元由1.7 mm厚的玻璃片和2个压电片封装而成,固定于Kindle Fire上,利用平板电脑的定位装置判断手指运动状态并对运动信息进行处理,控制触觉振动单元产生对应反馈,原理如图15所示。
近年来,除了对设备性能的不断优化,研究者还对空气压膜效应原理性问题展开研究。2014年,马露[34]推导得到气膜可压缩程度与装置共振频率间的关系和手指接触位置处的空气压膜强度,证明气膜压强随表皮凸起高度的增加而增加。2015年,Sednaoui等[35]研究发现表面摩擦系数随超声振动幅度的增加呈现指数减小,在振动幅度达到3 μm时减小到某一下限。2016年,Wiertlewski等[36]证明手指皮肤的动态性是造成摩擦减小的主要原因,也得到振动幅度与摩擦力间的对应关系。研究者通过受抑全内反射方法得到高频振动情况皮肤向反向运动,但中间空气不能及时溢出,阻碍皮肤反弹运动,造成手指与设备间出现空隙,使摩擦力减小。2017年,Gueorguiev等[37]通过E-ViTa设备获得超声脉冲信号过渡时间和持续时间的感知差异阈值仅为2.06 ms和2.4 ms,证明人体对脉冲信号敏感,为脉冲信号的应用提供参考。
图12 LATPaD设备[29]Fig.12 LATPaD device[29]
图13 STIMTAC设备[32]Fig.13 STIMTAC device[32]
图14 SlickFeel设备[33] Fig.14 SlickFeel device[33]
图15 SlickFeel设备工作原理Fig.15 Principle of SlickFeel device
基于空气压膜效应的表面触觉再现设备工作区间大,制造工艺较为简单,且能够产生较为强烈的触感和连续细腻的再现效果,但设备需借助屏幕整体振动产生触觉感知,功耗较大。
1953年, Mallinckrodt等[38]发现金属表面在通电时的触感较未通电时粗糙,进而研究发现,当干燥手指在覆有绝缘物质的通电金属表面滑动时,手指会有“胶质”触感。该现象是由于手指内部的导电流体和金属层构成的平行电容结构充放电所致,手指表皮角质层和金属表面绝缘层则充当电容极板间的电介质。
当在导电金属层施加周期性变化的信号V(t)时,金属层将交替分布正负电荷,如图16所示。当V(t)为正电压时,绝缘层上下表面分别分布正负电荷,皮肤角质层则由于电荷感应原理带有负电荷;当V(t)在正负电压转换过程时,绝缘层的正电荷向下移动,负电荷向上移动,手指因此同时携带正负电荷;暂态结束后,金属层将均匀分布负电荷,手指则携带正电荷。
综上,随V(t)周期性变化,皮肤和导电金属间会产生周期性的静电吸引力,该静电吸引力不足以直接使手指产生弹性形变,因此静止状态的手指难以感知吸引力的存在。但当手指滑动时,静电力的变化会使手指所受摩擦力变化,从而再现各类表面触觉感知,其力学模型如图17所示。图中:fe为静电吸引力,fr为滑动摩擦力,方向与手指运动方向相反。
图16 手指电荷分布情况Fig.16 Charge distribution in fingers
图17 基于静电力的表面触觉再现力学模型Fig.17 Surface tactile representation mechanical model based on electrostatic force
1970年,Strong和Troxel[39]应用静电力表面触觉再现原理研制出一种阵列型设备,并深入研究影响fe(t)的因素,将fe(t)和fr(t)表示为
(2)
fr(t)=μ(Fn+fe(t))
(3)
式中:ε0为真空介电常数;A为手指接触区域面积;V(t)为瞬态电压;Ti和Tsc分别为设备绝缘层和皮肤角质层的厚度;εi和εsc分别为设备绝缘层和皮肤角质层的相对介电常数;Fn为手指压力。2006年,Kaczmarek等[40]根据式(4)所示的平板电容结构标准力学模型提出另一种静电力模型,如式(5)所示。
(4)
(5)
上述模型符合平行电容结构的标准力学模型,因此被广泛应用于静电力表面触觉再现领域[41-46]。由式(3)和式(5)可得,fr(t)的变化主要取决于fe(t)的变化,而fe(t)则取决于V(t)的变化情况,因此静电力设备实际是通过控制激励信号幅度等参量实现表面触感再现。
2006年,Yamamoto等[41]将50个长为37 mm、宽为0.8 mm的电极两两相距2.54 mm排列成矩形电极阵列,在100~200 V电压作用下可产生0~900 mN摩擦力,如图18所示。设备的位置传感器将手指位置输入系统,控制导轨在纹理表面移动,并将表面受力信息反馈入系统,生成刺激信号产生对应触感。该设备的纹理再现信息取自于真实表面,可信度较高,且易与移动终端结合,但设备采用电极阵列形式,触觉再现不连续,呈现的纹理模糊,感觉微弱。
2010年,Disney研究中心Bau等[42]使用3 M电容式触摸屏研制出TeslaTouch设备,如图19所示。设备使用投影仪将图像投射到3M平板,使用红外照相机捕捉手指位置并实时改变激励信号,产生与视觉信息对应的触感,其再现原理如图20所示。该设备灵活性和集成性均很高,且功耗较低,但对较为尖锐和突出的图像纹理渲染效果较差。
2016年,吉林大学孙晓颖团队[43-46]研制出基于Windows平台和Android平台的静电力表面触觉再现终端,实现了视觉对象形状等特性的表面触觉再现,如图21所示。该设备包括表面触觉再现面板、控制单元和定位单元3部分,再现流程如图22所示。设备的触觉分辨率为1 mm,触觉刷新频率为60 s,交互范围为12寸,最大反馈力为1 N。
图18 触觉再现系统原理[41]Fig.18 Principle of tactile representation system[41]
图19 TeslaTouch设备[42]Fig.19 TeslaTouch device[42]
图20 TeslaTouch设备原理[42]Fig.20 Principle of TeslaTouch device[42]
图21 静电力表面触觉再现移动学习终端Fig.21 Electrostatic surface tactile display mobile learning terminal
图22 静电力表面触觉再现设备实现流程Fig.22 Implementation process of electrostatic surface tactile representation device
电极阵列形式的静电力表面触觉再现设备可实现简单图形图像的纹理渲染,但设备加工难度增加,屏幕透明性差,难以提供良好的视觉-触觉-听觉多通道交互体验,因此研究重点转为表面触觉再现设备与多媒体终端的融合优化问题,融合设备也因制造方便、工作区间大等优势获得广泛重视。静电力式表面触觉再现设备不依赖任何运动部件,也不会引发屏幕的物理变化,具有无噪声、低功耗、质量轻、使用便捷等特点,且易于应用于现有多媒体终端,具有广阔的市场前景。然而由于原理限制,静电力表面触觉再现设备只能在手指滑动过程中获取纹理信息,无法在静态情况呈现触觉,且触感较微弱,对温湿度等环境条件极为敏感[47],再现效果因人而异。
电刺激式表面触觉再现设备通过表面电极产生电流,直接刺激人体皮肤内的感觉神经,再现触感[48]。2010年,刘捷等[49]研制出一种电触觉替代视觉系统(Electrotactile Vision Substitution System,ETVSS)(见图23),通过图像采集及处理单元将汉字转换成二值图像,使用电刺激器控制16×16的电极阵列对应位置处的电机产生电流,刺激手指皮肤产生触感。2012年,Kajimoto[50]使用SH-7144F实时监测皮肤阻抗,并根据皮肤阻抗变化实时改变电刺激的脉冲宽度,从而改善电刺激式表面触觉再现设备触感不唯一的问题,如图24所示。
2015年,Kitamura等[51]针对现有电刺激式表面触觉再现设备所需电压过高、体积庞大等问题,研制出一种包括中间1个主刺激电极和周围6个接地电极的电刺激式表面触觉再现设备,如图25所示。该设备通过刺激皮肤浅层感受器再现触感,降低了设备所需的电压。2016年,Tezuka等[52]针对上述设备触感单一的问题对设备进行改进,将6个接地电极换成放置于指甲处的平板接地电极,可同时刺激皮肤浅层和深层感受器,从而再现多种触感,如图26所示。
2017年,Franceschi等[53]针对现有假肢难以提供触感特性的问题,将分布式传感器和电极阵列相结合,研制出一种电刺激式表面触觉再现设备,可实现线型、几何形状、字母、轨迹和方向变化信息,为假肢用户提供全面的触觉体验,如图27所示。2017年,Kaczmarek等[54]在现有电刺激式表面触觉再现设备上探究驱动信号频率和刺激电流在再现触感时的相互作用,证明刺激电流越大信号频率的感知范围越大,信号频率越高刺激电流的感知效果越好。此外,电刺激式表面触觉再现触感可通过两维度的模型表示,其中感知频率和信号频率、感知强度和刺激电流之间存在强对应关系。
图23 电触觉替代视觉系统[49]Fig.23 ETVSS[49]
图24 Kajimoto表面触觉再现设备结构[50]Fig.24 Structure of surface tactile representation device by Kajimoto[50]
图25 电刺激式表面触觉再现设备[51]Fig.25 Electrotactile surface tactile representation device[51]
图26 改进的电刺激式表面触觉再现设备[52] Fig.26 Improved electrotactile device[52]
图27 电子皮肤和电刺激阵列设备[53]Fig.27 E-skin and electrode array device[53]
Giraud等[55]提出,当振动底层是导电材料时,基于静电力的表面触觉再现设备和基于压膜效应的表面触觉再现设备可以相结合,并以STIMTAC设备为载体研制出组合式表面触觉再现设备,如图28所示。该设备利用空气压膜效应减小摩擦系数,利用静电吸引力增大摩擦力,合力效果如下:
Ft=(μ0-Δμ)(Fp+fe)
(6)
式中:Ft为手指感知到的合力;μ0为设备初始摩擦系数;Δμ为空气压膜效应产生的摩擦系数的改变;Fp为手指压力,fe为静电吸引力。
组合式表面触觉再现设备利用2种原理拓宽触觉再现力的调节范围,可实现更为丰富的触觉再现效果,但2种原理之间是否相互干扰尚不明确。2015年,Giraud团队的Vezzoli等[56]针对上述问题,通过仿真和实验2种方法证明2种技术间的干扰对操作者触觉感知效果影响较小,肯定了组合式表面触觉再现设备的有效性。
Yang[57]将绳动表面触觉再现设备FingViewer-I与基于压膜效应的表面触觉再现设备STIMTAC相结合,利用FingViewer-I力反馈设备实现形状再现,输出力在0.3~1.2 N之间;利用STIMTAC触觉反馈设备实现纹理再现,振动板以52.2 kHz高频振动可产生0.2 N的反馈力。系统通过激励信号控制绳动张力和表面摩擦力,再现触觉感知,设备样机及控制流程如图29所示。力反馈设备的加入明显改善了表面触觉再现设备感知强度微弱的问题,增加触觉的调节范围,有效增强触觉真实性,拓宽了表面触觉再现技术的应用领域,但设备存在一定程度的空间差异,影响感知精度,且绳动表面触觉再现设备需佩戴指环,限制了设备的自然交互,使用户体验下降。
图28 组合表面触觉再现设备实验装置[55]Fig.28 Combination surface tactile representation devices[55]
图29 集成表面触觉再现设备[57]Fig.29 Integrated surface tactile representation device[57]
由于表面触觉再现原理多样,性能受多种因素影响,导致表面触觉再现设备的评价指标层出不穷,很多评价指标无法直接量化,难以形成有效的量化评估标准。在上述研究基础上,本文使用制造难度、工作区间、可调范围、感知强度、功率损耗、再现效果和用户体验7种性能评价指标对表面触觉再现设备进行评价,综合运用专家打分法和层次分析法获得振动式、压力式、压膜式和静电力式表面触觉再现设备在7种评价指标下的性能优劣。此外,本文使用所提方法对4种设备在多媒体终端应用中的性能优劣进行排序,为其他领域提供参考范例。
专家打分法亦称为德尔斐法[58],需要通过匿名方式征询有关专家的意见,对专家意见进行统计、处理、分析和归纳,从而做出合理的评价。该方法可将量化指标和非量化指标结合评价,根据具体评价对象确定恰当的评价项目并制定评价等级和标准,每个等级标准以打分形式体现,具有原理清晰、计算简单、评价准确等优势。层次分析法[59]将定性方法与定量方法有机结合,将人的思维过程数学化和系统化,将多目标、多准则、难以全部量化处理的决策问题化为多层次单目标问题,从而获得科学有效的决策。2种方法均能有效评价表面触觉再现技术中难以直接量化的各项指标,具有重要意义。该评价方法主要包括3个步骤:递阶层次结构模型的建立、判断矩阵的构造、单一准则下相对权重的计算,下面将对这3个步骤进行具体介绍。
为综合评价表面触觉再现设备在某领域的性能,需首先通过信息搜集和专家咨询在该领域建立设备性能的递阶层次结构模型,如图30所示。A表示目标层,是表面触觉再现设备在某领域的性能;B表示准则层,Bk为影响A的性能指标评价因子;C表示方案层,是需要评价的设备种类。综合现有设备的性能评价方式,本文提出7种性能指标评价因子,以期能够全面评价4种设备在某领域的性能:制造难度、工作区间、可调范围、感知强度、功率损耗、再现效果、用户体验。制造难度指设备制造工序的复杂程度,制造所需的时间和精准度,该指标主要为设备的实用性和商业化前景提供参考。工作区间指设备有效反馈触觉的面积,即用户在操作中能够感知到触觉的最大区域。可调范围指设备可变参量的调节范围,即设备触感再现的丰富程度。感知强度指设备再现的触感强弱,即用户触摸到设备后产生的皮肤形变程度。可调范围与感知强度间并无联系,某些设备虽然能再现多种触感,但感知强度普遍较弱,某些设备虽然感知强度大,但再现的触感单一。功率损耗为设备的触觉再现效果提供客观性评价,指电源转化过程中损失的功耗。再现效果和用户体验为设备的触觉感知效果提供主观性评价。再现效果指设备再现真实感,即设备呈现的触感是否真实自然。用户体验指用户对于正在使用的设备的认知印象和回应,通俗来讲就是“该设备触摸起来是否舒适”。
图30 设备性能评价的递阶层次结构模型Fig.30 Hierarchical structure model for device performance evaluation
为分析4种表面触觉再现设备的7种性能,构造7×7的设备性能成对判断矩阵X和4×4的指标评价因子判断矩阵Yk(1≤k≤7)。
X=(Bij) 1≤i≤7,1≤j≤7
(7)
Yk=(Cij) 1≤i≤4,1≤j≤4
(8)
式中:Yk为指标Bk的评价因子判断矩阵;Bij为评价因子Bi与Bj对设备性能的重要性之比;Cij为某指标评价因子对表面触觉再现设备Ci与Cj的重要性之比。
Saaty[60]提出用1~9这9个数字及其倒数作为标度来确定Bij和Cij的值,每个数字标度对应的含义如表1所示。
为获得4种设备在7种性能评价指标方面的性能优劣,首先计算7种评价指标对4种设备性能的影响权重,为设备的客观物理评价及应用选择提供参考。此外,将所提的评价方法应用于多媒体终端领域,通过计算4种设备在7种评价指标下的合成权重,获得4种设备在多媒体终端应用中的性能优劣。根据图30所述的设备性能评价层次结构模型和表1所述的Saaty法判断矩阵标度,制作性能评价打分表,邀请3名表面触觉再现领域的专家对本模型各评价因子进行打分,并根据专家从事表面触觉再现领域的年限对其打分结果进行加权平均,最终可得到专家的设备性能成对判断矩阵Xm=[X1,X2,X3]和指标评价因子判断矩阵Ymk=[Y1k,Y2k,Y3k],Xm和Ymk表示第m名专家的打分结果。为保证评价结果的准确性和可信性,本文所选专家均在表面触觉再现领域具有较为深入的研究,参与或承担过表面触觉再现方向的重要科研项目。在专家打分前,笔者向专家充分说明该递阶层次结构模型的建立方法和打分方式,并介绍Saaty法判断矩阵标度的使用方法。
表1 判断矩阵标度及其含义[60]
通过计算专家的设备性能成对判断矩阵Xm和指标评价因子判断矩阵Ymk的最大特征根和特征向量,可得到设备的性能权重。所得判断矩阵计算方法均相同,为简化表述,令A代表任一判断矩阵,则Aij为A的第i行第j列元素,表示因素i与因素j对A的重要性之比,由专家打分获得,计算步骤如下[61]:
(9)
(10)
步骤3将A″正规化,得权重向量W,其中Wi为W的第i行元素:
(11)
步骤4计算判断矩阵A的最大特征值λmax并进行一致性检验,计算方法如下:
(12)
(13)
式中:(AW)i为判断矩阵和权重向量相乘后所得列向量的第i个分量;CI为一致性指标;RI为平均随机一致性指标,由多次随机判断矩阵重复计算获得,如表2所示[62];CR为一致性判断依据,当CR<0.1时,认为判断矩阵的不一致程度在允许范围,可使用W作为权向量进行后续计算。
步骤5将准则层和方案层的权重向量合成,计算目标层的合成权重,并对各权重进行排序和一致性检验,得到各种表面触觉再现设备的总体性能排序。
根据2.4节所述方法对准则层和方案层的权重向量进行计算,并对目标层的权重向量进行合成,得到表面触觉再现设备的各项性能指标权重及在多媒体移动终端应用中的总体性能评价,计算结果如表3~表10所示。
对目标层的总权重向量进行一致性检验,可得CR=0.057 9<0.1,满足一致性条件。
表2 平均随机一致性指标[62]
表3 表面触觉再现设备的制造难度权重
表4 表面触觉再现设备的工作区间权重
表5 表面触觉再现设备的可调范围权重
表6 表面触觉再现设备的感知强度权重
表7 表面触觉再现设备的功率损耗权重
表8 表面触觉再现设备的再现效果权重
表9 表面触觉再现设备的用户体验权重
表10 准则层和方案层对目标层的合成权重
由表3~表9可得,4种表面触觉再现设备在7种性能评价指标方面各有利弊。振动式表面触觉再现设备在制造难度、工作区间和感知强度方面具有优势,但可调范围和再现效果不佳;静电力式表面触觉再现设备在可调范围、功率损耗、再现效果和用户体验方面具有优势,但感知强度较弱;压力式表面触觉再现设备的制造难度、工作区间和用户体验差;压膜式表面触觉再现设备的功率损耗较大。由于不同应用领域所需性能差异较大,得到的设备优劣也各不相同,不宜采用统一的评价尺度进行判断。本文所提的7种性能评价指标和评价方法能够帮助各领域研究者整合所需参数,提高评价的有效性。
表10给出了准则层和方案层对目标层的合成权重,第一列1×7个权值为准则层权值,第2~5列4×7个权值为4种设备的方案层权值,合成权重为准则层权值分别对方案层权值进行加权求和而得。由表10可得,4种表面触觉再现设备在多媒体终端应用中的性能优劣排序由高到低为:静电力式、压膜式、压力式、振动式,其中基于静电力的表面触觉再现设备具有较高的研究意义和价值,而振动式表面触觉再现设备虽为目前最为常见的表面触觉再现设备,在多媒体终端上的集成化和市场化程度高,但因内在物理结构的限制,导致其只能产生离散化的触觉感知,真实感较差,发展空间有限。
综上所述,各种表面触觉再现设备在多媒体终端应用上均存在自身优势和不足,在实际应用中,操作者应合理选择表面触觉再现方法,根据不同需求和环境选择适合的表面触觉再现设备。总体而言,相比振动式表面触觉再现设备和压力式表面触觉再现设备产生的离散化触觉感知效果,基于压膜效应的表面触觉再现设备和基于静电力的表面触觉再现设备可再现连续细腻的纹理触觉,与人体皮肤的感知特性相符,具有较大的发展前景,是现阶段国内外研究重点和热点。其中,基于压膜效应的表面触觉再现设备适合再现刚度信息和表面轮廓信息,而基于静电力的表面触觉再现设备则适合产生较为柔软和精细的纹理信息。
近年来,表面触觉再现技术发展迅速,是电子产业变革和发展的重要推动力,但是目前绝大多数表面触觉再现设备仍停留在研究阶段,难以应用于实际,主要难点集中在以下4个方面:
1) 精确性。人体触觉感知系统复杂,感知能力强,可以感知细微的表面变化,感知机理具有连续性和非局部性,而现有设备的触觉分辨率和呈现维度低,无法做到精确渲染再现。
2) 实时性。由于多媒体移动终端的嵌入式系统内部处理器计算性能及数据传输能力等方面的限制,现有表面触觉再现设备只能实现静态图片的触觉特征提取,图片纹理复杂时会产生延迟现象,更无法实现高清图像、高清视频和3D视频的触觉再现特征提取和渲染。
3) 便捷性。现有表面触觉再现设备体积过大,与多媒体移动终端的集成度较差,不能满足终端应用所必需的低成本、低功耗、小型化等要求,难以实现商业化生产和应用。
4) 量化性。人体认知能力受情感、年龄等多种因素影响,个体差异程度较为明显,难以对人体的触觉感知进行准确测量、量化和评价。
综上所述,未来表面触觉再现设备的研究应从以下几个方面着手:
1) 表面触觉再现方式。研究多种触觉虚拟替代技术的融合方法,以实现更加丰富和自然的触觉反馈效果,提高表面触觉再现精确性。
2) 触觉渲染算法。研究复杂度低、计算量小的触觉特征提取和渲染算法,实现多媒体内容的快速精确提取和自然真实渲染,解决表面触觉再现实时性问题。
3) 材料和加工。结合先进的加工技术,采用各种新型材料,设计集成化和小型化程度更高,触觉质感更真实的表面触觉再现设备,实现表面触觉再现的便捷性。
4) 评价体系。从心理物理学定性评价和表面触觉再现测量定量评价两方面着手,设计精确合理的评测实验,搭建完善的测量平台,形成系统的触觉真实感评测体系,解决表面触觉再现的量化性问题。
1) 本文将表面触觉再现设备划分为振动式、压力式、压膜式、静电力式和电刺激式,重点介绍了5种设备的实现原理、关键技术和性能指标,并对设备的优缺点进行分析和总结,主要如下:
① 振动式表面触觉再现设备再现区间大,触感强烈,但振动过程会产生较大的功率损耗,且触觉反馈形式较为单一,只能提供简单的振动信息。
② 压力式表面触觉再现设备安全性高,用户体验良好,但存在气体外泄等不可控因素,制造工艺较为复杂,加工难度较大,难以实现大范围连续细腻的触感。
③ 基于压膜效应的表面触觉再现设备工作区间大,制造工艺简单,可实现较为连续的再现效果,但设备功耗较大。
④ 基于静电力的表面触觉再现设备无噪声、低功耗、质量轻、使用便捷,适合应用于现有多媒体终端上,具有广阔的应用前景,但无法实现静态条件下的触觉呈现,对温湿度等环境条件较为敏感。
2) 本文提出一种表面触觉再现技术的评估方法,采用专家打分法和层次分析法,从制造难度等7个方面对4种再现技术进行综合评价,有效提高了评价的可靠性,对设计和优化表面触觉再现设备具有重要的意义。经过评估,得到4种表面触觉再现设备在多媒体终端应用领域的性能排序由高到低为:静电力式、压膜式、压力式、振动式。