触觉通信技术发展的若干思考

陈鸣锴 周亮

摘要：触觉通信技术被视为下一代移动通信中的杀手级应用。通过对触觉通信的发展背景、技术实质、应用服务，以及技术难题与挑战的分析，指出了触觉通信技术与通信网络建设相结合的应用价值。认为触觉技术与现有的多媒体技术的融合将给信号处理技术带来技术革新。

关键词：触觉通信;B5G;信号处理;数据传输

Abstract：Hapticcommunicationisconsideredasoneofthemostpromisingtechnologiesinthenextgenerationofmobilecommunications.Thebackground，technicalessence，applicationservices，andthetechnicalproblemsandchallengesinhapticcommunicationsareanalyzed.Andtheapplicationvalueofcombiningthedevelopmentoftactilecommunicationtechnologyandcommunicationnetworkconstructionisindicated.Itisbelievedthatthefusionofhapticsandmultimediatechnologywillbringanovelinnovationtosignalprocessing.

Keywords：hapticcommunication;B5G;signalprocessing;datatransmission

1觸觉通信的发展

人在出生伊始，听力、视力等感知体系尚未发育完全，只有触觉感观神经系统已发育健全，能够实现神经元与周身皮肤点对点的信息传递，完成丘脑与外部信息的交互[1]。因此，触觉神经感知又被称为人类感知外界多元信息的第一入口。1988年，朱利叶斯教授和帕塔博蒂安教授从基因层面揭示了人体对温度和机械触觉感知的生物科学原理[2-3]。该项研究不仅获得了2021年诺贝尔生物医学奖，还引发了触觉生物学的研究热潮。随着触觉生物学研究的不断深入，以电子仿生皮肤或智能织物为首的电子仿生材料研究也突飞猛进，这将使由冰冷电子元器件堆砌出来的机器人转型成为具有温度和触感交互的“普通人”。

随着触觉生物学和仿生电子材料研究的不断发展，人们开始思考如何让目前仍处于本地孵化的触觉感知与交互技术向中远程迈进。特别是如何在现有以音视频为主的移动通信业务中加入触觉维度，细化用户服务感受，多层次化地刺激用户感观，从而为用户带来更极致的互动体验和更丰富的场景体验。试想一下，当你的汽车在行驶过程中出现故障时，技术人员在4S店即可远程进行故障诊断甚至在线维修，及时为你解决问题;一位经验丰富的外科医生能给地球另一端的病人实施精准的医疗诊断甚至手术，使得优质医疗资源的惠及面更广。更加实用的是，我们在网上下单前就能摸到衣服的质地;远在千里之外的奶奶在视频聊天时能轻抚孙女的头发，甚至送上一个有温度的吻。

要实现上述场景，就意味着需要闭合数据周期，并利用比特和字节构建的数据网络精确传递等同于人类触觉的感受。为此，早在2012年，德国德累斯顿技术大学GERHARDFETTWEIS教授就提出了“触觉互联网”的概念[4]。这个概念虽然更多关注的是触觉信号的感知、传输等问题，不能兼顾海量音视频的承载需求，但却很好地展现了触觉通信和音视频通信之间的本质区别。这个区别体现在控制层面和传输层面：

（1）控制层面。由于触觉是通过对环境施加运动，并通过扭曲或反作用力来感知环境的，因而触觉控制中的触觉反馈（动觉或振动-触觉）形成全局控制回路，而非触觉控制中的只能是音频/视频的反馈，并无控制回路的概念。

（2）传输层面。触觉需要依靠肤觉的即时性和力觉的反馈性，因此，触觉信号的传输不仅是双向的，而且对时延和可靠性都有着很高要求。否则，会造成触觉临场感系统的不稳定、触觉信息交互应用的服务水平大幅度降低等问题。由此可见，融入触觉数据的移动通信业务虽然能激发B5G与6G的现象级新应用，但同时也对触觉通信的服务保障能力提出了很高要求。这使得触觉通信的服务质量预测和管控成为难题[5]。

2触觉通信的技术挑战

从触觉信号的本源、特点和需求出发，同时参照触觉信号的相关研究[4]，我们认为触觉信号具有三大特点：

（1）多维度。神经生理组织、交互方式等多方面的影响导致触觉感知的信号刻画涉及摩擦力、温度、湿度等诸多特征参量。这些特征参量之间相互耦合，但还缺乏明确的映射模型。

（2）交互性。一方面，触觉控制中的触觉反馈形成了全局控制回路;另一方面，触觉信号是双向反馈的，因此对传输时延和可靠性都有着非常高的要求。过大的延迟和丢包会给触觉系统带来不稳定的临场感，这使得触觉服务的用户体验直线下降。

（3）上下文关联性。触觉信号在时间和空间上具有连续性，前后数据呈现出因果变化。其中，力学数据接收时的时空尺度关联特性更不能被忽视。另外，多维数据之间的突变过程也存在联动关系，这使得数据复原与处理技术难上加难。

目前，触觉通信主要面临3个主要的技术挑战：

（1）多维信号采集与交织。受到神经生理组织、交互方式等多方面的影响，触觉感知的机理较为复杂。如图1所示，多种触觉属性共存导致触觉信号包含物体材质、软硬度和形变效果、表面粗糙程度、温度和湿度、力钜、力度大小等多维信息。各维数据中会掺杂大量噪声信号，并会互相干扰。如何完成这样复杂的多维数据的采集和处理，尤其是如何利用精准的电信号去衡量、描述多维力或非力属性的变化，是以往音视频编码研究中从未遇到过的情况。

（2）交互信号传输与协同。依照采样面积、信号采集器件的精度，实时的触觉信号传输速率一般为20kbit/s～10Mbit/s。相较于音视频数据量，虽然触觉数据量有较大幅度的下降，但触觉数据的产生呈现出突发性。例如，人体的突然运动会使待传输的触觉数据量大幅增加;但当人体或肢体保持静止时，数据传输又呈现出静默性[5]。不仅如此，人体对触觉感知的灵敏度会远高于音频和视频信号，且触觉信号携带的多维信息要求传输具有协同一致性。因此，高突发、主从交互的触觉信号在传输过程中会对网络提出超低延迟和超高可靠性的要求，即要求延迟小于10ms，而可靠性高于99.99999%[6]。

（3）层次数据处理与重构。触觉信号在接收端如何无失真重构是触觉通信中的又一难点。从信号处理的角度看，多层次数据重构需要从同步、联动、效率等方面出发，而待处理的信号由于触觉信号的多维性呈现出多样化的表达形式，如矩阵形式、常数形式等[7]。这意味着复原技术需要采用多层次解决方法，将这些多信号表征融合重构出原有的信号质感。

3触觉通信的技术思考

从通信理论研究的角度出发，基于触觉通信传输的特殊性，我们需要重新思考通信的架构和理论，并围绕触觉通信需求完成网络结构与编码的设计。

3.1触觉编解码技术

触觉数据有着多维度的特性，因此触觉编码多被设计成为多通道编码。从编码角度看，多通道建模又可划分为以下3个主要部分：

（1）物体材质识别。一般而言，物体材质包括物体内部及表面的材料组成、粗糙程度、软硬程度等。正确识别这些属性是确定触感信号变化基调的前提，这对触觉信号的编码性能有着至关重要的影响。物体材质的识别首先需要组建包含图像、人工标注、触感力学信号、敲击声音等大量材质数据的数据库，进而通过确定、优化机器学习或深度学习分类方法，区分触摸到的物体信号。

（2）力信号采样编码。在触觉编码的过程中，力信号的电平转化与编码是重要环节，且与传统图像、语音数据采样有着本质的区别。一方面，力学信号的频谱范围是0～1.5kHz，采样频率一般为4～5kHz，这可能会导致触觉数据量较大。因此，我们需要对采集到触觉数据进行压缩。那么，如何设计压缩算法才能权衡压缩率与抗干扰性成为核心问题之一。另一方面，由于人体触感的着力点位置、角度、移动力道、速度等不断变化，摩擦力信号也随之变化，这对力学传感器的灵敏度和精度也提出更高要求[7]。

（3）恒定参量编码。虽然温度、湿度等恒定参量的感知与采样技术相对成熟，但信号在触觉编码过程中的突发变化要求恒定参量及时响应，且需要与其他信号的变化保持一致，避免带给用户迟滞感。这样一来，如何在数据突变态与静默态之间切换、如何确保多维信号编译码的同频同步，以及如何确保此类参量解码后实现小型化和无感化的重构终端设计，均是研究难题。

3.2触觉通信传输技术

面对实时触觉信号的低延迟、低丢包率、低抖动，以及多维信号的协同一致性等问题，人们希望借助B5G和未来6G中的新型通信技术来推动触觉信息交互应用的发展。

（1）面向网络切片的虚拟资源管理技术。面向网络切片的虚拟资源管理技术重塑了面向网络切片的虚拟资源管理体系化框架，能够在确保原有海量音视频数据流质量的前提下，为突发的小数据触觉信号流提供低延迟、高可靠的稳定链路。以保障跨媒体业务的按需传输和资源高效利用为目的，该技术对虚拟化网络功能（VNF）进行编排、部署和调度：在编排阶段，提出面向兼容性和聚类需求的VNF实例聚类方法，以实现簇数目未知情况下的多维、高阶VNF实例聚类;在部署阶段，用服务功能链部署问题替换具有动态资源需求的VNF部署问题，以降低业务处理和传输时延，实现业务和部署同步;在调度阶段，提出资源和业务时延等多重约束条件下VNF最优调度，以将虚拟机选择和调度相分离[8]。

（2）基于通信、计算与存储协同的计算卸载与边缘缓存。对于远距离跨区域的触觉信号传输，为了确保主从设备之间交互信息的透明化、无感化，可发挥通信、计算与存储的协同优势，需要寻求路径上的边缘计算服务器来完成代理加速辅助[7]。一方面，以最小化任务时延、最大化传输可靠性为出发点，通过研究要不要卸载、卸载多少、卸载什么、卸载到哪里等问题，提出基于移动性管理的协作式卸载策略;另一方面，以提升数据缓存利用率为出发点，将被动式缓存和主动式缓存相融合，提出一种混合式触觉数据缓存与更新方法[9]。

3.3触觉信号复原技术

触觉信号如何复原是提升用户沉浸式体验的关键。受触觉反馈方式和系统的限制，触觉交互应用开发成本高，而其增强效果大多停留在振动碰撞模拟阶段，触觉再现技术带来的交互体验和效率优化价值难以评判。因此，触觉复原的评价体系需要继续沿用图像中峰值信噪比（PSNR）或像素准确度判决等机制，但这些机制是否能达到触觉信号的重构效果，还有待考究。同时，人们开始尝试从生物神经学或是行为心理学的角度对多维数据信号的融合效果进行深层次研究。

此外，网络的不确定性使得触觉信号到用户端的传输过程中，数据包随机出现甚至丢失。特别是当触觉信号不完整时，接收设备如何恢复将成为一个难题。为此，一般可利用触觉信号的上下文、时序因果等特性，来完成矩阵填充、上下文关联、计算差值补全等操作。对于大面积的力学信号缺失问题，我们还可以采用卷积神经网络（CNN）或生成式对抗网络（GAN）等人工智能算法来进行数据补全，并采用迁移学习和联邦学习等方法对数据进行协同的融合复原。同时，根据多维触觉信号的工作原理，可对触觉信号进行超分辨率增强、噪声消除处理、触觉信号切割、语义分析与处理等更加先进的信号处理与重构操作，并可与行为心理学、机器人工程学、柔性材料等形成学科交叉，共同推动触觉信号的处理和复现技术的工程示范落地。

为改善触觉信号单一模态信息的局限性，我们可通过挖掘音视触不同模态信号在数据与语义上的关联性，构建音视触多模态信号特征数据库和跨模态语义匹配数据库;通过挖掘本地信息的语义特征与上述数据库中信息的关联关系，提出多模态信号的超分辨率重建方法[8];通过学习基本图形和一般图像的特征，提出基于图形和图像的多参量触觉渲染方法，解決音视触信号跨模态中不连续的问题，提升触觉展现的沉浸感。

4触觉通信的应用场景

触觉技术将远距离感知控制增加了一个新的维度。触觉技术赋能的应用体系将是未来信息通信技术（ICT）领域一个重要研究方向。从应用场景的角度来看，触觉通信应用主要可分为虚拟场景与现实场景，即在真实环境下的远程精准控制技术、在虚拟场景下的内容感知技术，如图2所示。

4.1现实场景中的触觉应用

在真实场景中，包含触觉反馈的远距离控制技术可以实现工业远程精细化控制、高精度远程医疗手术、远程教育、电子商务等服务应用。

（1）工业控制。虽然基于视频、音频信号的远距离工业控制应用已有一定规模的应用，例如，矿山开采、危险区域探索等对于操作精确度和时延要求不高的工程。这类工业控制不存在触觉反馈，因而交互形式单一。如果控制终端能够更加类人化，并能加入触觉信号，那么不仅远程终端控制的过程更加人性化，整个劳动效率可以得到提高，同时工业成本有所降低。

（2）网络诊疗。2019年初，华为通过5G网络实现了首例远程的动物外科手术实验，但手术完全依赖于视频和音频信号，医生无法获取真实的手术触觉感受，从而花费了几倍于线下外科手术的时间。如果在医生端加入动触觉信号的捕捉和处理，加速手术交互感知的速度，就可以实现真正的沉浸式远程诊疗。如果在中医的诊疗过程中，加入动觉和触觉捕捉，那么针灸、推拿等中医疗法也有望通过网络实现。

（3）远程教育。触觉信号也能应用于教育产业与电子商务。例如，培训过程中如果使用触觉信号，将会使学生们得到更加沉浸式的体验：学生可以设身处地地感受书法或绘画中笔锋、笔触的力道变化，无须老师们线下手把手教学，就能心领神会。

（4）电子商务。在网络购物的环境下，消费者如果能直接触摸到所购买的商品，直观感受到商品的性能，便能减少商品的退换率，间接提升产品销量。

4.2虚拟场景中的触觉应用

在虚拟空间中，触觉信号的引入将给虚拟现实增强、数字孪生、网络游戏等产业带来革命性的变化。特别地，触觉信号技术可与3D建模、图形渲染、虚拟仿真等技术结合，赋予虚拟建模以生命，让其感知起来更加具有真实感[10]。我们认为目前触觉通信可应用于以下几类虚拟场景中：

（1）网络游戏产业。传统的方法主要通过算力和渲染效果的迭代来提升游戏玩家的视听享受。游戏厂商也尝试过加入触觉来增加游戏的真实感，但仅依靠游戏手柄中马达震动模拟出的部分触觉反馈是远远不够的。一旦加入触感的真实模拟，可以让玩家更身临其境地感受到游戏中的虚拟世界，这会让用户获得更多的带入感、沉浸感。

（2）虚拟现实增强。目前的虚拟现实增强技术所面临的最大问题就是用户对虚拟后的图形、图像的感知不够真实和直观。为了让用戶尽最大程度地感受虚拟图形、图像，添加物体的各项属性必不可少，如材质感受、回弹、击打感，乃至气味、味道等。这样能够多维度增加人对虚拟世界探索的代入感。

（3）元宇宙建设。2021年10月，Facebook重组改名为Metauniverse，致力于元宇宙建设，力图打造现实世界孪生的网络虚拟世界，建立虚拟现实交互的移动社交网络。元宇宙的建设离不开触觉通信、区块链、云计算、虚拟现实等技术的强力支撑。这些技术可以将用户与虚拟角色都将囊括进一个特征关联永续的、广覆盖的虚拟现实世界中。

5结束语

触觉通信技术正处于发展的萌芽期。由于能显著提升诸如远程医疗、“全感知”实战实训、临场感办公等新范式服务的沉浸式体验，触觉通信技术被视为B5G和6G时代的杀手级应用。不仅如此，随着“数字中国”建设的加快，超前布局以触觉信号为代表的新业态战略性技术已成必然。由于多维、交互、关联等特点，触觉信号要求通信系统更加灵活、智能、高效与开放。随着触觉通信技术研究的深入，编码技术、通信传输技术、信号复原技术等方面的技术革新将会是颠覆式的，并将会开启通信智能的新时代。

参考文献

[1]ANT?N-BOLA?OSN，SEMPERE-FERR?NDEZA，GUILLAM?N-VIVANCOST，etal.Prenatalactivityfromthalamicneuronsgovernstheemergenceoffunctionalcorticalmapsinmice[J].Science，2019，364（6444）：987-990.DOI：10.1126/science.aav7617

[2]JULIUSD，MACDERMOTTAB，AXELR，etal.MolecularcharacterizationofafunctionalcDNAencodingtheserotonin1creceptor[J].Science，1988，241（4865）：558-564.DOI：10.1126/science.3399891

[3]COSTEB，MATHURJ，SCHMIDTM，etal.Piezo1 and Piezo2 are essential components of distinct mechanically activated cation channels[J].Science，2010，330（6000）：55-60.DOI：10.1126/science.1193270

[4]STEINBACH E，STRESE M，EID M，et al.Haptic codecs for the tactile Internet[J].Proceedings of the IEEE，2019，107（2）：447-470.DOI：10.1109/JPROC.2018.2867835

[5]SIMSEK M，AIJAZ A，DOHLER M，et al.5G-enabled tactile Internet[J].IEEE journal on selected areas in communications，2016，34（3）：460-473.DOI：10.1109/JSAC.2016.2525398

[6]MUMTAZ S，AI B，Al-DULAIMI A，et al.Guest editorial 5G tactile Internet：an application for industrial automation[J].IEEE transactions on industrial informatics，2019，15（5）：2992-2994.DOI：10.1109/TII.2019.2904202

[7]ANTONAKOGLOU K，XU X，STEINBACH E，et al.Toward haptic communications over the 5G tactile Internet[J].IEEE communications surveys & tutorials，2018，20（4）：3034-3059.DOI：10.1109/COMST.2018.2851452

[8]ZHOU L，WU D，CHEN J X，et al.Cross-modal collaborative communications[J].IEEE wireless communications，2020，27（2）：112-117.DOI：10.1109/MWC.001.1900201

[9]ZHOU L，WU D，WEI X，et al.Cross-modal stream scheduling for eHealth[J].IEEE journal on selected areas in communications，2021，39（2）：426-437.DOI：10.1109/JSAC.2020.3021543

[10]WEI X，ZHOU L.AI-enabled cross-modal communications[J].IEEE wireless communications，2021，28（4）：182-189.DOI：10.1109/MWC.001.2000448

作者简介

陈鸣锴，南京邮电大学通信与信息工程学院讲师;主要从事无线多媒体通信、无线资源分配、触觉通信、跨模态通信等科学研究工作。

周亮，南京邮电大学教授、博士生导师、通信与信息工程学院院长，教育部宽带无线通信与传感网技术重点实验室主任;先后获教育部“长江学者奖励计划”特聘教授、中共中央组织部“海外高层次青年专家”等荣誉称号，获国家自然科学基金委员会“优秀青年基金”资助;作为项目负责人和主要完成人，主持并参与了多项国家级重点科技攻关项目;发表论文多篇，拥有授权专利25项。