基于虚拟人机协作的咽拭子采样机器人远程控制策略

陈英龙，宋甫俊，弓永军

（大连海事大学，辽宁 大连 116026）

随着新冠肺炎疫情的常态化，医学检测的需求出现了前所未有的增长。其中，核酸检测作为新冠肺炎检测最常用的检测手段，咽拭子则是其最主要的采样方式。为应对这一非同寻常的需求增长，采用机器人辅助医务人员完成采样任务成了研究热点［1］。目前，咽拭子采集机器人的研发主要分为两种，一类是机器人咽拭子自主采集；另一类则是远程人机协作咽拭子采集。

国外的南丹麦大学（SDU）首推了一款咽拭子自主采集机器人，该机器人装配了UR3协作式机器人手臂，以及一个定制的3D打印末端执行器。检测的过程本身非常简单，基本上能够实现自主的整套咽拭子采集流程。而国内的清华大学孙富春教授团队结合自主研制的柔性触觉传感器及视触觉多模态感知方法的研究基础，也设计开发了一套咽拭子自主采样的机器人原型系统。然而，机器人咽拭子自主采集存在智能化不足、安全隐患等问题，就目前来看，在医疗中完全自动化仍然是不可靠的［2］。且目前的自主机器人还有一个固有限制，即由于它们所执行任务的知识基础有限，机器人不太可能对不寻常或意外的事件作出正确反应。

与机器人自主控制相反，人机协作恰好弥补了这一方面不足，通过融合了人类和机器人的优势，可以更有效地完成目标任务。在医疗领域中，人机协作已经得到广泛应用。比如，机器人辅助微创外科手术（RMIS）作为一门新兴的技术被广泛地应用于各类手术中［3］。这种基于人机协作的遥操作方式较传统手术能够更好地提高医生对手术的执行能力。而国内早期中科院沈自所和钟南山团队合作开发了可以远程人机协作方式的咽拭子采样机器人系统，可以轻柔、快速地完成咽部组织采样任务。当然，远程协作也带来了新的挑战，尤其是在医疗操作中，网络基础设施自身性能、带宽受限等问题，导致通信延迟和数据丢失给远程人机协作过程造成严重的安全隐患。因此，为了避免因延迟引起事故，远程人机协作时必须引入安全约束。

而早在1993年斯坦福大学的Rosenberg教授提出了广泛应用于遥操作手术、空间维护等领域的虚拟夹具技术，在虚拟空间构建像机械刚性夹具那样对不期望方向运动的约束，成功地解决了遥操作系统中的环境交互问题［4］。在罗伯森提出虚拟夹具技术之前，医疗手术实施的形式是机器人完全自动化操作。随后，Davies等提出了机器人辅助膝关节置换手术中称为“主动约束”的平行概念。在这个概念下，外科手术工具继续由外科医生手动操作，但是，当外科医生移向不应该被移除的材料时，该方向的硬度就会增加，以防止过度切割［5］。自从这种控制形式的概念提出以来，许多研究机构已经大力发展并使其多样化［6］。例如，Mako通过基于力反馈的触觉交互技术保证安全性［7］。唐宇存等基于虚拟夹具的手术机器人，结合导纳控制原理，实现二维手术平面内虚拟约束［8］。而Alessandro Bettini等提出一种基于视觉的毫米至微米尺度协同操作系统，该系统是基于导纳控制算法，实现了一种指导模式的虚拟夹具［9］。

虚拟约束可以解决遥操作模式下存在的不足之处（如可视环境狭窄、延迟易导致反馈信息的缺失等）带来的安全隐患。因此，本文采用动态人工势场的虚拟约束，基于虚拟力的人机协商策略实现非结构化环境下的人机协作，完成咽拭子采集任务。比较传统的固定参考区域的人工势场的约束方法［10］，本文中人工势场由接触力决定，能够根据接触状态改变势场。而通过虚拟力进行操作模拟物理人机协作，能够调控机器人的柔顺性，比位姿输入更适应非结构化、动态可变环境下的跟踪以及接触力控制。

1 问题描述

咽拭子采集过程可分为两个阶段：一个是机器人末端执行器未到达目标位置时的运动，称之为自由空间运动；另一个是末端执行器接触到咽后壁后的运动，称之为接触空间运动。而在两个阶段中，为了安全、平稳且准确地完成采集任务，咽拭子采集常常会面临以下3个挑战。

1）由于机器人视觉采集传感器自身性能限制，而被采集的口腔部位的视觉范围狭窄，使获得三维扫描信息并不准确，从而导致咽拭子到达目标位姿超前或者滞后，机器人自动操作过程对患者具有一定危险性。

2）在实际采集过程中受患者的身体应激反应等客观因素，采集任务并不是一帆风顺的。尤其是患者的身体位姿轻微变化都将会产生干扰，对此医生往往需要再次判断后继续操作，而对于机器人咽拭子采集，其并不能够自主地做出相应的正确反应，而重新操作则降低了采集效率。

3）人体口咽属于柔软组织，因此必须施加合适的接触力，既要保证足够的刮拭力度，也要避免对咽后壁造成损伤。然而传统的远程人机协作的网络延迟则并不能保证接触力的实时闭环控制性。

针对以上这些情况，单纯依靠机器人是不合适的，同时还面临着远程操作带来的挑战。因此，本文采用虚拟约束的方式，构建基于虚拟力的人机协作控制策略来解决实际中出现的问题。

2 人机协商策略

首先，当机器人运行至起始点，根据视觉反馈和力反馈信息，在远程操作端的医务人员发现情况，做出判断并对机器人干预。采纳虚拟人机协作策略对采样轨迹完成修正和规划，最后操作者停止干预，机器人自主规划和跟踪轨迹，人类将处于一个监管状态。

通过时间阈值Tthr、虚拟关节力矩阈值τthr、接触力阈值Tcthr进行判断，建立人机协作有限状态机模型，将整个协作过程定义为3个不同阶段的工作状态，具体如下：

其中，τ、T、Fc分别是虚拟关节力矩、干预时间、环境接触力。

人机协作过程中S1表示自由空间的人类引导状态，处于这个状态的环境被认为是已经发生变化的，导致原先跟踪轨迹很明显不再满足要求，这也使得机器人末端并未与咽后壁接触。而S2则代表着在人类引导下机器人末端接触到咽后壁，接触力达到设定的接触阈值，进入约束空间的人类引导状态。随着人类的远程引导，机器人末端运行至合适的位置点时，人类逐渐减小虚拟力，机器人开始主导进行轨迹跟踪，此时整个系统处于机器人引导的S3状态。当人类不再施加虚拟力，停止干预时，S3触发，机器人根据人类引导的数据实现自主规划和跟踪轨迹。

3 虚拟约束

采用相应的方法对机器人执行机构的运动加以限制，避免过度操作导致的意外情况发生。1986年Khatib提出了人工势场法的概念，其基本思想是构造一种由引力场与斥力场共同作用形成的虚拟势场，从而对机器人的运动加以引导和限制。人工势场法结构较简单，易实现底层的实时控制，并且可以根据不同的实际需求来设计修改所生成的势场，广泛应用于实时壁障和平滑的轨迹控制等方面。斥力势场函数与引力势场函数的定义分别为：

式中：η、ξ分别表示斥力势场、引力势场的尺度因子；d0表示着距离阈值，决定了斥力场对物体的作用范围；d（q，q0）表示物体与参考目标之间的距离。

3.1 自由空间的虚拟约束

远程协作时系统不可避免会存在延迟问题，这使得闭环实时性能不足，人类不能很好地对错误操作（如手抖引起的碰撞、位移过大等）做出相对反应，因此我们对S1状态的末端点设定了一种虚拟的引力势场约束。传统的“人工势场”的参考基准都是固定的，本文提出的虚拟引力约束根据前一时刻的末端位姿点的受力情况构建约束场，且约束场是时刻变化的，在人机交互过程中虚拟引力传递给操作者一种“牵扯”感，提醒需要调节执行机构的位移幅度，从而达到实时、灵活约束的目的。

图1为引力场的结构模型，其具体表达可由引力势场函数式（2）对距离求导可得，如下所示：

图1 基于虚拟力的人机协商框架

其中，Pk＋ti、Pk＋ti－1分别表示t时刻以及前一时刻的末端轨迹点坐标，且Pk＋ti＝［x，y，z］；fa则表示着机器人在势场中受到的引力作用力，且力的约束方向由Pk＋ti指向Pk＋ti－1。

3.2 接触空间的虚拟约束

在接触的瞬间，Fc≥0，此时末端的位姿设为Pk＋ti，根据约束要求，定义禁止区域F为以点Pk＋ti－1为中心，长径R1，短径R2的椭球面外区域部分，其中长径R1约束X、Z方向运动，短径R2则约束深度Y方向运动。禁止区域部分的表达式：

S2触发后，由于实际接触的咽后壁可近似为一种较小曲率的曲面，而传统的固定参考禁止区域F并不能满足实际情况，因此提出一种随末端位姿Pk＋ti的变化而变化的禁止区域Ft。根据ti时刻的末端接触力Fc＋t和末端位姿Pk＋ti构建ti时刻的禁止约束区域Ft，如图2所示。该斥力场模型表达如下：

图2 虚拟约束架构图

式中：R2（0）为最大允许接触力fc0对应的最大约束范围；R2（t）为ti时刻的深度方向约束范围。

根据上述的势场函数式（1）对斥力场求梯度，建立斥力数学表达式如下：

其中：ρtool为末端点Pk＋ti距离禁止约束区域Ft的值；ρmax为势场作用的最大距离，且ρmax＝0.5R2（t）；fr是机器人在势场中受到的作用力，力的作用方向由Pk＋ti指向Pk＋ti－1。而为了避免在实际操作中产生过大排斥作用，在禁止区域外还需要设置安全距离ρmax，且当ρtool＜ρmin，令fr＝fmax，表示机器人允许的最大斥力。

3.3 机器人自主控制

由于实际的咽后壁一般是对称的，那么基于人类引导采样的过程，机器人可根据之前的轨迹跟踪经验，在无人类远程干预的情况下实现自主的轨迹规划。已知干预过程的轨迹Pk＋ti、ρmax和禁止约束区域的模型Ft，为了保证机器人独立采样中的约束，设定禁止约束区域的模型Ft不发生变化，根据参考跟踪轨迹点的力反馈调整ρmax（t），从而实时地修正不同位姿时的约束力fr。

在th时刻，人类停止干预意图并退入监督模式，S3触发，机器人进行自主采样，而参考跟踪轨迹由干预过程的轨迹Pk＋ti以过分界点Pk＋tm的YZ平面为镜像映射获得，其表达如下：

其中，T为Pk＋ti→Pk＋t*i的坐标映射矩阵。

利用获得的参考跟踪轨迹点P*k＋ti和禁止约束区域的模型Ft可以构建斥力势场。此过程中实际接触环境和参考轨迹之间存在偏差，因此，为了避免实际接触力过大的情况发生，斥力场的范围需要随着接触力的实时变化而变化。其表达式为：

式中，k为势场作用范围的变化系数，当在末端点处于约束范围外且接触力接近甚至达到预定警戒值Fw时，k存在。

3.4 可变阻抗控制

自从Hongan提出机器人的阻抗控制方法后，许多学者对阻抗控制进行研究，而在人－机器人协作中，质量－弹簧－阻尼系统经常被用来表示施加在机器人的力与所对应位置的位移之间的动态关系。其典型的二阶线性阻抗控制关系描述如下：

在本文中表达式可转换为：

其中，Md、Dd（t）、Kd（t）∈R3×3分别表示平移惯性、阻尼和刚度的所需对称正定矩阵，Fext∈R3为所施加的外力，ΔX（t）是期望位姿Xd（t）与实际位姿Xc（t）之间的偏差值，ΔX（t）＝Xc（t）－Xd（t）。

采用了连续的阻抗调节方法，调整阻尼和刚度范围以确保整个系统的稳定性。在VF正常运行的前提下，人为干预时，Dd（t）、Kd（t）减小，以保证机器人的顺从性。当人类意图停止干预或者离开后，Dd（t）、Kd（t）增加，以保持机器人在精度上的优势。

整个过程中Md一直都不变，Dd（t）、Kd（t）的变化由虚拟力的变化来决定，基于虚拟力的阻尼和刚度的变化函数如下：

其中，Fvthr是虚拟力的判断阈值；ε（i＝1，2，）表示阻尼、刚度的衰减系数；Kmax、Dmax则分别表示最大允许的刚度、阻尼值；L（x）为逻辑回归函数。式中比较虚拟力与阈值，阻尼、刚度值发生改变。

4 仿真分析

为了验证提出策略的有效性，本文基于模型设计的方法建立了6自由度机器人的虚拟仿真环境，如图3所示，主要包括机器人模型和口腔咽后壁模拟模型，并使用Simulink搭建的控制框架。其中，有限状态机表示人机协商过程，主要对应人类干预与机器人独立控制2种情况；可变阻抗控制用来调节人机协作时的柔顺性，贯穿整个人类干预过程；虚拟约束针对不同的机器人末端接触状态可分为自由空间和接触空间约束，从而实现对机器人更优良、匹配的约束效果。

图3 基于模型设计的仿真环境

通过搭建的Simulink模型进行仿真，在上述人机协作控制框架中，虚拟约束主要分为自由空间和接触空间2种，由此可以分别通过两种仿真进行验证。自由空间的虚拟约束仿真对应S1状态，主要表现了无接触时人类远程引导机器人移动时对变化情况的约束效果；接触空间约束仿真则对应S2和S3状态，分别表现了接触时人类引导与机器人独立控制的约束效果。

4.1 自由空间虚拟约束仿真

在自由空间的虚拟约束下，机器人主要受到X、Y、Z方向的ti－1时刻对ti时刻的引力作用。为了明显对比约束效果，将阶跃信号施加在原先的运行轨迹上，从而模拟人类引导时的抖动，而最大约束范围ρmax值设为8 mm，并分别在0.2 s时和0.4 s时施加Z方向的5 mm和10 mm的阶跃信号，得到的仿真结果如图4所示。

图4 自由空间虚拟约束轨迹

图中轨迹1和轨迹2分别对应10 mm阶跃时的变化轨迹，而图5则是虚拟约束力的变化情况，可以看出在0.4 s时的阶跃信号作用下机器人末端受到引力约束并不能快速突变，而是经过约0.2 s的缓冲后才到达指定位置。轨迹3和轨迹4则是5 mm突变下的跟踪情况，由于不在约束范围内，因此机器人无引力约束。

图5 自由空间虚拟约束力

4.2 接触空间虚拟约束仿真

当末端执行器接触到环境后，虚拟约束由引力势场转为斥力势场，机器人在人类的引导下进行擦拭咽后壁，禁止区域部分Ft则随着接触力Fc变化而变化，其中，设置安全距离ρmin＝0.5 mm，最大约束范围R2（0）＝3 mm，横向约束范围R1＝4 mm，尺度因子η＝10，而最大斥力fmax＝5 N。在接触空间机器人末端受3个方向的接触力，由于咽后壁的曲率较小，且采样过程的擦拭速度低，因此深度方向的接触力变化更明显，因此主要选取深度方向接触力的约束情况进行仿真分析。仿真结果如图6所示，轨迹1和轨迹2分别代表着无约束与由约束情况下的跟踪情况。在A点状态之前机器人末端被设定为人引导的正常接触，B点之后则是机器人根据稳定的虚拟约束力进行独立采样，而A、B点则分别模拟人类引导时的变化状况。

图6 接触空间虚拟约束轨迹

在A点时，模拟了机器人在人类引导下的深度方向突变情况，变化值为1 mm。接触力Fc，如图7所示，初始接触力为3 N，变化后的接触力约为5 N；图8表示虚拟约束力fr1的变化情况。从两张仿真结果效果可以看出：势场力与接触力的变化相关。

图7 A点状态的接触力

图8 A点状态的虚拟约束力

在B点时，同样模拟了机器人在人类引导下的深度方向突变，变化值亦为1 mm。接触力fc如图9所示，初始接触力为5 N，变化后的接触力约为5.6 N；图10表示虚拟约束力fr2的变化情况。从两张仿真结果可以看出：势场力与接触力的变化相关，同时，相对于A点状态，由于虚拟约束与接触力的关系，B点状态的接触力更大，而虚拟约束效果也更强，这证明了文中提出的接触空间虚拟约束算法的正确性、有效性。

图9 B点状态的接触力

图10 B点状态的虚拟约束力

5 结论

提出了一种基于虚拟人机协作的控制方案，旨在解决实际咽拭子采集过程中出现的挑战，并通过仿真验证这一策略的有效性。该方法通过基于虚拟力的人机协商策略判断人机协作状态，然后构建了一种动态的人工势场。比较传统的人工势场，其具有更加灵活、契合的约束效果，能够对机器人执行机构的空间运动引导和约束。这种方法无需构建复杂的几何模型，虚拟约束的定义方便快捷，在减少安全隐患的同时，能够更好地辅助医生操作，对其他远程人机协作机器人系统及类似的人机交互环境具有普适意义。

下一步研究工作包括基于实际人体口咽模型搭建机器人实验平台，并应用上述方法。后期的研究还会结合机器学习，将医生的操作经验融入人机协作过程，进一步完善与优化解决方案。