由光场控制的柔性微型机器人 的步态学习

编辑部编译

柔性微型机器人是一种亚毫米级的移动机器人设备。而基于光响应材料并由光场控制的柔性微型机器人可以产生多种不同的步态。最近，吕贝克大学、斯图加特大学、苏黎世联邦理工学院的研究员就对此进行了研究。该研究在微型机器人系统的背景下，将“步态”定义为导致运动的任何周期性变形模式。这些柔性微型机器人的变形和步态可以通过驱动光场而被灵活地控制和调整，从而使步态适应不同的环境。该研究所采用的基于具有高斯过程的贝叶斯优化学习方案是高度数据有效的，并且对于微型机器人之间的差异具有鲁棒性。

基于光响应材料并由光场控制的柔性微型机器人可以产生多种不同的步态。尽管由于缺乏精确的运动模型并且考虑到微型机器人之间的内在可变性，分析控制设计是不可能的，但这种固有的灵活性可以在给定的环境中最大限度地发挥它们的运动性能，并且用于使它们适应变化的条件。另一方面，常见的数据驱动方法需要进行大量的实验，并产生非常特定于样本的结果。本文提出了一种基于贝叶斯优化（Bayesian Optimization，BO）和高斯过程（Gaussian Processe，GP）的光控柔性微型机器人的概率学习方法。该方法产生了高度数据有效的学习方案，可以实现在有限实验预算下的步态优化，以及实现针对微机器人样本之间差异的鲁棒性。通过在半合成数据集上比较不同的GP先验和BO设置来设计学习方案，从而获得这些特征。该开发出来的学习方案在微型机器人实验中得到验证，其结果为：微型机器人的运动性能提高了115%，而其实验预算仅为20次测试。这些令人鼓舞的结果为基于光控柔性微型机器人和概率学习控制的自适应微型机器人系统的开发开辟了道路。

引言

柔性微型机器人是一种亚毫米级的移动机器人设备，由柔性的、刺激响应性的材料制成，可以作为传感器和/或执行器。实际上，因为没有机器人部件可用在微型规模级别上，所以在微型机器人中实现基本的机器人功能正是需要通过这些制造微型机器人的材料。

最近，由光响应的液晶弹性体（liquid-crystal elastomer，LCE）组成的柔性微型机器人已经问世。这些柔性连续机器人基于材料的驱动是由结构光场提供动力和控制的（如图1所示），从而产生具有多个内部自由度（degrees of freedom，DOF）的微型机器人。本文在微型机器人系统的背景下，将“步态”定义为导致运动的任何周期性变形模式。因此，这些柔性微型机器人的变形和步态可以通过驱动光场而被灵活地控制和调整，从而使步态适应不同的环境。尽管如此，通过手动调节光场参数以找到良好的运动性能仍是非常低效和耗时的，特别是考虑到以下几点：（1）通常没有精准的微型机器人运动模型；（2）由于手工制造过程，每个微型机器人在某种程度上都是不同的；（3）随着材料缓慢的退化，微型机器人的响应会随时间的推移而变化。因此，从数据中学习有效的步态是一种可行的方法。

本文提出了一种自动学习程序，以找到在給定环境中由光驱动的柔性微型机器人的最佳步态。最佳的控制器参数，即驱动光场的参数，由贝叶斯优化（BO）逐步进行评估。在这种情况下进行学习会带来一些特殊的挑战。首先，所开发的学习方案应该是高度数据有效的，能够利用先验信息并利用经验数据在有限数量的实验中接近最佳的运动性能。同时，它应该具有鲁棒性，能够抵抗微型机器人之间的差异，并且能够独立于所使用的特定微型机器人有良好的表现。

这项研究是首次尝试从亚毫米机器人的数据中学习控制器。首先，我们定义了一种从微型机器人的跟踪图像中有效评估运动速度的方法。然后，我们记录了对半合成数据集上的多个BO设置（即采集函数、内核、超参数）的比较，该数据集基于来自微型机器人实验的实际数据并且被增强到微型机器人间的可变性模型上。最后，我们演示了在真实机器人实验中成功的学习，与初始猜测相比，运动性能提高了115%。该实验是使用先前未测试过的微型机器人进行证实的。

微型机器人系统

在这项研究中，我们学习了所开发的柔性微型机器人的最佳步态。它们由单片的LCE组成，这些LCE响应光线而进行主动且连续的变形。当局部发生变形时，可以通过用适当的光场刺激微型机器人来获得所需的运动模式。这种方法使微型机器人具有许多内部的自由度。换句话说，基于光的控制使这些亚毫米级的单片结构表现得如同它们包含许多独立的、无线控制的执行器。

通过调制激光束的强度并通过显微镜目标投射到微机器人的工作空间来产生驱动光场。通过相同的目标观察微型机器人，该相机以10帧/秒的速度对工作空间成像，并且分辨率为1280×1024 pixel（1pixel=1.29 μm）。通过计算机控制的数字微镜器件（digital micromirror device，DMD）模块（V-7000，ViaLUX）在空间和时间上对激光束（532nm-Verdi G10，Coherent）进行调制。该DMD由一个1024×768个微镜构成的阵列组成，每个微镜代表一个投影光场中的像素。微镜以二进制的方式调制光强度，而灰度级控制可以通过高频脉冲宽度调制（pulse-width modulation，PWM）实现。因此，微型机器人系统原则上具有大约106个控制参数，每个控制参数可以呈现28个值。这为步态优化提供了巨大的参数空间。在这样的高维参数空间中直接学习控制器参数将需要大量的实验数据。因此，在这个阶段，我们提出通过采用有效的控制器结构并使用BO调整其临界自由参数来学习步态。

步态学习方法

我们将由光驱动的柔性微型机器人的步态学习问题表述为适当参数化开环控制器的成本最小化问题。步态学习算法如图2所示。我们使用仅具有少量开放参数的周期性光模式，然后在该光模式的参数空间中进行优化。

具有GP的BO是本文所提出的步态学习方法的核心。具有GP的BO已经成功地得到了使用，例如，用于双足机器人、四足机器人和厘米级六足机器人的步态学习。它也被提出用于自动反馈控制器的调优。GP的一个主要优势在于允许以概率性先验的形式包含关于系统的现有信息。这减小了学习成本函数的良好近似所需的数据集大小，同时保持了非参数模型的灵活性。

学习一维运动的步态

我们考虑步态学习问题的具体实例，即学习浸没在液体中的圆柱形微型机器人的一维（1D）运动（如图3所示）。特别是，将微型机器人放置在培养皿的底部，培养皿表面涂有聚二甲基硅氧烷（Polydimethylsiloxane，PDMS）以避免粘附，并浸没在硅油中。微型机器人的运动是其周期性变形的结果，由所投射的光场提供动力和控制。

首先描述用于控制微型机器人的光模式及其定义参数。然后定义运动目标和用于学习1D步态的相应成本函数。最后，估计出GP的超参数。

半合成基准测试

为了使BO在实践中良好地运行，我们需要适当地选择一些设置，特别是内核和采集函数。这些适当的选择应该能够对不同的微型机器人进行泛化，同时保持数据效率。为了系统地确定良好的设置，我们考虑使用半合成的成本函数并对不同的设置进行基准测试。

我们首先描述了如何生成半合成成本函数，然后对GP和BO所经过考虑的设计选择进行了激励，最后得出了基准测试的结果。

实验结果

采用一种新的微型机器人对所开发的学习控制框架进行实验验证。由于每个微型机器人之间略有不同，最佳步态参数也会有所不同。在没有学习新微型机器人的具体成本函数的情况下，最著名的控制器参数为λ=645μm，δ=30%。从这个初始控制器开始，我们使用20个样本的实验预算来执行BO。参数空间上所学习的成本函数如图4所示。

然后将初始性能与具有最低后验平均值（θpost）和最低观察成本（θy*）的参数集的性能进行比较。最低后验平均值的参数为δpost = 43%和λpost =376μm，而最低观察成本的参数为δy*=43%和λy* = 381μm。图5所示为所获得的成本函数J（θ）的值。值得注意的是，我们分别在最低后验平均值和最低观察成本的情况下将成本降低了46%和58%。相应地，运动性能，即平均速度Vm，相对于先前的实验获得的初始控制器参数（Vm，prior = 1.01%bl/s）增加了92%（Vm，post = 1.93%bl/s）和115%（Vm，y*= 2.17%bl/s）。

结论

本文首次研究并论证了亚毫米机器人最佳步态的概率学习潜力。特别是，所提出的基于具有GP的BO学习方案被证明是高度数据有效的，并且对于微型机器人之间的差异具有鲁棒性。这些特征对于由光驱动的柔性微型机器人是必不可少的，它们在连续的刺激下具有相对高的可变性和有限的寿命。该BO学习方法是具有通用性，并且可以用于为其他微型机器人系统确定最佳的控制器参数。

我们用于开发步态优化学习方案的方法是基于半合成基准函数定义的。这种方法使我们能够评估不同学习方案对于微型机器人之间变异性的鲁棒性，并选择具有最大机会的方案来为存在微小差异的微型机器人提供运动性能方面实质性的改进。这在实际的微型机器人实验中得到了验证。通过使用不同的微型机器人進行半合成基准测试和验证实验，我们证明了该方法可以解决微型机器人之间的差异问题。

学习控制是构建基于由光驱动的柔性微型机器人的完整机器人系统的重要一步。不过，未来仍存在许多有趣的挑战。未来的研究方向是针对问题特定内核的设计，以及在更高维度的参数空间中学习更复杂的步态以利用微型机器人的多自由度。例如，这与使用圆盘形微型机器人进行二维平面运动相关。此外，扩展BO以学习时变成本函数也是非常有趣的，因为它将使微型机器人能够适应材料性能的退化，更重要的是，适应环境的变化。