基于视觉反馈的磁性微型机器人自主导航控制*

张鹏松,樊启高,于振中

(1.江南大学 物联网工程学院,江苏 无锡 214122；2.哈工大机器人(合肥)国际创新研究院,安徽 合肥 230011)

0 引 言

过去的十几年中,用于生物医学的微型机器人引起了越来越多学者的兴趣,它已极大地扩展了人类在生物医学和微纳操作中的应用范围[1]。磁性微型机器人可用于药物输送、生物传感、微创手术等[2],目前有一些在液体通道如血管和微流控芯片中微型机器人运动控制的研究,通过使用简单的位置闭环控制器令微型机器人沿着预定轨迹行走[3],但是在复杂而狭窄的通道中实现微型机器人的无人工协助的自主导航控制仍然是一个尚未解决的挑战。

与无人驾驶汽车类似,微型机器人的“无人驾驶”也需要感知、规划和控制这三种基本模块[4]。感知方面,本文通过语义分割方法来进行显微镜视野下的环境分割建立语义地图；规划方面,在RRT-connect的基础上改进了约束条件和平滑策略；控制方面,基于强化学习构建了微型机器人的轨迹跟踪控制器。

1 环境视觉感知算法

1.1 环境全局语义地图构建

图像的畸变是影响地图重建的重要因素之一[5],显微视觉成像和普通相机一样也会产生畸变,本文采用了张正友标定方法对畸变进行矫正[6],对于矫正后的图像进行语义分割。

如图1所示为本文设计的基于卷积神经网络语义分割框架,其中骨干网络基于MobileNetV3结构[7],语义分割部分主要分为三个步骤,1)利用特征融合后的C4特征图L表示一个粗略的语义分割,预测结果并定义为M1,…,Mk代表软物体区域；2)根据M1,…,Mk和C5特征图即X计算出k组向量f1,…,fk代表物体的区域表示,其中k表示语义标签具有k种类别；接着将X进行卷积操作并计算与f1,…,fk之间的关系矩阵再进行加权求和得到物体的上下文表示；3)进行8倍的上采样操作得到语义分割结果。

图1 语义分割模型结构

由于显微镜视野有限,有时无法完整观测到整个微型机器人的运动环境,本文基于SIFT算法提取图像特征点[8],然后利用RANSAC算法进行局部视野图像的配准和融合以构建全局的语义地图。

1.2 目标检测模型

基于语义分割模型的骨干网络设计了实例分割分支网络。如图2所示,它主要有两个分支,1)分类分支,2)实例掩模分支。分类分支负责预测物体的语义类别,每个网格预测类别S×S×C,这部分跟YOLO是类似的[9],Mask分支负责预测掩模,并通过掩模计算目标边框位置。

图2 实例分割网络

损失函数的设计如下

L=Lcate+αLmask

(1)

式中Lcate为语义类别分类的Focal Loss,Lmask为Mask预测的Dice Loss,两者的加权系数α可以动态地人工调整。

2 自主导航算法

2.1 改进RRT-connect路径规划算法

RRT-connect算法是一种双向探索树结构的快速路径规划算法[10],本文基于RRT-connect算法进行了两点改进,首先利用第一节中的语义分割图像来识别可行驶区域与不可行驶区域,并计算出其可行驶区域边界,然后结合微型机器人的尺寸对边界扩充以实现对微型机器人可行驶区域的限制,最后通过RRT-connect算法获得的路径进行节点细化以提取关键点,并使用B样条函数优化由关键点形成的局部路径进而产生具有连续曲率的平滑路径。如图3所示,图(a)～(d)分别为原始RRT-connect路径,不可行使区域扩充示意图,扩充后的规划路径和平滑后的路径。

图3 改进的RRT-connect仿真结果

2.2 强化学习轨迹跟踪控制算法

针对亥姆霍兹线圈与麦克斯韦线圈组成磁场驱动系统,磁性微型机器人可由亥姆霍兹线圈或者麦克斯韦线圈以多种组合方式驱动[11]。如图4所示,本文选择了径向充磁的圆柱形微型机器人,采用三轴亥姆霍兹线圈产生的空间旋转磁场使微型机器人产生转矩,进而使球形或者圆柱形微型机器人产生运动,微型机器人的运动还会受到流体环境中的浮力Fb,流体阻力Fp,地球重力G,接触面摩擦力f以及磁驱动转矩T和平面方向驱动力FT,为了简化强化学习模型的动作空间,本文对微型机器人的运动模型进行了等效,用切向转矩等效汽车模型中的油门τ,横向转矩等效汽车模型的方向δ。

图4 磁性微型机器人等效模型

为了构建强化学习模型,首先定义状态空间,微型车辆的状态量可以表示为转向角δ,油门τ,前进和滑行速度(vx,vy),总速度v和航向角θ,因此状态空间S定义为

(2)

连续动作空间定义为Λ

Λ={δ,τ}

(3)

旋转磁场的频率范围限制为(0～200)Hz,并归一化为[0,1]作为油门τ,同时转向角度范围[-180°,180°]也被归一化为[-1,1]。

回报函数的设计主要包含三种类型,公式如下

(4)

rex,rey=f(x)=e-k2x

(5)

rco=-Sco/S2rm

(6)

式中rco为避开非行驶区域的奖励函数,以微型机器人的直径为圆的半径,圆的面积为S2rm,不可行驶区域在圆内的面积为Sco。因此,总奖励可以累积为

(7)

基于SAC(soft actor-critic)模型设计轨迹跟踪控制算法,如图5所示,设计了三种神经网络,包括策略网络(πφ)、价值网络(Vψ)和Q网络(Qθ1,Qθ2)。算法流程如下:首先,观测当前的14维的状态s,然后通过策略网络将其转移到具有2维动作的完全连接层(FC),从输出分布中采样并使用tanh激活函数将其归一化为[-1,1]。采样的动作将被进一步映射和平滑以与环境交互。当策略网络获得下一个状态st+1和r(st,at)时,这些参数如(st,at,r(st,at),st+1)被存储到缓冲区中,在训练过程中会重复进行这样的交互和存储过程。当交互次数大于设置阈值时,分别使用函数JQ(θi)和Jπ(φ)更新网络,这些功能与文献[12]中定义的功能相同,重复整个过程,直至学习到最佳策略。

图5 轨迹跟踪控制模型神经网络结构

3 仿真与实验分析

3.1 实验环境

实验环境如图6所示,计算机采用了一块单卡1080Ti GPU用来训练模型和预测,其中神经网络的模型利用PaddlePaddle实现,电源和驱动板用来驱动组合线圈生成空间磁场,电子显微镜采用深圳微视特公司的WST-2KCH型号,最大放大倍数可达380倍。

图6 实验环境

3.2 环境语义地图构建

显微视野下的环境分割仿真测试如图7所示,实验收集了每种环境60张图片,其中，40张用来训练,20张用来验证,共训练100轮,其中训练到80轮时验证集的平均交并比mIOU达到最优96.89 %。

图7 显微视野下微型机器人运动环境分割

如图8所示,图(a)～(c)分别为局部图像配准过程,配准融合后的全局视野图和全局语义地图。

图8 全局语义地图构建

3.3 真实环境实验

最后进行了真实环境中的微型机器人导航控制实验,实验主要包含两部分:1)给定轨迹进行轨迹跟踪控制,这里为了验证SAC模型的轨迹跟踪控制器效果,引入了Stanley轨迹跟踪控制方法[13]进行对比实验；2)实验为迷宫探索实验,给定起点和终点,自动规划一条路径并进行轨迹跟踪。

如图9所示,设定了数字2021曲线轨迹,验证微型机器人的曲线轨迹跟踪能力。

图9 数字2021曲线轨迹跟踪

图10为数字2021曲线轨迹跟踪控制的Stanley算法和本文算法的对别实验,实验结果表明本文算法相对于Stanley算法微型机器人在曲线处运动的更加平滑,拐角处跟踪误差更小。图11分别展示出了微机器人轨迹跟踪过程中的方向角度误差和预设轨迹横向垂直距离误差。

图11 数字2021曲线轨迹跟踪误差对比

经分析本文提出的SAC算法,方向误差总体较Stanley算法下降了39.37 %,轨迹垂直误差下降了38.26 %。具体指标统计如表1所示。

表1 轨迹跟踪控制算法平均误差对比

如图12所示为微型机器人在迷宫中的探索实验,图(a),(b)分别为改进RRT-connect算法探索的期望轨迹和Stanley算法轨迹跟踪控制效果；图(c),(d)分别为改进RRT-connect算法探索的期望轨迹和本文SAC算法轨迹跟踪控制效果。

图12 改进RRT-connect路径规划与两种算法的跟踪控制轨迹

图13为改进RRT-connect期望轨迹的Stanly算法和SAC算法的轨迹跟踪控制对比实验,实验结果表明本文提出的SAC算法相对于Stanley算法,微型机器人在拐角处运动的更加平滑。

图13 路径规划轨迹跟踪对比

图14分别展示出了路径探索实验中微型机器人轨迹跟踪过程的方向角度误差和轨迹横向垂直误差对比。

图14 轨迹跟踪误差对比

整理并分析实验数据,本文提出的SAC轨迹跟踪控制方法,最大绝对角度误差较Stanley算法下降了67.66 %,最大绝对轨迹垂直误差下降了53.53 %,验证了本文算法对轨迹跟踪控制的优秀性能。具体指标统计如表2所示。

表2 轨迹跟踪控制算法最大误差对比

4 结束语

本文提出了针对微型机器人的自主导航系统,在局部视野环境语义分割的基础上进行图像配准与融合以实现全局语义地图的构建,设计了目标检测分支网络以检测微型机器人的位置,针对普通RRT-connect算法没有考虑边界碰撞和路径平滑的问题,改进了RRT-connect路径规划算法,保证了路径的安全性,设计了基于SAC模型的强化学习控制器以自动学习角度和纵向油门控制策略,有效地减小了轨迹跟踪的角度和横向垂直距离误差,下一步将会针对三维空间中的微型机器人自主导航控制进行研究。