基于RGB-D弹性可形变物体跟踪识别控制披萨厨师机器人方法研究

李凌乐 李瑞华

(许昌学院工程技术中心，河南 许昌 461000)

基于视觉的非刚性物体跟踪技术在计算机视觉、计算机图形学和机器人社区中逐渐成为研究的热点方向[1]。在诸如增强现实、医学成像、机器人操纵等领域，可通过这项技术处理各种各样的物体，如纸张、橡胶、黏性流体、电缆、食物等，具有潜在的广泛应用场景[2]。近年来，机器人学术界及工程界越来越多地关注涉及食品操作任务的机器人，这有助于提高食品制作的效率、品控，同时可保障食品的卫生[3]。图1为披萨厨师机器人的操作场景示意图，通过对人形双臂的操作，完成披萨的制作，需要机器人支持可形变物体的复杂动态操纵任务。

图1 机器人制作披萨

人形披萨厨师机器人控制中的核心问题即机器人的感知，通过传感器来指引机器人可形变物体的跟踪，力求良好的准确性、稳定性以及实时性。处理感知系统中的形变问题需考率诸多影响因素，如对所选材料特性进行建模，以及使该模型适配视觉和距离数据[4]。此外，还需考虑实时问题，这是机器人动态操作的硬性要求[5]。中国对于可形变物体跟踪识别技术的研究尚处于起步阶段，尽管许多研究提出了用有效的实时技术来处理经历等距或微小弹性形变的3D表面(如纸张、衣服等)，但未能解决更大的弹性形变问题。对于无纹理的弹性物体的建模通常需要依赖于有限元方法(Finite Element Method, FEM)，但典型的有限元方法对于待识别物体发生较大形变以及快速形变后的识别效果仍不够理想。因此，试验拟提出一种实时跟踪方法，使用由RGB-D传感器提供的视觉和距离数据，通过跟踪大幅度形变和快速刚性运动来处理无纹理的弹性物体，在应用有限元方法的基础上对模型进行改进，建立一种带有轮廓加权的同向旋转FEM模型，实现可形变物体的跟踪识别，对提出跟踪合成数据和实际的披萨面坯实际图像应用模拟开放框架架构(SOFA)模拟器，验证文中所述算法的有效性。

1 视觉分割

逐帧跟踪系统架构如图2所示。为达到可形变对象跟踪的目的，对所考虑对象的视觉分割，使用基于图像分割的方法以确保时间一致性。使用生成的分段点云，执行刚性迭代最近点(ICP)以估计从点云到网格的刚性变换。使用上一步得到的分段点云，计算从点云到网格，施加在网格顶点上的外部线性弹性力，在相反方向则参考最接近点的对应关系。应用意义在于提高了数值分辨率，自动发现目标。捕捉到清晰的目标特征，以利于实时的判断和事后对照取证。

1.1 Grabcut分割

Grabcut算法是一种由微软公司提出的图像分割手段，通过在图像中圈定一个方框，框外部分均为背景，而框内部分则可能是前景或背景[6]。该算法被广泛应用于图像分割中，具有高效的特征。Grabcut算法基于前景(对象)和背景的统计模型将视觉双层分割任务转化为能量最小化问题[7]。

图2 可形变对象跟踪方法

(1)

E(α)=Edata(α)+γEsmooth(α)，

(2)

(3)

式中：

Edata——数据能量项，定义像素pi属于前景或背景的观察概率为p(pi|αi)，Ui(αi)=-log[p(pi|αi)]为像素上观察到的图像数据，如密度、颜色、位置等；

Esmooth——平滑能量项，其目标是支持像素内的平滑度或空间相干性。

1.2 时间一致性和实时问题

一旦通过用户交互来分割初始图像，则类似地处理以下帧，该操作并不是分割整个帧，而是围绕分割区域的轮廓周线逐帧更新有效分割区域，据此提供分割过程中时间的一致性。如图3所示，提取先前分割的前景轮廓周线，并在其上计算距离变换，从而向这些轮廓提供带符号的距离图d(负的外部，正的内部)。

图3 分割的时间一致性

根据距离图上的固定阈值dt，在轮廓周围定义一条窄条(|di|dt，黑色区域)。以这种方式，确保了时间一致性，由于能量最小化仅在该条带内，在先前分割边界附近有效，避免外部或内部异常值，并可大幅度减少计算，使得该分割过程对于假定前景和背景颜色分布恒定的序列是有效的。

2 弹性形变的建模

试验主要处理的是可能发生大幅度弹性形变的物体，因此主要问题在于相关物理模型的定义。相较于质量弹簧系统的有限差分，FEM方法提供了一种真实的物理模型，依靠连续介质力学能更好地表达相关的特性[9]。考虑建模精度问题，采用具有四面体单元的体积线性FEM方法，其性能优于其他拓扑结构，同时兼顾了计算效率，并且便于使用拓扑结构进行网格划分。

2.1 形变场的基函数

(4)

2.2 弹性形变建模

(5)

其中Le为一个6×12常矩阵。

为将应力与应变联系起来，通过胡克定律的线性弹性理论可知，对于连续的各向同性材料，无穷小的应力张量σe可表示为：

σe=Ceεe，

(6)

其中Ce为6阶对称矩阵，取决于材料的两个弹性参数——杨氏模量E和泊松比υ。

通过式(5)、(6)可得：

(7)

(8)

(9)

3 注册点云数据

形变配准问题在于将RGB-D传感器提供的点云数据与已知的四面体网格适配，基本思想是导出点云对网格施加的外力，并将外力与物理模型计算的内力整合至求解所得机械方程的数值求解中。这些外力是基于点云和网格之间的点对点对应计算的，放宽了具有纹理对象或具有粗糙表面对象的限制，可以提取和匹配其中2D或3D关键点。可以考虑通过离线自动重建和网格化技术构建网格，通过对自旋图像或局部3D特征的一些学习和识别解决初始化问题。此外，假设所选材料杨氏模量和泊松比为已知的。

3.1 分段和采样点云

使用获取的RGB图像序列从其背景和遮挡中分割所需对象，由于不依赖于一些独特的视觉特征，为避免模糊，深度传感器提供的点云仅限于所考虑对象，在与背景匹配过程中或具有遮挡形状，并能处理从输入点云到网格的对应关系。

3.2 最近点刚性迭代

3.3 可形变的迭代最近点

以非刚性方式向网格注册分段点云，采用类似ICP程序，假设通过3.2中估计的刚性变换更新集合X、XV。

由于依赖于唯一的几何接近度可能导致使用单点对点匹配的不一致，因此采用两组对应关系。如图4所示，从分段点云到网格，对应性使得能够跟踪，如在拉伸力下的膨胀形变，对于该拉伸力，观察到分段点云Y将在网格XV可见表面上扩展，Y相对于XV扩展区域可与XV外部区域匹配(右侧红色箭头)。这些对应关系还能处理遮挡和分割错误，对象的相应未观察区域不会影响XV底层区域。相反，从XV到Y，对应物更适合跟踪压缩动作下的收缩形变，XV外部区域与被压缩物体的观察点云Y外部区域相互匹配(左侧绿色箭头)。未观察到区域将影响与XV的最近区域匹配的下面区域XV。

图4 网格和点云间的对应关系

3.3.2 计算外力 基于由NXV、NY给出的两组网格和点云的对应关系，在XV中对每个xi施加的外部弹力fext可按式(10)计算。

(10)

(11)

kext=1 N/m，λ=0.7

3.3.3 使用轮廓的加权力 基于3D几何形状建立对应关系，位于网格遮挡轮廓上的顶点被吸引到点云中的扩展区域。通过加权网格可见表面顶点来增强吸引力，给定其与投影网格的遮挡轮廓距离。基于投影网格的深度图dM计算网格遮挡轮廓距离图，进而计算顶点xi权重wi。

(12)

式中：

σ——根据经验设定的参数。

对wi归一化，以便得到观察概率，按式(13)计算力。

(13)

3.3.4 用于计算形变的数值解算器 估计网格形变包括求解基于拉格朗日动力学方程，涉及内部和外部力的常微分方程：

(14)

f=K′x+f0，

(15)

式中：

x——包含X、M中顶点位置的nX阶向量；

C——nX×nX质量和阻尼矩阵；

K′——nX×nX全局刚度矩阵。

使用得到的网格顶点的估计位置x可以更新X。

4 试验

为了评估所提出的方法，测试各种物体形变和条件。对于非刚性注册阶段，采用模拟开放框架架构(SOFA)模拟器，该模拟器能处理各种物理模型并实时演化模拟。

4.1 跟踪合成数据结果

依靠SOFA框架，首先生成一个涉及圆柱形弹性物体形变序列，由FEM同向旋转方法建模，具有E=800 Pa的杨氏模量和ν=0.3的泊松比。基于手工设计的半径×高度为0.11 m×0.02 m的圆柱面三角网，使用3D Delaunay三角剖分，通过CGAL库生成体积四面体网格，得到网格由1 369个元素和497个顶点组成，如图6所示。

图6 处理后的网格

模拟形变并生成序列，在Z方向上施加弹性拉伸力如图7所示。对4种建模方法的效果进行对比，分别获取第15，50，55，150帧的形变识别情况，表明试验所提出的方法效果最好。

图7 形变跟踪结果

4.2 实际数据结果

为了对真实数据进行试验，从校准的RGB-D相机华硕Xtion，320×240 RGB和正在处理的深度图像中获取被调查场景的点云，使用带有NVIDIA GTX 1060显卡的标准笔记本电脑以及2.4 GHz Intel Core i7 CPU。分段过程涉及循环，由于需要快速的实时性能，主要依赖于CUDA实现。试验对象涉及用硅制无纹理光滑弹性物体，网格尺寸0.12 m×0.01 m，包括574个顶点和1 675个元素。

在第一个特征序列中，物体经大幅度刚性运动、各种等长和弹性形变，设定kext=1 N/m，E=300 Pa，ν=0.3，跟踪识别结果如图8所示，使用带有轮廓加权的同向旋转FEM方法与其他模型方法进行比较。

由表1可知，试验所提出的带有轮廓加权的同向旋转FEM模型在时间开销上并没有劣化，不会影响控制系统的实时性。

5 结论

试验通过RGB-D传感器，采用视觉分割和有限元分析方法建立了弹性形变物体的模型，并实现了点云数据的注册。试验提出的带有轮廓加权的同向旋转FEM模型可较好地实现对无纹理形变物体的跟踪，在保障识别第1行显示输入RGB图像；第2行显示用质量弹簧模型跟踪对象的3D网格；第3行用标准FEM模型跟踪；第4行用提出的方法效果的前提下，并未由于模型复杂度的提升而影响运算的时间开销。试验缺少对更大的弹性形变的多种目标进行研究分析来验证算法的有效性，后续可增加试验的多目标验证来完善算法的正确性。

图8 披萨面团的跟踪效果

Figure 8 Pizza dough tracking effect

表1 4种模型算法各个阶段的计算时间