类人足球机器人场地线检测及定位

白晓遥，燕必希，王 君，刘 一

(北京信息科技大学 仪器科学与光电工程学院，北京 100192)

0 引言

RoboCup类人组比赛是类人足球机器人领域最高级别的赛事。机器人通过相机拍摄场地图像，对图像进行场地线检测，提取场地线中可用于机器人定位的特征信息，与机器人的移动信息结合，进行机器人自定位，基于检测与定位信息进行决策和路径规划以完成比赛。

2013年之前的比赛规则[1]规定，比赛用球为橙色，球门为黄色/蓝色，场地线为白色，因此目标检测算法均为基于颜色分割的算法。随着比赛规则的不断改变，球变为黑白混色，球门与场地线都为白色，基于颜色分割的算法不再有效。卷积神经网络近些年来得到迅猛发展，其在图像处理中的优异表现使得越来越多的研究者开始抛弃基于颜色分割的算法，采用卷积神经网络进行球与球门的检测，但对场地线的检测仍采用基于颜色分割的算法。基于颜色分割的场地线检测算法计算量较小，运算速度快，但只适合于光照条件稳定的情况，当照明条件发生变化时检测效果变差。RoboCup技术委员会已经发出通告[2]，比赛场地将采用自然光提供照明。因此基于颜色分割算法的场地线检测效果将变得不稳定，需要研究新的方法来应对照明条件的变化，提高检测稳定性。

本文以全卷积网络模型[3](fully convolutional network，FCN)为基础，提出一种改进模型用于类人足球机器人场地线检测。采用残差网络(residual network,ResNet)模型[4]设计思想，增加网络卷积层数，同时引入残差结构，以增强网络对图像特征的提取能力，并且在上采样过程中融入更多的低层场地线信息，提高场地线检测准确度。

足球机器人通常使用粒子滤波进行自定位，其本质是一种基于概率统计的定位方法，通过将由运动学模型计算的机器人理论移动距离与场地线中包含的定位信息相结合，对机器人在场地中的位置进行估计。由于运动学模型计算的移动距离与机器人实际移动距离之间存在误差，且误差逐渐累积，因此定位精度不高，定位误差最高可达350 mm[5]。

摄影测量的后方交会法具有定位精度高且无误差累积的优点，为进一步提高机器人自定位精度，本文采用后方交会原理进行机器人自定位。从球场上选取若干场地线特征点，确定其世界坐标，使用机器人拍摄图像中3个及以上特征点，通过共线方程解算，即可得到机器人在当前世界坐标下的位置，实现足球机器人的高精度自定位。

1 类人足球机器人场地线检测

1.1 模型选择

由于场地线包含的定位信息隐藏在其结构中，因此需采用逐像素预测的方式以提取出图像中属于场地线的像素，即使用语义分割进行场地线检测。而传统卷积神经网络(convolutional neural networks，CNN)通常是由数个卷积层、池化层与若干个全连接层连接组成。输入图像通过卷积、池化层后产生特定尺寸大小的特征图，特征图通过全连接层映射成为一个固定长度的特征向量作为输出，丢失了图像的结构信息，以至于不能对图像进行逐像素分类，因此并不适用于场地线检测。

Long J.等[3]提出的FCN模型以CNN网络中除去全连接层的VGG16网络作为特征提取模块，通过跨层连接将特征提取模块生成的特征图进行融合，并上采样到与输入图像相同尺寸，对特征图进行逐像素分类，实现了卷积神经网络对图像的语义分割。

上述FCN模型应用于足球机器人场地线检测中时，由于其特征提取能力较弱，无法准确检测场地线。改进模型通过增加FCN的卷积层数，同时引入残差结构将多个卷积层构造成残差块，以增强网络特征提取能力，并在上采样过程中通过跨层连接融合更多场地线局部细节特征[6]，以提高场地线检测准确度。

1.2 残差结构与残差块

卷积神经网络的特征提取能力来自其卷积层，更多的卷积层数拥有更强的特征提取能力，卷积层通过对输入特征进行映射，完成对实际问题数学模型的拟合。

传统卷积神经网络中，各个卷积层的输入特征为上一个卷积层的输出特征。由于卷积层通常情况下从输入特征中提取到的特征数量少于输入特征的数量，因此网络高层的卷积层输入特征逐渐变少，不利于场地线特征的充分提取。

传统卷积神经网络中，相邻两卷积层输出与输入特征的关系如下：

F(x)=H(x)

(1)

在引入残差结构的卷积神经网络中，相邻两卷积层输出与输入特征的关系如下：

F(x)+x=H(x)

(2)

式(1)、(2)中：x为前一个卷积层的输入特征；F(x)为前一个卷积层的输出特征；H(x)为下一个卷积层的输入特征。

对比可知，引入残差结构后，每个卷积层的输入特征为前一个卷积层的输入与输出特征之和，因此每个卷积层可以提取到更多的特征，更有利于提高检测准确度。

残差块是指包含多个连续卷积层的残差结构，即在第一个卷积层的输入与最后一个卷积层的输出之间引入一条直接的关联通道，使残差块的输入特征与输出特征直接相加，作为下一个卷积层或残差块的输入特征。残差块的输入与输出关系为

y=F(x,{Wi})+x

(3)

式中：x、y是残差块的输入与输出；F(x,{Wi})代表多个连续卷积层。若残差块由两个连续卷积层构成，则残差块的结构如图1所示，其输入与输出关系如下：

图1 包含两个卷积层的残差块

F=W2σ(W1x)

(4)

式中：W1、W2为两个卷积层中卷积核权重；σ为激活函数。

1.3 改进的FCN模型

改进模型和FCN模型如图2所示。

图2 改进模型与FCN模型

相比于FCN模型，改进模型的卷积层由15个增加为34个，同时将卷积层构造为4个残差块，提高了特征提取能力。在残差块中使用步长为2的卷积层替代池化层进行下采样，上采样过程中采用跨层连接结构将所有残差块输出特征图进行融合，使最终检测结果更加精细化，能够更准确地进行场地线检测。

2 机器人定位算法

2.1 定位原理

在完成场地线检测后，利用场地线边缘对场地线进行拟合，可获得场地线特征点像面坐标。根据摄影测量原理，在机器人相机内参数已知情况下，可通过在图像中提取的3个及以上特征点的像面坐标与世界坐标，计算出机器人位置，实现机器人自定位。

2.2 场地特征点选取

机器人场地线交点为机器人的场地线特征点，共24个，如图3所示。

图3 类人足球机器人场地示意

2.3 定位算法

如图4所示，世界坐标系为O-XGYGZG、像空间坐标系为S-xyz，像空间辅助坐标系为S-XYZ。S为相机投影中心，S的世界坐标为(XS,YS,ZS)，物点A的世界坐标为(XA,YA,ZA)。物点对应像点a的像空间坐标为(x,y,z)，其中z=-f，f为相机焦距，a的像空间辅助坐标为(X,Y,Z)，ST为SA在平面XSZ的投影，S、a、A三点共线。

图4 定位算法原理

通过将S-XYZ依次绕Y、X、Z轴旋转φ、ω、k角度，可得到S-xyz坐标系。由此得像点a在S-XYZ下的坐标(X,Y,Z)与在S-xyz下的坐标(x,y,z)的变换关系，如式(5)所示：

(5)

式中：R为正交变换矩阵，RR-1=I，R=

由相似三角形关系，得：

(6)

由式(5)与式(6)可得：

(7)

式中：(x,y)为像点a的像面坐标；(XA,YA,ZA)为其对应特征点A的世界坐标；未知数为相机投影中心的XS、YS、ZS以及φ、ω、k，共6个，其中φ、ω、k是由ai,bi,ci(i=1、2、3)确定的。因此，需要3个及以上场地线特征点像点的像面坐标及其对应的世界坐标，便可求解方程，计算出机器人位置。

式(7)为非线性方程，需使用迭代的方法求取方程解，本文使用LM迭代算法对方程进行求解，所得的相机投影中心坐标(XS,YS,ZS)即为机器人世界坐标。

3 实验结果与分析

3.1 场地线检测

3.1.1 评价指标

为评价改进前后模型性能，采用平均像素精度及平均交并比[7]作为评价指标。

(8)

平均交并比=

(9)

式中：k+1为类别数(包含1个背景类)；Pii表示正确预测的点；Pij表示本身被标记为i类的像素被预测为j类像素；Pji表示本身被标记为j类的像素被预测为i类像素。

3.1.2 性能对比

在实验场地中，设置3种光照条件，分别为灯光照明、充足自然光照明、不充足自然光照明。其中在灯光照明条件下，建立颜色分割算法所需的颜色查找表。采用基于此颜色查找表的颜色分割算法在上述3种照明条件下对场地线进行检测，将其与改进模型在对应光照条件下的检测效果进行对比，如图5所示。

图5 不同光照条件下改进模型与颜色分割模型检测结果对比

两种模型在不同照明环境下对场地线检测的平均像素精度与平均交并比如表1所示。

表1 不同光照条件下两模型的平均像素精度与平均交并比 %

由图5可知，改进模型在场地线检测中受光照变化的影响几乎可以忽略不计，检测结果准确；颜色分割算法模型检测结果受光照变化影响大，光照条件发生变化时，算法稳定性差。

分别使用FCN模型与改进模型对场地线进行检测，结果如图6所示。

图6 FCN模型与改进模型检测结果对比

两种模型的平均像素精度与平均交并比如表2所示。

表2 两种模型平均像素精度与平均交并比 %

由图6可知，FCN模型由于其特征提取能力较弱，在场地线识别中易受到其他非场地线物体干扰，检测结果不够准确。相比之下，改进模型由于具有较强的特征提取能力，能够更准确地完成场地线检测。

通过使用3种模型分别连续对100张场地图像中的场地线进行检测，计算各模型处理每张图像的耗时，如表3所示。

表3 各模型运行时间

由表1～3可知，改进模型由于运算量更大，耗时最长，但检测效果好，准确度高，检测速度基本满足比赛需求。

3.2 自定位实验结果与分析

在图3所示的场地线中，使用激光跟踪仪测量24个场地线特征点的世界坐标，并设置10个机器人站位，使机器人依次移动到每个站位后进行场地线检测、提取场地线特征点后进行自定位，并通过激光跟踪仪测量每个站位上机器人相机一固定点的世界坐标。通过自定位结果计算相邻两个站位的距离，并与跟踪仪测量结果计算的相邻两个站位的距离进行对比，计算两个距离的绝对距离差，评估自定位精确度。如图7所示，三角形表示场地线特征点，实心圆表示机器人相机上一固定点在各站位上的位置，正方形表示自定位所得机器人相机在各站位上的位置，通过自定位结果及测量结果计算所得的相邻站位间的距离与绝对距离差如表4所示。

图7 机器人在场地中10个站位位置

表4 两种距离及绝对距离差

表4中的实验数据表明，与跟踪仪测量结果相比，机器人自定位算法得到的距离误差最大为17.5 mm，相比于粒子滤波定位最大定位误差350 mm[5]，基于特征点进行自定位的方法提高了机器人自定位精度，可以满足类人足球机器人在比赛中进行高精确定位的需求。

4 结束语

本文提出了一种基于FCN的改进模型用于类人足球机器人场地线检测，克服了变化光照条件对场地线检测效果的干扰，提高了场地线检测的准确度，具有较高的应用价值。但改进模型对场地线的检测速度较慢，只能基本满足比赛需求，检测速度还有待提升。

基于场地线特征点的机器人自定位方法通过3个及3个以上场地线特征点进行机器人自定位，最大定位误差为17.5 mm，自定位精度远高于传统定位方法自定位精度。