复杂地面车辙识别试验与验证

薛 龙，李 澜，党兆龙，陈百超，邹 猛，黎 静*

（1.江西农业大学 工学院，江西 南昌 330045；2.中国空间技术研究院 北京空间飞行器总体设计部，北京 100094；3.吉林大学 工程仿生教育部重点实验室，吉林 长春 130022）

1 引言

火星地表复杂多变，除了其表面覆盖的松散星壤，还遍布着石块、陨石坑及沙丘，使得火星车（Mars Rover）面临高滑转、易沉陷的威胁，这不仅导致了火星车机动性能降低，使其无法到达预定位置，甚至会导致火星车沉陷，失去移动能力，并最终导致任务的失败。火星车的机动性能不仅与车辆外形、车轮形状有关，还与地表障碍物、地形和星壤的特性有关。了解星壤的特性，主要是其物理力学参数，对火星车的路径规划、通过性评估及风险预测和脱困都有十分重要的意义。

由于发射有效载荷的限制，目前火星车都没有配备专用测量火星壤力学参数的设备，因此无法实时准确地获得火星壤的力学参数。使用火星车携带的相机，并结合地面力学知识，通过火星车触土部件与火星壤相互作用留下的痕迹，特别是火星车车轮在火星表面留下的车辙，可以对火星车轮下及周边火星壤的特性进行估计［1］，例如火星壤的内聚力、内摩擦角、车轮沉陷和滑转率。滑转率是火星车车轮与火星壤相互作用留下的痕迹，受到不同火星壤类型的影响其变化范围非常大，是影响火星车机动性能的一个重要的参数。因此在进入某一特定区域或进行路径规划前，通过对滑转率信息进行预判可以避免火星车进入危险区域，导致车辆滑转率过大而陷入火星地表［2］。火星车在复杂的火星地表条件下的探测过程中，图像是了解巡视器周边土壤信息最直接也是最方便获取的资源［3-4］，通过火星车采集的车辙图像获得车辙信息及地形地貌信息［4］，然后综合获取的信息作为输入变量，通过大量的地面及在轨试验数据并结合机器学习的方法对滑转率进行预测［5-6］，可以使地面控制人员在确保巡视器行驶安全的前提下，完成科学探测任务。但是，对海量图像数据的辨别和处理通常是通过人工判断，这种方法既费时又费力，而且对判别人员的要求也非常高。利用车辙图像信息，通过图像分类、深度学习和语义分割等方法把地面图像按照石块、车辙和未扰动地面等类型进行分割［7］，这不仅可以有效避免人为选择的误差，还可以降低劳动强度，并从海量的信息中提取有效数据［8］。

本文主要是应用车载导航相机采集的火星车前方和后方的地表图像，并经过图像变换，然后应用卷积神经网络（Convolutional Neural Network，CNN）实现图像的训练和判别，并对图像中的石块、车辙和土壤建立分割图像。

2 材料与方法

2.1 试验设备

模型火星车行走系统大小是与实际火星车按照1∶1 设计的，其悬架为新型的主动悬架移动系统［9］（Active Suspension System）。悬架系统包含6 个车轮，车轮直径和轮宽分别为300 mm 和200 mm，轮刺高度和个数分别为10 mm 和20 个，轮刺间距为47.1 mm，材料为铝合金，如图1 所示。通过增加配重，模型火星车的总质量及其每个车轮的轮上载荷与实际火星车保持一致，行驶测控系统与实际火星车行驶测控系统一致，并且可以获得每个车轮的驱动电机电流和整车的位姿信息。该模型火星车的图像采集系统由云台和双目相机组成，两个相机的间距是256 mm，应用标准的9×12 黑白标定板采集标定图像，然后对两个相机的内参和外参进行标定，图像的像素尺寸为1 944×2 592。相机距离地面为1.0 m，与地面的水平夹角是12.5°。

图1 模型火星车Fig.1 Mars rover model

试验地点在吉林大学土槽实验室，该试验场地长、宽分别为24 m 和2.5 m。铺设JLU Mars-3模型火星壤（Martian Simulant Regolith），对应的中值粒径为700 μm，按松软（Soft）状态和自然（Normal）状态两种方式进行整备和铺设，对应的容重分别是1.12 g/cm3和1.24 g/cm3。

2.2 试验过程与数据预处理

为了获取不同滑转率的车辙图像，设定移动平台的理论速度为200 m/h，并在模型火星车后方加载不同的挂钩牵引力，当小车行驶时同时记录车轮旋转圈数和实际的行驶距离，并根据s=(VT-V)/VT计算得到滑转率s，其中VT为车轮实际旋转圈数与小车理论速度计算得到的理论行驶距离，V为实际行驶距离。

根据车载的双目视觉系统，对左目相机采集的图像进行变换。在前方距离相机0～4 m，左右两端距离为3 m 的范围内建立鸟瞰视图，得到鸟瞰图大小为1 637×2 242 pixels。选取鸟瞰图中的特征区域并裁剪，提取像素块的大小为1 000×1 000 pixels，接着进行直方图均衡化，最后为了调高神经网络模型的训练数据对图像进行等比缩小，缩小的比例尺为0.5，因此得到的最终建模图像大小为500×500 pixels，具体过程见图2。

图2 图像预处理过程Fig.2 Image preprocessing process

图3 为经过预处理后的图像，其中图3（a）为无扰动图像，即整备后的地貌，在松软的地表布置三块大小不同的岩石；图3（b）为扰动后图像，即模型火星车行驶后的地貌，可见地表也分布不同大小的岩石。

图3 经过预处理后的图像Fig.3 Preprocessed image

对图像进行网格划分，网格的大小是50×50 pixels，根据对应网格中的每一小块图像所包含的内容分别划分不同的类别，主要为Rut、Rock 和Sand 三类。根据这三个类别建立每个图像块对应标签，为了减少训练时间并考虑每种类别参与训练的平衡性，按照每种类别150 个的数据量随机选择用于建立建模集和预测集的图像，因此共有450 个数据。建模集与预测集按照70%和30%的比例随机划分，具体的数据量见表1。

表1 数据集类别及个数Tab.1 Category and number of datasets

通过迁移学习，本文设定的类别为3 类，预训练网络为Resnet50，特征层为fc1000，MiniBatch-Size 设置为30，文中所用代码均应用MATLAB处理。

3 分类结果

应用Resnet50 神经网络模型对建模集和预测集进行预测，预测的准确率分别为75.56%和81.48%。图4 为预测集的预测结果，可见图像块中有两个Rock 被分别误判为Rut 和Sand；有12个Rut 被误判为Sand；有11 个Sand 被误判为Rut，对应三个类别的准确率分别为95.6%、73.3%和75.6%。图5 为从预测集中随机选择的8 副图像块预测结果，图中“预测”表示该网络模型预测的结果，“实际”表示该图像块真实的标记类别，其中3 号和6 号图像块数据被误判为“Sand”，4 号图像块被误判为“Rut”。

图4 预测集的预测结果Fig.4 Predicted result of prediction dataset

图5 Resnet50 模型的预测结果Fig.5 Predicted results of Resnet50 model

对每个图像块进行类别分类后，按照图像块在原图像中的编号位置和所占像素的大小，分别用三种不同的颜色作为半透明的掩膜附着在原图像上，如图6 所示。可见，图6（a）为包含车辙的扰动图像，即模型火星车的后方视野，对靠近模型火星车的车辙识别较为准确，而且判断的图像块可以形成完整的车辙痕迹；图6（b）为不包含车辙的图像，即模型火星车前方视野，可见有少量图像块被误判为车辙，而且分布的较为分散。另外，从图6 中可以看出两个图片中均把石块的位置准确判别出来。通过该方法可将原始图像前后方地表进行分类，并提取区块的感兴趣区域，以便实现更为精准的判别。

图6 分类后的图像Fig.6 Classified images

4 讨论

火星车作为火星探测的主要载体是人类智慧的结晶，其上包含多种传感器用来“感知”火星车的“健康”状态，因此充分利用这些车载数据是火星车通过性能研究的发展方向。这些车载数据大体可以划分为两种类型，一种为图像数据，一种为传感器数据。图像数据主要通过车载导航相机和避障相机获取，并且根据图像数据可以获取火星车周边的全景图和数字地图，主要包括车辙痕迹、火星车周边沙丘的坡度、石块大小及分布，这些数据代表了火星壤的强度。除了光学相机采集地表图像外，还可以利用热敏相机对地表成像，并根据热惯量法预测火星壤的力学参数［10-11］。传感器数据主要包括火星车上各种电机的驱动电流、车体位姿和车载机械臂的位置信息等，这些数据对应着火星车车轮的驱动能力、火星车所在位置的坡度及各轮的轮上载荷以及机械臂采样过程中末端执行器的位置，因此通过车轮或采样铲这些直接与火星壤相互接触的触土部件为研究对象，并结合地面力学知识也可以对火星壤的力学参数进行预测［12-13］。

将这些车载数据作为通过性判断的主要信息源，通过深度学习、语义分割、数理统计等方法［14-15］，将滑转率、沉陷深度、扭矩、轮上载荷、坡度、姿态角作为训练模型的输入参数，建立星球车通过性实时预测模型，并输出通过性判断矩阵，然后结合采集的图像信息对火星车的行驶和避障提供参考。

5 结论

本文应用Resnet50 为预训练模型网络，将采集的图像变换为鸟瞰视图，并进行图像增强预处理，然后将图像划分为等大小的图像块，并根据图像块包含的内容，将图像分为Rut、Rock 和Sand 三个类别，并建立对应的标签数组。接着，随机选择450 个图像数据，每个类别150 组数据，按照7∶3 的比例建立建模集和预测集，并训练预测模型。经过训练得到的建模集和预测集的准确率分别为75.56% 和81.48%，可见该方法具有较好的可行性。然后，将每个图像块的判断的类别与原图像融合，建立识别图像，实现图像感兴趣区域的划分。最后，对火星车通过性判断理论和技术进行梳理和展望，提出充分利用车辙痕迹、驱动电机电流和车体位姿作为输入参数，并结合深度学习、语义分割和数理统计等方法，然后通过地面火星车的验证试验，建立火星车通过性模型。