基于深度相机的山地果园运输车避障系统设计*

李震，颜少华，洪添胜，吕石磊

(1. 华南农业大学电子工程学院，广州市，510642； 2. 国家柑橘产业技术体系机械化研究室，广州市，510642； 3. 广东省山地果园机械创新工程技术研究中心，广州市，510642； 4. 华南农业大学工程学院，广州市，510642)

0 引言

我国南方水果生产地主要集中在丘陵山地地区，坡度大，地形复杂，作业困难[1]。为了解放生产力，提高果园机械化水平，山地果园货运技术取得了较好的发展[2]，其中单轨运输车因其节能环保、方便搬运、经济性好等特点，在果园中广泛应用[3-4]。但运输车在应用中，经常被前方突发障碍物阻挡，如果不能及时有效的避开，容易发生安全事故，影响运输效率[5-6]，因此，设计一个可靠性强、实时性高的避障系统，对于提高生产效率、加强运输安全具有重要意义。

目前主流农用机械障碍物检测技术主要有超声波、机器视觉、激光雷达[7]。超声波存在声波干衍射现象，导致在一定范围内同一时间只能单探头工作，加上其波束角大，极容易被树叶杂草等障碍物反射误触，果园测量具有局限性[8]。机器视觉计算复杂度大，消耗运算能力高，加上被动式探测，光照过强会过度曝光，过暗精度，而运输车轨道部分处于果树覆盖下，部分处于露天下，光强变化大，不适用于单轨运输车避障[9-13]。激光雷达采用主动式探测，抗光强，但不适合在晨雾现象多的山地果园中使用，而且安装在震动很大的运输车上极容易损坏机械扫描部件[14-16]。而基于TOF技术的深度相机创造性的结合了视觉技术获取信息丰富与激光测距抗光干扰性强的优点，采用近红外激光主动式探测，可一次性获得RGB图像和深度图像，体积小，功耗低，价格相对低廉，被广泛应用于农业导航和三维重建[17-20]。

本研究基于TOF技术的深度相机，设计了一套山地果园单轨运输机避障系统，旨在为果园自动化运输提供一套高效准确的避障系统。

1 系统结构

1.1 系统结构设计

避障系统以ARGUS-A5深度相机作为障碍物数据采集器，以树莓派3B+作为上位机数据处理器。整个系统可以分为三个模块，即：障碍物检测模块、运输车控制模块、电源模块。系统的整体结构如图1所示。

避障系统其工作原理为：深度相机检测到运输车行使空间上的障碍物三维信息，障碍物信息由一个80像素×60像素矩阵表示，每个矩阵元素包含像素点的坐标信息、灰度信息以及深度信息，像素矩阵经过USB协议传输至树莓派内存中保存，目标程序读取设备数据后，经过数据处理做出避障决策，然后通过串口把避障标志位传输至下位机STM32控制芯片，STM32中控芯片读取到决策标志位后通过控制无刷电机控制器对运输车的无刷电机做出正反转、停止的控制，实现避障启停效果。

1.2 传感器参数

ARGUS-A5是一款基于时间渡越法(TOF)的多点测距深度相机，其满足刷新率高、中长距离测距的需求，内部集成了嵌入式数据修正算法，抗光干扰能力强，可以通过Micro USB 2.0接口输出光照强度和深度数据。其主要参数如表1所示。

表1 深度传感器参数表Tab. 1 Parameters of depth sensor

2 硬件设计

2.1 单片机主控电路

单片机主控电路主要由单片机最小系统以及光耦隔离电路组成。单片机最小系统包括电源电路、晶振电路、复位电路、下载电路等。其中，单片机采用基于ARM内核的STM32F103VCT6芯片，其各引脚对应关系及意义如表2所示。

按键模块主要用来控制运输车的运动状态以及模式选择，运动状态包括前进、停止、后退，模式选择包括手动模式以及自主运行模式；无线接收模块接收到遥控器信号或者按键按下后，需要经过光耦隔离电路连接最小系统。由于无线信号及按键信号输入端为5 V，TLP127光耦的LED压降为1.15 V，推荐正向电流为16 mA，所以R6=(5-1.15)/16=240 Ω。其电路图如图2所示。

表2 单片机各引脚连接图Tab. 2 Corresponding connections of MCU pins

图2 光耦电路Fig. 2 Optical coupler equipment

2.2 无线遥控模块

无线遥控模块主要用来远距离对运输车进行控制，包括前进、停止、后退。这里采用PT2262/2272模块进行无线遥控，其采用315 MHz的高频发射电路，传输距离可达400 m，其工作中只需要将PT2262/2272的1～8号地址位状态码设置为一致，就可以实现发送端PT2262与接收端PT2272的四位数据端保持通信。其引脚图如图3所示。

图3 无线遥控模块电路Fig. 3 Wireless remote control module circuit

3 软件设计

3.1 测距原理

深度相机采用TOF(Time of Flight)技术，能够提供深度传感数据。如图4所示，其测量原理为相机将特定波长的近红外光经过调制后发射出去，近红外光遇到障碍物后反射，相机的TOF传感器接收到反射的光信号后，捕捉到发送的光信号和接收到的光信号之间的相位差，MPU将相位的差异换算成光的飞行时间，已知光的飞行速度，这样就可以计算出相机和目标物体之间的距离。

(1)

式中:depth——深度相机与障碍物之间的距离；

c——光速，3×108m/s；

t——飞行时间。

图4 TOF测距原理图Fig. 4 Schematic diagram of TOF

3.2 测量模型

深度相机在获取三维空间深度信息时可以看成针孔成像模型，如图5所示，假设摄像头为B平面，成像平面为U-V坐标系，物体平面为X-Y-Z世界坐标系，摄像头水平视角为FOV-H，垂直视角为FOV-V，设测量点坐标为Q(x，y，z)，成像点坐标点为q(u，v)，成像平面的边长为L，高为H，与相机之间的深度距离为D。

图5 成像模型示意图Fig. 5 Schematic diagram of imaging model

测量平面跟深度信息之间的坐标关系

L=2D×tan(FOV-H)

(2)

H=2D×tan(FOV-V)

(3)

D=depth

(4)

假设相机光心C(cu,cv),在UV上的焦距为fu,fv,根据相似三角形

(5)

(6)

即已知p(u,v)的像素坐标信息以及深度信息，就可以知道有效检测平面大小以及其中的检测点Q(x,y,z)相对光心C(相机安装位置)的空间三维信息。

3.3 算法设计

要实现避障决策，首先需要确认障碍物相对于运输车行驶空间的位置，其次要分析障碍物类型，以便做出相应决策。

根据运输车安全制动最小距离确定好测量深度阈值后，由式(2)和式(3)可以计算出相机在固定测量深度D上的最大测量平面。为了简化计算量，可以根据运输车通行通道的纵截面计算出关于避障需求对于测量平面的感兴趣区域(Region of interest,ROI)，如图6所示。对于处于感兴趣区域的像素点探测到的障碍物信息，视为有效点信息，由有效点的坐标可以根据式(5) 和式(6)计算出障碍物平面探测点相对于相机安装位置的三维坐标。

图6 测量平面的ROIFig. 6 ROI of measurement plane1.测量平面 2.感兴趣区域 3.有效像素点

单轨运输车运行时，主要的障碍物有在轨道附近的石头、袋装肥料、就业时横穿轨道的果农、放养在果园内的牲畜、以及轨道两旁果树的侧枝等。对于比较小的石头以及侧枝，运输车识别后可以直接通过，不需要做出避障措施，对于果农、较大的石块、袋装肥料等，处于运输车通行范围内的，运输车需要做出避障决策。系统通过计算测量平面的感兴趣区域有效点数量为M个，就可以计算出障碍物最大截面面积S。对于面积大于预定阈值的，经决策不为侧枝树叶的障碍物，应采取避障措施，其计算公式如式(7)所示。

(7)

式中:S——障碍物有效面积；

M——感兴趣区间有效像素点；

U×V——测量平面像素点数量；

L×H——测量平面面积。

对于障碍物的类型识别，本文基于帧间差分法(Temporal Different)思想设计了一种障碍物识别模型。由于运输车处于运动状态，目标在不同图像中的成像位置不同，也就是像素坐标不同。由于人、石头等表面是相对平滑且连续的，所以单位时间内图像的像素点应该处于连续状态，而侧枝树叶等由于中间有空隙且凹凸不平，所以成像像素点应该处于间隔分散状态。由于相机的工作频率相对很高，运输车速度较慢，为了消除雾霾、下雨、雪花等环境对测量的影响，该算法对时间上连续的20帧深度图像进行滤波处理，分别把前10帧和后10帧图像中平均深度值处于设定阈值内的像素点坐标存储成新的两帧图像数据，对两帧图像数据进行差分运算，判断运算结果的绝对值。当绝对值超过一定阈值时，即可判断为侧枝树叶，从而实现目标的区分功能，如图7所示。

图7 障碍物识别模型Fig. 7 Obstacle recognition model

帧间深度差分法如图7所示。记第n帧和第n-1帧图像为Fn和Fn-1，两帧图像像素点的深度值记为Fn(u,v)和Fn-1(u,v),将两帧图像对应像素点的深度值相减，取其绝对值，得到差分深度图Dn。

Dn(u,v)=|Fn(u,v)-Fn-1(u,v)|

(8)

对Dn有效点深度进行累加，得到Rn，设定阈值T，进行阈值判断，对于Rn>T，判定为非障碍物，直接通过；对于Rn≤T,判定为障碍物，进行避障。

(9)

4 系统试验与分析

4.1 试验方法

为了测试系统的性能，对安装了深度相机避障系统的单轨运输机进行测试。试验场地为华南农业大学工程学院，为尽可能模拟山地果园单轨运输机的应用场景，架设了长150 m，最大坡度为35°，最大拐弯半径为2 m，离地高度平均0.45 m，轨道宽0.05 m的环形轨道。为分析系统的避障效果，分别在运输车行车空间上和非行车空间上的轨道两旁架设人型、规则物体及仿真树枝障碍物，将深度相机垂直安装于运输车纵截面正中心，分别检测避障系统的准确性与灵敏性。准确性由能否准确检测到障碍物以及能否区分干扰型障碍物来表现，灵敏性由运输车距离障碍物制动距离表现。

强龙压不过地头蛇，茶园泼了化学水他工厂不赔能脱身。谈到后来还不是松了口。不赔可以啊，你把那些泼出去的污水收回去。

4.2 结果及分析

4.2.1 准确性测试

准确性测试采用静态检测方法，基于单轨运输车制作了1∶1的车架，将避障系统安装于车架上，用电脑打印输出模拟树莓派串口决策标志位信号，分别以人、规则木板(0.4 m×0.4 m)、不同叶密度(叶片数300片/m2、400片/m2、600片/m2)的仿真树枝置于运输车通行轨道上的有效深度范围内(图8)，100次测量避障系统的避障结果如表3所示。

(a) 规则平面检测

(b) 行人检测

(c) 仿真树枝检测

表3 避障系统的准确性测试Tab. 3 Accuracy test of obstacle avoidance system

由表3可知，避障系统对于人体以及规则物体的避障率为100%；对于单位平方米叶片数量为300的侧枝视为非障碍物的概率为92%；但是对于密度过高，单位平方米叶片数量大于400的侧枝识别率仅为67%；单位平方米叶片数量大于600的视为障碍物，发生避障误判的概率为84%；所以对于轨道两旁单位平方米叶片数量大于400的侧枝，应该指导农户修剪掉以减少避障系统误判。

4.2.2 灵敏性测试

避障系统的灵敏性试验采用安装在运输车上实地测试，试验轨道选取一段水平竖直轨道进行，选取一块方形障碍物(0.4 m×0.4 m)用三角形架支于运输通道上，使运输车置于距离障碍物5 m的距离，以0.4 m/s的速度向障碍物方向行驶(图9)，测试避障系统对于障碍物的识别以及灵敏度。通过运输车停车后到障碍物的距离，计算出避障延时，计算公式如式(10)所示，试验进行10次。试验结果如表4所示。

(10)

式中:td——避障延时；

DS——检测深度阈值；

LB——停车后运输车与障碍物的距离；

V——运输车的行驶速度。

图9 系统灵敏度测试Fig. 9 System sensitivity test

表4 障碍物避障距离试验结果Tab. 4 Obstacle avoidance distance test results

由表4可知，避障系统决策后运输车与障碍物最大距离为110 cm，最小距离为101 cm，平均距离为103.3 cm；最大延时0.475 s，最小延时0.25 s，平均延时0.42 s；在运输车的安全制动距离120 cm(预定阈值)范围内，系统响应速度灵敏。

5 结论

本文基于渡越时间法的深度相机设计了一套应用于山地果园单轨运输车的避障系统，实现运输车远程运输中的障碍物实时检测，提高运输安全性。

1) 准确性试验表明该系统对于面积大于设定阈值的规则障碍物避障率为100%，对于单位平方米叶片数量为300的侧枝类干扰型障碍物误触率为8%，对于单位平方分米叶片数量大于该值的轨道上侧枝应该予以修剪，为农户维护运输通道做出指导。

2) 灵敏性试验表明该避障系统最小制动距离为101 cm，最大避障延时为0.475 s，具有响应快速、安全性高的优点。