矿用电缆卷放车智能追踪系统设计

唐晓骞，陈伟华

(1.神华准格尔能源有限责任公司，内蒙古 准格尔 010300；2.辽宁工程技术大学 电气与控制工程学院，辽宁 葫芦岛 125105)

目前在露天矿山中，电缆卷放车的发展还处于刚刚起步阶段，部分矿山仍然采用自20世纪60 年代沿用至今的样式和功能，属于通用型的电缆卷放车，虽然能够配合电铲作业，但尾线电缆随着电铲的推进而被拖拽，电缆绝缘表层磨损严重，缩短了电缆的使用寿命。为了解决电缆在跟进过程中的磨损问题，电缆爬犁车得到了广泛应用。但在工作面松软情况下，电铲下沉会造成电缆滚筒损坏，而且电缆爬犁车在作业过程中容易碾压、刮损电缆，变通能力差，因此需要一款单独的电缆卷放装置，结合计算机视觉技术，能够自动追踪目标电铲。随着计算机视觉技术的快速发展，视觉测量技术在工业应用中发挥了重要作用[1]。基于视觉的系统通常分为2类：立体视觉[2]和单目视觉[3]。立体视觉能准确计算偏移量和车距，但2个摄像头之间需要校准和匹配，执行时间长且计算程度复杂。由于电铲移动速度3 km/h，前进速度缓慢，单目视觉系统即可实现智能追踪目标电铲。近年来目标识别与追踪技术成为广大学者研究的重要方向，2019年，刘凯强等[4]利用图像处理和机器学习，通过细胞追踪揭示细胞行为以及细胞运动的特定规律，为疾病医学研究提供可靠依据；2017年，谭雪峰[5]基于全方位的自主导航技术，提出了一种陆标导航和运动目标跟踪系统的视觉伺服方案，开发了以 2GF 控制器为核心的全方位视觉图像处理系统；2016年，段炼等[6]基于数字图像处理和模糊模式识别等技术，对MCS云团进行有效的识别与追踪；2015年，史红梅等[7]基于机器视觉与嵌入式技术设计了异物侵限自年检测系统，利用FPGA和ARM芯片实现了图像采集处理硬件平台。目前目标识别与追踪技术已经应用在智能车追踪、医学研究、卫星云图、人脸识别等[8-13]多个领域，露天矿山作为我国基础产业，占据了国民经济中的重要地位[14]，但在此类技术应用上相对较少。

基于此，本文设计一种专用于露天矿山的电缆卷放车智能追踪系统。该系统包括图像采集与处理模块、智能追踪控制策略模块、执行模块。图像采集与处理模块采用HSV颜色空间转换算法[15]提取目标电铲特征；智能追踪控制策略模块采用偏移量和车距估计方法获取目标电铲相对于电缆卷放车的方向和距离；执行模块控制电缆卷放车的前进、后退、调速、停止，实现对目标电铲的智能追踪。

1 总体方案

系统总体方案如图1所示，该方案包括图像采集与处理模块、智能追踪控制策略模块以及执行模块。工作流程：①FPGA配置OV5640摄像头参数，捕获摄像头采集的图像信息。经卡尔曼滤波后，将采集的图像转换到HSV颜色空间，提取目标电铲图像特征，并将处理好的图像特征数据存储在片外SDRAM中；②通过DSP的XINTF接口获取处理好的图像数据，利用DSP平台自带的内部乘法器，计算目标电铲相对于电缆卷放车的偏移量和车距信息；③利用MAX485通信将控制信号发送给执行模块，再由PLC将控制命令下发给驱动器，实现电缆卷放车跟随目标电铲同步行进，使纯机械式的拖拽电缆引发的安全问题得以解决，切实改善采装环节电缆移设作业流程。

图1 系统总体方案Fig.1 Overall scheme of system

2 系统硬件

2.1 OV5640摄像头

图2 摄像头接口电路Fig.2 Circuit of camera interface

2.2 图像处理器FPGA

为了处理摄像头庞大的图像数据，系统需要一款并行处理且速度快的图像处理器。考虑到芯片内部资源以及开发成本，采用FPGA芯片EP4CE6F17C8作为该系统图像处理的核心控制单元。EP4CE6F17C8内部包含6 272个逻辑单元，最大用户输入/输出数量达179个，内存270 Kbit，具有高处理速度、可靠性强等优点，满足系统要求。FPGA最小系统电路如图3所示。

图3 FPGA最小系统电路Fig.3 FPGA minimum system circuit

2.3 外部存储器SDRAM

由于图像数据量较大，而FPGA的内部存储器只有270 Kbit，因此选用SDRAM 进行像素点数据存储，存储芯片选择HY57V2562GTR，存储容量达到16 M×16 bit。该系列存储芯片运行速度最大为200 MHz，满足图像数据存储容量以及快速性的要求(图4)。

图4 外部存储器SDRAMFig.4 External memory SDRAM

2.4 数据处理器DSP

考虑到数据处理器主要负责计算偏移量和相对距离，算法复杂，计算量大，因此采用DSP芯片TMS320F2812(图5)，它作为专门计算的微处理器，拥有独立的累加器及加法器，一个周期内可同时完成相乘及累加运算，同时提供了4位的PLL倍率选择，可动态改变CPU的频率，采用数据和程序分离的哈佛结构，执行指令速度更快，能够满足系统的快速计算要求。

图5 DSP最小系统电路Fig.5 DSP minimum system circuit

2.5 MAX485通信

本系统需要将控制信号由DSP发送给PLC，考虑到在露天矿山环境工作，信号容易受到气候、噪声影响，因此采用MAX485芯片，其具有通信距离远、传输速率高、抗噪声干扰性好等优点，适合于露天矿山恶劣的工作环境。MAX485通信电路如图6所示。

图6 MAX485通信电路Fig.6 MAX485 communication circuit diagram

3 目标电铲识别与追踪

3.1 目标识别

目标识别工作主要由FPGA完成，在图像传输过程中，可能混入一些无用的信息，为了最大程度还原图像数据的真实信息，需要对图像进行处理，基本流程如下：摄像头获取目标电铲图像信息，经过卡尔曼滤波去除噪声后，利用HSV颜色转换算法提取目标电铲图像特征，得到最接近真实值的图像数据。目标识别流程如图7所示。

图7 目标识别流程Fig.7 Target recognition flow

3.2 目标追踪

以目前露天矿山中使用的WK-55 电铲为例，此电铲高度近22m，相当于7层楼房的高度，电缆卷放车高度近5 m，二者车距限制为20 m。由于电缆卷放车和电铲高度差很大，摄像头需要以一定角度仰视电铲，因此本文提出了基于仰视拍摄的偏移量和车距估计方法。

3.2.1 偏移量估计

2.量化评价方式的确定。量化评审的关键是要针对不同项目，采用不同的评价方式，增强评审的客观性和准确性。在依据层次分析模型设计的评价指标中，有些指标主观性强，分辨率较低，不易量化，属于定性指标，如职业道德、理论功底、实践创新能力、岗位责任、业绩贡献等指标，运用模糊数学原理进行模糊评价，进行等级量化赋分，实现二次量化。有些指标规定的比较清晰具体，标准明确，客观性与可比性强，属于定量指标，如学历、资历、计算机应用能力、外语水平、荣誉称号与技术称号、年度考核、送审论文审核答辩、发表论文专著、获奖成果与重大项目等，直接定量计分。

摄像头拍摄的目标电铲水平视角如图8所示。

图8 目标电铲水平视角示意Fig.8 Horizontal view of target shovel

在图8中，O为摄像头镜头的中心点，实线OG为摄像头光轴，P1、P2分别为电铲车左右边缘上的一点，φ1为电铲车左边缘相对于摄像头光轴的偏移角，同理φ2为电铲车右边缘相对于摄像头光轴的偏移角，OC、OD为摄像头的水平视野角。g为像平面的中心点，p1、p2为对应的像平面上电铲车左右边缘上各一点，k、j为像平面水平方向端点。

文献[16]所述的几何推导法在X轴方向能推导出XP和xp的映射关系，但此法仅限于俯视拍摄路面，对于仰视拍摄目标物体映射情况没有相关推导。本文在文献[8]基础上，结合目标电铲实际，推导出在摄像头仰视情况下XP和xp的映射关系，进而推导出目标电铲偏移量算法。

目标电铲水平视角立体模型如图9所示。

图9 目标电铲水平视角立体模型Fig.9 Three dimensional model of horizontal view of target electric shovel

y轴垂直于地面方向，x轴平行于地面方向，h为摄像头距地面高度，L为电缆卷放车到目标电铲的水平距离，具体计算过程如下：

SGF=L[tan(γ-π/2)-tan(γ-π/2-α)]

(1)

(2)

(3)

在ΔUFM和ΔUGJ中，由相似可得：

(4)

(5)

可得：

(6)

(7)

当检测到目标电铲像平面点坐标p1=(xp1，yp1)，p2=(xp2，yp2)，可得中心点坐标p=(xp，yp)。

(8)

因此目标电铲偏移量为：

(9)

式中，摄像头的水平视角为2β，垂直视角为2α，俯仰角为γ。L为电缆卷放车与目标电铲车的实际水平距离，W为像平面宽度，φ为摄像头镜头与目标电铲车水平夹角。像平面点坐标p1=(xp1，yp1)，p2=(xp2，yp2)，对应的目标电铲坐标为P1=(XP1，YP1)，P2=(XP2，YP2)。

3.2.2 实际距离估计

摄像头拍摄的目标电铲垂直视角如图10所示，y轴代表垂直于地面方向，O为摄像头镜头的中心点，实线OG为摄像头光轴，P3为电铲车垂直方向上端点，OA、OB为摄像头垂直视野角，g为像平面的中心点，p3为对应的像平面上电铲车垂直方向上端点，a、b为像平面垂直方向端点，h为摄像头距地面高度，γ为摄像头的俯仰角，L为电缆卷放车到目标电铲的水平距离。

通过摄像头拍摄的目标电铲的垂直视角，经过FPGA处理得到各点的坐标信息，通过DSP的外部存储器接口获取处理好的图像数据，得到电缆卷放车距目标电铲的实际工作距离，具体计算过程：

图10 目标电铲垂直视角示意Fig.10 Vertical view of target shovel

(10)

(11)

式中，h为摄像头距地面高度；H电铲为电铲的高度；γ为摄像头的俯仰角；H为摄像头相平面高度；像平面点坐标p3=(xp3，yp3)；对应目标电铲坐标为P3=(XP3，YP3)；摄像头的垂直视角为2α。

3.2.3 目标追踪流程

首先，OV5640摄像头采集目标电铲图像信息，FPGA识别目标电铲；然后，DSP通过外部接口获取FPGA处理好的图像数据，利用目标电铲偏移量及距离算法，得到目标电铲相对于电缆卷放车的偏移量及车距信息；最后，根据得到的实际距离以及偏移量，预判电缆卷放车下一步的行驶状态，并将控制信号经过MAX485通信发送给PLC，控制电机的驱动器，实现电机正转或反转、调速或者停止等操作，从而实现电缆卷放车跟随目标电铲同步行进。智能追踪流程如图11所示。

4 系统平台验证

OV5640摄像头与水平地面成一定角度仰视目标电铲，FPGA电路结合片外存储器SDRAM，验证矿用电缆卷放车智能追踪系统识别目标电铲。DSP电路结合PLC控制电路，验证该系统能够追踪目标电铲。

图11 智能追踪流程Fig.11 Intelligent tracking process

OV5640初始化关键程序：

OV5640_Init()

{

Show_Str(30，210，230，16，"OV5640 正常"，16，0)；//自动对焦初始化

RGB565_Mode()；//RGB565 模式

Focus_Init()；

Light_Mode()；//自动模式

Color_Saturation(3)；//色彩饱和度调节

Focus_Constant()；//启动持续对焦程序

}

在追踪过程中，分别调节摄像头仰角为120°、135°，对电缆卷放车在匀速直行、转弯跟踪情况下进行多次测量实验，测试结果见表1。

表1 实验结果Tab.1 Results of tests

实验结果表明，当目标电铲匀速直行时，电缆卷放车与目标电铲车距基本稳定，在要求值20 m左右浮动，误差不超过2 m；当目标电铲以一定角度转弯时，电缆卷放车也能以相应的角度偏转，较好地追踪目标电铲，实现了预期的功能。

5 结论

为了实现电缆卷放车自动追踪目标电铲的功能，设计了一种专用于露天矿山的电缆卷放车智能追踪系统。充分利用FPGA的高处理速度、可靠性强特点，结合HSV颜色空间转换算法，实现对目标电铲的识别。并提出偏移量和车距估计方法，在DSP平台上计算目标电铲相对于电缆卷放车的偏移量及实际车距，实现对目标电铲的智能追踪。本设计不仅实现了电缆卷放车自动匹配目标电铲行进的功能，达到了预期的设计目标，而且有利于推动矿山机电设备的智能化发展。