基于多目视觉的农村公路视频巡查技术研究

文/王刚、于丽丽

1 前言

随着农村公路里程的增长，人们对公路养护管理的需求也越来越高，由此存在“养护难度大，养护资金不足，技术力量薄弱”等问题，需引入新技术、新方法，充分且合理地结合现有方法形成自动化、智能化、便捷化、高效化的先进手段[1]。但目前农村公路道路巡查方式大多还处于人工巡查阶段，其自动化、信息化、智能化水平较低。另外，现有的道路检测设备以道路检测车为主，存在需要人员跟踪检测、检测成本高、检测范围小、检测效率受交通状况制约等缺陷。而随着多目视觉技术的发展，其应用领域越来越多，将多目视觉用于道路检测已成为道路检测的新的发展方向[2]。

2 架构设计

基于多目视觉的农村公路视频巡查采用卷积神经网络技术结合高性能的显卡技术、分布式架构和大数据等信息化手段，其方案的落地实施可以解决目前区域面积大、道路里程长和管养经费较低的农村公路的道路监测、管样难等问题。总体来看，本方案的道路巡检采用便携式的多目摄像头，应用高性能GPU服务器进行数据视频分析，并结合分布式架构搭建基于多目视觉的农村公路视频巡查系统，将巡查分析结果通过多种形式直观的展现在用户面前，形成方便的巡检、智能的分析、直观的展示等农村公路道路巡检服务[3]。系统总体规划如图1 所示。

图1 多目视觉的农村公路视频巡查系统规划图

多目摄像头的视频通过4G、5G 传输技术将视频回传到视频分析平台进行巡检视频分析，然后通过文件服务器和Web 服务器将分析结果展示到用户界面上。另外，目前分布式服务和分布存储技术的发展也为系统的搭建部署提供了技术支撑，缩短了系统开发时间，保障了系统研发质量[4]。

3 硬件设计

3.1 硬件系统组成

该多目视觉系统硬件系统主要由中央控制系统和其附属系统组成，其组成架构关系如下图所示：

图2 目视觉系统组成架构图

3.1.1 存储系统：支持双SD 卡槽，单卡最大支持256GB，对没有5G/4G 信号的偏远地区进行巡检视频实地存储，巡检完毕后将存储视频上传到视频分析平台进行病害和轨迹等信息的分析。

3.1.2 电源系统：支持供电时长为24h 正常工作的电池、车载点烟器供电线和12V 输入的座充设备等。

3.1.3 WIFI 模 块：采 用802.11a/b/g/n 标 准，支持WIFI 热点，设备连接就近WIFI 后可通过电脑和移动设备对设备进行控制。

3.1.4 5G/4G 模块：安装SIM 卡槽，支持中国电信、中国移动、中国联通三家运营商的六种移动通信制式。

3.1.5 中央控制系统：中央系统采用实时操作系统，完成所有的控制功能。控制系统负责和各个外设模块，如WIFI 模块、定位模块、存储模块等的通信交互和控制，同时支持用户的软件接口，设备也支持GPS 和北斗的双模定位模块等[5]。

3.2 深度摄像头

农村公路视频巡检系统需要对农村公路的病害信息、地理位置信息进行分析采集。在分析农村公路的病害信息和附属设施时，相关工作人员需要对病害（坑槽、横缝、纵缝等）的面积、长度和深度等情况进行分析，以便获得道路病害的确切分析数据。

基于以上需求，巡检设备摄像头采用深度摄像头。深度摄像头除了能够获取平面图像以外，还可以获得拍摄对象的深度信息（三维位置和尺寸信息）。目前，深度摄像头主要分为TOF、结构光和多目视觉技术。其中，TOF 技术其传感器芯片成本高，结构光技术通过分析结构光投射器投射的光点、光条信息构建物体的深度信息，容易受户外的光照影响。经过成本分析和户外巡检等需求分析，设备的深度摄像头采用多目视觉技术。利用双目立体视觉成像原理，在巡检设备上安装多个摄像头，获取同一时钟下的多个画面，使用多目视觉的成像原理对多个画面进行深度分析。多目视觉的方案不容易受到环境光线的干扰，适合室外环境，且成本较低，适合农村公路巡检需求[6]。

4 平台设计

4.1 视频分析平台

视频分析平台首先将巡检视频逐帧分割为图片，然后对每帧图片使用目标检测算法找到存在的横向裂缝、纵向裂缝、网状裂缝和坑槽等公路病害，结合GPS 定位系统的经纬度信息和公路里程桩号对病害位置进行定位，最后将检测出的包含病害的图片和经纬度信息等上传服务器，实现对农村公路路况巡检视频的自动化分析。本方案的路况检测分为两个关键的子任务：

4.1.1 目标的识别和分类。目标的识别和分类基于深度学习模型，采用mmdetection 框架的Faster R-CNN 网络的目标检测算法来实现。目标检测算法分别两个阶段：第一个阶段首先对目标进行识别和定位，即识别出目标和目标大概位置信息；第二个阶段识别出目标的类别和精准位置信息。能识别的常见路面病害一般为路面坑槽、网状裂缝、纵向裂缝和横向裂缝等[7]。

4.1.2 目标的三维尺寸计算。通过对多目摄像头同一时钟下采集的多幅视频图片进行深度分析，获取目标的面积、长度和深度信息。

4.2 Web 应用服务平台

Web 应用服务平台面向用户，其包含的主要功能如下：

4.2.1 病害管理模块

实现病害上报和病害的处置，待养护完成后由养护人员将养护结果包括其养护图片信息进行反馈，查看病害的养护情况闭合度。

4.2.2 巡检管理模块

通过DFS(分布式文件系统）实现对巡检视频上传和存储，并通过web 接口实现与视频分析平台的交互。视频分析平台采用深度学习和多目视觉技术对巡检视频进行分析，识别农村公路里程、空间地理信息和病害信息等（包括病害的类别、位置信息尺寸信息）。模块通过和视频分析平台的业务交互获取农村公路巡检分析结果，通过地图信息等对农村公路的空间位置信息、视频信息、里程信息和病害信息等进行多维度展示[8]。

4.2.3 统计模块管理

在统计模块中实现对农村公路里程信息、病害信息和养护信息的多维度统计，方便农村公路养护和监管人员从宏观上完成农村公路路资路产盘点和病害养护情况监管[9]。

4.2.3.1 道路信息的规划数据和巡查数据的对比统计，实现对农村公路规划数据和巡查数据里程偏差统计。

4.2.3.2 从时间维度上对农村道路病害上报信息进行统计，以便相关人员查看农村公路病害信息。

4.2.3.3 从时间维度上对农村养护信息进行统计，以便相关人员查看农村公路的养护维护情况。

5 结语

通过应用本研究成果可较大程度地提高农村公路养护巡检工作效率，节约成本。其与传统人工检测相比较，效率提高3 倍以上；与专业检测车比较，节约成本超过50%，无论是工作效率、工作质量、工作成本都有了大幅度的提高[10]。另外，由于研究采用人工智能技术，随着巡检视频采样本的增多，其病害识别准确率也会大幅度提高。