基于人工智能的公路智能养护巡查系统研究

陈 瑜 薛红军 ＊ 谢 斌 党 倩

（1.南通市公路事业发展中心，江苏南通 226000；2.华设设计集团股份有限公司，江苏南京 210000）

交通强国建设要求大力推进新一代信息技术与交通运输的深度融合。公路养护是保通畅、保民生、保发展的关键举措之一，积极引入人工智能等新型感知技术和手段，逐步实现事件信息从人工监控到自动识别的转变，已成为未来发展趋势及行业需求热点。

目前公路养护仍主要依靠人工步查和车查以及视频人工轮询方式，难以适应大范围路网养护管理。为了提高公路养护效率，国内开展了公路养护信息采集与分析技术研究。

石会龙等[1]开发了内蒙古地区的桥梁养护信息化管理系统，通过手机巡查App将巡查信息上传信息系统，提供桥梁健康状态预警及技术状况评定。

齐红元[2]研究道路巡查养管系统开发应用，采用PDA智能采集终端上报养护事件，包括事件现场图片以及详细的相关信息。

章先阵等[3]研究基于机器视觉的公路交通设施信息采集系统，通过在巡查车上搭载图像、地理信息采集装备，识别并采集交通设施以及经纬度信息。

由此可见，当前国内公路养护巡查配备使用手机巡查App实现数字化、标准化信息采集成为应用热点[4]，但该种方法仍然依靠人工步查和车查方式，无法有效降低一线养护人员劳动强度。在此背景下，国内已出现利用机器视觉技术实现交通设施信息采集系统，但主要依靠车载移动视频，易受到车载视频观测视角的制约，难以适应随机性强、发生频率高的路面抛洒物、路侧堆积物事件检测。

1 需求分析

南通市自“十三五”期间开展公路网监测体系建设，主要国省干线视频监控点位密度较高、建设应用条件相对完善，但公路养护巡查主要依靠人工，视频应用多停留在视频图像获取、调看等基本功能，仍主要采用“盯屏幕”、人工轮询方式辅助监测。

随着南通市国省干线规模的日益增长以及县道、农村公路养护管理要求的日益提高，对公路交通行业管理部门养护巡查提出了更高要求。

公路日常巡查内容繁多，主要包括路基路面状态（路面抛洒、病害）、沿线设施状态、绿化修剪、桥梁健康状态等内容。路面抛洒物、路侧堆积物等随机性强、影响公路交通运行安全的养护事件，成为导致交通事故的重要隐患，是公路交通养护巡查的重点。

（1）路面抛洒物事件。

事件描述：路面抛洒物事件指物体从行驶车辆上遗落，影响车道正常通行，且状态持续时间不小于某一阈值的交通事件。

功能边界：由于固定视频存在分辨率、有效检测范围等因素的制约，仅可实现大型抛洒物事件检测；抛洒物类型较多，仅对较为典型的砂石、纸箱、杂草等类型进行识别。

（2）路侧堆积物事件。

事件描述：路侧堆积物事件多发于道路施工现场、居民生活区、农田附近道路，多为施工材料、生活垃圾、晾晒谷物，侵占公路、公路用地。

功能界面：主要检测施工材料、生活垃圾、晾晒谷物类型等。

2 总体设计

基于人工智能的公路智能养护巡查系统主要包括应用平台端和视频分析端，应用平台端包括实时检测报警、报警信息确认、事件统计分析及事件处置协同功能，视频分析端包括公路监控视频接入模块、视频预处理模块、路面抛洒物事件检测模块、路侧堆积物事件检测模块组成。应用平台端通过标准数据接口，与南通公路协同巡查系统、南通公路辅助决策支持系统等已有的业务系统实时共享事件检测结果并告警，推送至移动巡查App，便于采用最优化的养护人员调度方案。视频分析端通过标准接口对接公路监控视频地址列表、视频流数据，便于自定义检测的路段及范围。

系统总体架构如图1所示。

图1 系统总体架构

本系统设计采用业务应用与算法模型解耦的、可拓展的、分布式处理框架。应用平台面向行业应用，与视频分析平台通过以太网、公路行业内网进行通信，两者可采用分布式部署。

视频分析平台可部署于区县公路管理站，通过数据接口接受应用平台的调用指令，对接入的公路监控视频经过路面抛洒物事件、路侧堆积物事件检测模型分析，自动检测相应事件并通过数据接口推送至应用平台。

应用平台可部署于市级公路行业管理部门，为行业管理者提供算法模型配置、调用，并可自定义选取重点路段的视频，设置重点检测区域；接收视频分析平台的检测结果及报警信息，辅助人工确认、纠错；接收的检测结果同步推送到南通公路协同巡查系统以及移动巡查App，及时进行协同处置；对上报的检测结果进行统计，反映路面抛洒、路侧堆积物事件发生的时空规律，为行业管理提供决策支撑。

视频分析平台物理架构如图2所示。

图2 视频分析平台物理架构

本项目采用算法模型接口标准化和系统功能模块化，采用视频巡查业务应用与事件检测算法模型解耦分离，实现算法模型的“插件式”更新与扩展，可满足多样化公路事件自动检测与未来扩展的需求。提出分布式系统架构，将市级路网中心视频巡查任务拆分前推至各区（县）处理节点，显著减少对网络传输带宽的要求，提高事件检测响应速度，可满足省、市、区（县）公路行业不同层次的多级应用需要。

3 开发与应用实例

本项目使用前后端分离的方式，视频分析平台主要使用SpringCloud+MyBatis进行分布式开发，形式采用MVC（数据模型、业务控制器、接口封装）三层分离开发。应用平台基于VUE的服务端渲染框架NUXT对项目进行开发，以保证最大的浏览器兼容。

（1）视频分析平台。

视频分析平台是公路智能养护巡查系统的基础，承担了视频接入、预处理以及事件检测的任务。

①公路监控视频接入模块。

制定统一的路侧固定视频接入技术规范，实现外场固定监控视频流标准化接入，基于rtsp协议将视频流传输至视频处理服务器并解码，支撑多路视频自动轮询。

②视频预处理模块。

重点解决接入视频因路侧固定视频拍摄角度不一致、复杂环境干扰以及样本集不足等问题，提升视频采集质量。

③路面抛洒物事件检测模块。

首选基于日常养护巡查记录，分析路面抛洒物事件类型及特点。分割路面并建立路面区域的背景模型，根据路面抛洒物事件特点，提取路面抛洒视频图像特征，实现路面抛洒物事件检测及定位。

④路侧堆积物事件检测模块。

基于已有数据分析路侧堆积物事件类型及特征，对视频图像进行归一化处理，自动检测堆积物区域并提取相应特征。利用深度学习yolov4方法，实现路侧堆积物类型及位置的实时检测。

（2）应用平台。

面向公路行业管理部门，提供路面抛洒、路侧堆积物事件的实时检测报警、报警信息确认、事件统计分析以及处置协同的可视化应用，适应大范围路网养护巡查、养护事件信息共享交换、辅助养护决策及协同处置需求。

①实时检测报警。

根据公路行业管理部门设置的监测区域，运行智能检测算法，对路面抛洒、路侧堆积物事件实时检测并报警，提供抛洒事件取证图像及时间、桩号信息。

路面抛洒物事件实时检测报警如图3所示。

图3 路面抛洒物事件实时检测报警

②报警信息确认，

路面抛洒及路侧堆积物检测结果，以可视化的方式提供给行业管理人员，接收人工审核结果，完成事件检测信息的存储及向已有业务系统的共享推送。

报警信息确认如图4所示。

图4 报警信息确认

③事件统计分析。

根据需求对路面抛洒、路侧堆积物事件信息进行统计分析，挖掘事件发生的时空规律，为公路行业管理提供精细化决策支持。

④事件处置协同。

应用平台通过标准数据接口与南通公路协同巡查系统移动端与PC端共享路面事件检测结果，及时向事件所在辖区养护工作人员推送告警信息，提升事件协同处置效率，并对处置的及时性及效果进行监督。

（3）示范应用。

系统示范应用场景如图5所示。

图5 系统示范应用场景

协同巡查系统即手机短信告警如图6所示。

图6 协同巡查系统及手机短信告警

智能养护巡查系统在G328国道启东段试点应用，经过不断优化，抛洒物检测准确率达85.47%，晾晒渔网、建筑垃圾等路侧堆积物事件检测准确率达到84.23%。

从养护巡查成本方面进行分析，按照200 km100路视频计算，相较于车查+视频人工轮巡模式，每年的成本约为8～2 000 000元；采用自动轮巡+智能检测模式，成本包括设备采购运维费用约220 000～300 000元左右，相比之下节约经济成本70%以上。

从时间成本方面分析，四路并发情况下轮巡100路视频，自动轮巡时间1 min/路，共花费25 min；人工视频轮巡100路视频，轮巡事件0.5 min/路，共花费50 min，节约时间50%以上。

智能养护巡查系统提供路面抛洒物、路侧堆积物事件的智能检测与主动声光报警，有效降低了视频人工轮询的劳动强度。系统与南通市公路协同巡查系统实现事件信息共享，及时推送路面抛洒物、路侧堆积物事件告警，包括事件类型、桩号及现场图片。系统支持将事件检测信息以短信的形式，第一时间推送到相应巡查人员手机，有效提升巡查人员处置效率。

4 结语

（1）基于人工智能与公路交通深度融合，改变传统养护巡查方式，提供路面抛洒物、路侧堆积物事件自动检测，并通过向已有业务系统实时推送事件告警信息，构建实时性强、漏检率低的协同处置模式。

（2）基于算法模型与业务应用解耦分离、“插件式”框架，提供分布式系统结构，将视频分析处理的任务拆解到各区（县）处理节点，降低视频传输压力，满足省、市、区（县）各级业务部门应用需要，易于复制推广应用。

（3）根据公路管理业务的需求，进一步挖掘公路业务与人工智能结合的方式，提高人工智能技术在公路管理业务应用中的稳定性与成熟度。