基于智能机器视觉的东海大桥集卡动态研究

摘要：随着上海国际航运中心集装箱业务的快速发展，东海大桥作为进出洋山港集装箱集疏运的唯一陆路通道，通行压力已经制约了洋山港业务发展，本文讨论了利用人工智能机器视觉技术研发集卡动态系统，推动洋山港业务流程再造、优化大桥集疏运，缩减大桥通行和滞港时间，提升洋山港统筹运营和综合服务能力，推进洋山港“智慧港口”的建设，保障洋山航运区物流链、供应链的畅通，从而带来丰富的经济价值和社会价值，主要内容：利用机器视觉的深度算法技术，进行车号、箱号、空挂、车速等的识别;融合洋山港码头营运操作系统（TOS）、集卡预约平台（EIR）、车队管理系统（TMS）等业务系统，形成数据交互和流程再造;利用无人机智能巡航，增强预警管理和应急处理能力，降低风险损失。

关键词： 机器视觉;卷积神经网络;深度学习;车号识别;箱号识别

一、引言

随着中国内外贸易的繁荣发展，上海的集装箱业务也得到了蓬勃发展，2021年，上海港集装箱吞吐量再创新高，突破4700万TEU，已经连续12年高居居全球第一，尤其是洋山深水港区作为上海国际航运中心和自由贸易区建设的重要载体，同年集装箱量吞吐量超过2000万TEU，东海大桥是洋山港的重要配套工程，也是进出洋山港集装箱集疏运的唯一陆路通道，由于集装箱集疏运的潮汐现象，通行峰值期间对洋山港的作业压力影响非常大，同时，东海大桥社会车辆和集卡混行，没有系统支撑，很难做到针对集装箱运输提供专业分析和宏观决策和应急预案等，因此，建立一套东海大桥集卡动态管理，和集装箱物流链上下游系统进行互连，拓展集装箱物流链系统的覆盖范围、推动“绿色高效、智能科技”洋山港建设有着重要的意义，该系统主要包括识别技术、业务设计、预警管理等内容，主要功能在于在车里高速运行状态中甄选出集卡车量，并且识别出集卡车号、箱号、空挂等信息，结合时间节点、空间位置、运输路径、流量信息、流向信息进行动态采集和统计，并且把集卡运输动态数据推送到洋山港营运操作系统和集卡预约、车队管理等相关系统平台中，对提高码头作业效率，减少集卡等待时间、缓解大桥通行压力、降低物流链运输成本等都有重大的社会价值和经济价值。该系统的主要难点在于夜间或者海边恶劣天气下集卡运输动态信息的识别率和准确率问题，随着信息化和自动化技术的发展，通过部署在收费站道口、匝道、飞行无人机、码头高楼的高清摄像机采集到视频图像，然后利于機器视觉技术，OCR文字识别，神经网络深度算法进行各种信息数据的处理和收集，为各项功能实现提供数据支撑。

二、总体方案设计

东海大桥集装箱运输动态系统包括图像识别系统（车型识别、车号识别、空挂识别、箱号识别）、集卡动态管理系统、应急预警系统等。识别系统由三部分组成：

1.在东海大桥收费站进出道口搭建智能采集识别系统，视频图像录制、图像收集和算法识别模型及训练、信息数据存储传输于业务系统对接，通过在大桥收费道闸、匝道、码头高楼顶部等位置架设高清摄像机采集实时视频图像，辅助无人机采集应急时段视频，经过图片采集、卷积神经网络提取特征、循环神经网络图像识别，结合OCR、AIDS、降噪、去雨、变形矫正等算法，识别车型、车号、箱号、空挂、车速等，利用AI深度学习CNN训练，大幅提高识别的准确率，保障数据高度可用。

2.在大桥洋山岛侧上下匝道位置部署高清识别设备，对通行集卡的运输路径、进提箱信息，大桥通行时长、岛上滞留时长等进行动态记录;在大桥两侧建设无人机站，设置日常飞行巡检路径定时作业，也实现突发拥堵状态下视频点播回传或者指定车辆跟踪监测等。融合洋山港码头营运操作系统（TOS）、集卡预约平台（EIR）、车队管理系统（TMS）等业务系统，从时间和空间维度记录集卡集卡车号、箱号、空挂、运输路径、流量、流向等动态信息，通过系统交互接口获取对应地提供流量分析、异常交通告警等的决策过程模型，采集涵盖集装箱集卡车号、箱号、空挂、进提箱货物、运抵、堆场、岸桥、道口、查验、预约等信息。

3.利用无人机智能巡航，增强预警管理和应急处理能力，降低风险损失。集卡动态管理系统部署采用分布式计算，构建GPU服务器集群进行模型训练，利用kubernetes搭建微服务架构，启动DOKER容器技术把系统部署到私有云上，通过专网和码头营运操作系统TOS和EIR和车队管理TMS等平台进行对接交互，根据识别到的车号抽取入港进提箱和运抵等信息，验证后建立大桥集装箱运输动态数据库，把相应数据推送到TOS等系统中，码头做相应的智能道口、查验区、机械调度、堆场等作业调整，提高码头作业效率，缩减集卡等待时间等，和互拖平台做对接，为空挂集卡提供码头间互拖业务，集卡预约和车队管理动态延伸和应急展示等，同时为上海港宏观决策和集疏运优化方案提供了有效的量化依据。应急预警管理系统通过专网和WEB访问，对大桥集卡运输动态异常情况进行预警，可以通过视频点播对现场动态进行远程展示或者回溯，为启动应急预案提供依据等。

三、识别系统设计

识别系统主要是基于人工智能的机器视觉技术，机器视觉综合了图像处理、视频处理、工程技术、光学成像、智能传感等技术，比较适合东海大桥的环境和基础设施建设，识别系统硬件设备部署在三个区域，东海大桥芦潮港侧进出收费站区域、洋山港侧上下匝道区域、大桥两侧无人机站区域，硬件设备主要由高清摄像机、红外车辆感应器、可编程逻辑控制器PLC（GPU芯片）、网络交换机等设备组成，识别技术主要利用前沿的机器识别技术，通过目标监测、OCR文字识别、三维检测算法，立式差图算法、降噪算法、等进行识别文字和状态，然后通过AI深度学习CNN模型训练提高识别率，保证识别的可靠性。

识别技术主要通过以下几个过程：高清视频录制、图片采集、图片预处理、区域定位、特征识别、识别结果、识别率提升等，视频图像录制采用 CCD（Charged-Coupled Devices）工业级摄像机，需要满足白天和黑夜不同光线条件下的正常工作，减少雨、雪、雾等恶劣天气的影响，通过红外设备触发开始拍摄视频，视频流中截取亮度和对比度好的图片信息，

图像质量直接影响识别算法的设计与效果精度，所以需要对图片进行预处理提升图片质量，预处理首先要用Resolution enhancer 图像画质增强技术调整图片亮度和对比度，其次对变形图片平移、转置、镜像、旋转、缩放等几何变换校正到水平直线方式，图片校正后有利于后期的图像分割，最后就行对图片进行降噪处理，可以用PRIDNet深度学习框架进行图片降噪，用RainMix图像增广去雨算法去除雨天干扰等;预处理后的图片通过卷积神经网络进行车号、箱号区域定位，定位过程如图1所示：特征提取和特征融合，特征提取是通过卷积核（滤波器，convolution kernel）提取特征值，将采集到的图片划成8*8像素的Cells，通过卷积核的卷积点乘运算获取特征值 destination value，输出特征图（feature map），然后通过双线性差值对图像矩阵两个边进行一次线性差值实现特征图高和宽度放大1倍的效果，此时的特征图是二维，不能用于检索，把两个特征维度附加相应的权重，需要把特征编码转换为一维的描述算子，通过相似度计算进行特征区分，对车号和箱号的区域进行定位预测，对车号和箱号的坐标位置进行定位。

通过定位坐标，继续特征提取和序列化，通过LSTM模型的循环神经网络（RNN）计算字符概率并预测，经过生成器和鉴别器的对抗训练识别出车号和箱号数据，把识别到的数据打上特有标签，输出初步的识别结果，此时的识别率相对偏低（80%左右），为了提高识别率，还需要经过一个月作业的CNN模型训练，可以把识别率提升到98%以上。识别率提高的关键技术是CNN（卷积神经网络）模型训练，过程包含：整理训练数据、卷积神经网络带入训练、训练模型保存、代入模型、特征向量SVM训练、SVM结果预测。CNN训练通过CNN是深度学习（deep learning）的一种常用的算法，具有较强的表征算法能力，CNN需要依赖大规模标签数据作为训练模型，通过卷积和（特征过滤器）提取图片水平和垂直特征（RGB值），通过特征提取计算后转换特征图，最大池化（max pooling）压缩和提取特征图提取最突出的特点，进行扁平化处理后转化为一维的数据条，录入到“全连接隐藏层”，神经元的全连接，产生输出结果，利用激活函数形成完整的CNN数据流，保证了输出值和图片整体信息的匹配度，随着训练量的积累，图像的识别率也会大幅增加，保证车号识别和箱号识别的数据精确。识别系统还运用一些别的技术，比如光流+CNN的序列图像分析和运动参量求值车速识别，基线几何立体视觉地从二维图像提取三维信息空挂识别，OpenCV的车道识别等，以上技术的应用，提供了东海大桥集卡立体动态识别系统，为整个业务提供良好的识别数据支撑。机器视觉识别系统的部署使用分布式计算的模式，现场节点安装小型GPU工控机，linux+python+Bazel的开发、应用环境，TensorFlow_Serving部署软件进行识别和模型热更新和自动模型版本管理，后端采用高性能GPU服務器集群完成CNN模型训练和识别，通过TCP协议是写识别计算结果的传输，识别的效率取决于GPU云化计算能力，使用CAAS架构提高GPU资源的利用率。

数字化无人机技术的引入，实现了定时规划路径巡检和动态视频跟踪等工作，其中巡航平台模块包括无人机控制、视频接入和识别、应急预警等模块。无人机站负责无人机的充电、维护、信息处理和传输等。无人机根据设计的巡航线路进行日常巡检或者应急处理等，飞行过程中机载高清摄像头开始实时视频录制，通过5G网络利用RTMP和RTSP协议把视频推送到接入解析服务器，解析服务器根据预设的AI算法进行集卡动态、紧急事件区域等进行识别，根据识别结果判断风险等级，启动业务告警、应急预案、多方联动等，并且具备视频点播、回溯、3D展示等功能，无人机需要配备六向双目识别、红外感知、避障雷达等模块，具备动态智能跟踪、三维坐标定位、共享位置、激光测距等功能，配备备用电池保障续航和安全，巡航服务和视频服务应用可以用spring cloud微服务开发和部署到私有云端。

四、集卡动态管理系统设计

集卡动态管理系统主要把识别到的数据和码头营运操作系统和各平台系统进行交互，形成以时间、空间属性的集卡动态信息，嵌入到TOS、EIR、TMS系统中，促进码头、车队作业流程再造，提高作业效率、优化集疏运方案和缓解大桥通行能力，并且为决策层提供数据支撑。TOS系统可以根据该系统预测值得到集卡车号和箱号信息，预测集卡到岗时间，道口作业区可以调整道口的开放数，对在停车场和查验区进行引流，为入港集卡快速进港创造条件，智能堆场可以通过算法进行者翻箱等操作，机械调度可以及时安排内集卡和轨道吊等的运行路径等，能有效提高作业效率，降低能耗。EIR可以通过该系统对集卡进港时间预判和调整，TMS可以通过该系统了解到集卡的位置定位和状态等信息，针对东海大桥上的集卡动态进行全时段的记录和统计，储存了大桥集卡的动态全局数据，可以针对时间段、集卡流量、流向车速等数据进行建模计算，从宏观政策层面进行决策和分析。

集卡动态管理系统用容器化开发设计，Linux+Python+Doker，kubernetes进项容器管理，实现轻量化部署和敏捷性开发，同时和其他系统对接开发相应的API接口，提升系统的延展性，搭建大桥集卡动态信息数据库，实时记录大桥上集卡车号、箱号、挂箱、目标港、进提箱、预计抵港时间，预约、堆场位置、大桥路况等信息，根据各方需求开发服务模块，并且进行统计分析，为决策和优化提供依据。

五、应急预警系统设计

应急预警系统功能模块是预警识别、告警发送、异常情况跟踪、启动应急预案（自动或者人工）、实时录像、点播回溯等，无人机可以选用大疆的Matrice 300 RTK商用机型，使用DJTM飞控系统，配备了六向双目视觉和FPV 摄像头，在避障、定位、位置共享方面表现突出，搭载H20T变焦广角高清相机，更加有利于快速搜索和全方位观察等，飞行辅助界面等先进功能大桥两侧通过无人机巡航进行实时视频录制，为码头、车队、救援等多方提供信息保障，提高异常情况处理效率，缓解大桥拥堵等。

六、结束语

随着自动化AI技术的发展，机器视觉技术越来越广泛应用到港口航运业务中，利用机器视觉技术，结合神经网络和深度学习算法，建设东海大桥集装箱实时动态管理系统弥补了洋山港全方位集装箱物流链中关键环节的系统缺失，进一步推进了洋山港智慧港口、绿色港口的信息化建设，有效降低集卡的运营成本、相应缩减滞港时间和大桥通行时间，缓解了大桥通行压力，实现经济效益和社会效益双丰收。

参  考  文  献

[1]张羽达. 基于机器视觉的集装箱锁孔识别与定位技术研究[D].江苏大学，2019.

[2]刘燕欣，张志良，唐波，等.面向集装箱港口的机器视觉智能感知系统[J].军民两用技术与产品，2020（01）：24-28.

[3]徐尉豪.基于机器视觉的动态环境运动目标智能识别研究[J].激光杂志，2022，43（01）：29-32.

[4]薛梦霞，刘士荣，王坚.基于机器视觉的动态多目标识别[J].上海交通大学学报，2017，51（06）：727-733.

作者单位：李东    上海海勃物流软件有限公司

李东（1971.04-），男，汉族，上海，研究生，工程师，专业研究方向：信息技术。