基于OCR 技术的岸桥智能视觉识别系统设计

姜双庆

（上海振华重工（集团）股份有限公司，上海 200125）

0 引言

港口拥堵，集装箱无法及时转运导致积压严重，因此设计一套智能视觉识别系统十分必要。

STS AI-VRS（Artificial Intelligent Vision Recognition System for STS，岸桥智能视觉识别系统），采用目前最先进的OCR（Optical Character Recognition，光学字符识别）人工识别技术，能准确识别箱号、箱门朝向、危标有无、铅封有无、集装箱残损、集卡车号等信息，同时与TOS（Termial Opration System，码头管理系统）进行无缝结合，实现自动化、智能化作业，可有效降低人工查验操作的劳动强度，规避安全隐患，节省人工成本，助力港口行业转型升级。

1 岸桥智能视觉识别系统设计方案

1.1 系统硬件设计

岸桥智能视觉识别系统硬件部分包括高清摄像机、通信机箱、控制柜、中心服务器（一般用户提供）等，其中通信机箱由交换机、光纤模块、电源模块等集成，负责前端摄像机的供电和通信；控制柜内放置控制器、交换机、光纤模块和电源模块，摆放在电气房指定位置；中心服务器，安装在码头中控室内。硬件系统拓扑结构如图1 所示。

图1 硬件系统拓扑结构

系统选用12 个iDS-2DF84321XR-AFW 高清球机，每台摄像机都自带红外补光灯和雨刷，保证集装箱号字符区域达到系统要求的光照度。高清摄像机整体布局如图2 所示。

图2 高清摄像机整体布局

（1）1～3 号和4～6 号摄像机分别安装在陆侧和海侧下横梁，分别拍摄集装箱陆侧面和海侧面箱号。2 号、5 号摄像机安装在吊具中心点位置。

（2）7～9 号和10～12 号摄像机分别安装在左、右侧联系梁下边沿外侧，实现对集装箱前后两侧的图像采集功能。联系梁左、右两侧对称摄像机为一组，6 条作业车道分为3 组：7 号和10号为一组，8 号和11 号为一组，9 号和12 号为一组，每组摄像机负责两条作业车道的图像采集工作，用于拍摄集装箱前后箱门图像，为验残、铅封、箱门朝向识别提供完整图像数据。

1.2 系统软件设计

软件系统工作原理：系统与PLC 联动，精准触发高清摄像机抓拍集装箱和集卡车特定位置图像数据，并对数据分析处理自动识别集装箱号码、箱门朝向、集卡车号码以及作业状态等信息，将识别结果信息借助光纤通信方式，上传至服务器并通过新加入的图像数据样本进行训练学习来持续完善算法模型。同时上传识别结果到TOS 系统，完成作业确认等业务逻辑处理，最后通过配备的显示器可视化显示本次识别信息。

软件系统逻辑如图3 所示，软件系统主要由以下5 部分组成：

图3 软件系统逻辑结构

（1）IARS（Image Acquisition and Recording System，图像采集系统）。主要实现控制摄像机对集装箱箱体或集卡车特定位置的图像采集。

（2）CRS（Container Recognition System，集装箱识别系统）。主要实现集装箱特征检测与识别功能。识别算法采用最先进的深度学习算法，可持续不断地训练迭代并完善算法模型，是一种识别精度高的有监督深度特征的识别与分类系统。

（3）PMRS（PM Recognition System，集卡车识别系统）。主要实现集卡车车顶号码识别功能。基于端到端的深度学习方法，可快速定位车顶号码位置并准确识别车顶号码。

（4）RRIS（Recognition Result Interface System，识别结果接口系统）。主要实现对集装箱多个箱面识别结果进行高度复核校验，得到高识别率的识别结果，并与TOS 等外部系统接口对接并上传识别结果。

（5）OCRVS（OCR Visualization System，智能视觉识别可视化系统）。主要实现识别过程和识别结果、作业状态和设备的运行状态等信息数据可视化，供操作人员查看历史数据和故障记录。

2 岸桥智能视觉识别系统在码头的应用

2.1 集装箱箱号识别

图像采集系统根据PLC 信息中吊具模式的不同，分为3 个触发组，单20 尺触发组、单40 尺、45 尺触发组和双20 尺触发组，每个触发组拍摄集装箱海侧和陆侧两个箱面图像，对两个箱面识别结果进行高度复核校验得到高识别率的识别结果信息，有效规避集装箱单侧面箱号残损无法识别情况。

（1）单20 尺触发组使用2 号、5 号摄像机拍摄集装箱两侧箱面。

（2）单40 尺、45 尺触发组使用3 号、4 号摄像机拍摄集装箱两侧箱面。

（3）双20 尺触发组使用2 号、4 号摄像机拍摄前集装箱两侧箱面，使用3 号、5 号摄像机拍摄后集装箱两侧箱面。

2.2 箱门朝向识别

通过联系梁8 号、10 号摄像机拍摄的集装箱前后门图像，利用前后门特征点检测，进行智能识别，在两组图像中检测出箱门图像，同时结合摄像机安装位置判断出箱门朝向。

2.3 集装箱危标识别

利用拍摄的集装箱侧面图像和前后门图像，基于神经网络的图像识别技术，根据危标品特征信息，从箱面图片中定位得到危险品标识区域，检测出集装箱上是否存在危险品标识或危险性标记。

2.4 集装箱铅封识别

通过对联系梁摄像机拍摄的集装箱前后门图像进行智能识别，检测铅封区域，识别铅封有无。

2.5 集装箱残损识别

利用下横梁1～6 号摄像机对集装箱侧面箱体进行拍摄，每台摄像机拍摄4 m 的箱体范围的集装箱侧面图像，对于单20尺集装箱，系统每面采集2 张集装箱侧面图像，对于双20 尺、40尺、45 尺集装箱，系统采集6 张集装箱侧面图像，并对集装箱侧面图片拼接，得到集装箱侧面完整图像；利用联系梁摄像机拍摄的前后门图像和集装箱顶部图像，提供前、后、左、右、上5 个集装箱图像，为集装箱残损检测提供辅助图像凭证，供操作人员进行查看和判断，根据检验情况在屏幕的复选框上记录集装箱箱损信息，并将作业时间、箱号、箱损检验结果等信息存储到指定的服务器中。

2.6 集卡车车顶号码识别

利用联系梁摄像机对集卡车车顶号码进行拍摄，图像采集系统根据PLC 输出的集卡车车头位置信息或者车行进方向等信息，控制摄像机云台角度调整和触发图像采集，拍摄集卡车车顶号码图像，并将拍摄图像上传至集卡车识别系统。

以上6 个功能需要通过采集前、后、左、右、上5 个集装箱图像来实现，智能视觉识别可视化系统OCRVS 软件可以集合这5个面在同一个可视化的显示器界面内。把识别过程和识别结果、作业状态和设备的运行状态等信息数据可视化；同时提供灵活的历史数据查询，可按时间、设备号、箱号、集卡号、作业类型等多种方式查询图像、识别结果、异常事件、作业数量等历史数据；识别结果查验，操作人员可以使用可视化系统查验、修改错误识别信息。

3 结语

基于OCR 技术设计的智能视觉识别系统，能智能识别集装箱箱号、箱门朝向、集装箱危标、铅封检测、集装箱残损和集卡车车顶号码。配备的高清摄像机可以在全天候条件下工作，适用于码头上各类高温、潮湿、大风、腐蚀等恶劣环境。