关于计算机视觉技术在电厂盘煤系统中的应用研究

刘忻

基于某发电公司已经建立的全新封闭煤场，尝试将过去复杂繁琐的盘煤工作以信息化、数字化、自动化的方式解决，降低生产管理成本，增加效益。实现了盘煤实时化、精准化，实时掌握不同煤质的燃煤进货情况、消耗量和库存位置，为燃煤科学掺配提供数据基础，以最少的投入获得更多的回报，竭力成为环保生产，高效生产的智慧煤场典范。

通过利用应用高速机器视觉传输网络理论与技术、计算机图形图像理论与技术等领域的最新研究成果，通过在煤场安装多个高感光球型摄像机，实现对于室内（封闭）煤场可见光图像的无死角图像采集，研究基于视觉的多目机器视觉全区域覆盖技术，通过对于实时采集的二维图像的特征点进行匹配，结合既有煤场标点信息，对室内煤场表面结构的物理坐标进行计算，融合煤棚空间结构信息的快速实景三维重构技术最终实现三维重构，设计煤场点云信息的积算算法，根据重建后的三维模型的坐标数据，计算出煤堆体积，并通过优化算法时间，令时间复杂度达到预期以满足实时性要求。

通过系统设计和建设投运，实现了该发电公司二、三期封闭煤场盘煤无人化、定期、随机任意时间盘煤，根据工作需要灵活选择盘煤时间，提高盘煤准确率，能够随时掌控煤场内的储煤量及分煤种的三维图像显示。为燃料运行人员对优选掺配煤周计划提供可靠参考。

本项目主要技术包含以下四个部分：

1系统体系架构设计2图像采集单元及传输系统设计3视频总线单元和视觉服务单元设计4系统性能指标设计。

下面分别详细阐述：

一、系统体系架构设计

多目盘煤系统的系统架构图，其中云台一体机构成二维可见光图像采集单元，采集的图像经解码器进入视频总线，视频总线是视频管理和维护的抽象层，其采用标准接口，它为盘煤系统及以后的各类监控系统提供标准化视频接口，三维重建的一系列算法集成到計算机视觉服务器，作为视频总线的一个具体应用提供服务，所需的渲染、浏览、查询、控制等人机交换操作则集成到计算机视觉监控器，提供人机交互接口供工作人员使用。

二、图像采集单元的分布设计及传输系统设计

本方案选择云台一体摄像机阵列用于二维可见光图像的全方位采集。系统选用400万以上像素高清相机，提供23倍光学变焦能力，实现4.8-110mm大范围焦距变焦，图像采集单元的分布设计示意图如图2和图3所示。此外，摄像头具有断网续传、数字降噪、曝光补偿、SMART265编码、多样性存储等多种特性。

煤场内所有云台一体摄像机构成了盘煤系统的图像采集单元，图像采集单元所采集的图像通过高速传输网络传至视频总线系统以保证实时性与可靠性。云台一体摄像机均安装在马道和步道两次，以便于日常维护。在此约束条件下，通过多次实验，优化了相机数量，得到的图像以最小的重合度覆盖整个煤场，仍能保持较高的三维模型质量。

通过多个摄像机的安装与布置实现多目盘煤，大大提高了系统的鲁棒性，如果采用单个摄像机，不仅存在着视野过大、图像细节粗糙等问题，还会造成一旦摄像头故障，会造成图像丢失，从而影响煤场的三维重构。通过适当冗余摄像机的方法，利用相邻两个摄像头旋转，对故障摄像头所负责区域进行拍摄，因此要谨慎选择球机间距。在多目摄像机中，每个摄像机有自己的相机坐标，相机间的相对位置难以测量，为未知量，需要将这些相机坐标统一到世界坐标系中。解决方法是以拍摄照片序列中第一张照片的摄像头为坐标系原点，逐张添加图像，两图像根据匹配特征点合并坐标系，最后统一对坐标进行变换。

云台的选择设计，云台是固定机器视觉系统的支撑设备，它分为固定和电动云台两种。固定云台适用于监视范围不大的情况，在固定云台上安装好摄像机后可调整摄像机的水平和俯仰的角度，达到最好的工作姿态后锁定调整机构。电动云台适用于对大范围进行扫描监视，它可以扩大摄像机的监视范围。电动云台高速姿态是由两台执行电动机来实现，电动机接受来自控制器的信号精确地运行定位。在控制信号的作用下，云台上的摄像机既可自动扫描监视区域，也可在监控中心值班人员的操纵下跟踪监视对象。本系统采用高速步进电机云台，采用软件方式控制云台的上下、左右运动角度，以实现少量摄像机的大面积覆盖。云台的控制可以采用软件自动控制，也可以通过计算机视觉监控器的人机接口，由工作人员控制，以便在需要时查看煤棚内的视觉信息。

传输系统用于摄像头与处理系统间的信息传输。摄像头将拍摄的高清图像通过传输系统传输至视频总线系统。视频总线系统将对摄像头的控制信号传输至摄像头。本项目的数据传输采用千兆有线以太网。传输系统支持相关数据通过统一数据接口将上传至燃料大数据中心，确保在办公网内能够查询和监视系统运行及数据运行状态，并完成智能盘煤系统中部分功能在MIS网的展示，包括当前存煤信息、用煤信息等主要数据。

三、视频总线及视觉服务单元设计

设计视频总线系统，实现图像的合成，利用既有煤场标点位置，实现煤场三位重构。

对于多个摄像机的镜头位置定位问题，由于每个摄像机有自己的相机坐标，相机间的相对位置难以测量，为未知量，需要将这些相机坐标统一到世界坐标系中。解决方法是以拍摄照片序列中第一张照片的摄像头为坐标系原点，逐张添加图像，两图像根据匹配特征点合并坐标系，最后统一对坐标进行变换。

对于煤堆边缘拍照的图像畸变造成畸变过大的图像特征点难以与其他正常图像匹配，因此采用畸变校正算法解决此问题。

对于两台摄像机拍摄的照片如果存在重复区域或盲区，相邻摄像头所得图像必须有重复区域，这也是重建原理的关键之处，视频总线系统将利用既有标点居中进行图像分割，然后合成，针对两个摄像机的盲区会根据周围已重建出的点云进行插值，从而重建出盲区。

对于封闭煤场现存的环境污染造成的影响加以消除，以摄像头到煤堆的距离，粉尘不会造成影响，系统不会把微小的粉尘当作特征点。对于光线问题，重建时提取特征点采用SIFT算法，对亮度保持不变性，合理情况下，亮度对重建结果不造成影响。

视频总线和视觉服务单元作为核心处理系统，负责请求和接收二维图像，进行三位重建，信号控制等工作，是整个项目的控制和处理中心。

◎系统组成主要包括：（1）监控模块负责高清图像的采集，摄像头的焦距等参数设置。（2）盘煤模块负责盘煤过程，包括图像预处理，三位重建，体积计算等。（3）记忆模块负责对过往数据的存储，根据用户需求，可以查看以前的煤场视频、盘煤结果等。

◎系统特点：实时监控煤场，根据需求可观测煤场任何位置。自动定时盘煤，通过信号控制自动获取图像并进行三维重建，定时盘煤。具有记忆功能，可对煤场进行录制，后期可根据需要查看煤场情况。计算机视觉监控器作为人机交互的窗口，执行监视和控制两大功能。

◎监视：煤堆的三维实时渲染，主要包括点云的各角度旋转、浏览，以及体积、仓位、煤质展示。信息查询，主要包括煤质的入库、出库情况，历史记录等。

◎控制：相机云台的上下、左右步进控制。一键盘煤，通过信号控制将图像获取，三维重建等操作一体化，操作简单易上手。现场查看，通过控制浏览棚内视频信息。

（作者单位：华电国际山东信息管理有限公司）