基于场景视点建模的砂石运输量计量方法研究

王 磊 张大鹏

（沂沭泗水利管理局水文局（信息中心）徐州 221018）

1 引言

2018 年10 月，淮委启动《淮河流域重要河道采砂管理规划》（以下简称《规划》）编制。本轮规划开创性地提出淮河流域内提升流域采砂管理水平的重要手段，即采砂管理信息化平台系统。在《规划》的指导下，各管理单位依托移动互联网平台，借助智能分析、互联网、传感器、视频监控、云计算、全球定位系统（Global Positioning System,GPS）和射频识别（Radio Frequency Identification,RFID）等技术，实现对审批河道采砂许可证、开采河道砂石及存储、销售、运输、修复河道砂石等环节的网络化、智能化和精细化监管。

2 基于图像三维建模的采砂量测量技术分析

2.1 双目视觉基本原理

双目视觉使用单个摄像机从不同角度在不同时刻获取周围物体的两幅相关图像，或采用不同位置的两台摄像机同时采集目标及其周围物体的两幅数字图像，并基于视差基本原理，在得知摄像机与摄像机之间位置关系的前提下，获取目标的三维空间信息，同时构建物体的三维模型。

双目视觉测距原理基于视差原理，图1 为双目立体成像原理图，基线距B 为两台摄像机投影中心的直线距离，f 为摄像机焦距。

图1 双目立体成像原理图

两台摄像机同时观看目标物体的特征点P，左图像和右图像中点P 的坐标分别为pl=（xl，yl），pr=（xr，yr）。若“左眼”和“右眼”的图像在同一平面，则目标点P 的坐标相同，即yl=yr=y，由几何关系可知：

视差为d=xl-xr，则点P 在坐标系中的坐标如下：

至此，若左摄像机像面上任意点可以在右摄像机像面上找到对应的目标匹配点（即左、右摄像机像面上的点对应空间的同一点），便可得到此点在摄像机坐标系中对应的三维坐标。该方法为点对点运算，只要该点在像面上存在对应的目标匹配点，即可参与运算并获取该点的三维坐标。

2.2 技术流程

双目视觉采集系统的软件设计包括：摄像机标定及目标特征点的三维信息恢复（在摄像机标定的基础上进行）。本系统根据砂石料堆体积测量软件所要实现的功能分为图像釆集、图像预处理、图像特征提取与匹配、摄像机标定和空间三维坐标获取五个模块。

2.3 摄像机标定

摄像机标定是根据摄像机的投影模型建立的像素与场景点之间的位置关系。该系统通过双目视觉原理获取目标物体的二维图像，过程共经历四次变换，如图2。变换从世界坐标系开始，并依次变换为摄像机坐标系、无失真的图像坐标系、带有切向畸变的实际图像坐标系，最后变为计算机图像坐标系。

图2 摄像机标定模型坐标系

2.4 构建控制点的三维坐标集

为叙述方便，将摄像机的线性模型式（3）列出：

式中：λ是任意非零比例因子；R、T 是两个矩阵；A 是3×4 的矩阵。

因此，电荷耦合器件（Charge Coupled Device,CCD）像机内部参数为一个保持不变的常数，观测不同位置的模板时依然为定值。系统采集不同位置的模板图像，进行预处理后可知目标特征点的三维坐标和图像坐标，由此便可通过三个及以上位置的图像的特征点构建平面模板图像的特征点集。

2.5 图像特征提取与匹配

双目视觉技术的关键是建立采砂车左右图像对目标特征点之间的匹配关系。立体匹配是在一幅图像中找到另一幅图像所给定一点的对应点的过程，该方法不存在任何标准模板。由于场景中的诸多因素，当采砂货车的三维场景投影为二维图像时很难进行无歧义匹配。因此在图像立体匹配过程中，需要先对得到的采砂车左右图像预处理，消除全部的不利因素后，得到有利于特征提取与匹配的图像。

3 基于场景视点建模的采砂量三维重建及体积计算

3.1 基于场景视点建模的参数估计方法

3.1.1 参数提取方法

采砂车的三维建模过程步骤：采用人工交互方法确定采砂车主体角点，求出消隐点以及主长方体的长、宽、高和像机的内部、外部参数；并根据主长方体的结构参数及轮廓信息判断采砂车类型，通过大尺度形态筛选确定采砂车车顶的相关区域信息；车顶角点由该区域图像提取的直线交点确定；由角点与角点间的空间关系和摄像机投影成像公式，计算出整体结构中采砂车六个主体角点及两个车顶顶点的相对深度；测量非平顶采砂车的长、宽、高结构参数及车顶类型、车脊长度和车顶高度六个参数，通过采砂车车顶的车脊长度和车檐长度相等与否可判断人字形车顶和双面人字形车顶、非平顶采砂车车顶轮廓图。

3.1.2 估计摄像机内部参数

摄像机内部参数未知时，按顺序使用人工交互的方法从图像中选取采砂车主体长方体对应的六个角点，包含三对垂直方向的平行线，由此可估计在图像中三个不同方向的消隐点坐标；按此方法可求得图像主点，即由三个垂直方向消隐点组成的三角形的垂心；为了提高算法的可靠性，根据摄像机焦距f，求出三个消隐点对应的三组解并取平均值。

3.1.3 估计摄像机外部参数和采砂车主体参数

在采砂车主体中心建立世界坐标系，基于摄像机内外参数与采砂车主体平行六面体的几何信息之间存在的对偶关系，从图像中六个角点的坐标出发，可得该立方体的形参矩阵L，进而得到此立方体的结构参数，则可知六个角点的坐标。继而计算平移向量t 和旋转矩阵R，估计摄像机外部参数。

3.2 提取顶角点

车顶区域为非平顶采砂车长方体主体上方区域，对应构造立体几何（ConstructiveSolidGeometry,CSG）结构中的复杂结构体基元或三棱柱。在大尺度形态筛的结果上应用该划分结果，并于非车顶区域使用均匀灰度值赋值。

车顶区域形态筛后，图像中车顶的背景与边缘差别最大，通过检测角点，Canny 边缘检测中保留梯度幅值较大的检测结果，以此为基础，使用基于Hough 变换的直线检测方法，进行交点和线段的优化，并建立车顶角点提取图。一般认为最上方即行值最小的两个角点为车檐上的两个未知角点，即角点P7和P8，连同人工选取的六个长方体的角点，八个角点在图像中的坐标全部确定。

下一步，根据八个角点的坐标，所估计的采砂车主体长方体的长、宽、高和摄像机内外参数确定采砂车车顶的类型，并计算车脊长度和车顶高。

3.3 求解相对深度

如图3，设非齐次坐标P1，P2，P3，P4依次为空间平面矩形的四个顶点，齐次坐标p1，p2，p3，p4依次为投影到图像平面上的对应点，根据矩形的对角线性质，相对的两个顶点的向量和相等，即有：P1+P4=P2+P3，由公式（4）可得：

图3 矩形投影示意图

可得以下形式：

其中，pi=（ui，vi，l）T，i∈（1，4）。一般情况下p2，p3，p4三图像点不共线，矩阵S 为满秩矩阵。则有：

在已知λ1的情况下则可求得λ2，λ3和λ4。

3.4 估计相关参数

相对深度由矩形顶点坐标求得。通过计算车顶结构中两个相邻矩形各个顶点的相对深度，并根据摄像机内部参数，可知长方体的结构参数。

由图4 的车顶俯视图可知，俯视图中采砂车车顶顶点P7、P8均位于矩形中线上，因此点P7、P8在三维坐标系中x（y）坐标为0，联立方程即可求解点P7、P8对应的相对深度值λ7和λ8，再计算P7、P8的三维坐标。

图4 车顶俯视图

因此，对图4，P4+P5=P2+P6和P4+P1=P2+P3，以P2的相对深度为准，设λ2=1，可求得λ6/λ2，λ5/λ2，λ4/λ2，λ3/λ2，和λ1/λ2，根据之前求得的长方体角点P2的三维坐标，并利用公式（6）估计参数λ2，则可知全局因子差异为一的各角点相对深度λi，i=1～8。

其中，P 为非齐次坐标，根据各角点相对深度λi和式（7）可计算世界坐标系下各个角点的三维坐标，从而估计角度并进行相关参数的测量。

3.5 采砂车总量的计算

设车脊长度为y1=||P7-P8||，主体长方体的长和宽分别为y2=||P2-P5||和y3=||P1-P2||，用以确定采砂车车顶类型，人字形车顶小于设定阈值，双面人字形车顶大于设定阈值。|y1-y2|为车顶高。

左右摄像机获取的目标特征点匹配及摄像机标定己完成后，可知采砂车目标特征点位置的三维坐标，实现了对采砂货车结构的三维重建。并根据经过预处理后的真实空间坐标值数据，将投影的XY平面划分为N 个小矩形，如图5。将X 轴M 等分，并以d 为步长在y 轴上确定每个需要插值的二维点。

图5 投影划分示意图

插值使用反距离算法，求矩形顶点（X，Y）的Z 值，并将计算出的每个区间小矩形柱体积Vi 相加，采砂车体积为：

3.6 现场实测分析比较

在实地验证中分别对不同采砂车辆（大型车辆、中型车辆和拖拉机等）的运砂量分别进行测试，并与人工测量进行了比较，见表1。

表1 不同车型测试比较表

可以看出，虽然由于采砂车辆的车体不同、车体上砂堆积形状不均匀等问题，导致计量存在一定误差，但该技术与传统的称重计量方法比较，其误差不超过8%。因此，该技术不仅可以作为采砂计量的辅助手段，也是传统采砂计量方法的一种扩展。

4 结语

利用采砂场不同方向拍摄的采砂货车图像信息，根据视差原理获取运砂车辆的三维空间信息计算运砂车的空间体积，可简单理解为利用已经采集到的实时视频图像和历史图像资料，对所构建的采砂车辆类型和空间模型参数进行人工标定和自动学习，完善模型参数，再依据确定的参数对未分捡识别的各种车型的图像资料进行计算机软件自动智能识别，计算出运砂量，减少了采砂管理和监控图像人工分捡的劳动强度，对采砂计量管理提供了有效的帮助，具有较好的社会效益和经济效益■