基于深度传感器的煤场三维测量改进算法研究

杨士华，曹军，陈梁，崔波，尉龙

（1.上海上电漕泾发电有限公司，上海 201507；2.中科航宇（北京）自动化工程技术有限公司，北京 100096）

盘煤仪可精确测量电厂煤炭存量，优化生产结构，在煤场、电厂数字化改造中有着极大的应用前景。由于煤场中通常存在斗轮机、运输车等干扰物，且煤场周围墙壁等为黑色，对煤炭体积测量产生较大干扰，快速分离煤炭体积并高精度测量仍是一大难点。

目前盘煤设备采用的方法通常为三原色（red，green，blue，RGB）图像法、深度测量法。其中RGB图像法能准确区分色彩差异较大的干扰物，但易受背景噪音干扰；深度测量法不受背景干扰，但易受到斗轮机、传送带等设备干扰，导致传统盘煤仪无法区分煤堆与干扰信息。本项目采用基于光飞行时间（time of flight，ToF）原理的深度传感器联合RGB图像法，结合煤场实地情况，对直接线性变换（direct linear transform，DLT）标定模型、双边滤波降噪算法进行改进，提出基于颜色和法向量的点云分割算法分离煤堆模型，并测量体积。经验证，具有较好的工程应用效果。

1 DLT模型改进标定算法

2 基于ToF算法的改进三维重建算法

2.1 深度信息获取

深度传感器基于ToF原理获取深度信息，光源发射光线经过传感器方波调制后，平均频率为80 MHz，通过检测光线发射与接收时的相位差以及衰减，计算光线在空中传播时长。由飞行时长可进一步判断深度传感器与煤堆的距离信息。计算公式如下：

式中：φ为调制信号的相位偏移值；f0为传感器的调制频率；l为距离；t0为光飞行时间；c为光速，约为3×108m/s。

2.2 煤场误识别信息剔除

误识别信息主要分为两类，一类是煤场周围墙壁、护栏以及运输车等干扰物体，另一类是距离传感器过近的遮挡物，如斗轮机等。

首先，通过霍夫变换剔除容器壁以及壁外干扰物体。由于项目中煤场为标准矩形，可通过基于霍夫变换分离图像中相同特征的几何形状。依托y=kx+b公式，将直线方程的参数与变量互换，使x—y空间中全部点（x，y）对应为k—b空间中的单个点，则在变量空间中的多条线与参数空间中的极值点相对应。故确定k—b空间中局部区域的极值点即可确定直线，如图1所示。

图1 直线对应为点Fig.1 Straight lines correspond to points

将直线方程表述为极坐标方式，即

利用二维累加器检测直线，通过在累加器中寻找局部最大值，从而确定直线存在，即为煤场边缘。

其次，通过距离阈值分割剔除过近遮挡物。煤堆底部位于深度传感器下方约39 m米处，煤堆最高处约19 m，故而有效的深度范围为20 m～39m。当识别深度大于39m或小于20m，均为斗轮机等干扰物体深度信息。

直通滤波器可以滤除超出识别范围的深度信息，假设某点的三维坐标为（u，v，d），其中（u，v）为该点在像素平面坐标系下的像素坐标，d为该点的深度值。maxd表示允许的最大深度值，mind表示允许的最小深度值。则有：

由于煤场位于场景中心，边缘区域为无煤区域，故可通过保留中心周围区域，从而保留有效深度信息。保留区域为：

式中：（u0，v0）为深度图的中央位置处坐标值；w为深度图横向像素值；n为该点法向量；h为深度图的纵向像素值。

2.3 双边滤波降噪算法改进

传统的边滤波算法中噪点主要利用法向量ni和滤波因子α，但由于在计算二者时，将噪点pi的三维坐标考虑在内，导致存在误差，当噪点偏移很大时，滤波不起作用，故需要对传统双边滤波算法进行改进。双边滤波算法对噪点的调整方向沿着该点的法线向量。移动公式如下所示：

3 煤场建模与体积测算

3.1 基于Unity3D的虚拟场景设计

项目使用Unity3D 5.6.0设计虚拟场景，根据不同高度显示不同的RGB值，显示出明显的区分效果。

Toggle_Contour.cs：控件事件响应“高度图”。

Toggle_Depth.cs：控件事件响应“深度图”。

Toggle_Histogram.cs：控件事件响应“直方图”。

利用深度传感器探测煤场深度信息，并在最高处使用浅色投影、最低处使用深色投影，中间区域采用渐变色进行投影，如图2所示。

图2 不同深度显示不同颜色Fig.2 Shows different colors at different depths

3.2 基于颜色和法向量的点云分割

在获取点云模型后需确定煤堆位置并分离模型。考虑到煤堆为黑色，与周围运输车等RGB值存在一定差距，故提出一种基于颜色及点云法向量的点云分割方法。考虑到煤场周围墙壁亦为黑色，故引入法向量因素。在本项目中煤场边缘与煤堆接触位置会产生点云法向量的突变，如图3所示。在长方体边缘部分的法向量的z方向值会非常小，故在遍历点云的过程中除颜色的信息，引入法向量z分量信息，如z分量所占比例小于10%，此点将不被计入目标点。

图3 边缘法线示意图Fig.3 Diagram of edge normals

基于颜色及法向量的点云分割效果图如图4所示，可看出分割结果已经滤除了几乎全部的无关点，只留下了目标被测物。

图4 点于分割效果Fig.4 Segmentation effect of point cloud

3.3 点云体积计算

得到目标被测物点云模型后，则可进入体积计算过程，由于此步骤的算法相对繁琐，故对点云模型进行下采样，如图5所示。

图5 下采样效果图Fig.5 Sampling effect diagram below

下采样之后拟使用基于不附带任何拓扑信息的散乱点云的四面体剖分体积计算法计算煤堆体积。首先进行四面体剖分，方案如下：

1）构建初始四面体，形成初始化四面体网格。

2）将某一个点插入四面体网格中，对于输入点P，利用随机方法找包含P的四面体，如果P位于该四面体之中，则完成，否则随机指定三角面E，若T和P在平面的两边，共享E的邻近四面体则为下一个访问的四面体，直到找到分割开T和P的面。

3）找到包含P的四面体，则将该四面体一分为四。

4）如若P不在当前四面体中，则选择P所在面的一侧，连接P与该面的3个顶点形成新的四面体，计入之前网格。

5）重复2）～4）步骤，直到点集中的点均处理完成。

分割完成后遍历四面体，计算得到所有分割四面体的外接球，对每个顶点沿法向量方向做射线，若所有射线交于外接球上（不包含射线原点），则不考虑此四面体[3]；否则，将该四面体加入体内四面体范畴。得到所有体内四面体之后利用下式计算体内四面体体积之和，即为目标被测物体积。

式中：(x1，y1，z1)～(x4，y4，z4)为四面体顶点坐标。

4 实验验证

4.1 改进DLT标定算法对比实验

通过深度传感器获取图像中控制点坐标，计算内参与畸变系数，生成残差图。为验证DLT算法改进后效果，将其与传统DLT方法进行对比。焦距测量参数如表1所示。

表1 内参数实验结果Tab.1 Experimental results of parameters

畸变系数主要有径向畸变系数k1，k2，以及偏心畸变系数p1，p2。测量数据比照如表2所示。

表2 畸变系数实验结果Tab.2 Experimental results of distortion coefficient

由内参数与畸变系数实验结果，将52个特征点在x，y方向的标准差以及每个特征点的残差vx，vy求出，如图6所示，其单位均为像素（px）[4]。

图6 改进DLT方法残差分布图Fig.6 Residual distribution of the improved DLT method

相较传统DLT算法的残差在竖直方向可控制在10像素以内，水平方向只能控制在2个像素以内，改进的DLT算法的特征点的精度显著小于传统DLT算法，其水平与竖直方向的残差均可控制到2个像素之内。

4.2 改进双边滤波算法对比试验

首先以每个三维数据点pi为研究对象，获取周围kN个最近点的数据集，表示为N（pi）。之后使用主成份分析法计算该对应点pi的法向量和周围邻域点pj的法向量，记录法向量方向。随后求取该点与周围邻域中任意一点pj之间的距离，即模长m以及两点的法向量之间内积wr。当wr＜0，则令wr=0。

式中：wri与wrj为内积对应的三维空间点。

代入m与n，从而解出特征保持因子Ws（n-1）以及光滑滤波因子Wc（m）。利用特征保持因子与光滑滤波因子得出双边滤波因子[5]，对三维数据点pi移动，同理完成所有点云操作，得出最终点云。

对其在不同kN值下滤除效果进行分析，以滤除噪点个数为纵坐标，kN值为横坐标，建立关系曲线如图7所示。由图7可知，当kN值小于8时，随着kN值增加，滤除噪点个数m显著增加，但当kN值大于8，虽个数继续增加，但滤除噪点个数显著减小。

图7 kN值与滤波本领关系Fig.7 Relationship betweenkNvalue and filtering power

由图8可知，随着kN值增加，滤波消耗时间近似成正比例函数增加。故综合分析滤波时间与滤波本领，选定kN值为8。

图8 计算耗时与kN值关系Fig.8 Relationship between calculation time andkNvalue

4.3 煤堆体积测算实验

为验证体积测算准确度，搭建微型煤场，将已知质量的煤堆放入煤场中。煤堆与煤场边缘有贴合的情况下，每组实验进行10次得到结果如表3所示。实验结果表明，当煤堆模型表面即为所有煤炭时，测量精度较高，相对误差可达2.75%。当被测物贴合载物空间边缘时，测量精度下降严重，当煤炭覆盖煤场全部地面时，依据煤场空间体积进行相关估算，加入此体积后，测量精度有所提升，相对误差基本稳定在5%之内，符合测量要求。

表3 煤堆质量测量实验结果表Tab.3 Coal pile quality measurement experimental results table

5 结论

针对已有盘煤仪存在标定误差大、点云滤波算法失效等问题，以及煤场中斗轮机等干扰物影响导致模型失真的问题，提出相应解决方案：

1）改进DLT标定算法，考虑光学畸变等因素，引入像平面坐标修正量及像平面坐标观测值修正量，将特征点在各个方向残差控制在2个像素之内。

2）通过改进双边滤波算法，有效剔除离群点，平滑模型点云。

3）基于霍夫变换和距离阈值分割，有效剔除干扰信息，对斗轮机、煤场墙壁等具有较强过滤作用。

4）提出基于颜色和法向量的点云分割方案，排除运输车、石堆等干扰物影响，测量相对误差控制在2.75%左右，确保测量结果更为精准。