TOF相机在工业袋子计数系统中的应用

梁尔祝，耿 威，田思雨，王 锐，于忠滢

（1.鞍钢矿业爆破有限公司，辽宁 鞍山 114046；2.北京科技大学，北京 100083）

0 引 言

工业生产中需要用到诸多化学用品，例如硝酸铵等。这些化学用品如若存储不当，极易发生危险，危及人员安全，因此受到国家严格管制。对于工厂企业而言，由于国家管控和自我分配需要，能够准确获得这些化学用品就变得尤为重要。现存的问题是目前工厂的仓库周围无法存在太大功率的电气设施，并且大多数化学物品不宜过多接触，而现有的传感器（易被腐蚀）解决方案并不能很好地满足工厂需求。

随着数字成像技术的发展，三维成像已被应用在许多领域，考虑运用TOF相机来完成目标信息获取任务。TOF相机可以获得物体的距离信息，然后映射到一张16位的灰度图中。TOF相机具有获取目标物体深度图像的功能，可以通过对相机的建模和标定迅速计算出该物体在指定坐标系的坐标，并根据坐标完善普通相机不具备的功能。TOF相机既可以获取物体的颜色信息，又可以获取物体的位置和结构信息。

TOF相机的优点在于对光照不敏感，并且在有效距离内可以保证在一定的系统误差内，甚至对于近距离物体的信息获取可以达到极小的误差。例如新一代Kinect，官方文档的误差为随机误差小于17 mm，系统误差小于（11±1%）mm。TOF相机可以解决图像处理中的识别问题，例如王等人使用TOF相机进行车位检测。TOF相机的这些特性对于解决上述物料计数问题起到了关键作用。

本文设计了一种基于TOF相机的方法进行包装袋计数。

（1）采用TOF相机获取三维物体对应的深度图像，接着使用棋盘格标定的方法对相机进行标定，得到相机内参矩阵；

（2）将映射的灰度图像计算为相应的三维点云坐标，进而选取三维感兴趣区域；

（3）系统将托盘分为4块采样区域，对采样区域内的三维坐标进行采样并求取平均值，平均值用作程序的逻辑判断依据；

（4）通过获取的深度值变化情况对物料进行实时计数。

最终实验结果表明，该系统可以较好地完成对区域内物料的计数功能。

1 系统设计方案

1.1 TOF相机原理

TOF是“Time-of-Flight”的简称，也被称为“飞行时间测距法”。工作原理：发射一束或多束红外光，通过接收由物体反射的红外光信号对物体进行测距。TOF相机的原理如图1所示。相机包含了一个能够发射特定波长的发射装置和一个接收装置。接收装置是一种特殊的相机，同样具备相机的基本模型，所以对于该装置的建模也可以仿照普通相机。

图1 TOF相机工作原理

TOF相机的功能实现基于调幅连续波时差测距原理。该相机将近红外频谱中的调制光投射到场景中，接着相机记录光线从相机传播到场景，再从场景返回到相机所花费的间接时间测量值。

式中：Δt表示发射和接收时间的差值；c表示光速；f表示调制光的频率。

相机通过处理这些测量值可以生成深度图。深度图是一个16位的图像，该图像本质是一个二维的单通道矩阵，图像平面坐标(x,y)代表该矩阵的第x行y列，坐标(x,y)上的值是该坐标点的实际深度值，单位为mm。

这类相机在功耗和体积等方面具有较大优势，可以适应不同的工作环境，已被广泛应用于各类工业场景。

1.2 系统设计

包装袋计数系统的主要功能是对人工搬运的货物袋子进行计数并汇总，实现仓库物料数量的计数，为后续的物料资源调度提供支持，同时也为仓库的值守人员提供数据依据。系统主要包括深度相机和图形处理工作站等部分，总体设计如图2所示。

图2 计数系统硬件组成

2 关键算法

2.1 像素坐标系

像素坐标是摄像机采集的数字图像中像素所在位置。在计算机内，可以将像素坐标存储为数组。如图3所示，在图像上定义直角坐标系u-v，每一像素的坐标(u,v)分别是该像素在数组中的列数和行数，故(u,v)是以像素为单位的图像坐标，数组中(u,v)位置的值就是该坐标存放的像素值。

图3 像素坐标系示意图

2.2 坐标系变换

相机坐标系是以相机光心为原点建立的三维坐标系。它是现实中存在的坐标系，单位为mm，代表物体相对于相机的实际距离。

假设现实中的点在相机坐标系下的坐标为P(x,y,z)，单位为mm；成像在相机的像素坐标系上的点的坐标为P(x,y)，单位为pixel，即像素，于是就形成了如图4所示的模型。

图4 相机坐标系和像素坐标系示意图

根据图4所示的相机模型，可以通过相似三角形计算相关数据：

式中：f和f分别代表在x和y方向上的焦距；c和c分别代表了在x和y方向上的光心偏移量。这4个参数被称为相机的内参，通过MATLAB工具箱标定得到，可参考文献[11]。

通过相机的内参可以将相机坐标系和像素坐标系联系起来，将图像中的2D坐标和3D坐标建立转化关系，从而解决实际问题。转化时需要实际深度值，这也是系统使用TOF相机的原因。坐标系变换常用于相机的位姿估计。

3 实验验证

实验过程中首先需要将所有深度图上的点转化为三维坐标点。图5所示是可视化后三维点云的示意图。

图5 三维点云示意图

对相机坐标系下的感兴趣点进行筛选，提出三维感兴趣区域。如图6所示，图中央黑色部分是实验提取的感兴趣区域。图中所示的三维感兴趣区域在实际使用时保持原值，代表关心，其余部分为黑色，并将对应位置的值设为0。为了展示方便，将感兴趣区域用黑色标注，但与实际不同。

在提取出三维感兴趣区域后，求取红色矩形框内深度值的平均值作为采样值，采样值用作判断依据。如图6所示，红色矩形代表采样区域。

图6 三维ROI示意图

采样矩形1深度值变化曲线如图7所示，采样矩形2深度值变化曲线如图8所示。这里只显示了2个矩形框的值，其他区域类似，不再赘述。通过曲线图可以看到，袋子放入托盘前后，采样值发生了明显变化，可以证明该方法是有效的。因此计数系统中出现这种变化就可以判定有新的袋子放置在托盘上，从而实时统计袋子的数量。

图7 采样矩形1深度值变化曲线

图8 采样矩形2深度值变化曲线

4 分析讨论

实验选取TOF相机的原因在于颜色在不同的光照条件下会呈现出不同的像素值，但是TOF相机的深度值对于光照的变化并不敏感，同时，普通相机无法判断是否放置了新的物料。人类能够获取物体的远近依靠两只眼睛的配合，但对于单目摄像机，无法获得距离信息，所以需要相机本身能够获得深度信息。使用TOF相机就可以将袋子的堆叠判断问题转变为袋子区域的深度值变化问题，只需要关注深度值的变化趋势，就可以断定是否有新的袋子放置在该区域，从而间接实现对袋子的计数。

系统中使用三维感兴趣区域而非普通的二维感兴趣区域原因在于：由图9和图6的对比可以看出，二维感兴趣区域在像素平面下选取，但是映射到实际中，并非规则的区域。并且该区域在选取方面也存在较大的困难。黄色框表示选取一个小的二维感兴趣区域，红色框表示选取一个大的感兴趣区域。可以看到，无法选取一个适合的感兴趣区域。但是如果使用三维感兴趣区域，问题就会变得非常简单，可以看到图6所示的黑色区域，尽管映射到二维图像中图形不规则，但却符合实际情况。证明了三维感兴趣区域的方法明显优于二维感兴趣区域的方法。

图9 二维ROI区域示意图

5 结 语

根据实际工业现场的使用情况，文中提出的基于TOF相机的工业包装袋计数方案和相关算法取得了很好的效果。在排除人工干扰的实际测试情况下，卸货2次，每次放置6个托盘，每个托盘放置10袋，共120袋，可以检测出118袋，准确率达98.3%；在袋子摆放整齐的情况下，检测准确率达100%，能够满足企业使用需求。