基于高光谱的垃圾分选设备的研究

莫卓亚 刘元路

（广东弓叶科技有限公司，广东 东莞 523808）

1 基于高光谱的垃圾分选设备的国内外现状分析

在环保设备领域，国外发达国家的环保意识较强，投入较早，垃圾分选行业也相对成熟，多家公司推出了比较成熟的垃圾分选设备，例如，芬兰ZenRobotics 公司的Heavy Picker 和Fast Picker、美国BHS 公司的Max-AI、美国AMP公司的Cortex ™机器人、挪威TOMRA 公司的SPEEDAIR 和CYBOT 等。随着近几年国内科技的进步，尤其是计算机视觉技术、3D 视觉传感器技术和机器人技术的成熟，国内厂家也推出了智能化的垃圾分选设备，例如广东弓叶科技有限公司的PiCKiNG·EASY ™和PiCKiNG·Ai ™系列产品，填补了国内智能化垃圾分选设备的空白。

对于垃圾分类的需求来说，如果仅需进行大类的分选，2D 相机加上视觉算法可以实现较好的分类效果。但是如果需要进一步进行精确的材质细分，例如区分塑料中的PE、PVC、PP、ABS 等细分材质，则必须要用到高光谱相机。高光谱成像的实现基础是成像光谱学，其集成了光学成像技术和光谱分光技术。高光谱数据因其兼具图像和光谱的功能，可以进行基于光谱的成分分析，获取更高的分类精度，同时还能通过相机坐标系、机器人坐标系、传送带坐标系三者的关联，实现机器人实时抓取。高光谱相机成像技术最初应用于遥感技术，装在卫星或者无人机上，采集地表光谱数据，现在被引入环保行业进行垃圾分类的材质识别，是未来垃圾分类领域的一个重要方向。

2 基于高光谱分选设备的关键技术

高光谱分选设备的关键技术主要包括分类算法和控制系统2 个部分。分类算法分为基于光谱相似度匹配的分类算法和基于机器学习的分类算法。控制系统包括视觉系统、控制中心、输送系统、执行系统等。

2.1 分类算法

高光谱数据的分类算法可以分为基于光谱相似度匹配的分类方法和基于机器学习的分类方法2 类。

2.1.1 高光谱相机原理

高光谱相机采集物体的反射光谱，典型的高光谱相机的原理是，光源投射到待测物体上，反射后经过相机镜头前端的狭缝进入高光谱相机内部的核心元件——分光仪。分光仪将每一束光分成多束单色光，投到面阵相机上。面阵相机狭缝的长度方向w 为像素维度，与狭缝垂直方向h 为光谱维度，面阵相机w 和h 2 个方向的分辨率决定着高光谱数据的像素分辨率和光谱分辨率。该高光谱相机的使用和线阵相机类似，一行一行的扫描，每一行的数据都是面阵相机的数据，代表的是w 方向上每个像素点上的h 个光谱数据，根据光谱信息进行光谱分析可以确定其化学组成，以此来鉴别物体的材质。

2.1.2 高光谱相机数据获取

根据高光谱相机原理可知，高光谱相机每一帧数据都是面阵相机的二维数据，而高光谱数据是三维的数据，需要对相机采集到的数据进行相应的处理后才能获得。高光谱相机数据获取分为面阵相机数据获取和数据拼接2 个部分。

面阵相机数据的获取与普通2D 相机数据的获取过程并无差异，即先调整图像质量，然后获取图像。调整图像质量时，需要调节光源的亮度、相机光圈、焦距大小以及曝光时间等，以获得最优的图像效果。获取图像一般是连续获取数据，可以按时间间隔触发，也可以由外部IO 信号触发。如果这个IO 信号是编码器，就可以实现按照距离触发。触发间隔有严格的要求，以保证拼接后的图像与实际物体比例一致。

面阵相机数据的获取完成后，还需要对数据进行拼接，从而得到高光谱数据。高光谱数据的格式有3 种，分别为BSQ，BIL 和BIP。BSQ（Band Sequential Format）格式是按波段保存，1 个波段保存后接着保存第2 个波段。这种格式适合对单个光谱波段中任何部分的空间（X，Y）存取。BIL（Band interleaved by line format）格式是按行保存，保存第1个波段的第1 行后，接着保存第2 个波段的第1 行，这种格式提供了空间和光谱处理之间的一种折衷方式。BIP（Band interleaved by pixel format）格式是按像元保存，先保存第1 个波段的第1 个像元，然后保存第2 波段的第1 个像元。该格式为图像数据光谱（Z）的存取提供了最佳性能。高光谱数据拼接完成后，通常还需要1 个描述文件，然后可以导入光谱分析软件进行数据处理了。

2.1.3 基于光谱相似度匹配的分类方法

光谱相似度的匹配算法是通过计算测试光谱向量与参考光谱向量之间的相似度来进行分类。光谱相似度的度量标准包括最小距离、光谱角度、光谱信息散度以及光谱相关性等，其中最小距离度量标准包括曼式距离和欧式距离等。光谱最小距离越小，相似性越大。光谱角度余弦值越大，相似性越大。光谱信息散度值越接近于0，相似性越大。光谱相关系数越大，相似性越大。

光谱相似度的匹配算法首先要建立待测物体的光谱库，然后计算测试光谱与光谱库中光谱数据的相似度，最后根据相似度数值以及相似度阈值来判断物体的类别。光谱相似度匹配算法的重点在于待测物体光谱库的建立，光谱库可以是来自标准的光谱库，也可以是根据待测物体建立的自定义光谱库。标准的光谱库对相机和光源的一致性要求较高，实际上不同的相机、不同的光源、不同的校准条件，得到的光谱曲线并不完全一致，所以标准光谱库中的数据一般只作为参考，工业应用上需要自定义光谱库。自定义光谱库时，首先采集待测物体的光谱数据，选取 感兴趣区域（ROI），并对ROI中的数据进行端元提取，得到纯净像元，并将该像元的光谱数据存入光谱库。常用的端元提取方法包括内部最大体积法（N-FINDER）、纯像素索引法（PPI）、凸锥分析（CCA）、顶点成分分析法（VCA）等。

图1 对比效果图

2.1.4 基于机器学习的分类方法

基于机器学习的分类方法分为非监督分类和监督分类。非监督分类是指在没有任何分类先验知识的情况下，仅依据数据本身的统计特征及自然点群的分布情况来划分类别的分类方法，代表性的非监督分类包括均值聚类算法（K-Means）、迭代自组织数据分析算法（Iterative Self-Organizing Data Analysis Technique）[1]。监督分类是指以先前提取的训练样本作为先验知识，以对训练样本的学习构建分类模型，并对其他数据进行分类的过程[1]。监督分类算法常用的包括高斯最大似然分类法、最小距离分类、K 近邻、决策树以及支持向量机等。

由于高光谱数据的波段数通常有200 多个以上，包含丰富的信息，但有很多数据冗余，在进行监督分类之前，需要对数据进行特征提取，选取包含信息量大的波段或者特征来降低数据的冗余程度。将原始高维数据投影到一个新的低维空间，从而获得原始数据的更精简的表示，即降维，可以有效减少运算量，提高运算速度。常用的降维方法包括主成分分析（PCA）、线性判别分析（LDA）、回归系数法、连续投影法等。

广东弓叶科技有限公司的高光谱分析软件的分类速度和精度，经实测已经不亚于国外商用高光谱分析软件。以PV、PS、PP、PE 和PC 等塑料材质的分选为例，对比效果如图1所示。

2.1.5 分类算法加速

由于高光谱数据包含3 个维度的信息，是个数据立方体，数据量很大，因此需要对算法进行优化加速，这样才能满足工业上实时分选的需求。分类算法是基于每个像素的光谱数据进行运算的，算法加速主要是通过并行运算进行加速。

NVIDIA GPU Computing Toolkit 提供了丰富的教程，可以根据CUDA 提供的矩阵运算应用开发库CUBLAS_Library 进行并行运算加速，也可以参考CUDA C Programming Guide，编写并行执行的核函数，直接操作GPU 进行并行计算加速。相比于CPU 的串行运算，GPU 的并行运算能够提高5～10 倍的运算速度。

并行加速的另一种平台是FPGA，FPGA 器件属于专用集成电路中的一种半定制电路——可编程的逻辑列阵。基于光谱相似性匹配算法，可以通过硬件描述语言（HDL）写入FPGA，实现硬件上的并行，其运算的速度更快。FPGA 的开发难度较大，并行占用的FPGA 资源较多，需要大容量的FPGA。

2.2 控制系统

高光谱分类算法是分选设备的基础，算法层实现以后，就是系统设计的工作，以实现垃圾分选设备。高光谱分选设备控制系统主要包括视觉系统、控制中心、输送系统、执行系统等。

高光谱视觉系统主要包括高光谱相机和光源。高光谱相机目前主要以进口品牌为主，例如芬兰的SPECIM，挪威的HySpex，比利时的IMEC 等。国产品牌主要是双利合谱、五铃光学等。高光谱相机按照光谱的范围可分为400 nm～1 000 nm的可见光波段相机和900 nm～1 700 nm 的近红外波段相机等。在近红外波段，常见待分选垃圾物料的光谱差异较明显，因此基于高光谱的垃圾分选设备大多使用的是900 nm～1 700 nm 波段的近红外高光谱相机。高光谱相机的主要性能指标包括波段数、光谱分辨率、像素分辨率和帧率等。波段数量和光谱分辨率决定光谱分类的效果，影响分类的精度。像素分辨率的大小，决定能识别的最小物体的大小。帧率大小定最终分选设备的最快运行速度。

高光谱相机使用的光源，通常为镍钨灯和卤素灯。其中，卤素灯是一种特殊的白炽灯，其工作原理是在灯泡内注入碘或溴等卤素气体，在高温下，升华的钨丝与卤素进行化学作用，冷却后的钨会重新凝固在钨丝上，形成平衡的循环，避免钨丝过早断裂。因此卤素灯泡比白炽灯更长寿。卤素灯的光谱范围可以覆盖350 nm～2 500 nm，满足高光谱相机的使用要求，是一种使用最广泛的高光谱相机光源。

高光谱分选设备的控制流程为控制中心首先通知高光谱相机进行数据采集，高光谱相机数据采集完成后，通知控制中心和机器人。控制中心接收高光谱相机采集的数据，同时机器人锁存该时刻输送线编码器的位置。然后控制中心通过高光谱分类算法，得到每个像素识别的物体类别，然后经过图像处理得到物体的轮廓中心位置和旋转角度，并将位置信息发送给执行机构。执行机构通过编码器实时跟踪待抓取物体的位置，当物体进入执行机构的工作范围后，通过吸取、抓取或者高速吹气的方式实现垃圾分选。除了高光谱相机进行材质识别外，还可以增加2D 彩色相机，利用深度学习对RGB 图像进行轮廓分割和材质识别。通过高光谱相机和2D彩色相机两者的综合判断，可有效解决特殊情况下物体的整体材质分类问题，例如表面贴有纸质标签的铁罐、表面覆盖塑料膜的纸板等。

高光谱分选设备的执行机构分为Delta 机器人、直角坐标坐标机器人或高速气阀分选设备。Delta 机器人和直角坐标机器人的末端可以安装吸盘或者夹爪，实现吸取或者夹取物料，这2 种执行机构的优点是可以同时分选多种物料，投放到不同的位置。基于高速气阀吹气的分选设备，优点是分选速度快，但是一台设备同时只能实现2 个类别的分选。

3 结语

该文介绍了基于高光谱的垃圾分选设备的国内外现状及关键技术。国内的垃圾分选企业处于刚刚起步的阶段，但部分公司在细分市场取得了可喜的进展。虽然目前高光谱相机的成本相对较高，但由于基于高光谱的垃圾分选设备能够实现精确的材质细分，相信随着技术的不断发展和市场的逐步认可，相信未来，基于高光谱的垃圾分选设备会广泛的应用于垃圾分选领域。