一种基于“图像+”识别方式的智能垃圾分类装置

天津理工大学工程训练中心 樊肖艳 司 阔 冯国庆 王 玉 张梓杨

垃圾分类已经成为了新时代的潮流，但分类起来费时耗力十分困难。本文设计了一款基于“图像+”识别方式的智能垃圾分类装置，简化机械结构设计并优化识别控制系统，提高垃圾分类图像识别的速度和准确率。经实践证明样机可实现高效地完成“可回收垃圾、厨余垃圾、有害垃圾和其他垃圾”等四类城市生活垃圾的智能判别、分类与储存，具备满载报警、播放垃圾分类宣传片等功能。该装置有利于人们进行垃圾分类，提高垃圾分类的处理效率，实现垃圾的无害化和资源化。

生态文明建设已经成为现今时代发展所必须考虑的问题，我们党在十四五规划中也强调了未来五年我国要实现生态文明建设的新进步。“低碳生活”的理念也越来越深入人心，街道、社区、家庭的垃圾分类已经成为了当前主流。但是由于垃圾的种类过于繁杂，“可回收垃圾、厨余垃圾、有害垃圾和其他垃圾”四类城市生活垃圾在分类过程中准确识别十分困难，错误的分类会严重降低垃圾的回收率、还会造成环境污染、降低空气质量等一系列问题。如果用人工进行分类，不仅需要大量的人力资源，还需要投入大量的精力，迫切的需要能够自主识别投放物的智能垃圾分类装置。金佩薇等人对当前垃圾的图像识别进行了相关研究介绍，指出由于神经网络无法全面提取该类别特征，图像识别时识别速度较慢且容易出错，曹高华等人对基于材质识别饮料瓶自动分类回收装置进行了研究，采用材质识别的方法，识别速度快，准确率高，可靠性强，受环境影响小等，但其识别种类少，难以分辨多种垃圾。本文智能垃圾分类装置采用图像识别与材质识别双重作用的识别方式，设计基于“图像+”识别方式的智能垃圾分类装置，有助于提高垃圾分类图像识别的速度和准确率。“图像+”识别方式将是未来解决精准垃圾分类难题的重要思路。

1 整体设计

垃圾投入投放口后，首先进行材质的判断，然后是垃圾尺寸的大小分析，若在两轮检测中仍然无法识别出垃圾的种类，摄像头将会采集图像与数据库中的图像特征进行对比，以大幅降低图像处理的工作负担，使得识别效率和准确率都得到提升。

所设计的智能垃圾分类装置的显示屏部分可完成以下功能：

（1）支持各种格式垃圾分类宣传视频或图片的播放；（2）投放垃圾时自主跳转为垃圾分类主页面，实时显示垃圾桶剩余容量，并显示所有垃圾种类名称、投放数量、任务完成提示等；（3）当垃圾箱里存放的实际垃圾数量超过垃圾箱容量的80%时进行满载提示。

智能垃圾分类装置主要工作流程图如图1所示。

图1 工作流程图

此外本设备还可以通过光电传感器实时监测垃圾的满载情况，并可以在显示屏幕上显示垃圾的种类、数量、是否满载等信息，以便于及时对垃圾进行相应的处理。

2 机械结构设计方案

装置尺寸，本装置共有四部分组成：整体框架、垃圾桶、识别机构、投放装置，机械结构模型图如图2所示。

图2 机械机构模型图

整体框架由铝材方管、角件以及螺钉、螺母搭建完成，上下呈两层，下层的主要功能是固定垃圾桶和投放装置；上层主要用于固定识别装置、显示屏、电池等设备，同时为了提高图像识别的准确率，降低环境光线影响，箱体上层四周用亚克力材质的板子做遮光处理并在内部安装环绕四周的LED灯条；顶盖用荷叶固定，双向打开，一侧用于检查和维修电路，另一侧用来观察和调整垃圾桶放过程中投放装置的运行状态。在整体框架的底部安装有四个万向脚轮，以方便移动整套装置。

在垃圾桶的底部设计有空心凸起与装置底座上的凸起配合，使垃圾桶可以随时拆装，方便垃圾的及时清理。

识别装置分为两部分即图像识别部分和材质识别部分，图像识别的openMV摄像头装于投放装置的正上方,便于图像的采集与分析，材质识别的电容传感器安装于投放装置后方，当垃圾进入投放装置时垃圾会与传感器直接接触从而进行垃圾材质的分析和大小的检测。

投放装置下端连接两个二自由度舵机，一个用于驱动投放装置水平旋转达到垃圾桶的上方，另一个驱动投放装置做俯仰运动完成垃圾投放的动作，投放装置的结构图如图3所示。

图3 垃圾分类装置模型图

垃圾通过上层框架侧面的投放口进入到垃圾投放装置中，然后在投放装置中完成垃圾种类的识别，并驱动舵机将垃圾投放到正确的垃圾桶中。实物样机如图4～图6所示。

图4 垃圾分类装置外观图

图5 垃圾分类装置内部结构图

图6 垃圾分类装置俯视图

3 软硬件系统设计

3.1 硬件系统

选用树莓派作为数据处理中心，完成垃圾的智能识别、自动分类和信息显示功能，选用的各种电器元件的类型及型号如下：

控制器：树莓派4B

显示屏：7in电容显示屏

摄像头：OpenMV4 H7 Plus

传感器：电感传感器、光电传感器

驱动装置：270°舵机、180°舵机

摄像头选用了可以进行神经网络训练的OpenMV4 H7 Plus高清摄像头，利用电感传感器可以准确的判断垃圾的材质是否为金属，通过监测能够识别金属的电感传感器的数量来分辨出金属的大小，从而分类出垃圾的种类。光电传感器用于检测垃圾桶的满载情况，并及时反馈给树莓派。驱动装置采用两个不同角度的舵机，底部与基座相连的是270°舵机，用以实现投放装置可到达每个垃圾桶的上方，180°舵机与投放装置相连，以实现投放装置的俯仰动作，将垃圾从投放装置倒进垃圾桶内。系统的设计方案如图7所示。

图7 系统设计方案

3.2 软件系统

一部分在OpenMV IDE上进行编写的图像处理程序，另一部分是在树莓派系统上进行编写的总控制程序。在图像处理程序中运用Edge Impulse神经网络进行模型数据的训练，然后将正确率达标的数据模型进行编程处理，使其能够完成垃圾种类的鉴别。

在树莓派上的总控制程序中使用Pygame模块编写了可以实现实时数据显示的图像化界面，控制显示屏播放垃圾宣传视频和垃圾分类界面，通过红外传感器检测满载情况并实时显示剩余容量，并与openMV建立通信，正确显示垃圾分类情况。

4 图像的采集与处理

由于垃圾的种类和材质过于复杂，虽采用了材质和大小对垃圾进行了初次筛选判断，图像识别也是其中非常重要的一个环节。采用将图像处理后的结果反馈给树莓派执行相应的动作。使用EdgeImpulse在线训练适用于OpenMV的神经网络模型，主要分四个步骤：数据集采集、上传、训练以及部署。

基本的训练流程如下：

（1）对不同种类的垃圾进行图像采集。打开OpenMV IDE选中数据采集模式，然后将摄像头对准垃圾即可对垃圾进行图像的采集。同时为了增加图像识别的准确率最好在光线均匀且背景单一的条件下进行拍摄，每一个特征不同的垃圾从不同的角度采集150-200张照片。

（2）对采集好的模型进行学习训练。首先将采集好的图像信息按照垃圾的种类即可回收垃圾、厨余垃圾、有害垃圾、其他垃圾分别上传到Edge Impulse的数据库中，每一种垃圾可以随机分出20%用于模型的检测。然后进行模型的学习训练，操作者可以按照自己的需求调整训练的各种参数，甚至可以自主修改模型训练程序以满足相应的需求，在完成训练后生成特征分布模型。

（3）模型检测。将预留的20%图像用于模型的检测，观察检测结果，若结果满足要求，即可将模型训练好后导入到OpenMV4 H7 Plus中，否则需要重复步骤（2）直到满足要求为止。图像处理的流程图如图8所示。

图8 图像处理的流程图

5 实验过程及结果分析

在本次实验中我们对以下几种常见的生活垃圾垃圾进行采集数据集：

可回收垃圾：易拉罐、小号矿泉水瓶；

厨余垃圾：香蕉皮、苹果块、菜叶、橘子、橘子皮；

有害垃圾：电池（1、2、5号）；

其他垃圾：砖瓦陶瓷、烟头；

共采集照片1100张，其中可回收垃圾400张，厨余垃圾400张，其他垃圾300张，有害垃圾0张（由于有害垃圾可通过材质识别分辨出，所以在此不做图像采集）。特征点模型如图9所示。

图9 特征点模型图

模型的检测结果如图10所示。

图10 模型检测结果图

在实验中，采用电感传感器对电池和易拉罐进行分类，电池和易拉罐的识别率几乎可以达到100%，而且识别速度非常快，图像识别虽然可以识别出多种垃圾，但却很容易受到外部环境的影响使得准确率远不及材质识别。

准确性测试结果如表1所示，从实验结果中可以得出，只使用材质识别的有害垃圾分类正确率可达到100%，只采用图像识别的厨余垃圾、其他垃圾的正确率只用88%和82%，而采用“图像+材质”识别的可回收垃圾识别正确率可达有94%。

表1 准确性测试结果

智能化的发展是当今时代的热点问题，给予机器更多的“感官”使其更智能，“图像+”的识别方式也受到这样思想的启发，让机器不仅拥视觉，而且拥有触觉、听觉、嗅觉等。本文所设计的一种“图像+”的智能垃圾分类装置，符合未来智能机械的发展方向，实践证明这种识别方式是可行的，有助于人们解决对垃圾分类的困扰，另一方面还可以降低垃圾分类的成本，提高对垃圾分类的处理效率。