黄爱清,彭翠玲,钟田锋,潘仲宇,刘双印,2,3,罗智杰,2,3
(1.仲恺农业工程学院信息科学与技术学院,广东 广州 510225;2.仲恺农业工程学院智慧农业工程技术研究中心,广东 广州 510225;3.仲恺农业工程学院广州市农产品质量安全溯源信息技术重点实验室,广东 广州 510225)
中国现为世界上最大的蔬菜生产国,蔬菜生产已成为农业产业的第二支柱,是广大农民的主要收入来源[1]。果蔬加工也是农村经济的重要组成,已成为我国优势明显、具有国际竞争力的农产品加工产业[2]。同时,随着人们生活水平的提高、生活节奏的加快,对果蔬的日常需求量也在不断增加,果蔬鲜切机应运而生,在国内外已被广泛应用于胡萝卜、马铃薯、苹果等果蔬的加工[3-5]。
近年来,我国果蔬加工业在技术水平和规模化生产方面取得了显著的成绩。目前市面上的果蔬机大多数为功率大,体积大,结构复杂的机型,且只能处理特定的果蔬种类,不能实现一机多用,不适用小规模果蔬加工,无法实现远程控制果蔬切割机器及查看实况[6-8]。为了进一步提高果蔬切割效率,便于人们使用,本文基于物联网实现果蔬鲜切系统,利用Web 网页的可视化设计了以STM32F103C8T6 为控制核心实现机械臂控制抓取果蔬进行切割,并使用STM32F1 串口与网页实时通信,以期便捷地完成果蔬切割,结构比现有果蔬切割机简单、紧凑,真正实现果蔬切割自动化、智能化和高效率[9]。现有果蔬鲜切系统局限于未实现图像识别功能与缺少云平台支持,无法对果蔬进行准确切割,保证切割精度,缺乏标准化处理,难以对农业大数据进行分析和挖掘,不能灵活地实现全流程管控[10-12]。
本文设计的果蔬鲜切系统的创新点主要体现在:①采用智能化的软硬件平台,提供安全可靠的自动控制功能;②采用可拓展的控制模块以及机械臂,具有很好的稳定性和扩展性;③将物联网技术融入到果蔬鲜切中,果蔬鲜切系统通过服务端通信实现实时收发控制指令功能,采集果蔬鲜切的相关信息,经过处理得出抓取效率、果蔬图像等参数,通过互联网发送至客户端,用户可以实时查看果蔬情况。不仅节省了时间,还避免了由于人员误操作带来的损失。本文研究设计的果蔬鲜切系统已形成样机并进入实物测试阶段,可根据用户需求对果蔬进行切块,对使用场地无特殊要求,可应用于日常生活中。
本系统设计主要根据果蔬自动切割原理,STM32F1 的串口与服务器通信实时控制指令原理,设计硬件和Web 网页端,在自动化和机械化设计上能达到既定目标。果蔬的切割以及移动是设计的关键,首要实现切割均匀,其次是界面简洁易于操作。本系统可分为果蔬自动切主控中心模块、摄像头采集图像与传输、机械臂抓取果蔬模块和自动切割果蔬模块。
本文的多功能鲜切系统为基于果蔬自动切主控中心,能够实现果蔬处理自动化。该系统的主要工作原理和工作流程分别如图1 和图2 所示。首先用户于前端页面创建切割订单,果蔬自动切主控中心将采集到的实时图像通过以太网传输给服务器,再由服务器传输数据至PC 端;PC 端对数据进行分析后,通过服务器和以太网将数据传输回果蔬自动切主控中心,果蔬自动切主控中心把分析后的数据通过串口传输到机械臂中控系统;机械臂中控系统通过逆运动分析控制机械臂抓取果蔬置于刀下,再通过控制步进电杆上的刀片对果蔬进行切割。
图1 果蔬自动切装置工作原理
图2 工作流程图
本文研究提出的硬件平台控制系统框架如图3所示。本设计采用了STM32F103C8T6 作为该系统的控制核心,应用STM32F1 的串口与服务器通信实现实时收发控制指令;运用了逆运动学分析解析接收的指令转换为PWM 占空比;使用定时器发送机械臂的占空比实现控制机械臂按相应的位置运转。
图3 硬件平台控制系统框架图
硬件电路设计是本系统硬件平台的重要组成部分和实现机械臂精准抓取的基础,硬件电路设计的合理性直接影响果蔬鲜切系统硬件平台的性能。因此,根据本次硬件平台的设计需求,由杭州众灵科技有限公司研发的一款集PWM 舵机控制、总线设备控制和使用串口控制方式的STM32 控制器以及机械臂作为硬件的组成部分。STM32F1 作为控制驱动中心,承担控制的全过程。
2.1.1 机械臂的控制
本系统使用的舵机主要组成部分为外壳、减速齿轮组、电机、电位器和控制电路等。本套机械臂使用了相同的6 个舵机协同运作,通过所编写的程序控制STM32 发送有效的PWM 波信号,并通过接收相应的指令数据与使用逆运动学分析实现对各舵机方向、角度、速度的转换,从而实现机械手的指向移动与抓取,其机械臂如图4所示。
图4 机械臂
2.1.2 逆运动学分析
系统使用几何逆运动学分析对机械臂进行控制。机械臂可在三维工作活动范围抓取物品,将三维空间简化为2 个二维平面,降低STM32 控制系统的运算量。水平二维空间以舵机1 水平转动,运用机械臂总长与舵机1 转动角度可计算出水平位置的坐标系。垂直二维空间是以舵机1、舵机5 和舵机6 作为定点,其他舵机作为动点,其中θ0,θ1,θ2是各关节的角度,未知量。P(x,y,α)是末端执行器的位姿表示,x和y是在OXY 平面的坐标,α是末端执行器的朝向。由图5 的x,y轴坐标列出方程
为了方便计算,令
由上式可解
同理可求得其他2 个角度,由方程得到2 个解,该解的机械臂几何关系如图5 所示。
图5 机械臂几何关系图
机械臂通过逆运动学到达指定坐标位置后,通过旋转舵机5 以及舵机6 控制抓取以及松开果蔬。
2.1.3 ESP8266模块通信
ESP8266 系列模组是安信可公司采用乐鑫ESP8266 芯片开发的一系列WiFi 模组模块,硬件接口丰富,可支持UART、IIC、PWM、GPIO、ADC 等,适用于小量数据的无线传输[13]。因此本系统使用ESP8266 进行传输控制指令,通过ESP266 连接服务器并使用AT 指令透传以及接收控制指令。
2.1.4 硬件的控制流程
主程序的设计是控制本系统6 路舵机机械臂移动和抓取的关键。在整体上,主程序协调各子函数的运行,将各子函数联系起来,调用子函数执行某项功能并向子函数传递必要参数等。主程序设计主要包括初始化时钟、必要的全局变量、IO 口和定时器等,并调用处理数据的子函数实现接收相应的数据,对机械臂进行精准控制。主程序流程运行如图6所示。
图6 流程运行图
2.2.1 软件框架设计
系统采用Maven 和SpingMVC 搭建后台项目,各模块相互独立,通过导入依赖包和Dubbo 发布接收服务,减弱各模块之间的耦合性,系统架构如图7所示。
图7 系统架构图
在前后端分离的设计模式下,前后端相互独立,重点为提升用户体验感和提高系统性能。前端负责页面交互和数据显示,后端负责处理业务逻辑和提供数据,职责分工明确,从而减少运营成本[14]。为了改善传统Web 开发中用户界面、数据可视化显示、数据通信、DOM 以及渲染数据等难题,系统在前端开发中采用ElementUI、Echarts 和Vue.js 框架,有利于处理页面交互和解决逻辑错误。
后端开发采用了Java SringCloud 微服务分布式架构,用户通过电脑就可以访问到平台首页面,实时查看当前系统中果蔬的相关数据,包括数据报表、实时监测的视频和图片等。后端调用流程如图8 所示。该系统运行速度快,操作简单,易于维护和扩展。
图8 后端调用流程图
2.2.2 软件功能实现
系统软件功能设计结合科学的果蔬切割方法和程序的易应用性、易维护性组成。果蔬鲜切系统主要由4 个操作模块组成,即数据管理模块、系统管理模块、用户中心模块和数据交互模块,每个模块包括若干个子模块。软件系统功能设计如图9 所示。
图9 系统软件功能设计图
1)数据管理模块。数据管理模块实现了果蔬信息可视化功能。信息可视化将果蔬切割所需的基础数据表制作成实体类,实现添加、删除、修改、查找等基本功能,并进行数据筛选和统计。该模块采用Echarts 组件实现数据可视化展示,为管理员提供了便捷易懂地了解果蔬切割订单数据内容和趋势的方式。
2)系统管理模块。该模块是管理系统数据库的途径,主要对权限、果蔬、用户、订单进行管理。权限管理可以执行的功能是将角色指派给用户,并赋予用户使用的权利。通过对路由管理的动态定制,实现了对路由的分级管理、权限管理和路由定制。果蔬管理可以查询、添加、删除和更新果蔬的信息。
3)用户中心模块。该模块实现了用户个人信息管理和创建订单的功能。用户可通过已注册账号登录认证进入系统的用户中心创建订单,并对该账号的个人信息进行修改。
4)数据交互模块。该模块提供硬件、前端与后端通信功能。前端用户界面采用Vue 单页模式设计方案,页面间的数据交互使用VueX,Axios 用于与后端的数据通信和微服务调用。后端使用Netty 框架编写基于TCP 长连接的socketServer 服务端,并设置监听端口,硬件通过客户端发送标识符建立连接。当用户通过页面下达订单,就通过该通信服务端与相应的模块进行数据交互,并下达任务指令,如图10 所示。
图10 服务调用流程
2.2.3 页面设计
为了简便用户操作,在首页的界面显示了当前订单数和订单处理信息,用户可在当前页面直接生成订单,并查看订单中果蔬的处理过程。页面背景与内容、排版的协调性强,增加了系统的可读性,如图11 所示。
图11 首页界面
可视化页面采用Echarts、DataV 开源库进行开发设计,优化了用户的体验感,便于直观、多维度地向用户展示果蔬订单数据,界面如图12 所示。
图12 可视化页面
基于物联网的果蔬鲜切系统研制后,进行了系统的性能测试。检测摄像头、硬件外设与控制器完整接线以及各硬件响应信号和输出是否正常,物联网网关各程序运行,网页设置硬件运行等,确保图像、数据传输到网页信息处理平台的及时性与完整性。设定切割物料为胡萝卜、青瓜,如图13 所示。切割块数为5 块,测量样品中机械臂抓取速度以及图像传输流畅度。
图13 不同切割物料的抓取效果图
果蔬鲜切系统的机械臂抓取速度如表1 所示。
表1 机械臂抓取速度 s
由表1 可知,机械臂的抓取速度较快,可以满足人们对果蔬切割的需求,速度快于人工抓取切割,符合当代快节奏生活的要求。
由图14 所示,果蔬鲜切系统设计的监控系统性能良好,能准确地采集果蔬图像,并实时显示于页面中,具有时效性。
图14 网页监控
本文是针对我国果蔬产量大、用户生活需求而设计的基于物联网的果蔬鲜切系统。硬件系统通过循环接收串口网页传来的交互数据,控制PWM 输出信号,设定多轴机械手各转向机构的操作,从而实现机械臂的运动以及抓取果蔬进行切割。该系统借助网页可视化提高了传统式控制的智能性,具有优良的控制性能。根据现有果蔬鲜切系统存在的不足,后续将进一步地探讨切片的精确性,对切片的大小进行分析,并对果蔬移动速度进行检测,为提高切割尺寸和截面形状精度提供理论依据。