智能采摘机器人自动化系统研究——基于交互式视音频技术

焦文渊

(武汉船舶职业技术学院,武汉 430050)

0 引言

随着现代化农业技术的发展,采摘机器人被越来越多地应用到农业生产过程中;但由于采摘机器人的技术还尚未成熟,在作业过程中常常会造成果实的破损,从而影响采摘作业质量。采摘机器人实际作业过程中,由于受作业环境的干扰,通信质量较差,影响了机器人作业的远程监测和控制。如果在采摘机器人控制系统上引入视音频交互系统,并通过改善通信质量来提高视音频的传输效果,将有效提高采摘机器人远程监测和控制的质量,进而使采摘机器人具有较高的作业质量和效率。

1 基于交互式视音频技术的采摘机器人控制系统

随着计算机和移动互联网技术的发展,大学英语教学也在不断地进行改革,越来越多地使用视听说教学方法,自主学习和英语综合能力成为英语专业人才培养的关键。以前在传统教学模式下,视听说互动只是学生和老师机械式的互动,而交互式视听说教学赋予了传统视听说教学心得意义。教师与教材、学生与教材、教师与学生,学生与学生之间都可以互动,通过计算机和移动互联网技术,紧密地结合在一起。

在采摘机器人的设计过程中,控制系统和远程监测系统的设计是关键,参考交互式英语视音频技术,可以在采摘机器人设计过程中设计实时监测系统,对播种机的作业情况进行监测,然后采用语音识别声控的方法对作业机器人的姿态进行调整,实现采摘机器人作业状态的快速调整,以提高作业效率。采摘机器人作业过程如图1所示。

图1为第十三届寿光国际蔬菜科技博览会上展出的一款番茄采摘机器人。由于番茄属于易损的果实,进行采摘时可以通过远程监控的方法实现作业质量的实时监测。通过对原来控制系统的改造,当番茄破损时,远程监测系统看到后可以对采摘机器人发出声控指令,以快速进行姿态调整,顺利完成果实采摘作业。

为了实现采摘机器人的声控模式,需要引入嵌入式语音识别系统。在进行识别时,首先要对语音样本数据进行学习和训练,形成机器人声控系统的模式库。声控的识别第2步是识别和测试,在进行识别时可以结合语音识别模型和技术,对音频进行参数特征提取,然后通过设定阈值、参考模型与准则、模型比较得到相应的结果。声控语音识别流程如图2所示。

图2 声控语音识别流程图Fig.2 The flow chart of voice-controlled speech recognition

图3 采摘机器人声控语音识别流程Fig.3 The flow chart of voice-controlled speech recognition for picking Robot

2 采摘机器人语音识别和通信系统优化

在进行语音识别和声控设计时,一个很重要的函数是子程序中的BSR_GetResult()。利用该函数可以读取语音识别模型数据库中的情况,并根据声控智能识别情况来返回数据,通过判断后得到一个数值。当命令识别失败时,res=0;在识别器没有初始化、识别器识别失败时,会产生res=-1;识别不合格时,res=-2;识别出来时,返回命令的序号。

在进行采摘机器人语音指令识别时,首先要对采摘机器人进行语音识别训练,训练之前要打开采摘机器人作业实时监测系统。当遇到作业质量差的情况时,通过播放语音的方式来发布用户指令;在识别不出来的情况下利用程序判断出是否超时,当存在超时需要退出系统;如果识别出来语音指令,则将指令返回给主程序,以实现采摘机器人的声音控制。

为了提高监控视频和声控指令的传播质量、降低信道衰落,可以引入OFDM技术,以实现较高速度的传输。MIMO技术可以在空间中产生独立的并行信道,对于信息传输速度的提升具有重要的意义。在MIMO系统通行过程中,通行方式采用了多个反射机,同时接收端也采用了多个接收机,从而增大了信息通道的容量,更加有利于视音频的传播。根据香农定理,信道容量可以定义为

C=Blog2(1+S/n)

(1)

其中,B为信号强度,S为传播距离。MIMO系统天线和普通通信系统的天线有所不同。MIMO系统采用了阵列天线,通过改变列元距离来保证接收端的不相关性,通过增益合并将信号加权。其原理如图4所示。

图4 MIMO系统通信原理图Fig.4 The communication schematic diagram of MIMO system

图4中,如果将天线S1与Y1间距离设为h11,Sn与Ym间距离设为hnm,则对于4×4的MIMO通信系统,距离传输矩阵可以表示为

(2)

假设系统的发送信号为X,加性噪声为n,则系统的接受信号为

Y=HX+n

(3)

MIMO通信系统可以将数据流分为M个,M的数值需要小于或者等于最小天线数,则MIMO系统的信道容量可以表示为

C=MBlog2(1+S/N)

(4)

OFDM的信号包含了多个调制的子载波。假设子载波的个数为N,OFDM系统的符号宽度为TN,每个载波的数据符号为X(k),k=0,1,2,...,N-1,载波频率为fc,则第k个子载波的频率为fk=fc+k·Δf。其中,Δfc为子载波的频率间隔。1个OFDM信号的表达式为

(5)

假设子载波互相正交,则公式可以写成

(6)

OFDM符号子载波的正交性频谱是一组sinc函数,零点在Δf的整数倍位置上。信号频谱如图5所示。

图5 OFDM信号的频谱Fig.5 The spectrum of OFDM signal

OFDM系统的调制和解调可以通过离散傅里叶变换和傅里叶逆变换来实现。随着移动通信技术的高速发展,手机的功能日益强大,使其作为远程控制的工具成为可能。在采摘机器人作业过程中,管理员可以通过手机对采摘机器人的作业情况进行监测,并通过语音指令控制的方法对采摘机器人进行控制,从而实现采摘机器人的智能化操作。

3 智能采摘机器人自动化系统测试

基于远程监测和声控技术,利用通信网络可以对采摘机器人进行远程控制。为了降低因时间延长造成的控制精度降低,可以采用反馈传递时间延迟的方法。其主要原理如图6所示。

图6 远程监测和声控控制系统原理图Fig.6 The principle diagram of remote monitoring and acoustic control system

远程管理员端和虚拟机器人进行连接,可以利用Java来构建。当远程管理员发送声控信息给采摘机器人时,信息被传送到采摘机器人端,同时还传送到虚拟机器人端,保证采摘机器人和虚拟机器人的动作是一致的;管理员可以通过对虚拟机器人的控制,从视觉和触觉效果上决定下一步的指令发送,可降低采摘机器人的错误动作造成的水果和蔬菜的损失。

按照正常的语音视频通信,声控信号的强度如图7所示。工作时,发送一条语音指令,采摘机器人将在特定的时间识别出语音的最强信号;但受到采摘作业环境的影响,信号往往不能正常传送,会有时间延长。采摘作业环境音频信号传输如图8所示。

图7 正常信号传输示意图Fig.7 The schematic diagram of normal signal transmission

图8 采摘作业环境音频信号传输Fig.8 The audio signal transmission in picking environment

受到采摘作业环境的影响,信号会产生延迟。当远程端发送声控信号时,采摘机器人可能接收不到完整的信号而造成语音信号识别不准,采用MIMO通信系统则可以有效地增强信号传输强度,如图9所示。

图9 增强后信号传输示意图Fig.9 The enhanced signal transmission diagram

信号进行增强之后,可以降低信号传输的时间延长,提高信号传输质量;当远程端发出声控指令后,采摘机器人可以有效并准确的识别控制指令,从而提高控制的精度。

为验证基于交互式视音频技术的智能采摘机器人自动化系统的可靠性,以采摘机器人语音信号识别和动作执行的准确率为测试目的,对系统进行了测试,结果如表1所示。由测试结果可以看出:采摘机器人语音信号识别准确率在98.5%以上,动作执行的准确率在98.9%以上,准确率较高,可以满足采摘机器人高精度采摘的设计需求。

表1 信号识别和动作执行准确率Table 1 The accuracy of signal recognition and action execution

4 结论

为了提高采摘机器人的控制效率和控制精度,模仿英语交互式视音频教学技术,在采摘机器人控制上引入了交互式系统。采摘机器人作业过程中,远程端通过对采摘机器人的实时监测,可以通过语音发出控制指令,调整采摘机器人的作业姿态,进而提高其作业质量。为了验证方案的可行性,对采摘机器人语音的识别准率和动作执行准确率进行了测试,结果表明:采摘机器人具有较高的控制精度,可为采摘机器人的远程控制提供参考。