基于计算机视觉的轮椅跟随系统设计

2021-05-26 03:13唐达明周莹亮戴庆瑜
计算机工程与应用 2021年10期
关键词:轮椅特征目标

李 艳,唐达明,2,周莹亮,戴庆瑜

1.陕西科技大学 电气与控制工程学院,西安710021

2.陕西农产品加工技术研究院,西安710021

随着人口老年化逐渐加剧,老年人的看护需求快速增加。在医院、养老院和一些医疗条件好的看护机构,老年人和残疾人的数量多,生活自理能力较差,需要大量的看护人员来进行看护,由于看护任务大,使得看护很难做到面面俱到,因此如何保障老年人和处于康复阶段的人群的生活质量迫在眉睫[1]。对于他们来说,久坐和长时间的躺卧均不利于身体健康,他们不能长时间行走,为了更快地恢复身体又需要经常锻炼,他们需要一种不仅能够实现日常代步功能,而且能够在锻炼身体的时候对他们的安全进行监护,当身体锻炼结束后能得到及时休息的智能辅助工具,因此设计一款具有目标自动跟随功能的轮椅显得尤为重要[2]。

目前的跟随轮椅主要使用两种传感器,一种是距离传感器,另一种是视觉传感器。与传统的距离传感器如雷达[3]、激光[4]、红外线[5]等相比,计算机视觉传感器具有以下优点:(1)不会受系统中其他传感器的干扰而影响检测精度;(2)具有与被观测的对象无接触、直观快速和测量范围广的优点;(3)具有对特定目标识别的优点,能够同时采集视野中的多个信息用于各种功能的使用,例如检测摔倒、回传图片及环境信息等。因此目前对基于视觉的轮椅自动跟随控制方式开展了大量研究,并取得了丰硕的研究成果[6]。Μotokucho 等人[7]设计并实现了一种基于视觉的动力辅助轮椅跟随控制系统,其采用光流矢量提取前方目标人员腿部的特性,进而确定目标人员相对于轮椅的位置,完成跟随,但是当周围存在较多的干扰人员时,会造成目标人员的腿部信息被严重遮挡,只能应用于简单的环境中。包加桐等人[8]设计了一种电动轮椅跟随目标人物移动的控制系统,利用TLD(Tracking-Learning-Detection)跟踪算法跟踪视频图像中的目标人员,同时结合深度图像,得到目标人员位置信息,但是由于只使用单一的颜色特征作为目标的跟踪特征,在室外环境中目标跟随的过程容易受到光照和其他相似目标的影响,造成目标的丢失问题[9]。

目前,国内外学者对基于视觉的轮椅自动跟随控制方式开展了大量研究,但这些控制方式大多需要轮椅用户在大型室内环境或室外简单环境中他人的引导或陪伴。由于轮椅目标跟随控制方式的复杂性,仍存在一些问题需要继续研究和探索:(1)大多数的轮椅跟随系统需要手动初始化待跟踪的目标,这样降低了系统的便捷性,而且在一定程度上增加了人为误差;(2)轮椅目标跟随系统采用单一的特征作为目标跟踪特征,当出现外观相似的目标时,容易造成目标跟踪失败,而且在复杂背景下,容易对目标跟踪的准确性造成一定的干扰。

针对以上问题,本文设计的轮椅跟随系统围绕如何在光照变化、目标遮挡以及复杂背景下提高传统目标跟踪算法的跟踪精度和准确率,进而应用于嵌入式设备中,实现轮椅对目标稳定、安全地跟随。

1 轮椅的目标检测与跟踪算法

由于传统的目标跟踪算法无法自动完成目标的初始化,一般需要手动选取视频序列第一帧的目标图像作为搜索框,因此传统的目标跟踪算法属于半自动的跟踪算法,而且在一定程度上手动初始化目标的搜索窗口也会造成人为误差。基于深度学习的目标跟踪算法需要前期进行大量的训练,在目标发生变化时需要重新进行训练,且需要性能强大、计算速度较快的计算机进行实现,再加上在实际应用中需要高性能的处理器来部署算法,增加了工程应用的成本。因此本文提出的轮椅目标检测与跟踪算法,首先利用目标检测算法对目标进行初始化,当检测到目标后目标检测算法自动失效,再启动目标跟踪算法,当目标长时间丢失时跟踪算法失效,这时又重新启动目标检测算法,这样既避免了目标的丢失,又避免了手动初始化搜索窗口的弊端。

1.1 自适应高斯混合建模的背景减除法

背景减除法[10]是一种通过数学模型,先建立背景模型,然后再进行差分运算,最后完成目标检测的方法,因此背景模型的好坏决定了目标检测能否准确。高斯混合模型(Gaussian Μixture Μodel,GΜΜ)是构建背景模型常用的方法之一。高斯混合模型通过对各像素点的颜色值变化与高斯概率分布的匹配情况,完成对权重、均值和协方差等参数的更新,使得背景像素值服从某几个高斯分布函数,实现聚类分布,从而实现对背景的建模[6]。

高斯混合模型在参数更新时,首先对各像素点均值以随机数0~255 进行初始化,赋予各像素点权值w=1/k,通过判断图像变化后的像素值xt与高斯概率分布的匹配情况,进行相应的参数更新。匹配判断的条件为:

式(1)中,当D 取2.5时一般效果最好,σi,t-1为协方差,μi,t-1为均值。

如果得到的分布能够匹配,则对权值参数以如下规则更新:

式(2)中,α 为权值的学习速率,0 <α <1;ρ 为参数更新速率,如式(5)所示:

其中,t 时刻第j 个高斯分布函数η,如式(6)所示:

如果得到的分布部分无法匹配,则保持均值和标准差的值不变,其权重更新方式如式(7)所示:

当分布均未达到匹配条件时,对wi/σi进行替换,赋权重较小值w=1/10,标准差σ=6。

当参数更新完成后,以ri=wi/σi进行排序,并归一化权值,之后对当前帧和构建的背景模型进行差分运算,得到前景目标[11]。

混合高斯模型通过对每个像素构造多个模型,可以对复杂情况下的背景模型实现有效的构建,但该算法对构建模型的时间消耗过长,并且学习率α 设置的不同将直接影响目标的检测结果。同时α 的设置需要根据背景复杂度的不同进行手动调整,而自适应目标检测算法能够根据背景的变换,实时更新背景模型,以适应外部环境引起的变化,不需要手动调整学习率α,因此将两者进行结合,提出了自适应高斯混合建模的背景减除法。针对高斯混合模型存在的问题进行如下的改进:

(1)引入参数ck来记录匹配第k 个高斯分量的观测值个数,高斯分布个数为k。

首先,采用包含最大后验概率P( ηk|xk)的高斯分布权值,利用迭代的方法对权重进行更新:

然后,利用qk( xt)对观测值以及高斯分布函数进行更新:

最后,完成对均值和协方差的更新:

其中,ηk为高斯分布函数,σk为协方差,μk为均值,α为权值的学习速率。

为了验证本文提出的算法,分别对本文算法,以及将学习率设置为0.05 和0.20 时的高斯混合模型的背景减除法分别进行仿真,并且对仿真结果进行对比分析,仿真结果如图1~图3所示。

图1 学习率为0.05时高斯混合算法处理结果

图2 学习率为0.20时高斯混合算法处理结果

图3 自适应高斯混合模型算法处理结果

由图1~图3 可以看出,当学习率设置为0.20 时,高斯混合背景建模的背景减除法构建的背景相比于在学习率0.05时更加清晰,但得到的目标缺失了局部边缘重要的信息,造成目标检测的结果不佳。而自适应高斯混合建模的背景减除法所构建的背景更加清晰,包含的信息更加丰富,且背景不存在当前的目标残影,使得检测到的运动目标轮廓更加清晰。

改进算法与原算法对图像处理的时间对比如表1所示,改进算法相比于高斯混合背景建模的背景减除法,不需要根据环境的不同设置学习率,且处理速度有一定的提高。

表1 改进算法与高斯混合算法处理时间对比

1.2 基于粒子滤波的TLD跟踪算法

TLD 跟踪算法把传统的目标跟踪算法与检测算法相结合,并通过学习模块来对跟踪模块中的结果进行评估,从而对检测模块中的分类器不断更新,实现了对目标的长时间跟踪,并能够在一定程度上克服目标姿态的变化问题[12]。TLD算法由跟踪器、学习器和检测器三部分构成,但其跟踪模块使用LΚ 光流法采用单一的灰度特征对目标进行跟踪,易受到光照干扰和遮挡因素的影响;并且检测器在扫描检测的过程中,会计算大量与目标无关的信息,导致计算量增大,使检测模块的计算速度变慢[13]。

针对上述问题,提出了一种基于多特征融合的粒子滤波算法与TLD算法相结合的新算法来对目标实现跟踪,减少了TLD 算法中单一灰度特征在背景复杂和有相似目标情况下的干扰,同时融合马尔科夫模型的方向预判算法对检测模块进行改进,减少了对扫描窗中大量不包含目标的计算,从而避免了不必要的大量计算对资源的消耗,提高了检测模块的计算速度。算法的总体架构如图4所示。

图4 改进的TLD算法结构框图

本文的改进算法将粒子滤波跟踪算法代替TLD跟踪算法中的跟踪器,原先的TLD 跟踪算法中的跟踪器只采用单一灰度特征难以对目标形成稳定的跟踪,因此本文采用的方法是将目标的颜色特征、纹理特征和HOG特征进行融合,利用多特征融合完成对目标的稳定跟踪。首先使用表示目标与候选区域相似性的Bhattacharyya系数对目标的颜色特征、纹理特征和HOG 特征进行各自似然函数求解,公式如下:

其中,ρ 为Bhattacharyya式的系数,系数越大,说明目标模型与候选目标的相似度较大。将式(14)代入似然函数得到下式:

其中,Mi-1表示要跟踪的目标,即上一帧的跟踪目标,Hi表示此时的候选目标。当式(14)似然函数计算的结果越大时,说明目标Mi-1与候选目标Hi的相似性较大。同理可得三种特征分量的似然函数如下:

在场景变换较大的目标跟踪过程中,对目标与背景差异较大的特征赋予较高的权重,使用权重较大的特征对目标进行跟踪的可靠性更大。

因此,在跟踪过程中,随着场景的变化,要对三种特征定义多特征集F=( f|f ∈( c,t,h )),计算不同特征下目标模型与候选目标模型的相似度以及与目标和背景的相似度,融合权重wf,进而得到总的目标的相似性,如式(17)所示:

利用特征区分度因子定义归一化权重为:

以单变量非线性系统为模型,完成仿真测试,如式(21)所示,粒子初值x0=0.1,迭代次数t=100,粒子数N=500,过程噪声Vk和观测噪声Wk均值和方差设为0和1:

算法仿真对比图如图5 所示。图5(a)为单一特征粒子滤波算法和多特征融合粒子滤波算法的均方根误差对比,仿真结果表明,多特征融合的粒子滤波的均方根误差更小;图5(b)为粒子滤波的状态估计值与真实值的比较,与基于单一特征的粒子滤波算法相比,多特征融合的粒子滤波算法的状态估计值更接近于真实状态,与系统的拟合效果更好,仿真结果说明多特征融合的粒子滤波算法精度更高。

图5 算法仿真结果对比

在将粒子滤波跟踪算法代替TLD跟踪算法中的跟踪器后,同时改进TLD的检测模块,在检测模块中融合马尔科夫模型方向预判算法,能够根据上一帧目标的运动方向,预测出当前帧目标可能出现的区域,并选取合适的扫描窗对目标可能出现的区域进行检测,提高检测模块的工作效率。因此本文改进算法的基本步骤如下:

(3)计算特征权重。根据当前粒子分布,利用式(22)状态转移矩阵,可计算得到特征的权重,并归一化。

其中,R( St=1) 表示在t 时刻目标向右运动的概率,R( St=-1) 表示在t 时刻目标向左运动的概率。如果在t 时刻目标向右运动,则R( St=-1) =0;如果在t 时刻目标不发生运动,则R( St=-1) =0.5。

(4)进行粒子重采样,估计待跟踪的目标当前帧的状态。

(5)使用上一步产生的正负样本来构建目标模型,初始化跟踪器和级联分类器并进行训练。

(6)利用改进的检测模块中具有方向预测的扫描窗口对可能目标的窗口进行扫描,确定可能包含目标的扫描窗。

(7)综合判断跟踪器和检测器的结果。判断目标在当前帧中是否被成功跟踪,对目标模型进行在线更新并判断是否需要对获得的正负样本进行学习。

(8)学习器分类训练结果。若综合模块认为需要对检测器进行进一步训练,则学习器利用新的正负训练样本对级联分类器训练并更新相关参数。

(9)显示当前帧的跟踪结果,继续执行(2)~(8)的步骤直到跟踪结束。

在实际应用中,目标可能处于复杂多变的环境中,如图6 所示,在室外场景存在光照变化、树叶摆动以及行人的复杂情况下,对本文提出的目标跟踪算法与粒子滤波算法以及TLD算法进行仿真对比。实验中粒子数目为100,设置优先级阈值为0.95。

三种算法在刚开始存在光照的情况下都能跟踪到目标,如图6(a)所示;但当目标开始前进,迎面过来行人干扰且发生局部遮挡的情况下,其他两种算法对目标的跟踪发生了漂移现象,产生大量偏移目标的粒子,导致目标跟踪的准确性下降,而本文采用的算法依旧能够跟踪到目标,如图6(b)和图6(c)所示;在光照发生变化与目标全部遮挡的情形下,本文提出的算法采用多特征融合与马尔科夫预测方法能够实现对光照变化和遮挡情况下的目标跟踪,而其他两种算法在目标受到完全遮挡的情况下,粒子分布过于分散,因此发生了目标丢失问题,导致目标跟踪失败,如图6(d)和图6(e)所示。

图6 本文算法与其他算法在复杂情况下仿真对比图

如图7 所示,图中数据为通过随机采样获得的100个粒子中部分粒子的坐标值以及权重值,权重的范围为0.982 4~0.991 8(图中为经过归一化处理后的数值,真实数值需要再乘上粒子的总数N=100),可以看出权重都大于设定的阈值0.95,保证了粒子滤波在跟踪目标特征时的准确性。

图7 粒子坐标和权重的采样值

如图8所示,为了更清晰直观地看出跟踪算法在目标跟踪过程中的准确性,绘制三种算法在复杂情况下的跟踪重叠率曲线对比图。从图中可以看出,在第10 帧到25帧和第37帧到45帧的跟踪中,由于发生了目标的遮挡和光照的变化,其他两种算法在目标跟踪时重叠率迅速下降导致目标丢失,跟踪失败。此时,本文提出的算法目标跟踪的重叠率虽然有所下降,但依旧保持在0.67 左右,说明在目标遮挡和光照变化的情况下,能够实现对目标的跟踪,跟踪效果较好。

图8 复杂情况下的重叠率曲线对比图

由以上仿真结果可以看出,本文提出的算法在单一目标跟踪中具有较好的跟踪精度和鲁棒性,能够有效解决目标形变、复杂背景干扰和遮挡等问题,当目标消失后再次出现在视野中时,能够快速准确地锁定目标,实现再次跟踪,且目标跟踪重叠率基本保持在0.7左右,能够满足跟踪要求。

1.3 双目视觉定位

双目立体视觉定位的原理与人类双眼定位原理相似,就是利用参数相同的左右相机拍摄同一物体不同角度的立体图像,然后使用三角测量原理计算出左右图像对比匹配点的视觉差,从而计算出特征点的三维坐标,实现对物体的测距定位[14],如图9所示为双目相机模型,左摄像机和右摄像机参数相同,它们的基线距为B,焦距为f ,空间中的特征点P 在两个相机上成像,其中Pl=( Xl,Yl)与Pr=( Xr,Yr)分别是点P 在左右摄像头的图像坐标系中的坐标,P( xc,yc,zc)为点P 在世界坐标系下的坐标。理想情况下特征点P 在左右相机图像下的水平坐标是相等的,在图9中,根据相似三角形原理,可得:

假设某一点在左右摄像头中的视觉差为Ds=xl-xr,则上式可转换为:

根据式(24)可以得到特征点空间中的三维坐标( xc,yc,zc),利用双目相机模型参数将其代入到定位的坐标中完成坐标系转换,计算出空间中的三维坐标。

图9 双目立体成像平面示意图

假设左摄像机所在的坐标系与世界坐标( XW,YW,ZW)重合,Ol-XlYl表示左图像坐标系,焦距为fl;or-xryrzr表示右摄像机物理坐标系,同理Or-XrYr表示右图像坐标系,焦距为fr;根据摄像机透视投影,得到如下关系式,其中sl、sr分别为左右相机的畸变矩阵参数:

世界坐标系与摄像机坐标之间的空间转换关系可表示为式(27):

其中,Mlr=[ R|T ],表示左右两个相机坐标系之间的空间旋转矩阵和平移向量。

同理,根据式(25)、式(26)、式(27),对于世界坐标系( XW,YW,ZW)中的空间点,左右相机透视投影点之间的对应关系为:

因此,三维空间中某一点的坐标可表示为:

由此得到目标位置坐标,并能够计算出目标相对于轮椅的夹角为cos θ=XW/ZW。

在完成对目标的测距定位,从而确定目标相对于轮椅的位置后,可以通过获取目标的位置距离信息来调整轮椅的姿态方向和速度。本文使用比例控制方法,根据目标与轮椅的跟随距离来调节直流电机在跟随中的速度。将跟随距离划分为三个区域,即加速区、减速区与制动区,其跟随速度控制结构图如图10 所示。当轮椅对目标的跟随距离dk大于跟随设定距离db时,轮椅加速跟随。当轮椅跟随距离dk等于跟踪设定距离db时,轮椅以速度vr稳速跟随。当轮椅跟随距离dk大于ds且小于db时,轮椅减速跟随。当轮椅跟随距离dk小于最小跟踪距离ds时,表明轮椅已到达最小安全距离,此时轮椅需要停止运动等待跟随。

图10 跟随速度控制结构图

因此,轮椅的跟随速度控制可表示为式(30):

其中,kp1、kp2为负常数,Δd 为距离误差。

在系统中,设置轮椅跟随距离为150 cm,最小安全距离为80 cm,稳定跟踪时目标的速度设vr为0.5 m/s,则轮椅的速度控制为:

最后通过获取目标的位置距离信息来调整轮椅的姿态方向和速度,实现对目标的准确跟踪。

2 系统总体方案设计

图11 系统整体设计框图

本文主要针对轮椅的跟随功能进行研究与开发,整个系统包含五部分:控制部分、传感器部分、执行部分、远程调试单元和锂电池供电部分。如图11 所示,系统的主要工作过程为:锂电池供电部分为整个智能轮椅系统提供电源,保证系统持续、稳定地工作。传感器部分中的视觉传感器检测周围环境和特定目标,提取目标的特征,进而确定目标的位置信息;激光传感器对障碍物和视觉传感器存在的盲区的障碍物进行检测,同时姿态传感器作为轮椅的方位感知元件,在轮椅的跟随过程中,实时感知轮椅的方向姿态;GPS 传感器实时确定轮椅的世界坐标,通过各个传感器实现对目标的位置信息,轮椅的世界坐标、方位姿态以及障碍物等信息的采集,并实时将所有的数据信息发送给轮椅控制器[15]。控制器通过对数据信息的读取和相应的算法处理之后,发送执行命令给执行机构。执行机构通过对左右电机的控制,实时控制轮椅的运动状态,从而实现轮椅对目标自动跟随与避障的功能。远程调试单元用于实现对该系统控制部分的处理器和控制器进行远程编程和调试。

2.1 系统硬件设计

本文设计的轮椅跟随系统硬件主要分为下位机和上位机两部分。

上位机系统由树莓派控制器、双目摄像头和激光雷达传感器组成。上位机控制器采用树莓派4 代B 版(Raspberry Pi4.0),利用树莓派自带的WIFI 模块可以将树莓派与电脑PC端利用远程调试单元连接起来。如图12所示为树莓派调试界面。

图12 树莓派调试界面

下位机系统由STΜ32控制器、电机驱动电路、姿态传感器和GPS传感器组成,系统硬件框图如图13所示。

图13 系统硬件框图

轮椅跟随系统要完成对目标的跟踪与避障功能,首先要通过摄像头获取目标的图像信息,通过USB 串口与上位机进行数据交互,同时激光雷达采集轮椅周围的环境信息,也通过USB 串口通讯发送给上位机进行数据处理。上位机获取到视频图像信息数据之后,经过目标检测、目标跟踪算法以及双目定位算法处理后得到目标的相应位置信息数据,经过串口与下位机进行通信[16]。与此同时,下位机STΜ32通过I/O口实时获取GPS 传感器和姿态传感器发送的世界坐标数据信息和轮椅的姿态信息,下位机根据获得的目标位置数据计算出相应的PWΜ波控制电机驱动电路,从而控制电机的运动状态,实现对目标的跟随。同时电机编码器测得电机的实时速度数据通过中断发送给下位机,获得轮椅的实际转速,通过运动控制算法实现闭环反馈。在跟随过程中,根据激光传感器检测的障碍物信息进行避障,在避障完成后根据姿态传感器检测的轮椅姿态方向变化数据对轮椅的姿态进行调整。在跟踪过程中不断重复运行上述阶段,直至完成跟踪任务或被强制关闭停止[17]。

2.2 系统软件设计

轮椅跟随控制部分是整个系统的核心部分,其主程序流程图如图14所示,当有监护人员陪同时,可以将轮椅从自动跟随模式切换为手动控制模式。工作过程主要如下:

(1)对系统初始化。

(2)调用GPS 定位子程序,并将轮椅的位置信息发送到手机微信小程序中,使监护人可以及时查看轮椅所处的位置。

(3)选择模式,即跟随模式或手动控制模式。

(4)若为跟随模式,调用目标检测与跟踪子程序,感知轮椅前方要跟随的目标人物,判断是否有运动目标,实现目标检测功能。当检测到目标人物后,根据感知信息获取跟踪目标的目标框位置信息,并将该信息发送到目标跟踪模块。

(5)调用双目测距定位算法,对目标的位置进行定位,确定目标相对于轮椅的方向和距离。

(6)在跟随过程中,调用跟随与避障运动控制程序,执行相应的跟随与避障操作。

图14 系统主程序流程图

(7)判断跟随模式是否结束,若结束,则整个主程序停止运行,若没有结束,则返回继续执行步骤(3)~(7),直到跟随任务停止。

3 系统测试及分析

自动跟随轮椅的整体实物图如图15 所示,笔者在搭建完实验平台后,对自动跟随轮椅的功能进行了测试,包括室内场景中单一目标的跟随避障测试、室外场景中存在人员干扰时的跟随避障测试以及GPS 的定位测试。

图15 轮椅跟随系统的整体实物图

3.1 静态环境中的跟随与避障测试

为了测试轮椅跟随系统的跟随和避障功能的效果,在室内环境进行跟随与避障测试,如图16所示。图16(a)~(d)展示了从轮椅启动阶段开始先加速前进,再稳定跟随,之后减速避障,最后加速跟随的过程,利用1.3 节中的电机调速方法,实现了根据目标的位置来控制轮椅的速度和方向,使轮椅与目标人物保持设定的距离和相对方位的要求。图16(e)~(h)则展示了利用本文提出的目标检测和目标跟踪算法,实现对目标人物提取和追踪的过程。目标人员在行走的同时,利用树莓派的远程调试单元记录跟随过程的距离偏差,如图17 所示。目标期望位置为轮椅前方150 cm处,设置数据采集间隔为1 s。从图17中可以看出,在轮椅启动阶段,系统正在对目标进行检测与处理,检测识别的时间大概为100 ms,与此同时轮椅与目标的设定的跟随距离的偏差迅速增大;在开始跟随后,轮椅开始加速前进,速度增大,跟随距离的偏差开始减小;处于稳定跟随阶段时,跟随的偏差基本保持在10 cm 左右;当遇到障碍物进行避障操作时,轮椅的跟随距离偏差也开始逐渐增加,避开障碍物后,继续进行跟随。可以看出本文设计的系统在室内静态环境中能够实现对目标的跟随,并且在跟随过程中安全地躲避障碍物,满足实际场景中的跟随要求。

图16 室内跟随与避障测试过程

图17 静态环境跟随距离偏差数据

3.2 目标干扰和丢失情况下的跟随与避障测试

在实际的应用中,轮椅是针对所有用户使用的,因此本次实验重新设置目标人员来检测系统复位之后的识别能力,且设置的测试环境在同一时间存在目标干扰、避障以及避障之后目标丢失的情况。实验过程如图18所示。

图18 目标干扰和丢失情况下的跟随实验

测试结果如图18所示。结合图19复杂情况下的跟随距离偏差可以看出,图18(a)为轮椅重新复位后选择要跟随的目标人物,重新检测目标的时间大约需要14 s,此时轮椅与目标的跟随偏差距离逐渐开始增大,且增大到21 cm,随后检测到目标开始跟随,轮椅加速前进,跟随距离偏差逐渐减小;图16(b)~(h)为轮椅在跟随过程中遇到狭窄空间、出现干扰人员以及目标左转之后的丢失情况,轮椅在干扰人员出现后依旧能够准确地跟随目标人员,当目标开始左转出门,消失在轮椅的视觉范围之内时,本文所提出的跟随算法能够实现目标的位置预测,实现准确的左转跟随且安全地避开墙壁障碍物,在此阶段跟随距离偏差开始波动并且增加,随后开始减小并趋于稳定。

图19 目标干扰和丢失情况下的跟随距离偏差

3.3 GPS定位测试

在轮椅跟随系统中加入GPS 定位模块的主要作用是防止在发生意外的情况下,轮椅使用者的监护人或看护人员无法联系到使用者,通过GPS定位模块发送的位置信息,就可以确定轮椅此时的位置,从而找到使用者。

如图20所示为树莓派远程桌面输出的轮椅经纬度坐标位置数据,图中显示了从GPS定位模块中采集到的位置数据。

图20 GPS定位模块数据采集结果

得到的位置信息即经纬度,需要将其上传到ΜQTT服务器,如图21所示。对服务器的数据进行封装,发布Topic主题,经过后台ΜQTT服务器接收定位数据,使用腾讯地图的开发服务将实时的经纬度转换为地图上的地址坐标,再通过微信小程序进行显示和查看。

微信小程序的定位结果如图22所示。从图22中可以看出此时轮椅所在的位置,经过测试表明GPS定位模块能够实时地发送轮椅的位置坐标,虽然跟实际的坐标有一定的误差,但这种误差不影响轮椅用户的家人或看护人员实时查看其位置,方便在长时间联系不到轮椅用户时,确定轮椅的位置,进而找到轮椅用户,满足系统的基本要求。

图21 ΜQTT服务器界面

图22 小程序定位结果

4 结束语

本文设计了一种基于计算机视觉的自动跟随轮椅的目标跟随系统,先利用自适应高斯混合建模的背景减除法检测到目标,再利用基于自适应多特征融合粒子滤波的TLD 目标跟踪算法在目标受到遮挡、背景干扰和目标短时间丢失的情况下仍能实现对目标的稳定跟踪。在实验室环境下对各个功能进行了测试验证,包括单人跟随测试,目标干扰情况下的跟随测试以及定位测试,联调测试结果表明,本文设计的轮椅系统对目标人员的跟随效果良好,在跟随过程中能够及时地避开障碍物,测试结果较为稳定。

猜你喜欢
轮椅特征目标
轮椅上的爱
我的轮椅
如何表达“特征”
不忠诚的四个特征
轮椅上的姑娘(外三首)
抓住特征巧观察
轮椅
线性代数的应用特征
新目标七年级(下)Unit 3练习(一)
新目标七年级(下)Unit 4练习(一)