基于视听融合的导盲机器犬的设计与应用*

邓云港 ，曾令超 ，梅 伶 ，房顺基

（广东白云学院机电工程学院，广东 广州 510450）

中国盲人协会统计数据显示，2020年中国约有1 700万盲人，但导盲犬却不足200只[1]。究其原因，是中国对服务型犬类的法律保护意识尚未普及，众多场所拒绝导盲犬的进入，并且一只导盲犬从培育到可以完成良好的服务大约需要60万元。基于此，针对目前盲人出行不便的现状，课题组设计了一种基于视听融合的导盲机器犬[2]。该导盲机器犬借助摄像头与其他传感器[3]可以实现对障碍物的检测[4]，并能够将提取的信息通过牵引以及语音的形式反馈给使用者，使得使用者可以通过人机交互的方式躲避障碍物。导盲机器犬不仅可以很好地解决导盲犬数量不足和训练费用昂贵的问题，还可以解决犬类不能进入特殊场所的问题。

1 系统组成

该导盲机器犬系统主要由四大板块构成，分别是机械运动部分、ROS部分、视觉部分和语音部分。导盲机器犬的机械运动为8个自由度，底层驱动板为STM32F103驱动板和ESP32驱动板，其中STM32F103驱动板主要控制电机的驱动，通过移植SimpleFoc算法对电机实施精准的力矩、速度、角度的三环控制[5]，且该驱动板还搭载了MPU6050六轴陀螺仪，可以通过获取导盲机器犬的姿态来调整其平衡。导盲机器犬结构如图1所示，机器犬运动控制流程图如图2所示。

图1 导盲机器犬结构图

图2 运动控制流程图

导盲机器犬的主控使用了树莓派4B+开发版，顶部搭载索尼高清防抖摄像头和思岚激光雷达，通过移植TensorFlow框架的YOLOv2算法和ROS系统，能够对盲道、红绿灯、障碍物、车辆、人群等周边环境与物体进行识别。搭载的激光雷达还可以对附近环境进行Slam地图建模，检测周边环境并且进行路径规划，二者相互配合，保障盲人的出行安全。此外，还可以通过导盲机器犬内部集成的语音播报模块，提醒盲人附近是否有障碍物、红绿灯、盲道等信息。树莓派4B+控制流程如图3所示。

图3 树莓派4B+控制流程图

2 工作原理

2.1 导盲机器犬的步态算法

目前，大自然中的四足哺乳动物和四足爬行动物，其步态行走方式大多数为三角式或对角式。在该系统中，采用的是对角式的步态算法[6]，对角式步态算法具有稳定性高、灵活性强、反应快速的优点，非常适合运用到四足机器人中。导盲机器犬对角式步态图，如图4所示。

图4 导盲机器犬对角式步态图

2.2 图像识别

该系统的主控使用的是拥有强大计算能力的树莓派4B+开发板，还移植了TensorFlow框架的YOLOv2算法[7]，同时搭载了一个高清防抖摄像头。通过YOLOv2算法和树莓派4B+开发板强大的计算能力，能够实现对障碍物、盲道、车辆、红绿灯等物体的识别。该系统为了实现导盲机器犬可以从图片中识别出没有障碍物的盲道及普通路面的功能，主要采用了YOLOv2识别模型对图像中每一个像素点进行分类，确定每个点的类别（如盲道、普通路面、障碍物），再进行区域划分，从而判断出前方路面是否属于盲人可以行走的路面范围。

盲道图像识别控制流程，如图5所示。首先，获得模型生成label图片中障碍物区域的像素值，经滤波、降噪处理后，采用图像二值化生成图片，将图片像素区分为障碍物区域和可安全行走区域。同时划分图像中未来行走区域，判断行走区域中是否有代表障碍物，当区域数值大于计算阈值时，说明前方有障碍物。通过计算障碍物区域质心判断行走方向，以图像中线为基准，质心相对偏左，则提示向右移动，从而实现简易的行走导向功能。与障碍物判断相似，通过二值化划分可走普通路面和可走盲道，再计算盲道区域质心，即可实现引导盲人走回盲道的功能。

图5 盲道图像识别控制流程图

2.3 路径规划

导盲机器犬顶部搭载的激光雷达能够对附近环境进行Slam地图建模，如图6所示。采用全局加局部的路径规划[8]，实现了机器犬自动导航的功能。全局路径规划（gloabal_planner）：依据给定目标点及全局地图实现整体路径规划，采用Dijkstra算法或者A*算法规划全局路径并计算最优路线作为全局路线。局部路径规划（local_planner）：机器犬在实际导航中可能不能按给定的全局最优路线行走，本地规划的功能是利用某种算法（Dynamic Window Approaches）对障碍物进行回避，选择出当前最优路径，使之尽可能地与全局最优路径一致。

图6 ROS激光雷达Slam地图建模

2.4 语音识别

该系统的语音识别使用的是在线语音识别[9]，在线语音识别结合语义分析，具有识别精准、灵活性高的优点。在导盲机器犬被唤醒后，会进行录音，录音结束后将音频发送到云端进行语音识别，并将返回的文本结果进行词法分析，解析出文本中的特征值，再根据特征值执行相应的命令，此功能使用的是百度的词法分析定制版。逻辑是要先确定一个词汇集，如：{前进}，则将该词汇集命名为“GO”；{停止}，则命名为“STOP”。语音识别的具体流程如图7所示。

图7 语音识别流程图

3 行走测试

经测试，导盲机器犬能够在路面上正常行走，并且可以通过摄像头捕获和分析周围环境。当检测到障碍物时，导盲机器犬会做出相应的动作，同时也会通过语音播报的形式提醒盲人注意。导盲机器犬引导盲人在盲道上行走测试识别图，如图8所示。目前，导盲机器犬也可以通过Slam对周边环境进行地图建模，同时还移植了TensorFlow框架的YOLOv2算法，能够对红绿灯、行人、车辆等进行目标识别，如图9所示。

图8 导盲机器犬引导盲人在盲道上行走测试识别图

图9 YOLOv2目标识别

4 结论

课题组基于视听融合的原理设计了可以辅助盲人出行的导盲机器犬，通过模拟盲人出行牵引导盲机器犬的环境试验，能够实现导盲机器犬引导盲人躲避障碍物、引导盲人在盲道行走和识别红绿灯等功能。研究结果表明，该系统可以为盲人的出行安全提供一定的保障，扩大盲人的活动范围，同时在一定程度上减轻国家对视力障碍人群和盲人的扶持压力[10]。