基于镜路协同技术的信号灯智能识别盲人眼镜设计

张广昊 朱炳祯 费靖凯

摘  要：文章基于互联网和云端技术提出一种全新的镜路协同（Mirror Path Collaboration， MPC）技术，用以智能识别信号灯状态，进而设计一款集信号灯识别、道路障碍检测、语音提醒等功能于一体的智能盲人眼镜。采用YOLOv4算法使眼镜中的颜色传感器实时监测信号灯的灯态，借助无线通信模块将所有数据上传云端，经主控模块处理后筛选出有价值的信息，通过眼镜中的语音模块反馈给盲人使用者，最终达到帮助盲人准确判断和了解信号灯信息的目的。

关键词：镜路协同；YOLOv4；信号灯识别

中图分类号：TP39； TP183  文献标识码：A  文章编号：2096-4706（2023）15-0174-05

Design of Blind Glasses for Intelligent Recognition of Signal Lights Based on Mirror Path Collaboration Technology

ZHANG Guanghao， ZHU Bingzhen， FEI Jingkai

（Shandong Huayu University of Technology， Dezhou  253034， China）

Abstract： This paper proposes a new Mirror Path Collaboration （MPC） technology based on Internet and cloud technology to intelligently recognize the status of signal lights， and then designs an intelligent blind glasses that integrates functions such as signal light recognition， road obstacle detection， and voice reminder. The YOLOv4 algorithm is used to enable color sensors in glasses to monitor the light status of signal lights in real-time. With the help of wireless communication modules， all data is uploaded to the cloud， after being processed by the main control module， valuable information is filtered out. Through the voice module in the glasses， feedback is given to blind users， ultimately achieving the goal of helping blind people accurately judge and understand signal light information.

Keywords： Mirror Path Collaboration; YOLOv4; signal light recognition

0  引  言

在傳统的盲人辅助设备中，盲人眼镜主要用于美化盲人因自身疾病或各种意外情况而导致失明的双眼，产品功能过于单一。盲人出行只能通过陪同的亲属或手中的盲杖对前方信息进行简单粗略的判断，盲人在面对信号灯时更是毫无办法，这无疑增大了盲人出行的风险。加之国内盲道被占用的情况屡见不鲜，为盲人的出行提出了更为严峻的考验。如何运用科技手段帮助盲人群体安全地通过信号灯路口是一个亟待解决的社会问题。

随着助盲技术的日趋完善与快速发展，智能盲人辅助设备逐渐进入大众视野，这在一定程度上解决了盲人出行所遇到的个别问题，提高了盲人出行的安全性。但是绝大多数设备仅仅局限在对前方道路障碍物的识别上，国内外目前还没有一款可以帮助盲人准确识别信号灯信息的辅助设备。

据统计，我国大约有1 700万视障群体，其中盲人数量更是超过800万，而国内导盲犬的数量却只有200只左右，导盲犬的普及率仅有0.001%。据权威机构分析，从我国的盲人基数来看，最少需要有17万只服役的导盲犬才能满足需求，而培养一只导盲犬的成本在15万～20万，对于大多数盲人来说认养一只导盲犬并不现实。

本项目中搭载“镜路协同”技术的智能盲人眼镜旨在帮助盲人群体快速、准确地识别信号灯信息，联合大数据对其灯色、时长、倒计时做出准确判断，智能提醒盲人是否可以通过前方路口。可在一定程度实现低成本、高效率的盲人出行，同时运用高能量密度的电池并借助工程技术提升设备的续航能力。

1  国内外发展现状

1.1  国内发展现状

我国拥有数量庞大的盲人群体，人数超800万，占世界失明人数的20%，如图1所示。我国视障、盲用辅具企业长期以低科技、低成长性企业为主。《残疾人基本辅助器具指导目录（2020版）》中所涉的视障人群助视器仅限于放大镜、低视力眼镜、电子助视器等，呈现出低技术附加值的特点。盲人群体能够使用的智能产品更是极度稀缺，相关自主知识产权较少。

我国的盲人数量庞大，但国内无障碍设施建设规范化不足，盲人几乎无法独立出行。随着我国人民生活水平的不断提高，盲人对优质生活的需求愈发强烈，进而带动智能盲人辅助设备市场的发展。2020年，我国智能助视器市场规模约16.2亿元，随着智能助视器技术的逐渐成熟，预计到2025年市场规模将达到76.7亿元。

在人口老龄化背景下，随着盲人数量的增長以及生活和医疗水平的提高，盲人群体对智能辅助设备的需求必将持续攀升，盲人智能辅助设备市场具有巨大的发展空间。

1.2  国外发展现状

国外对智能盲人辅助设备的研究早于国内，掌握的技术也更为成熟，目前部分西方国家已经实现了相应产品的量产。

瑞士Eyra公司发明一款盲人用耳机Horus，当前方有障碍物时，距离障碍物越近耳机发出的警报声越大，可帮助盲人大致判断障碍物的位置。日本为了解决盲人出行问题，在信号灯旁安装“附音响装置信号机”，通过发出的不同声音让盲人感知是否可以通行。美国斯坦福大学的一个科研团队研发一款智能辅助盲杖，可代替导盲犬进行自动导航，但受传感器技术的限制，该款手杖既昂贵又沉重，并没有得到很好的普及。以色列的OrCam公司研发一款名为OrCam MyEye的盲人辅助设备，采用了可区别文字结构的光学字符识别系统，可解析视觉输入元素，捕捉任何平面上涵盖的印刷或数码文字。但其并不是以“眼镜”的方式使用，而是作为小型设备，通过磁铁附着在用户自己的眼镜框上，更适合在阅读报纸、菜单或书本的场景中使用。

尽管国外的研究在时间上更早且取得了较好的成果，但是截至目前还没有一款设备能够帮助盲人准确地识别信号灯信息。

2  “镜路协同”系统设计

镜路协同系统（Mirror Road Collaboration System， MRCS）是基于传感识别、无线通信、GPS定位等技术获取盲人使用者信息和周围环境信息，通过云端处理和计算使各项信息实现交互和共享，实现盲人使用者和基础设施之间智能的协调与配合，达到准确识别信号灯、障碍物的目的。

根据眼镜的功能定位，设计如图2所示的系统框架图。由图2可以看出，镜路协同系统主要包含颜色传感器（TCS34725）、GPS定位、语音模块技术、无线通信等技术。其中，STM32单片机作为整个系统的核心控制器，通过与TCS32725模组、定位芯片、无线通信模块、语音模块以及外围电路之间的配合，分别构成信号灯检测系统、GPS系统、无线通信系统和语音交互系统，以此实现识别信号灯主体功能的目的。同时还辅以其他模组，达到眼镜全部功能的实现。

2.1  系统组成

2.1.1  主控模块设计

当前智能设备上的主控模块主要有STC89C52、STM32、STC89C51等，其中STC89C52与STM32分别为8位单片机和32位单片机，使用keil MDK进行编程，具有开发简单和价格低廉等特点。本项目采用STM32主控模块，虽然市面上有很多芯片可供选择，并且价格低廉，但是这些主控模块可供用户使用的I/O较少，而此次设计需要使用较多的I/O口，这些单片机都不能满足需要，所以选择如图3所示的STM32作为此次设计的主控模块。

2.1.2  颜色传感器设计

系统工作期间，位于眼镜中框处的摄像头需要随时捕捉信号灯信息，借助颜色传感器对信号灯颜色进行判断。本项目选择TCS34725颜色识别传感器，TCS34725是一款低成本、高性价比的RGB全彩色识别传感器，传感器通过光学感应识别物体的颜色。支持红、绿、蓝（RGB）三基色，支持明光感应，可以输出对应的具体数值，还原真实色彩。

颜色传感器在系统整体设计中具有承上启下的作用，需要完成复杂的传感过程。为了提高精度，防止受周边环境干扰，本设计特意在传感器底部添加一块红外遮光片，最大限度减小入射光的红外频谱成分，让颜色捕捉更加准确。如图4所示为颜色传感器工作原理的简易流程图。

2.1.3  无线通信模块设计

城市信号灯的灯态信息并不同步，每一个信号灯都有自己的时长程序，如何准确得知当前所面对信号灯的灯态信息是镜路协同技术的关键一环。应用无线通信技术可实时获取云端大数据平台中各个信号灯的实时灯态信息，借助GPS模块让系统更加准确地获知当前路口的信号灯状态，通过主控模块的处理使盲人使用者能够准确得知前方信号灯的灯态信息。

本项目中的无线通信模块通过获取大量信号灯运行数据、交通系统数据，实现对“镜路协同”系统的核心化管理，支撑互联网基础设施建设区域信号灯状态实时展现、信号灯状态大数据分析等功能，实现智能化、互联化、精细化的信号灯识别。

2.1.4  GPS系统设计

该系统主要由GPS模块、STM32主控模块、语音模块组成。其中GPS模块采用AT6558R芯片，AT6558R是一款高性能BDS/GNSS多模卫星导航接收机SOC单芯片，支持多种卫星导航系统（包括中国的北斗卫星导航系统BDS、美国的GPS、俄罗斯的GLONASS），并实现多系统联合定位。通过GPS模块获取信号灯物理信息，经AT6558R芯片处理为数字信号后再由STM32主控模块进行处理，最终由语音模块通过语音播报的方式将信息反馈给盲人使用者，使盲人使用者能够准确得知前方信号灯信息。GPS系统流程图如图5所示。

2.1.5  语音模块设计

本设计中语音模块采用WTK6900H-24SS作为本地语音辨别芯片，具有成本低、可靠性高、通用性强的特点，可实现更高的唤醒识别率、更强的抗噪性能、更低的延迟。通过STM32主控模块和GPS模块的处理，系统可以清楚获知盲人使用者的行进速度与信号灯灯态信息之间的关系，通过计算提出合理的建议并由语音模块及时反馈给盲人使用者，使其能够做出合理的判断。

2.1.6  电池设计

当前，智能盲人辅助设备的续航时间普遍较低，难以满足盲人长时间出行的待机时长需要。若要提高设备的续航时间，需要提高电池容量和电池能量密度。显然，要想在“寸土寸金”的镜框内提高电池容量并不现实，工程化技术是一种在不改变锂离子电池的材料和化学体系的情况下提高其能量密度的一种技术，主要以影响电池能量密度的各因素为切入点，通过改变电池的整体尺寸、集流体和隔膜的厚度、电解液注液量、N/P占比及涂层厚度等，显著影响锂离子电池的能量密度。为此，本项目运用工程技术，采用一块高能量密度锂电池来提高设备的整体续航时间，使盲人出行不再伴有电量耗尽的焦虑。

2.2  YOLOv4算法

如何保证颜色传感器识别到的颜色信息是来自信号灯而不是来自其他干扰因素，是“镜路协同”技术的关键一环，也是检验这项技术是否成功的最重要因素。本项目采用改进后的YOLOv4算法，实现准确识别信号灯及其倒计时数字的目的。

YOLOv4是Alexey Bochkovskiy等人提出的目标检测算法，YOLOv4在YOLOv3的基础上进行了特征提取网络、激活函数、特征金字塔、网络训练等方面的改进，在保证准确率的同时也降低了计算量。该算法被广泛应用于无人驾驶领域，在交通信号灯的检测方面有着良好的效果，但传统的YOLOv4算法对于倒计时这类小目标的检测效果较差，因此还需要对YOLOv4算法进行改进以达到对信号灯倒计时的识别。

3  “镜路协同”技术流程

“镜路协同”技术的基础架构主要包含主控系统、信号灯检测系统、GPS系统、无线通信系统和语音交互系统，在改进后YOLOv4算法的加持下，各分系统协调配合，使搭载该项技术的智能盲人眼镜能够完成对信号灯信息的识别，助力于盲人群体出行。其具体技术流程如图6所示。

4  实验测试

针对YOLOv4算法对小目标检测效果较差的问题，通过对YOLOv4主干网络进行改进，将其中的CSPDarkNet53网络替换为CSPResNet50vd网络，并将stage4中的3×3标准卷积替换为可变形卷积（DCN）。经实验可知，改进后模型的平均精度（mean Average Precision， mAP）达到79.37%，超过YOLOv4，且其检测速度相比YOLOv4快4.11 ms，实验结果如表1所示。

改進后YOLOv4算法在置信度为0.5时三类信号灯灯态的mAP如图7所示。

捕捉识别的特征图输出后进入后续的检测模块操作，通过改进后的YOLOv4算法得到如图8所示的检测效果图。

可变形卷积可以提高模型对形变目标的建模能力，可集中于人们感兴趣的区域或目标。即在卷积核中每个采样点的位置都增加了偏移量，可以实现在当前位置附近（而不是局限于常规卷积的规则采样点）随意采样。当盲人使用者行至信号灯较多的路口时，可变形卷积可以同时对多个信号灯进行观测，这对保证盲人顺利通过复杂路段有着十分重要的作用。其与常规卷积的对比如图9所示。

通过以上图表可知，在改进YOLOv4算法的加持下设备整体可识别范围更广，识别精度更高，能够满足设备准确识别信号灯灯态的需求，达到保证盲人使用者安全出行的目的。

5  结  论

科学技术的进步极大地促进了世界的发展，许多新兴的技术也在各个领域实现跨界融合。本项目将“镜路协同”技术应用于盲人眼镜，实现了科技与生活的完美交互。顾名思义，“镜路协同”就是眼镜和道路信息相互协调，同频同步。这项技术旨在帮助盲人群体快捷、准确地识别前方路口信号灯的灯态信息，联合大数据对其灯色、时长、倒计时做出准确判断，帮助盲人群体安全通过信号灯路口。本项目使盲人眼镜功能过于单一的现状得以改善，提高盲人群体出行的安全性、可靠性，降低盲人出行的风险，保障这一社会特殊群体的切身利益，促进社会和谐、稳定地发展。

参考文献：

[1] 吴倩倩，余正发，欧元博.智能眼镜设计 [J].电子制作，2022，30（15）：80-82.

[2] 颜玲，倪杰，王岳，等.智能眼镜设计 [J].福建电脑，2021，37（3）：77-79.

[3] 谢亮.嵌入式系统低功耗设计 [D].上海：上海交通大学，2011.

[4] 郑德立.高能量密度锂离子电池结构工程化技术研究 [J].石油石化物资采购，2022（23）：177-179.

[5] 金绍晨.车路协同技术在城市交通中的应用研究 [J].城市道桥与防洪，2022，279（7）：160-163+172+21-22.

[6] 刘洋，姜涛，段学鹏.基于YOLOv3的复杂天气条件下人车识别方法的研究 [J].长春理工大学学报：自然科学版，2020，43（6）：57-65.

[7] 周昆阳，郑泽斌，向阳，等.基于改进YOLOv4的交通信号灯倒计时数字检测与识别 [J].电脑知识与技术：学术版，2022，18（4）：7-9+21.

[8] 曹梓铭.基于YOLOv4的多场景小目标检测 [D].南京：南京邮电大学，2022.

[9] 黄凤琪，陈明，冯国富.基于可变形卷积的改进YOLO目标检测算法 [J].计算机工程，2021，47（10）：269-275+282.