5G导盲镜，让盲人聆听世界

信集

将AI处理放在边缘计算，利用5G低时延、大带宽打造智能视觉辅助系统，利用5G切片技术为导盲镜提供专属网络保障，帮助盲人“看见”世界

我国是世界上视障人士最多的国家，他们在出行、社交、工作、学习等诸多方面存在障碍。随着社会发展和医学的进步，他们对于视力恢复和视障辅助技术的需求也越来越强烈，亟待利用最新的科学知识和设备，研究新型的康复和辅助技术和设备，帮助视障人士实现接近常人的生活。

为解决视觉障碍人士日常生活的痛点，浙江移动联合杭州视氪创新性提出基于5G+AI+MEC+切片的5G导盲镜，将AI处理放在边缘计算，利用5G低时延、大带宽打造智能视觉辅助系统，利用5G切片技术为导盲镜提供专属网络保障，通过描述周围环境以及提示环境存在的潜在危险帮助盲人“看见”世界。

5G+AI+MEC+切片构建无障碍社会

5G导盲镜通过调用云端和边缘端的API，来实现利用深度学习将智能眼镜摄像头获取的实时画面，通过5G网络传输至边缘端进行计算处理，输出环境的描述信息并转化为声音，为盲人描述周围环境以及提示环境存在的潜在危险。通过将视觉辅助当中复杂的图像处理功能分散到网络的边缘，借助5G高速稳定的网络，和强大的边缘云处理能力，大大提升计算处理时延、减轻终端的重量，让5G惠及弱势群体、构建5G无障碍社会。

从技术层面看，要帮盲人“ 看到 ”环境信息，分为三个过程：信息获取、信息处理以及声音编码映射。其中，技术的难点在于地面检测、障碍物检测等环境信息检测。这款眼镜通过双目摄像头获取周围环境的立体信息，对获取到的立体信息进行处理，然后进行特殊的三维立体语音编码，再将声音（音乐）信息传递给盲人，盲人通过不断的學习和体验，会根据接收到的声音来判断周围环境信息，从而达到能够“听”出世界的感觉。

机器视觉方面，眼镜采用3个摄像头，其中一个为普通的彩色摄像头，主要用于拍摄环境信息，并用于后期的图像识别，另还有两个具有可见光+红外线夜视功能的深度摄像头，可以利用双目视差的原理测量前方物体与用户的距离。目前智能眼镜主要功能点是障碍物检测、通路检测、台阶检测、洼坑检测、楼梯检测和上下坡检测，检测精度达到3CM，同时提供精准定位导航功能。未来会通过软件更新的形式，增加人脸、红绿灯、斑马线识别等功能。

声音编码映射方面，由于盲人无法看见，因此通过摄像头获得的环境三维信息必须采用视觉以外的方法传递给用户，而我们所采用的便是声音。当眼镜获得环境数据之后，会进行特殊的三维立体语音编码，将不同的视觉信息（比如障碍物的类型、方位与距离等）用不同的声音或不同节奏的声音加以一一映射，将声音信息传递给盲人，盲人通过不断的学习和体验，会根据接收到的声音来判断周围环境信息，从而实现“听见”世界的目的。

社交距离+疫情区域助力盲人抗击疫情

在本次疫情期间，视障人士作为社会弱势群体更需要得到关爱，5G导盲镜利用社交距离检测、疫情区域预警功能降低视障人士感染的风险，助力盲人有效抗击疫情。

社交距离预警。在公共场合保持安全距离，是预防病毒传播的一个通用做法。WHO 倡议人与人应保持至少 3 英尺（0.9 米）的距离，我国则建议保持在 1.5—2 米，来降低感染的风险。通过5G导盲镜上的双目摄像头捕获实时图像，利用AI计算机视觉技术对图像中的路人进行测距，实时测算出盲人与周围行人的距离，当检测超出安全距离之后利用5G网络及时给出提醒。

疫情区域预警。从疾控中心获取实时疫情防控地图，疫情防控地图中包含发生疫情的地点经纬度，将疫情防控地图实时更新至5G导盲镜，通过5G导盲镜上的定位模组实时获取的盲人行为轨迹，当盲人行走至疫情严重区域附近，实时对视障人士发出预警信息，从而避免盲人误入疫情严重区域。

除此之外，5G导盲镜还包含以下六大功能点：

障碍物检测：基于红外双目相机，在自然光和结构光的辅助下，进行大尺度立体匹配，获取稠密深度图。利用均值漂移算法，计算最近若干个障碍物的距离、方向和尺寸，并映射到立体声音，视障人士可以根据听到的声音达到避障的效果。

斑马线检测：安全地过马路是盲人群体日常出行的迫切需要。基于条带提取和聚类的人行横道检测算法，被用于盲人在交通路口寻找和定位人行横道。将人行横道的位置和方向被识别出来，并转换为提示信息输出给使用者。

红路灯检测：基于颜色提取和机器学习的人行道交通灯检测算法，能够实时准确地检测到交通灯在图像中的位置，并给出交通灯的状态。框选交通灯的对应颜色矩形，即为检测结果，然后将识别结果以声音方式传递给用户。

精准定位导航：通过利用GPS及5G高密度组网有利于多基站协作实现高精度定位的特点，并结合图像处理技术和姿态角微小移位技术，能够将定位精度定义到米级，例如能够给用户提醒，超市在左前方17m。

人脸识别：盲人智能视觉辅助中的人脸识别，旨在帮助视障人士感知和识别日常生活场景中出现的朋友、亲人等。在视障用户使用智能视觉辅助设备的过程中，人脸识别系统逐渐采集并学习用户常遇见的人脸，当识别系统达到足够的训练程度时对场景中出现的人脸进行识别，将识别结果以特定的交互方式传递给用户。

纸币识别：根据视障人士需求调研所提供的便利生活的功能设计。现有的纸币识别方法是根据RGB—D相机进行深度筛选，用分类器框出检测到的纸币区域，对区域进行SURF特征点检测判断是否存在纸币以及纸币面值。该方法可以针对复杂环境实时提取纸币区域并给出纸币面值，具有较好的鲁棒性。

5G导盲镜通过调用云端和边缘端能力使得设备成本更低、重量更轻，将给视觉障碍人士带来全新的体验，颠覆视觉辅助行业。目前已和浙江省残疾人学校、浙江省盲人学校、杭州市残联深度合作打造盲人社区。随着5G网络覆盖杭州全城，5G导盲镜将服务于更多的视障人士。5G让盲人“看见”世界，让视障、视弱群体重见光明，帮助他们的生活变得更便利、更美好。