基于Unity3D的听觉空间感知导盲系统

洪毅 林冠宇 谢恩德

摘要：针对视力残障者在面对来自传感器的环境数据时，不能快速有效地被传达和理解空间信息等问题，文中设计并提出一种基于虚拟现实技术的新型听觉空间感知导盲系统。该系统在双耳定位的基础上，利用虚拟现实引擎Unity3D模拟重现激光雷达以4000Hz频率收集的环境数据，建立以每秒50帧高速实时更新的动态场景模型，进而实现立体声效，并通过频率与距离的关系设定引导使用者形成有效的听觉空间感知。文中设计并实施了由11位人员参与的实验，结果表明，实验者能够有效地同時识别多个障碍物的方位、距离和运动情况。

关键词：听觉空间感知;Unity3D;激光雷达;虚拟现实;导盲系统

Abstract： In allusion to the problem that the people with impaired or no vision cant comprehend the surrounding spatial information detected by sensors， an auditory spatial perception blind-guiding system based on virtual reality is proposed. Building on the theory of Interaural Time Difference， Unity3D is used to create virtual reality environments and simulate the surrounding where the data is collected by LIDAR at the frequency of 4000Hz in the real life. With the dynamic scene model at 50 FPS， the immersive stereo sound to represent the information regarding objects angular orientation and varying pitch to represent horizontal distance， an effective auditory spatial perception can be created by the system for the user. An experiment with elaborate design is implemented in this paper， and the results demonstrate that the participants equipped with the system can effectively identify the orientation， distance and movement of multiple obstacles at the same time.

Key words： auditory spatial perception; Unity3D; LIDAR; virtual reality; blind-guiding system

根据WHO的报告显示，全球有2.53亿视力障碍者，其中3600万为盲人，而我国的盲人数量居世界第一，约有1700万（2018年）[1]。传统的导盲系统以基于触觉反馈的盲杖为主，有很多学者提出改进的盲杖[3-4]，但是其仍具有探测范围有限、触觉反馈单一、训练时间长等缺点[2]。还有很多学者提出基于听觉反馈机制的导盲系统[5]，相比于触觉，听觉感知具有更高的实时性，能够更好地表达距离、方位等空间信息。但现实中的听觉感知是个复杂的过程，很难完整模拟出真实的效果。而虚拟现实技术可以用来解决这一问题，作为一种重要的计算机仿真系统搭建手段，其沉浸式的音效表现在影音娱乐、教育军事以及多学科交叉研究领域的应用越来越广泛[6-7]。

本文结合听觉空间感知理论及Unity3D技术，采用激光雷达设计了一种全新的听觉感知导盲系统。激光雷达具有能够精准扫描大范围区域的优点[8]，如图1所示，文中使用激光以4000Hz的频率扫描环境信息，通过Unity3D模拟出现实场景并还原出真实的立体声效，进而让使用者形成听觉空间感知。同时，本系统采用动态更新的模型和音源设计，具有可以区分运动物体和非运动物体、允许使用者自由移动旋转、能够还原多普勒效应等优点。

1系统原理及总体架构

1.1听觉空间感知原理

不论是视力残障者、后期盲人还是全盲者，都存在相似的听觉空间感知[9-10]。然而现实世界中的听觉空间感知的形成是一个从声源、环境到人的外耳、内耳最终到听觉神经的极其复杂的过程，期间很多因素都会影响到最终的效果[11]。其中，双耳时间差（Interaural Time Difference，ITD）是人在水平面上获得听觉空间感知的主要方式，即人通过声音到达左右耳的时间差和声音强度的不同来定位声源的方位和距离[12]。本文通过在Unity3D构建的场景中在相应的坐标制造声源，进而将空间坐标信息转换为声音传递到左右双耳的强度差和时间差，以此模拟出近似于现实环境中的立体声，最后根据距离和类型决定声音的频率和音色。

1.2系统总体架构

1.2.1系统硬件设计

本文选用思岚RPLIDAR-A2激光扫描器作为主要探测设备，其发射波长为785nm的红外激光，采用调制脉冲方式驱动，调制的激光不仅可以达到FDA Class I级别的激光器安全标准，确保对人类和宠物的安全性，而且可以有效地避免在测距扫描过程当中的环境光与日光的干扰。在电机机构的驱动下，RPLIDAR的激光测距核心将顺时针旋转，能够以10Hz（600rpm）的旋转频率实现对周围0.15m-12m半径内的360°全方位扫描测距检测，并且可以实现0.45°的角度分辨率和0.5mm的测距分辨率。如图2所示，RPLIDAR能够以4000Hz的频率测量所在平面的二维空间信息，并以[起始信号（bool），距离值（mm），夹角（°），校验和]的形式输出每个采样点的数据。