三维音频技术在航空领域的应用与展望*

吕 燚，潘 皓，李 锋，王 娟

(中国西南电子技术研究所，成都 610036)

1 引言

随着航空电子综合化技术的发展，座舱技术的发展趋势为实现人－系统的综合［1］，提供智能高效的人机交互，最大程度发挥人体工效。听觉系统作为人类除视觉系统外获取信息的最主要途径，利用三维音频技术丰富音频信号传递的信息量，降低视觉负担，是一种提升飞行员态势感知能力的有效手段。

三维音频技术是根据人耳对声音信号的感知特点，使用数字信号处理的方法对声源到双耳之间的传递函数进行模拟，重构复杂虚拟空间声场，以通过耳机或扬声器模拟出包含距离、运动特性、方位信息的三维立体声［2－3］。通过声音表现目标的方位、距离等信息以提升飞行员的反应时间。

美国军方早在20 世纪90年代已对三维音频处理技术在航空领域的应用展开了研究，目前在其F－16、F－22 及F－35 战斗机中已经应用［4］。此外，荷兰应用科学研究组织、澳大利亚国防科学技术组织、英国国防科技研究院、加拿大国防研发机构及法国航太研发顾问团等多国国防科研机构均对三维音频技术在军事领域的应用展开了研究，其研究结果均表明应用三维音频技术将显著提升作战效能［5］。

本文对国外机载三维音频技术的发展现状、基本原理及作战应用场景展开研究，并分析其特点及关键技术，总结目前存在的问题，展望未来的发展趋势，以期为相关领域的研究人员提供参考。

2 机载三维音频技术基本原理

机载三维音频技术是以基于头相关传递函数(Head Related Transfer Function，HRTF)为核心的虚拟听觉技术结合机载特定环境所应用的技术，其基本原理是利用机载传感器所获得的态势信息采用虚拟听觉算法模拟目标声源到双耳的头传递相关函数，重构复杂虚拟空间声场，以通过耳机或扬声器生成包含距离、运动特性、方位信息的三维立体声，以达到通过听觉系统传递信息的目的。

图1 给出了机载三维音频技术的基本原理框图。当接收到音频指令需要向飞行员耳机传送音频数据时，首先根据目标来源(话音通信、告警音或导航音)及威胁等级从声源库中选择相应的音频数据送出，而后利用数字信号处理模拟多普勒频移来实现音频对速度信息的变现;接着通过对音频增益的控制模拟因距离引起声强的衰减;最后根据方位角信息从HRTF 数据库中读取对应位置的HRTF 数据，利用虚拟听觉重建算法实现对不同方位声源的模拟，得到最终输出的三维音频数据，其包含了目标类别、速度快慢、距离远近及方位位置的态势信息，从而实现通过音频数据对态势信息的传递。

图1 机载三维音频技术原理框图Fig.1 The principle block diagram of airborne 3D audio technology

3 三维音频技术在航空领域的应用

美国航空航天局艾姆斯研究中心从1993年开始对机载三维音频技术的应用展开了大量预先性研究［6－9］，其以空中防撞系统(Traffic Alert and Collision Avoidance System，TCAS)作为应用场景，利用三维音频技术生成各种防撞的三维告警音，飞行员利用声音的方向性确定侵入目标方位，结果表明利用三维音频告警可提升0.5 s 的响应速度，同时可大幅度降低飞行员长时间执行任务的疲劳度，该结论得到美国民航及军用航空领域的广泛认可，推动了三维音频在航空领域中的发展。

2002年，美国陆军累计出资2 亿美元开展了虚拟座舱计划(Virtual Cockpit Optimization Program，VCOP)，三维音频作为关键技术展开探索性研究，其拟通过“以耳替目”传递信息，实现视觉、听觉以及触觉的高度融合，挖掘飞行员各种感觉器官综合处理三维空间信息的能力，相关报告表明其研究成果后期直接服务于军民两种飞机中［10］。

美国洛马公司针对三维音频在战斗机的应用需求对72 名飞行员进行问卷调查［11］，其调研结果表明飞行员对于三维音频需求明确，从而美国空军展开了三维音频在型号项目中的推广。目前，在美军F－16 战斗机上已装备了丹麦TERMA 公司研发的三维音响设备，其产品支持8 路三维音频通路，理论情况下水平角度分辨率低于5°，音频存储能力大于512 MB，兼容F－16 战斗机原有的头盔及耳机。

目前，三维音频在F－16 战斗机的应用主要在雷达告警接收机(Radar Warning Receiver，RWR)及导弹告警系统(Missile Warning Sensor，MWS)中威胁方向提示以及机外通话中多通道声源的分离。同时，该三维音频设备已集成在F－35 战机的联合头盔指示系统(Joint Helmet Mounted Cueing System，JHMCS)上进行系统联试。

此外，TERMA 公司于2010年加入美军先进分布式孔径系统(The Advanced Distributed Aperture System，ADAS)研发计划拟在直升机平台下推广三维音频技术，系统将以UH－60“黑鹰”直升机作为论证平台。

西方其余各国同样对机载三维音频技术展开了不同程度的研究。早在1996年由法国航太研发顾问团组办，荷兰应用科学研究组织、英国国防科技研究院等多国国防科研机构参加的机载音频有效性专题研讨会上将三维音频技术作为专题进行探讨，各国科研机构对三维音频在航空领域应用的有效性达成一致，随后各国均成立专门的研究小组对相关技术进行研究，其中以荷兰应用科学研究组织的研究最具有代表性，其对三维音频辅助视觉搜索及定位展开了深入研究，针对三维音频技术与多功能显示器、平视显示器及头盔显示器等多类座舱显示系统配合应用的效果进行了实验验证，结果表明应用三维音频可提升10%～30% 的响应速度［12－13］。此外，澳大利亚国防科学技术组织对三维音频在飞行任务中多人对话的应用展开了研究，其结果表明在多人通话时应用三维音频技术可明显提高话音可懂度［14］。2015年3 月，英国航空航天公司(BAE Systems)与TERMA 公司签订合同，为欧洲台风战斗机开发基于智能头盔的三维立体声音响系统。

除了在飞行任务中的直接应用，三维音频技术还被应用于飞行员训练模拟器［15－17］以及无人机操控［18－20］等多个领域。

本文根据机载三维音频技术目的及应用的不同，将航空三维音频应用场景归纳4 类，即3D 告警应用、话音通信应用、飞训模拟应用及无人机操控应用，如图2 所示。

图2 航空三维音频应用分类Fig.2 The classification of aircraft 3D－audio applications

3.1 3D 告警应用

在音频告警方面应用，主要是在传统话音告警的基础上利用三维音频具有态势信息的特点对威胁等级、距离等级、速度等级及方位感等多种信息连续提示，丰富音频告警信息量，提升飞行员对告警的响应速度，是目前三维音频在航空领域中最为广泛的应用，其根据告警类别的不同可分为威胁类告警和提示类告警。

3.1.1 威胁类告警

威胁类告警是指当距离本机一定范围内出现威胁物时通过视觉及听觉的方式向本机飞行员告警，以便飞行员迅速发现威胁，并采取相应措施。此类告警产生于敌机跟踪、导弹逼近以及潜在碰撞威胁等情景，主要来自于雷达系统、电子战系统以及空中防撞系统等。

对于威胁类告警应用，目前主要的应用方法为根据探测到的威胁态势信息利用三维音频技术在听觉环境中模拟出威胁物的方位、距离以及运动轨迹。

对于三维音频技术在该类告警中的应用，其好处是可利用三维音频的定位信息实现对威胁态势状态“以耳代目”的传递方式，避免在视野欠佳(夜间行驶等状态)或威胁物来至视线不可见方向(本机后方等)的情况下加快飞行员对威胁的响应速度，同时避免飞行员由于视线频繁切换于仪表与机舱外而出现空间定向障碍的概率，达到提升态势感知能力的目的。

对于该类应用对声源定位的精度有着较高的要求，依据目前雷达、电子战等设备的探测精度，最终三维音频的方向分辨率应优于5°。

3.1.2 提示类告警

提示类告警主要用于对本机系统状态及故障产生的提示或警告，通过听觉告警提示故障类型，通过灯光闪烁及文字提示等视觉告警方式进一步明确故障原因及需进行的后续操作。飞行员根据告警信息执行相关应急操作。

目前三维音频技术在提示类告警中主要有三种应用方法。

(1)告警音方向来自实际故障方向

设定三维告警音的虚拟方位来自于实际故障位置，例如，当左侧发动机故障，则模拟告警音来源于驾驶舱左侧。该方法的好处是除文字提示外利用声音方向进一步明确故障位置，强化飞行员认知意识，避免由于紧张环境出现的短时认知错乱而执行错误操作。

(2)告警音方向来自视觉告警方向

考虑到提示类听觉告警的根本目的是用于提醒故障，辅助飞行员迅速发现视觉告警，明确故障类别并进行相应的操作。因此，该方法以提升发现视觉告警的速度为需求，利用三维音频技术设定告警音虚拟方位为视觉告警的方位(灯光闪烁或文字提醒的位置)，将听觉告警作为引导视觉告警的一种辅助手段，达到提升飞行员对告警的响应速度的目的。

(3)虚拟三维运动告警音

该应用方法仅利用三维音频技术模拟出具有运动特性的告警音达到提示作用，丰富告警音类别，如当飞机油量不多时发出如水滴滴下的告警音或当数据链收到信息时发出类似于计算机调制解调连接的声音。该应用方法较适用于非重要信息的提示，其避免了语言告警对飞行员专注度的干扰，同时告警音更加自然，可有效降低长时间监听的疲惫。

上述三种应用方法各有优势，实际3D 告警系统设计中应结合心里声学及人体工效学对告警音逐条分析，根据具体应用场景分类，为每类告警音设计定制三维告警策略，同时综合各类告警的特点制定3D音频告警规则，以达到提升态势感知能力的需求。

3.2 话音通信应用

在传统机载平台下话音通信中存在如下两个问题:

(1)多人通话可懂度低:当多人同时通话时，多路音频数据混音输出，由于双耳效应的丢失会造成话音可懂度急剧下降，长时间监听还会增加收听者的疲劳度;

(2)说话人辨识:当同时监听多通道音频数据时，对于某通道突然传来的话音信息，收听者无法及时辨认其来源，影响任务执行效率。

三维音频在话音通信中的应用可解决上述两个问题，利用三维音频技术对不同音频通道设定不同的虚拟声源方位，实现对各通道音频数据的分离，达到音频信号空间信息重构的目的，使得“鸡尾酒会效应”重现，可提升多人通话的话音可懂度;同时不同通道的虚拟声源方位不同，收听者可根据听到音频的方位信息快速定位话音来源，提升响应速度。根据应用场景不同可分类为机外三维通话和机内三维通话。

3.2.1 机外通话

机外通话是指本机通过超短波电台等通信设备与地面或僚机完成话音通信。

图3 给出了F－16 机外三维通话及其与传统机外通话的效果示意图。假设存在超短波电台1、超短波电台2、短波、卫通4 路通信设备，传统模式下对4 路通信设备输入音频直接混音后通过耳机输出，如图所示其呈现的音像为“头中成像”，即人体感觉声音均来自于头表，无法区分各通道信息。而利用三维音频技术可将4 路不同通道的声源模拟至不同方位，飞行任务中各通道的虚拟方位固定，通过前期训练可使得飞行员根据不同方位的声音快速辨别通道类别，例如当声音来至正右方即立刻判断其来至于超短波1，以便给予及时反馈。

图3 机外通信应用场景示意图Fig.3 The schematic diagram of wingman－communication

该方法的特点是各类通信设备的虚拟音频方位固定，不随任务不同或相对位置改变而改变，无需输入额外状态信息即可实现通道分离，有利于工程化应用推广。

但该方法无法反应目标态势，不适用于编队战术这类任务。因此，目前另一类广泛研究的三维通话应用场景为动态方位实现，其根据僚机间相对方位虚拟话音声源方位，使得本机成员通过话音方向即可确定僚机的大体方位，强化编队位置信息，同时也完成了对各通道音频的分离。但实现该类方法需传输僚机的方位、距离和速度等态势信息至音频设备，造成对现有通信体制的改变，因此目前仍处于仿真模拟阶段。

对于三维话音通信应用，其对定位的精度要求较告警类应用较低，但需重点关注在满足可懂度需求的前提下可同时支持的最大音频通道数目。可通过虚拟方位间隔灵活设定及通道音频动态增益等方法实现对通道数目的提升，最大程度发挥三维音频的作用。

3.2.2 机内通话

三维音频在机内通话的应用方法与机外通话基本相同，主要实现对不同机组人员间通话的音频分离，具体应用方法如图4 所示，根据机组成员的相对方位模拟真实环境下“面对面”谈话的感觉，达到提升话音可懂度的目的。

图4 机内通话应用场景示意图Fig.4 The schematic diagram of intercom

3.3 飞训模拟应用

飞行模拟器作为飞行员训练的一种有效手段广泛应用。虚拟训练作为虚拟现实的一个重要应用方向，其是三维音频技术在航空领域最早应用的方向，用于实现对机内听觉环境的虚拟，其需要虚拟的声音听觉环境包括:

(1)发动机声，与速度有关，空间方位固定;

(2)气流声，与速度及机体结构有关，空间方位相对固定;

(3)武器发射、爆炸声，与相对方位有关;

(4)接地及滑跑时轮胎与地面的摩擦声，与速度和路面相关;

(5)液压、冷气、除雾等各类系统的工作声，空间方位固定;

(6)其余各类环境噪声，如雷、雨声以及无线电杂波声等。

虚拟听觉环境系统根据飞行员控制飞行模拟器的运行状态，动态从预先录制的音频数据库调用声音数据，并经过三维音频技术处理后通过扬声器或耳机输出。对于该类应用其重点在于提供逼近实际飞行中的听觉环境，以便飞行员熟悉飞行任务中可能遇到的各类情况下的听觉环境，提高态势感知能力。

由于该类应用对定位精度要求较低，目前通常利用商业音频处理算法库(如OpenAL、DirecSound等)通过纯软件的形式实现，无需专用的硬件设备。

3.4 无人机操控应用

三维音频技术主要应用于有人操控类无人机中，其主要应用方法与有人飞机类似，利用三维音频技术从多方面提升态势感知能力:

(1)环境声重构:重构无人机上麦克风所采集到的环境声，增加地面操控人员侵入感，提高操作效率;

(2)引导目标捕获:引导操控员在多个显示屏中快速捕获重要信息，避免出现视觉无法聚焦的情况;

(3)3D 告警应用:对入侵威胁或系统状态完成3D 音频告警，提升态势感知能力;

(4)话音通信应用:通过操控员之间的三维话音通信实现机间方位态势信息的感知，提供更好的编队态势感知信息。

由于无人机操控及显示环境的差异，操控员视觉感知态势能力减弱，因此在无人机应用中除关注定位精度、通道数目等指标外，还应重点设计更具引导性的声源信息，避免视觉频繁切换所造成的定向障碍。

4 机载三维音频关键技术

目前三维音频技术的理论相对成熟，在游戏、多媒体等商用领域已有大量的应用。但不同于商用领域中仅为增加倾听者的侵入感，三维音频技术在航空领域的应用对于定位精度、环境适应性等多个方面提出了更高的需求。针对机载环境的特殊条件，本节分析讨论其不同于商业应用的关键技术。

4.1 高精度个性化头相关传递函数的获取

HRTF 数据库的测量精度决定了模拟听觉空间分辨率。为满足雷达、电子战等威胁告警应用的需求，数据库测量精度应优于5°，目前大部分商用HRTF 数据库无法满足该需求。

除测量精度外，个性化因素是HRTF 数据库的另一个重要指标。由于人耳本身的差异导致不同个体的HRTF 差异较大，属个性化参数，应通过个性化测量或大量样本统计的方法降低个性化影响。

在航空领域的应用中，由于飞行员人数有限且相对稳定，因此可考虑为每位飞行员定制专属HRTF 数据库，可有效解决精度不足和个性化两大问题，同时强化前期训练，以在实际应用中达到最佳的性能。

4.2 头部跟踪技术

头部的转动会引起相对方位的变化，降低定位的精度，因此在航空高精度应用的需求下应对飞行员头部位置实时跟踪。

对于头部跟踪器在机载三维音频技术中的应用需要重点考虑以下三点［21］:

(1)测量自由度(DOF)数:头部跟踪器应满足所谓的“六自由度”测量，即3 个平移自由度和3 个转动自由度，同时转动方向的精度不应低于HRTF数据库的精度;

(2)参数刷新率:为避免对听觉定位造成影响，头部位置的刷新率大于10 Hz;

(3)系统延时:在机载环境下为不影响感知，系统延时不能超过10 ms。

目前高端的电磁式或光电式头部跟踪技术均能满足机载应用的性能要求，在F－22、F－35 等机型中均已得到应用［22］。

4.3 机载环境适应性

机载环境有着高噪声、高加速度、任务负担重及注意力高度集中等特点，应通过主观实验评估环境因素对方位分辨率、语音可懂度及飞行员响应速度等多个方面的影响，以确定三维音频在机载环境下的环境适应性，设计出适用于机载环境的三维音频声源数据库。

此外，应考虑与主动降噪技术等其他音频技术相结合的方式来提高环境适应性。

5 总结与展望

三维音频作为利用听觉系统提升态势感知能力的一种有效手段，目前已在航空领域得到了一定的应用。随着信息融合技术的发展，三维音频技术的重要性将更加突出，但在算法性能及工程应用方面仍存在一些问题有待深入研究:

(1)个性化HRTF 数据库获取:目前个性化HRTF 通常采用实验方法获取，其时间及经济成本较高，数据可重复性不强，因此急需理论技术、数值分析与实验测量相结合的HRTF 个性化测量方法，在降低测量成本的同时保证数据的有效性;

(2)三维音频客观评价体系的建立:目前三维音频技术的性能评估主要依赖于主观评价，受个体影响较大，因此有必要根据人耳听觉特点及机载环境特性制定出完善的客观评价体系;

(3)机载应用场景的设计:结合三维音频技术的特点，制定良好的机载应用场景，对现有音频通信体制进行一定的修改，将有利于更大程度提升三维音频对态势感知能力的作用，在三维音频技术理论日益完善的情况下机载应用场景设计也是一个非常关键的课题。

此外，在机载音频设备方面，未来三维音频技术将与语音识别、语音合成等先进音频处理技术相融合，实现智能化音频处理系统，并最终将听觉系统与视觉系统、触觉系统、嗅觉系统等人体感知系统实现高度综合化，以智能头盔或座舱一体化设备等形式存在，真正实现人－系统综合。

［1］马建毅，郑连泽.未来航空电子系统的发展方向［J］.舰船电子工程，2014，34(3):4－8.MA Jianyi，ZHEN Lianze.Key Technology Analysis and Development Trend Prediction of Early Warning Airplane［J］.Ship Electronic Engineering，2014，34(3):4－8.(in Chinese)

［2］胡瑞敏，王晓晨，张茂胜，等.三维音频技术综述［J］.数据采集与处理，2014，29(5):661－676.HU Ruimin，WANG Xiaochen，ZHANG Maosheng，et al.Review on Three－ Dimension Audio Technology［J］.Journal of Data Acquisition ＆ Processing，2014，29(5):661－676.(in Chinese)

［3］XIE B S.Head Related Transfer Function and Virual Auditory Display［M］.Florida:J ROSS Publishing，2013.

［4］MCKINLEY R L.Auditory and Acoustic Research and Development at Air Force Research Laboratory (AFRL)［R］.Fairborn:Ball Aerospace and Technologies Corporation，2010.

［5］NEHME C E，CUMMINGS M L.Audio Decision support for Supervisory Control of Unmanned Vechicles［R］.Cambridge，MA:Humans and Automation Laboratory，2006.

［6］BEGAULT D R.Head－ up auditory displays for traffic collision avoidance system advisories:A preliminary investigation［J］.Human Factors，1993，35(4):707－717.

［7］BEGAULT D R，PITTMAN.Three－ dimensional audio versus head－ down traffic alert and collision avoidance system displays［J］.International Journal of Aviation Psychology，1996，6(1):79－93.

［8］BEGAULT D R，ANDERSON M R，MCCLAIN B U.Spatially modulated auditory alerts［J］.Journal of the Audio Engineering Society，2006，54(4):276－282.

［9］KOTESKEY R W，WU S C，BATTISTE.Enhanced Audio for NextGen Flight Deck［J］.Advances in Human Aspecets of Aviation，2012:33.

［10］BEASLEY H H，HARDING T H，MARTIN J S.Laboratory system for the evaluation of helmet－ mounted displays［C］//Proceedings of 2004 SPIE.Beijing:SPIE，2004:204－212.

［11］LEE M D，PATTERSON R W，FOLDS D J.Application of simulated three－dimensional audio displays to fighter cockpits:a user survey［C］//Proceedings of Aerospace and Electronics Confrence.Dayton，OH:IEEE，1993:654－660.

［12］VELTMAN J A，OVING A B，BRONKHORST A W.3－D audio in the fighter cockpit improves task performance［J］.International Journal of Aviation Psychology，2014，14(3):239－256.

［13］PARKER S P A，SIMITH S E，STEPHAN K L，et al.Effect of supplementing head－down displays with 3－D audio during visual target acquisition［J］.International Journal of aviation psychology，2004，14(3):277－295.

［14］MCANALLY K，MARTIN R，DOMAN J，et al.Detection and Identification of Simultaneous Communications in a Simulated Flying Task［R］.Melbourne:Defense Science and Technology Organization Melbourne (Australia)Air Operations Div，2005.

［15］ARNTZEN M，RIZZI S A，VISSER H G，et al.Framework for Simulating Aircraft Flyover Noise Through Nonstandard Atmospherrs［J］.Journal of Aircraft，2014，51(3):956－966.

［16］MCMULLEN K，WAKEFIELD G H.3D sound memory in virtual environments［C］//Proceedings of 2014 IEEE Symposium on 3D User Interfaces.Minneapolis，MN:IEEE，2014:99－102.

［17］盛晓伟，郑淑涛，韩俊伟.飞行模拟器音效系统声音分析与合成技术［J］.吉林大学学报(工学版)，2013，43(5):1433－1440.SHENG Xiaowei，ZHEN Shutao，HAN Junwei.Technologies of sound analysis and synthesis for audio system of flight simulator.［J］Journal of Jilin University(Engineering and Technology Edition)，2013，43(5):1433－1440.(in Chinese)

［18］SODNIK J，TOMAZI CˇS.Spatial Auditory Human－Computer Interfaces［M］.Heidelberg，Berlin:Springer，2015.

［19］PHILBRICK R M，COLTON M B.Effects of Haptic and 3D Audio Feedback on Operator Performance and Workload for Quadrotor UAVs in Indoor Environments［J］.Journal of Robotics and Mechatronics，2014，26(5):580－591.

［20］BRILL J C，LAWSON B D，RUPERT A.Tactile Situation Awareness System (TSAS)as a Compensatory Aid for Sensory Loss［C］//Proceedings of the Human Factors and Ergonomics Society Annual Meeting.Chicago，Illinois，USA:［s.n.］，2014:1028－1032.

［21］周忠，周颐，肖江剑.虚拟现实增强技术综述［J］.中国科学 信息科学，2015，45(2):157－180.ZHOU Zhong，ZHOU Yi，XIAO Jiangjian.Survey on augmented virtual environment and augmented reality［J］.SCIENTIA SINICA Informationis，2015，45(2):157－180.(in Chinese)

［22］罗巧云.美军F－22 的先进航空电子系统［J］.电讯技术，2006，46(6):7－12.LUO Qiaoyun.The Advanced Avionics System of F－22［J］.Telecommunication Engineering，2006，46(6):7－12.(in Chinese)