SPO模式下的人机交互技术

彭俊榕 魏麟 谭任翔 何峻毅

关键词：单飞行员驾驶;驾驶舱;人机交互;态势感知

1引言

科技的发展有力推动了民航客机驾驶舱机组人员数量的减少，从最初的多人制机组到如今的双人配置，随着自然进程演变，驾驶模式也会从双人转变为单人。考虑到运营成本和飞行员短缺的问题，国内外民航界正在积极探索研发民航客机单飞行员驾驶（Single Pilot Operations，SPO）模式[1]，将在驾驶舱中仅配置一名飞行员，承担原本需要两名机组人员承担的工作负荷，必将应用一些新兴的科技和设计理念，以实现不低于目前双人驾驶模式的飞行安全水平[2]。

实现SPO模式不仅需要重新设计驾驶舱布局，还要对驾驶舱的人机交互技术进行革新，以增强飞行员对飞机状态和周围环境的感知能力。“驾驶舱飞行员+机载自动化设备+地面站操作员”的组织架构是目前实现SPO模式较为认可的方案，随着飞机自动化技术的发展，飞行员向“自动化系统管理员”角色的转变更加明显。SPO模式下的人机协同操作，不仅要考虑操控决策和权限分配，如何在技术层面将其融为一体也是值得深入研究的课题。SPO模式下的人机交互设计将采取“以人为中心”的设计理念，全面考虑飞行员的操作习惯、心理压力和生理反应等，将机载自动化设备作为虚拟的人工智能副驾驶，对飞行各阶段执行的任务进行优化、辅助和监控，确保飞行员时刻拥有足够的态势感知能力和最高控制权[5]。

2驾驶舱人机交互技术发展现状

2.1显示领域

LCD显示器在飞机上开始应用后，与CRT显示器相比，期不仅体积小、能耗低，并且可靠性更高，很快取代了CRT显示器在驾驶舱中的显示应用，目前主流的电子飞行仪表系统（ EFIS）均采用LCD显示器，其在驾驶舱中的应用范围还在不断增加。

进入21世纪后，飞机制造商已经为民机加入了平视显示器（HUD）等先进电子技术。HUD作为机载光学显示系统，通过透视镜将导航信息、姿态信息等重要飞行参数以符号形式与挡风玻璃前的真实视景叠加[6]。飞行员通过使用HUD大幅减少了在各飞行阶段频繁俯视仪表的动作，视线仅保持水平就能获取关键的飞行数据，能避免中断外部视景、丢失情景意识。HUD已经开始大规模装备于民航客机，客机制造商也在新机型上将其作为标准配置或是可选安装项目。与此同时，一些新兴技术也在迅速与HUD技术进行融合。视景增强系统（EVS）通过安装在航空器前部的红外传感器，能够显示飞机外部的红外热辐射形成的真实图像，提供外部环境特征。合成视景系统（SVS）则以飞机的位置和姿态为基准，以环境数据库为基础，在HUD中用SVS图像覆盖真实环境，同样可以提高飞行员在能见度不良情况下的态势感知能力[7]。

2.2控制领域

现代民航客机大部分仍采用以旋钮开关、物理键盘和半球形轨迹球为主的机械式人机交互方式，这种方式虽然功能稳定，但是控制效率很低，功能相对独立，操作流程复杂，占用了大面积的驾驶舱空间。随着触控技术等电子式人机交互方式开始在驾驶舱中出现，飞机驾驶舱控制领域的技术变革正在迅速进行。

触控技术适合年轻一代飞行员的交互习惯，可提高飞行员的手眼协调能力，缩减操作时间[8]。泰雷兹和霍尼韦尔等设备供应商对于触控屏的技术已有大量研究，尽管出于安全考虑，实现的功能十分简单，但随着未来驾驶舱显示控制功能的集成化，这些触控技术会逐渐替代现存的机械式人机交互技术，从而进一步释放驾驶舱空间，是实现新一代驾驶舱设计理念的基础。

霍尼韦尔公司的Anthem驾驶舱系统和泰雷兹公司的集成式Odicis驾驶舱，均采用多块触控屏代替了原有的显示控制设备。目前，空客和波音在其新机型上都引入了这项技术。触控屏在大规模应用前，需要进一步优化人机工效，从根本上降低误操作的可能性，进而缩短操作时间，确保飞行员操作的有效性和舒适性。

3SPO模式下的人机交互技术

民航客机的人机交互技术正在更新迭代，更加适用于人使用习惯的科技能够被实现及应用。未来，SPO模式下的人机交互设计将“以人为中心”，结合SPO组织架构之间的交互条件，把一些新兴技术应用在驾驶舱内，如图1所示：一是态势感知技术（白色方框）;二是综合控制技术（黑色方框）。对飞行员的态势感知能力进行增强，要让信息获取的方式变得更为高效，确保飞机上的飞行员能够独自～人全面地感知飞机和环境信息，迅速建立情景意识，对形势做出准确判断：SPO模式下的飞行员的操纵任务会有所增加，应在控制方式上进行革新，从飞行员的角度出发进行设计，采用自然高效的控制方式，并通过技术融合手段进一步提高人机工效，简化操作流程，降低飞行员的心理压力。

3.1态势感知技术

3.1.1显示屏技术

如今，民航客机驾驶舱的显示屏绝大多数都采用LCD技术，LCD显示屏有漏光、色彩对比度低、可视角度差等缺点。近年来，消费电子领域快速发展，多种显示技术得到成熟应用，如MicroLED和OLED技术。综合考虑画质和设计性等因素，未来单飞行员驾驶舱最理想的显示技术是OLED，能够用它来取代如今主流的LCD技术。

OLED显示屏采用自发光技术，不仅亮度高，发光效率高，还能显示纯黑色，鉴于其优异的广视角性能，飞行员即使不直视屏幕也能够清晰地看到屏幕上显示的内容。采用OLED技术的显示屏面板轻薄，能够与现有的触控技术完美融合，并且能够弯曲，支持定制复杂的形状，这种特性极大地增加了SPO数字化驾驶舱布局设计的自由度。

3.1.2HMD技术

具备AR功能的头戴式显示器（HMD）近年来发展迅速，其功能全面，不仅可以替代HUD，还能作为检查清单辅助设备、合成视觉设备、生物特征监视器和通信導航交互器。

以微软HoloLens 2为例，其集成有头部追踪、眼动追踪、惯性测量等多类传感器，拥有混合现实捕获、即时定位与地图构建（ SLAM）等技术，通过衍射光波导将图像信息传人人眼。它拥有两个3D体感摄影机：一个正对前方，用于深度感应，构建深度地图，智能识别物体;另一个向下倾斜，用于识别手势，其精度更高，帧数也更高。此外，鼻梁部位的两个相机分别负责虹膜识别和眼动追踪。语音麦克风隐藏在设备底端，强大的降噪功能使得在高达90分贝的嘈杂环境中，用户依然能使用语音操作设备。

驾驶舱中定制化的HMD通过与机载自动化设备交联后，不仅能够实现与AR-HUD相同的外部感知功能，解决HUD只有在平视时才能读取信息的问题，还能让飞行员与驾驶舱内部环境进行交互，如引导飞行员执行和遵守检查清单：根据飞行任务，引导飞行员至面板相关区域，并协助检查该区域按键开关的位置或者菜单条目的选择情况。

随着科技的快速进步，HMD在技术上不断成熟，产品重量和体积也不断减小，一些品牌的产品在外观上与眼镜、护目镜看起来别无二致，能让飞行员很快地熟练操作。HMD能够将语音、眼位、手势等方式作为交互手段，与机载自动化设备交联，极大地增强了SPO模式下飞行员对环境的感知能力和对飞机的控制能力。

3.2综合控制技术

3.2.1语音控制技术

语音控制系统通过对飞行员的语音指令进行识别，转换为控制信号，实现与机载设备的交互。该技术能让飞行员在手不脱离驾驶杆或视线不发生偏移的情况下，完成驾驶舱内的一部分控制、輸入和查询任务。语音指令能够用在非关键的且对实时性要求不高的控制功能上，如画面切换和模式选择，可以有效提高操作效率，减少物理按键、开关的数量，特别是在数字信息的输入上能更为方便快捷，从而大幅减少操作时间。

语种的识别、标准喊话语音库的建立等都是形成语音控制能力的基础。语音控制系统必须经过大量的驾驶舱语音数据学习，确保识别语音信息的速度和准确度，在重要指令的识别与执行程序上，需要有二次确认程序，防止飞行员口误造成飞机失控。语音控制技术使飞行员通过类似与“虚拟副驾驶”对话的方式，在与机载自动化设备互动的同时，能缓解长时间单人驾驶带来的心理压力，有效提高执行任务时的专注力。

3.2.2眼动控制技术

飞行员在获取信息时，有80%-90%的信息来源于视觉，视觉与眼球运动存在密切联系，眼动控制系统通过追踪飞行员的眼动信息，可根据一系列眼动追踪指标，自动对驾驶舱显示系统进行反馈调整，使飞行员通过视觉获取信息的能力增强，从而增加操作绩效。例如，通过低频率的眨眼动作，增加注视区域详细的附加信息显示：通过长时间的视线停留，放大或高亮显示注视的区域或选项条目。飞行员利用视线选中目标后，再结合使用语音、手势等控制方式进行确认，能够有效避免误选，缩短操作时间。

眼动控制技术还能够在SPO模式下对飞行员的生理、心理状态进行监控。控制系统通过追踪飞行员眨眼频率、瞳孔直径等信息，联合驾驶舱语音系统对飞行员可能出现的疲劳驾驶状况进行声音警告，并在显示屏上进行提示。

3.2.3手势控制技术

手是飞行员驾驶飞机时使用最多的身体部分，手势控制是符合使用者控制习惯的人机交互方式。按手势识别方式进行划分，除了已经较为成熟的触摸屏手势控制技术之外，还有基于数据手套和基于计算机视觉的手势控制技术。

基于数据手套的手势控制技术是通过穿戴含有传感器的数据手套，检测追踪飞行员手在驾驶舱空间中的三维信息，对选定目标进行控制调整。数据手套的使用不会受光线的影响，手部活动的空间也不会受到限制，数据采集相对视觉识别能更加迅速，在未来驾驶舱采用AR技术的情况下，数据手套能起到有效的辅助作用。基于计算机视觉的手势控制技术是通过视觉采集设备捕捉手势图像，利用图像处理算法对手势进行分析，按识别结果进行分类和模板匹配，形成相应的控制指令。

4结束语

民航客机驾驶舱中的人机交互技术虽然在不断发展，人机功效也在不断提高，但是在态势感知方式和控制方式上相对独立。为了实现SPO模式，需要将多种态势感知技术和综合控制技术相互融合，将飞行员作为设计理念的中心，进行人机交互方式的革新，只有用新技术去适应他们的操作习惯和使用需求，才能有效提高人机协同能力，确保飞行员有能力胜任该模式下的全部飞行任务。