飞机自动驾驶机器人研究综述

彭卫东，苏子钦

（中国民用航空飞行学院，四川广汉 618307）

0 引言

随着人工智能技术的快速发展，各种各样的智能机器人已得到了广泛应用，用于飞机自动驾驶的智能机器人也在研发中。一般来说客机、运输机、轰炸机等通常都配备至少两名驾驶员，如果飞机自动驾驶机器人研发成功将会取代传统的人类副驾驶，实现单人制机组。飞机自动驾驶机器人不同于飞机自动驾驶系统，其主要通过视觉系统非侵入式地获取飞机的运行参数和状态消息，模仿人类的操作方式使用机械臂驾驶飞机，无需对现有飞机进行太多的改装，也能适应不同机型，具有不会疲劳、可以随时保持专注、不受个人情绪影响、面对大量繁琐的重复性工作出错率极低等人类驾驶员不具备的优点，极强的环境适应能力使其在机舱失压、供氧系统发生故障等极端条件下仍然能够安全地驾驶飞机，在机长失去驾驶能力的时候也能迅速接替并采取相应措施，例如因人为操作失误使客舱增压系统不能自动加压最终造成的太阳神航空522号班机空难，如果该班机配备了飞机自动驾驶机器人作为副驾驶则完全可以避免此类空难的发生。还能够大大降低飞机飞行过程中驾驶员的工作负担，并有效缓解当前我国航空公司面临的飞行员紧缺问题[1]，战时也能有效减少人员伤亡。由于飞机自动驾驶机器人是一个非常前沿的研究方向，相关方面的研究与文献资料在全世界范围尤其是国内都并不多，尤其缺少综述性的文献，因此本文将着重于在整体层面上研究飞机自动驾驶机器人的原理、系统组成结构以及技术难点等，并提出未来可能的发展方向与趋势，能给未来的相关研究提供参考与新的研究方向。

1 国内外发展现状

1.1 国外发展情况

2016年网络上曾曝光美国国防部高级研究计划（DARPA）的机组工作驾驶舱内自动化系统（Alias）项目正在研发由机械臂和基于平板电脑的控制系统组成的飞机自动驾驶机器人，极光（Aurora）和西科斯基（Sikorsky）两家公司参与了该项目[2]。

图1 Alias飞机自动驾驶机器人

目前，极光的机器人已经完成了“钻石”DA42、塞斯纳208“大篷车”、UH-1“易洛魁”、DHC-2“河狸”等型号飞机的驾驶，也在波音737-800NG型客机的模拟机上成功完成了飞行和着陆的演示[3]，西科斯基的机器人完成了在西科斯基S-76型直升机、UH-60A“黑鹰”直升机和塞斯纳208“大篷车”型飞机上的自动驾驶测试工作[4]。

1.2 国内发展情况

目前国内在飞机自动驾驶机器人方面的研究还非常少，已知中国民用航空飞行学院人工智能飞行副驾驶团队正在进行相关技术的研究[1]，目前取得了一定的成果，包括已经完成了针对飞机指针式仪表的自动识别与读数[5]、飞机驾驶舱头顶板字符识别[6]、机舱内环境感知[7]、语音识别[8]与标准喊话语音库的建立[9]、机械臂控制方面的研究，并且后续的研究还在继续进行中。

2 技术要点

飞机自动驾驶机器人是一种从工业机器人发展而来，基于机械臂、传感器、处理器和人工智能技术的智能控制系统，由感知系统、动作系统、控制处理系统和交互系统组成，具体工作原理如图2所示。

图2 飞机自动驾驶机器人工作原理

2.1 感知系统

感知系统包含了视觉感知系统和压力传感系统，其中以视觉感知为主，通过视觉感知系统从飞机的仪表、指示器中读取飞机的运行参数、姿态、位置，通过视觉定位的方式对各开关的位置进行准确定位，也能透过驾驶舱风挡对飞机外部环境进行观察以及感知机舱内部的环境，在泊机的时候需要能够正确识别地勤人员的指挥动作。

视觉系统需要具备三维空间视觉的能力，目前常用的立体机器视觉方式有双目视觉和深度视觉两种，其中深度视觉又可分为ToF（Time of Flight）深度视觉和结构光深度视觉。

双目视觉因为具有近距离测量精度高、分辨率高、硬件成本低、不受驾驶舱内部玻璃器件反光影响、可以长时间连续工作的优点[10]，所以视觉感知系统更适合选用双目视觉的方式。

2.2 动作执行系统

动作执行系统的作用是直接操作飞机的具体设备，由多个机械臂组成。首先需要在副驾驶位置上安装一个用来操作各开关的主机械臂，左右方向舵的脚蹬都各需要配备一个特殊机械臂（机械足），对于双发和多发飞机而言，每个节流阀控制手柄都必须独立配备一个可以完成推拉操作的机械臂，飞机的操纵杆或操纵盘也必须单独配备一个控制机械臂，并且该机械臂也必须具备操作操纵杆或操纵盘上面按钮的能力。

其中最为复杂的是主机械臂，需要对各操作面板上的不同开关以及部分控制杆（如襟翼控制杆）准确地执行操作。飞机驾驶舱开关的种类包括按钮开关、旋钮开关、拨动开关以及按动开关等，因此主机械臂需要能够完成抓取、按压、旋转和拨动的动作，而要具备完成这些动作的能力则必须配备爪形末端，并且机械爪也需要具备防滑的能力，爪的末端直径也不能太大以避免出现误触现象。机械臂的抖振抑制也是必须要重点考虑的问题，抖振会严重影响机械臂操作的精度和可靠性。

2.3 控制处理系统

控制处理系统的功能是对视觉感知系统捕获的视频图像进行图像增强、图像分割、目标识别与定位等图像处理工作；对交互系统接收到的语音信号进行识别；根据飞行计划和机长发出的指令规划机械臂的运动路径，指挥机械臂完成相应的操作动作；同时根据压力传感器反馈的压力值、视觉感知系统读取到的飞机姿态、位置、内外环境和飞行参数，以及操作后开关的状态或者操纵杆的位置修正机械臂的动作以及执行下一步的操作。

飞机自动驾驶机器人对实时性有很高的要求，必须快速完成以上流程，同时视觉感知系统也需要具有很高的分辨率和帧率，这也就决定了其控制处理系统必须具备很强的运算能力和图形数据处理能力，以及良好的多任务处理能力。因此控制处理系统需要使用多核CPU作为处理器以保证系统运算处理能力能够达到要求。当然，尽管CPU具有运算能力强大、性能全面、可以兼顾数值与指令运算的特点，但是却并不适合处理并行的大规模数据，而GPU则与CPU不同，拥有更多并行处理的算术逻辑单元，具有很强的并行处理能力，尤其适合并行的浮点运算，在计算机视觉领域有明显优势，也能用于通用计算，但是却不擅长处理逻辑指令[11-12]。因此，将CPU与GPU结合起来，程序的串行部分主要在CPU上运行，当遇到运算量庞大的并行数值运算时使用GPU进行加速，这样可以使CPU与GPU形成互补的关系，有效结合了两者的优点、克服了各自的缺点，这种互补结构目前已成为了现代计算机的发展趋势[11]，飞机自动驾驶机器人的控制处理系统也非常适合采用这种结构。

2.4 交互系统

目前Alias机器人使用平板电脑与工程师进行交互，同时也具有一定的语音识别能力。飞机自动驾驶机器人必须要能够正确识别塔台的语音指令并给予语音回复，也可以将机器人的语音交互系统进行扩展，使机长能够选择平板电脑和语言两种方式与机器人进行交流，能极大提升人机交互的效率。还可以对视觉感知系统进行扩展，使机长能够通过一定的手势与机器人交流，机器人也能够监测机长的状态，并在机长出现过度疲劳、突发疾病、缺氧等不适合继续驾驶飞机的状态时发出提示信号和采取相应的措施。

3 难点分析

3.1 工作环境分析

首先运行中的飞机本身就是一个强振动的环境，在这样快速抖动的环境下视觉感知系统捕获的图像很容易发生畸变，从而降低识别与定位的精度。相机防抖的方法可分为：光学防抖、电子防抖、模式防抖和多重防抖[13]。光学防抖主要是利用硬件设备来进行防抖，防抖的目标对象是镜头和传感器[14]；当然，也可以将相机安装在机械云台上来实现防抖处理。电子防抖是一种基于数字图像处理的防抖技术，工作原理可以用图3所示的流程图来表示[15]。模式防抖则是通过调整拍摄参数来减轻抖动造成的影响[13]。多重防抖是以上几种防抖方式的综合应用。此外，提升相机的帧率也能有效降低抖动造成的影响，当然帧率越高也就意味着信息的传输量越大，对硬件设备要求越高。

图3 电子防抖的工作流程

除了抖动外，光照也是一个重要的影响因素。飞机驾驶舱属于弱光照环境，同时在飞行过程中不可避免地要面临逆光的问题，尤其是在早晨和傍晚时迎着太阳飞行。弱光照会导致目标纹理不够清晰从而降低图像分割、特征点的匹配、字符识别等环节的准确度，逆光则会使操作区域等非逆光区域亮度不足，如果只是简单地提升该区域亮度则会出现图像虚化、噪点增多等图像退化的问题。针对弱光照问题可以考虑采取直方图均衡化处理、使用人工智能进行增强[16]、使用牛顿迭代算法增强纹理[17]等方式。针对逆光的问题可以使用卷积神经网络[18]的方式对目标区域进行增强，也可以使用阈值分割[19]的方式实现增强。

3.2 实时性问题

飞机自动驾驶机器人的实时性取决于硬件设备、算法和数据传输3个方面。首先，高性能的处理器可以提供更好的运算能力，从而减少完成图像处理、目标识别与定位、数据分析与决策、机械臂路径规划等方面运算所需要的时间，即相当于减少反应的时间；另外，好的机械臂舵机可以使机械臂运动更稳定、运动速度更快，从而减少运动过程中消耗的时间。在算法方面，可以根据飞机驾驶舱内环境的特点选择适合的语音识别、目标识别、图像处理以及机械臂轨迹规划等算法并加以改进优化，在不影响效果的前提下简化其中的运算步骤，降低完成相关运算所需的时间，例如李兵等[20]就提出了一种强实时性和鲁棒性的图像匹配算法，可以很好地适应飞机自动驾驶这种对实时性和鲁棒性要求都很高的应用场景；同时，将机械臂的运动轨迹进行优化后也可以明显地减少机械臂运动过程中消耗的时间。在传输方面，对于视觉感知系统这样数据传输速率大的模块，则可以采用并口通信的方式传输数据。

3.3 动作路径规划

主机械臂的运动轨迹如果经过了良好的规划，那么可以大大节约运行的时间，提升机器人的操作效率；使轨迹相对平滑，避免速度和加速度出现抖动；同时还能合理地进行避障，避免因路径规划不合理造成的误触的现象，提升机器人操作的可靠性。机械臂的轨迹规划需要对机械臂进行正逆运动学求解，求解的难度随着机械臂自由度的提升而增大。现有的优化算法也比较多，例如使用遗传算法、快速随机搜索算法（RRT）、蚁群算法等都能够有效实现轨迹优化及避障[21]。为了让主机械臂能快速、精确、可靠地完成相应的操作动作，还需要为其选择一种合适的控制方法来从控制方法方面达到优化的目的，现有的机械臂控制方法有：PID控制、自适应控制、滑模控制、鲁棒控制、分散控制等[22]，但是每种控制方法都有其固有的优缺点，PID控制法具有参数简单、实现难度低的优点，但是这种控制方式忽略了非线性因素，也存在速度和控制精度都不高、稳定性差、不能满足复杂轨迹跟踪需求的缺点，将传统的PID控制与神经网络相结合组成智能PID控制则可以有效利用智能控制方法的优点来弥补PID控制的缺点，当然也对计算机性能有更高的要求[23]；自适应控制能够很好地适应系统参数的变化，但是需要进行复杂的动力学性能分析[24]；滑模控制具有响应速度快、鲁棒性强、结构简单易实现、不受系统模型不确定性干扰的优点，但是也存在抖振问题严重的缺点[25]；鲁棒控制的控制结构和参数都不随被控量或其他因素而改变[26]，因而具有很强的抗干扰能力，但是线性控制的本质也注定了其无法满足机器人这类非线性系统的控制需求[25]；分散控制因为具有运算简单、对硬件配置要求低的优点而被现代机器人广泛使用，但是也存在控制器之间通信滞后、应对随机干扰的能力不强等缺点，自适应分散控制可以使跟踪误差渐进收敛，但是需要提前估计增益，这会给实际应用带来不便，而完全自适应控制则无需任何先验数据[27]。因此针对控制方法的优化也是一个研究的重点。

3.4 应变能力

应变能力差是所有机器人都难以克服的缺点，例如曾有人在实验中将一辆全自动驾驶的“特斯拉”汽车“困”在了正常道路上不可能出现的环形双实线里面，而人类驾驶员则能够很好地应变。在程序设定内的情况下机器人具有比人类更好的工作效率和准确度，尤其是对于长时间的重复性工作，而一旦出现了程序设定外的情况，机器人则无法做到像人类一样灵活应变。因此，要想解决飞机自动驾驶机器人的应变能力问题，除了需要在开发的时候充分考虑飞行过程中可能会出现的各种状况及处理流程，以及后期针对新发现的问题及时更新机器人的程序，更重要的是与机长紧密配合，取长补短。

4 展望

目前美国的Alias机器人是针对在现有的旧式飞机而开发的飞机自动驾驶机器人，这类飞机在设计的时候并未考虑使用人工智能系统对飞机进行自动驾驶，因此Alias机器人是基于人类飞行员的驾驶方式而设计的，这种非侵入式的设计具有一定的局限性，例如对外界环境的感知只依靠视觉会使视觉感知系统任务繁重，还必须要保证很强的实时性，导致这样的机器人对控制处理系统的硬件要求非常高，机器人也无法通过激光雷达这样精度更高、有效探测距离更远、探测范围更大、抗干扰能力更强的方式[28]感知外界环境，存在一定的观察死角。

在飞机人工智能驾驶技术成熟之后，新式飞机在设计的时候安装人工智能驾驶系统的问题就会被充分考虑到，因而整个机器人系统都将会被设置在电子舱或其他不占用机舱空间的位置，相关组件将直接与航电系统相融合而不是非侵入式的设计，从而能够直接读取飞行参数和操纵飞机，视觉感知系统将只用于监控机外环境和机长的状态而无需监控飞行参数的变化和电门的情况，从而加快处理和操纵的速度，使其可以在更短的时间内完成复杂的操纵，也能降低硬件的成本。飞机自动驾驶机器人系统的环境感知方式也将不再局限于视觉感知，激光雷达、毫米波雷达等相对于视觉系统更加可靠的感知系统[29]将会被广泛使用，这对飞机地面和低空运行的安全性有极大的提高，同时机器人系统也将能直接使用机载的GPS、IMU等系统用于定位，低能见度的气象条件下也能使用红外光电传感器对机外环境进行观察。

这样的未来发展趋势已经在美国西科斯基公司的Matrix技术上得到了部分体现，其控制处理系统被安装在原副驾驶位置上，使用机电作动器来操控飞机而不是机械臂，能使用激光雷达和红外传感器，各组件遍布机体，当然改装难度也更大[30]。目前全世界自动驾驶技术正处于由3级（有条件自动化）向4级（完全自动化）发展的阶段[31]，各种具备自动驾驶能力的无人机得到了广泛应用，未来也会有更多非载人的大型飞机采用无人驾驶的方式，但因为前文所述的种种原因以及安全问题、公众接受度的问题，未来很长的时间内载人飞机都无法彻底实现无人驾驶。尽管未来的自动驾驶机器人可以完全替代人类副驾驶，人类机长大多数时候只是监视自动驾驶机器人，但是人类机长仍将掌握对整架飞机的最高控制权和决策权，必要的时候还是会参与驾驶。

5 结束语

本文参照Alias机器人的特点，根据现有的文献资料和研究成果结合作者自己的研究提出了飞机自动驾驶机器人的系统组成结构，从工作环境、实时性问题、动作路径规划、应变能力四个方面总结出了在研发过程中将会遇到的技术难点，针对这些难点列举了目前可以采用的解决方法，对于机械臂控制方法这一重点研究内容还对比分析了现有控制方法及部分基于这些控制方法的改进型控制方法的优缺点，最后提出了对飞机自动驾驶机器人未来发展方向和趋势的展望。飞机自动驾驶机器人的设计初衷并不是彻底取代人类驾驶员，而是与人类机长配合，各自发挥优势形成良好的互补关系，也能够有效弥补各自的缺点。飞机自动驾驶机器人具有一定的战略意义，但是实现这样的机器人也具有很高的技术难度，研发的过程中需要付出大量的资金和努力。