弱人工智能操作系统在民航运输中的应用风险及规制路径建议

□ 南京航空航天大学 于文薇/文

事后，根据埃塞俄比亚航空难调查报告和波音公司的陈述，两架客机坠毁前都出现特定传感器读数错误、客机飞行姿态矫正系统“错误启动”。短短几小时内飞机连续出现上升和下降两种姿态，飞行员多次执行了飞机制造商提供的所有程序，但依然失去了对飞机的控制，最终导致灾难发生。

应用于民航运输的弱人工智能操作系统的法律特征——MCAS系统为例

有研究将人工智能技术大体分为三类，分别是弱人工智能、强人工智能以及超人工智能。弱人工智能，也称狭隘人工智能，是指只能够完成某一项特定任务或者解决某一特定问题的人工智能，如Alphago围棋机器人；强人工智能又被称为通用人工智能，指的是一种类似于人类的人工智能，具有自我意识，可以独立思考判断并解决问题。超人工智能则是指在各方面能力都远远强于人类的一种智能。

强弱人工智能存在极大的技术差异，它们之间的分水岭正是是否具有类人的自我意识、独立思考以及判断能力。

波音737 MAX8装备的MCAS系统是针对航空领域而研发用来解决飞机失速问题的具有优势性的工作系统。该系统具有智能性和自动型，可以在检测机头属于上翘时，迫使机头下压。该系统在正常飞行时不会启动，只有在飞机遇到某种特定状态时候，才会自动启动。系统的启动与飞行员操作完全独立，既不需要借助任何飞行员的帮助，也不会对飞行员进行明显提示。

简单而言，MCAS系统是一种辅助飞行员工作的工具，与电话、电脑这些传统观念上的工具没有本质区别。从特征上来说，都是“物”，不具有思维能力。只是MCAS系统工作效能远远超出一般工具，同时具备了大数据模式，可以自我分析辨别可能出现的情况并自动开启适用。因此MCAS系统是一种典型的弱人工智能程序。

关于弱人工智能的法律主体资格的认定，要比强人工智能的法律主体资格简单的多。

从法学关系构造的角度将自古以来的法律主体制度构造总结为三种类型：第一种是“家族—家父—主体”，第二种是“自然人—人格—主体”，第三种是“权利能力—主体—行为能力”。其中第三种“权利能力—主体—行为能力”的构造使得法律主体类型摆脱囿于人类的思维框架，摆脱了人格对于主体观念的属人暗示，将重点放在意思的表达之上。

从图上可以看出，20 cm深度土样的连线比较平缓，明显表现出较低的异质性，而0～20 cm深度的平均数据(对5 cm和20 cm深度土样求平均)与GPR数据的平均趋势更为接近，但又失去了当前点位置的异质性，因而，在本实验中，地面直达波的测量深度很有可能小于20 cm。而通过对图3和图4综合分析，GPR的总体测量精度约为0.02 cm3/cm3。

作为法律主体资格的权利能力与意志能力相关，特定意志能力是具有主体资格的实质要件。法律主体只有具备独立思考能力，有实施或不实施权利的意识，以及意识到相关义务和不履行义务的后果的能力，才能调整自身行为，进而承担法律上的责任。弱人工智能因为技术局限性，其所拥有的其实是在大数据模式下对于数据的应用分析，并不是绝对意义上对于现实状况的判断。也就是说，如果出现了不存在于数据库中的情形，那么该弱人工智能体就面临瘫痪，不可能出现像人类一样的深度模仿创造能力，完全独立的思考能力和判断能力。因此弱人工智能无法拥有自己独立的意志能力，自然无法成为法律上的主体。

从角色定位上而言，弱人工智能体的类人性并不明显，反而是工具性更明显。它本质上是一种工具，目的只是为了辅助人类生活工作。工具其实是人类双手的延伸，是人类意志的体现。在考虑人类意志的前提下，再去考虑人工智能体的意志就显得失去意义了。

因此不能因为弱人工智能体具备了不同于以往任何工具的智能性和自动化，就认为应当赋予其法律资格。只要目前的人工智能体尚未延伸出自我意识，没有进入强人工智能阶段，就摆脱不了工具的角色定位，无法拥有独立的主体地位。

弱人工智能操作系统在民航运输中的应用风险

MCAS系统没有独立的法律主体资格，因此航空事故的最重要责任承担主体仍然是波音公司和航空公司。但正因为MCAS系统的弱人工智能性，上述两起空难事故的原因也不可能单纯是因为系统读数错误这种纯技术性问题。事故的背后也有人工智能体和自然人意志的衔接和博弈问题。

（一）人工智能技术的不确定性

首先人工智能技术高度依赖于算法准确性，算法准确性基于精确的数据库。原始数据的错误或不完整，数据传输过程中被篡改，窃取，攻击或意外故障以及使用过程算法的漏洞与误差都会导致算法偏差。飞行过程中哪些因素会导致人工智能系统的错误运行，最终又会对飞机造成何种影响，现有研究尚未成熟。

其次人工智能发展轨迹具有不确定性。现代科学技术体系开发复杂，人工智能技术与同样迅猛发展的互联网、物联网、区块链等前沿技术的结合，都能催发出源源不断的新产业、新应用。现在的人们无法预知民航运输智能化的终点，甚至难以深刻感知现有智能技术与民航运输的结合进程，难以预测人工智能技术的潜在新风险。不确定性是现代科学的内在特征，不可能实现对结果的绝对预测把控，只能追求弱化和管控风险。人工智能技术的不确定性时刻警惕着民航业始终秉持必要的谨慎，以谦抑的态度和发展的眼光来对待民航业的发展。

（二）过多的智能化削弱了人的思维能力和认识能力

MCAS系统的智能化之处在于具有自动执行程序，但它的自动执行程序并不透明。系统启动时不需要借助飞行员操作，也不对飞行员做任何明显提示。事后调查显示波音公司提供的飞行员培训项目和操作手册中都未提及此系统。因此，在飞行员以为自己完全控制飞机时，可能MCAS程序正在操作飞机。这样的人工智能系统实际上在弱化飞行员的认知能力，剥夺飞行员对飞机的掌控权。过于智能化的程序代替了飞行员的一部分预判和操作功能导致了飞行员无法全面的感知事故情况。在MCAS程序运营良好情况时，可能会导致飞行员过度依赖于人工智能，难以储备对现实状况的判断和操作的经验和能力。而当系统出现问题时，飞行员更是难以从整个操作系统无数精密发达的仪器单元中精确找出危险并且进行排除。

（三）自动系统指令和人类指令的优先性问题

2002年，瑞士境内两架飞机在同一航线同一高度且相距极近。瑞士苏黎世空管中心空管员发现这一情况紧急给出控制指令。但这一指令与飞机自动避让系统自动给出的指令相反，飞行员根据空管指令操纵飞机避让，最终导致两机相撞。此次事故后，国际民航组织制定了一条航空管制中的空中紧急避让规则：当出现空中飞机相撞危险需要紧急避让时，若人工管制指挥与飞机自动检测系统指令发生冲突，则服从自动系统。此案例似乎说明：在紧急情况下，自动检测系统的指令可靠度要优先于人类指令。

而埃塞俄比亚失事航班的事故报告中，可以看出飞行员和MCAS系统僵持了不下30次，最终飞行员失败了，发生错误的系统占据上峰，导致飞机最终失速坠毁。这对于人工智能和人类谁掌握最终决定权提出了巨大挑战。

人工智能出现的初衷就是希望借助机器的机械化，大数据的全面性，操作的便捷性，环境的适应性等优势来消除注意力不集中，判断失误，操作失误等人为因素造成的事故。但归根结底，弱人工智能是工具，对于人类的生活工作起弥补作用。当人工智能和人的行为同时面对灾难险风险的情况下，人类不能将最终决定权无条件的交给人工智能机，尤其不能放弃紧急关头的人类最终决择权利。

弱人工智能操作系统在民航运输中安全审查机制的建构

（一）加强对于智能系统的安全检测必要性

民航大飞机，国之重器。飞机的安全检测直接影响到飞机的质量和飞行安全，进而关乎着乘客的生命安全和财产安全权。狮航空难和埃塞俄比亚空难的背后都存在安全性评估的严重缺乏，波音737MAX8的经验教训可以看出，飞机的安全检测急需建立一套比较完善的安全评价标准和体制机制。政府盲目下放智能系统的检测权限无法实现有效监管，只可能会导致利益驱动下的市场优先策略而置人类安全于不顾。

（二）完善我国民航运输安全审查机制的建议

弱人工智能操作系统尚未具备法律人格，所以相关大部分侵权问题仍然可以参照产品责任问题解决。但弱人工智能该操作系统已经初步具备了自动化特点，使其能够脱离人的控制自主做出判断，甚至干涉人类命令改变飞行状态，这使得对于飞机人工智能操作系统的审查和管理有独特要求。

1.建立人工智能影响事前评估制度

目前我国民用航空器的适航管理由中国民用航空局负责，以《国际民用航空公约》适航指导目标和国内其他更完备的适航规范为标准，审查范围包括航空器的设计、生产、使用、维修。同时制造商和航空公司内部也会有各种企业规范和行业标准来提高产品质量。一般认为适航审定没有轻重之分，因为每一步都会造成安全隐患。

因此，操作系统的智能性应该被纳入适航审查和质量检查的事前评估中。通过预测人工智能系统在实际场景中可能出现的故障、失灵、被攻击等情况，来加设对抗性学习算法或者培训飞行员的应变能力。

除此以外，因为人工智能技术发展日新月异，很多潜在风险尚不确定，不能一味参照现有经验技术评估。审查主管部门有必要联合相关科技公司，科研机构进行前瞻性的风险预估，秉承着早发现、早预防的理念来促进人工智能技术的有序发展。

2.提升飞行员应变风险能力

人工操作是解决人工智能失灵问题的最后防线，因此必须不断提升飞行员应对风险的应变能力。保障飞行员对于飞机各操作系统全面知情权是防范风险前提。波音737MAX8事故调查报告中就指出飞行员操作手册中没有提及MCAS系统自动执行程序，直接剥夺了飞行员对事故的预测能力。因此有必要将飞机的智能操作程序以及最佳操作方法纳入操作指南。此外还应建立科学的模拟培训程序，提高机组人员处理紧急情况的专业能力和素质，对人工智能系统失灵、被攻击等情况下应对方案能提前熟悉掌握。

3.推进弱人工智能操作系统的技术标准与伦理规范建设

操纵系统的越来越智能化是一个不可阻挡的趋势，但智能操作和人工操作的优先性问题却不可避免。1950年阿西莫夫就提出“机器人必须服从人给予它的命令”。微软提出关于人工智能伦理的六项原则其中也强调“AI必须用来辅助人类”，“AI必须是透明的”。这种预先主动预防默认了人工操作的优先性，能有效平衡人与智能的关系。虽然从算法层面使操作系统能够自我规制对于现有技术尚难实现，但应当持续引导操作系统制造商在开发时就遵循人类意志优先于人工智能的伦理道德和用户友好规则。

总之，现代交通业发展以互联网、物联网、大数据为基础，带来便捷出行体验的同时也伴随着新的侵权风险。波音737 MAX8事故正是在向我们警示，我们不应该仅仅将眼光投射于强人工智能对人类社会带来的威胁，而对弱人工智能体完全放松警惕。在这个弱人工智能开始逐渐盛行的时代，弱人工智能的利用和风险防范需要不断审视和平衡。

资料图片