警惕“智能系统”带来的安全隐患

■中国电子信息产业发展研究院安全产业所 黄玉垚 高宏

一、智能系统安全问题的成因分析

（一）智能系统关键技术不成熟

从波音737MAX 空难和多起特斯拉事故来看，智能系统的关键安全技术应用并不是十分成熟。

一是智能系统的设计缺陷，人机互信机制并未完全建立，人能及时进行干预、纠正或终止智能系统行动的最高权赋没有得到保证。例如，从埃航坠机事故来看，波音737MAX配备的MCAS自动防失速系统，会自动触发、自动控制飞机，让飞机低头。这一功能设计的初衷是用自动驾驶功能来保证飞行安全。而结果是，MCAS 作为一个辅助人类的机器系统，在生死攸关时，不仅没有实现保障安全的目标，而且还在“人机搏斗”中，人类飞行员最后也没能夺回控制权，导致空难发生。

二是关键智能设备数据应对能力存在缺陷，对周边环境及静态物体的感知不灵敏。再如，特斯拉在2015年推出Level 2 智能驾驶系统——Autopilot后，关于安全性的相关争议就一直没有停止过。从媒体披露的特斯拉事故来看，Autopilot 在很多方面都存在缺陷，目前的技术还不完备，应对复杂环境的能力不足，可靠性不够，即使是摄像头、激光雷达能够探测到车前的物体，也不能保证百分百有效识别。车辆行驶过程中遇到其他车辆并道的情况时，前方车辆车尾没有完全进入传感器视线，传感器无法及时识别车辆，从而出现意外事故。

（二）安全性评估缺乏监管

一是美国联邦航空局（FAA）对737 MAX 机型的大量安全评估授权给波音公司自己操作。据美国媒体报道，多年来因资金和人力短缺，FAA 一直授权波音公司承担证明其自身飞机安全性的工作。在737 MAX 机型认证早期，波音的工程师在FAA 授权下，对关键的MCAS 自动防失速系统进行系统安全分析，得出了“符合联邦航空局所有适用的规章”的结论。但目前来看，737 MAX 机型的自动防失速系统本身存在诸多设计缺陷，而波音向联邦航空局提交的关于737 MAX机型飞行控制系统的最初安全分析报告数据也与实际不符；甚至，波音公司在长达一年多的时间里，竟然在停用一个关键性的737 MAX 客机攻角传感器报警功能，造成“迎角不一致警示灯”功能异常情况后，没有告知FAA 和民航界。

二是作为国家最高公路安全管理机构，美国国家公路交通安全管理局（NHTSA）澄清，特斯拉公布的安全测试结论超出了其分析范围。Autopilot 是特斯拉推出的辅助驾驶平台，能自动帮助司机处理一些驾驶任务。特斯拉曾声称，NHTSA曾发表的一份调查报告指出，Autopilot 能够让特斯拉汽车的撞车率降低40%；但NHTSA 表示，在特斯拉所提到的这份报告中，从未对Autopilot 的效率进行过评估，所以特斯拉的说法并无根据。而且，NHTSA 是禁止汽车制造商“吹嘘”自己拥有5星以上汽车安全等级的，但特斯拉在Model S 车型的宣传却违反了此规定。

（三）利益驱动下的市场优先策略

无论波音还是特斯拉，商业利益在采用智能系统应用于安全保障方面都扮演了尴尬的角色。

第一，由于来不及开发一款全新的客机来跟空客下一代A320Neo 竞争，波音不得不紧急启动737MAX 升级计划，在已经“榨干”了737 原始设计的前提下，加大发动机体积、减小机翼的设计，改变了波音737 一直以来的空气动力学，使飞机有可能在某些情况下拉高过多。为消除这种可能性，波音不敢开放对手动驾驶状态的保护，才设计了一个试图用软件补硬件的MCAS 系统，以便在起飞时候手动驾驶状态也会自动干预抬头。此外，737MAX的迎角传感器的读数功能和用来提示迎角数据不一致的故障灯是选配。这两个功能对飞行员的判断至关重要，但对波音来说这正好是提高利润的好机会。对于埃航来说，为了降低成本只能选择不配置。直到悲剧发生之后，波音才不得不取消了这种政策，为新下线的737MAX 免费增加这两种功能。

第二，为了在竞争激烈的智能汽车市场上占据一席之地，特斯拉试图成为自动驾驶革命的先行者。为了达到这一目的，与其他传统车企相比，在缺乏足够汽车设计和自动驾驶技术积累的基础上，特斯拉采取了更激进、更敢拿消费者的生命和自己的声誉冒险的策略。根据美国IIHS（公路安全保险协会）的报告，尽管Autopilot 的完善度较高，并不一定意味着更安全。装备了Autopilot 系统的车型，与其他车型前置碰撞预警、主动刹车和盲区提示等功能对安全改善的效果基本是一致的，并没有更出色的表现。然而，现在的问题是，更大的事故率来自特斯拉的宣传策略，引导用户过度使用Autopilot。但包括特斯拉在内都承认，Autopilot 依然只是一个驾驶辅助系统，而且在未来很长一段时间之内，仍旧不能完全成为自动驾驶系统。

二、规避智能系统安全隐患的对策建议

加强智能系统的软硬件检测

一是完善对智能系统的软件测试要求。通过智能系统的软件测试，对其功能性、可靠性、可用性、可维护性、可移植性、效率等方面的检测，对软件系统组件和模块进行全生命周期测试，最终能够放心、安全地使用。

二是健全对智能系统硬件的质量检验。应当在现有电子信息检测机构中，从信息化、智能化方面，建立重点针对系统的智能芯片、智能探测和传感系统、各类接口系统等硬件的可靠性进行检测，确保在基于物联网应用的层面上，智能系统自身的安全可靠。

严控智能安全装备的安全评估评价

第一，慎重下放对于安全产品的安全评价权。从美国的经验教训可以看出，在没有建立一套比较完善的安全评价标准和体制机制前，盲目下放智能系统检测权限，无法实现有效的监管，对智能安全系统应用是不负责任的。

第二，严格相关产品和系统安全评价的资格认证。在保证检测检验机构公正、诚实的立场，保持检验活动独立性的前提下，应当严格控制对安全防范与信息安全产品及系统检验检测机构的认可、授权和考核，并建立类似3C 认证的智能系统检验标准体系。

第三，完善智能系统和装备的应用统计分析。以大数据为核心，通过对安全事故的数据统计分析，建立智能系统测试数据库，并对数据进行深度的挖掘和分析，最终实现智能化控制和消除安全隐患的目标。

规范智能系统的市场秩序

首先，为防止的恶性竞争，应当建立针对智能安全系统和产品从企业资质、研发能力、生产设备、检验设备、安装和售后服务等方面的评价与市场准入机制。

其次，通过检验测试、系统分析、用户评价等方式，选择高品质、有保障的智能安全系统和产品，出台相应的智能安全产品技术与产品的推广目录，达到通过推广智能安全技术和产品，保障安全、降低伤害和减少事故发生的目的。

最后，建立完善的智能安全技术、产品和系统的通用标准，并强化监管，通过安全监管、市场监管、产品监管等多部门综合治理和规范，让安全性与安全性能成为生产企业的初心，使不成熟的技术、不可靠的产品、不完善的系统失去生存的空间。

完善智能系统的关键技术和设计

统筹各类资源，进一步促进机器学习、深度学习、人机交互、自然语言、机器视觉等多个技术的研发与应用，在投入使用前，要充分开展研究实验，以数字化模拟和真实场景试验为重点，深挖智能技术及系统的缺陷，完善智能技术对复杂环境的有效识别，提升智能技术对隐患的准确判断和响应能力。

此外，智能系统的逻辑设计应是人机协作，而不是机器换人，人必须拥有系统使用的最高权限。尤其是在自动驾驶领域，如果解除了自动驾驶状态，则自动驾驶系统应当彻底停止工作，只显示实时故障，飞机或汽车完全由驾驶员指挥并协调处理各类问题。