人工智能安全国际标准化进展研究

张琳琳 王腾

(中国信息通信研究院安全研究所，北京 100191)

0 引言

人工智能作为引领未来的战略性技术，日益成为驱动经济社会各领域从数字化、网络化向智能化加速跃升的重要引擎，对人类文明发展和社会进步产生广泛而深远的影响，但与此同时，人工智能技术的应用也带来了国家安全、社会伦理、网络安全、数据安全、隐私保护、人身安全等风险挑战。世界各主要发达国家纷纷布局人工智能发展战略规划，高度关注人工智能技术应用发展及安全风险防范。人工智能标准化工作有利于促进人工智能产业发展和技术创新，其中安全标准是人工智能标准体系的重要组成部分， ISO/IEC、ITU-T、ETSI、IEEE、NIST等国际标准组织积极推进人工智能安全标准制定，从不同角度逐步完善人工智能安全标准体系，为防范人工智能安全风险、鼓励良性人工智能应用、推动人工智能产业有序健康发展发挥基础性、规范性、指引性作用。

1 人工智能安全国际标准研究进展

1.1 ISO/IEC JTC1

国际标准组织/国际电工委员会的第一联合技术委员会(ISO/IEC JTC1)中开展人工智能安全标准化的研究组主要为SC42(人工智能)及SC27(信息安全)，工作涉及人工智能安全的标准项目见表1。

表1 ISO/IEC JTC1人工智能安全标准项目概况

SC42于 2017年10月成立，是ISO/IEC中负责人工智能标准的首要制定及管理单位，其下辖的WG3可信赖工作组负责人工智能安全标准制定[1]，由于传统信息安全“保密性、完整性、可用性”已难以适应新技术应用领域的安全需求，可信赖的概念在安全领域国际标准工作中日益受到关注和重视，人工智能可信赖的内涵包括可靠性、可用性、弹性、安全性、责任感、透明度、完整性等。当前，SC42可信赖系列标准化工作涵盖人工智能可信赖概述、人工智能安全风险管理、人工智能系统偏见、人工智能系统对人身安全功能实现、神经网络鲁棒性评估、人工智能伦理等相关议题。其中，ISO/IEC TR 24028概述了人工智能系统可信赖的基本概念，指出人工智能系统的技术脆弱性因素及部分缓解措施，提出评估缓解措施的有效性建议指标；ISO/IEC 23894基于通用风险管理指南ISO/IEC 31000，提供了人工智能安全风险管理方法，提出风险评估应考虑的因素，并给出风险应对措施建议；ISO/IEC TR 24027致力于降低人工智能辅助决策系统偏见的影响，并提供了偏见的评估技术和方法；ISO/IEC TR 5469提出了实现人工智能技术应用中人身安全保护功能的方法；ISO/IEC TR 24029-1、ISO/IEC TR 24029-2系列报告系统梳理了现有神经网络鲁棒性评估方法，并为方法的选择、使用和管理提出建议；ISO/IEC TR 24368提供了人工智能道德和社会问题概述。截至2021年5月，SC42已发布ISO/IEC TR 24028、ISO/IEC TR 24029-1两项人工智能安全技术报告，其他标准和技术报告均处于在研状态。

此外，SC27在信息安全领域已开展多年工作，由于人工智能安全与传统的信息系统安全具有相关性，并高度依赖数据和算法，因此SC27前期的基础性信息安全标准、数据安全及隐私保护标准均可为人工智能安全提供参考依据。同时，2021年4月，SC27全会批准立项新标准研究项目“解决人工智能中的安全威胁和故障的指南”，也体现了由于新技术的发展变化，各工作组之间安全标准交叉融合的趋势。

1.2 ITU-T

国际电信联盟电信标准化部门(ITU-T)人工智能工作涉及多个研究组，包括SG17(安全研究)、SG5(环境与气候变化)、SG16(多媒体)、SG2(业务提供和电信管理的运营问题)等，涉及人工智能安全的标准项目见表2。

表2 ITU-T人工智能安全标准项目概况

作为安全研究组，SG17高度重视人工智能安全标准制定，于2019年1月21日在瑞士日内瓦组织召开人工智能、机器学习和安全研讨会[2]，提出人工智能安全是SG17未来重要的标准化方向，SG17应研究各种特定安全和隐私控制的标准差距，解决已确定的威胁和风险，开展标准制定以填补空白。从当前的工作来看，SG17已有3份技术报告在研，涵盖机器学习安全应用、人工智能技术应用安全管理等方面。其中，TR.cs-ml提出基于机器学习的反垃圾邮件技术框架；TR.sgfdcml利用全同态加密技术为机器学习中的安全推理服务和数据聚合提供安全指导。2021年4月，SG17全会通过由我国主导的人工智能安全新立项TR.sec-ai，为人工智能安全技术应用安全管理提供指南。

SG5、SG16、SG2等研究组也部分涉及人工智能安全标准化工作，SG5已发布标准L.1305，提出数据中心基础设施管理系统技术规范，并考虑了人工智能技术在数据中心管理方面应用的安全性；SG16在研项目F.Supp-OCAIB，为区块链技术和人工智能技术融合应用安全保护提供建议；SG2在研项目M.AI-TOM，为人工智能增强型电信运营管理系统提出框架指南，并考虑了人工智能安全性等相关问题。

1.3 ETSI

欧洲电信标准化协会(ETSI)开展人工智能安全标准化的研究组和委员会主要为行业规范组-保护人工智能(Industry Specification Group-Securing Artificial Intelligence，ISG-SAI)、行业规范组-体验性网络智能(Industry Specification Group-Experiential Netwoked Intelligence，ISG-ENI)、技术委员会-网络安全(Technical Committee-Cybersecurity，TC Cyber)，涉及人工智能安全的标准项目见表3。

表3 ETSI人工智能安全标准项目概况

ISG-SAI成立于2019年，是ETSI专注于人工智能安全的工作组，围绕人工智能安全问题陈述、威胁分析、数据供应链安全、缓解策略、安全性测试以及人工智能硬件安全6个关键主题开展研究。目前，ISG-SAI已发布2份人工智能安全研究报告，其中ETSI GR SAI 004描述了以人工智能为基础的系统安全问题挑战，也提出了一些实际安全应用与攻击案例；ETSI GR SAI 005针对ETSI GR SAI 004中提出的安全问题挑战提出了一系列缓解措施与指南。后续，ISG-SAI关注的重点议题将包括人工智能数据安全、完整性和隐私性、透明度、可解释性、伦理与滥用、偏见缓解等方面。ISG-ENI 、TC Cyber等工作组也从各自标准化研究角度关注人工智能安全性。其中，ISG-ENI作为网络运行管理研究组，关注利用人工智能技术提供自动化网络部署的安全性；TC Cyber作为网络空间安全技术研究组，主要关注人工智能技术在通用性、基础性网络安全方面的问题挑战。

1.4 IEEE

电气与电子工程师协会(IEEE)是较早关注并开展人工智能伦理研究的国际标准组织，在人工智能安全领域主要关注人工智能伦理影响分析与设计、隐私服务、数据治理、可信性、安全风险评估、透明性等方面的标准制定。2015年12月，为了探索与解决人工智能伦理与社会关注的问题，IEEE发起“自主和智能系统伦理全球倡议”(IGEAIS)，并分别于2016年、2017年、2019年发布并更新三版《人工智能道德准则设计》[3]。IEEE SA(IEEE标准协会)是隶属于IEEE的国际标准工作组织，积极开展人工智能安全领域标准化工作，涉及人工智能安全的标准项目见表4。

表4 IEEE人工智能安全标准项目概况

IEEE SA建立了人工智能系统(AIS)社区，发布了全球人工智能系统人类福祉计划、人工智能系统应用风险和影响框架等倡议。在相关倡议引导下，IEEE SA下辖工作组在安全领域影响力较大的标准工作主要包括IEEE P7000TM系列和P2247TM系列，其中P7000TM系列作为人工智能伦理较为权威的标准，受到人工智能研究人员的长期关注；P2247TM作为深度学习、机器学习等技术要求与评估指南，为医疗、工业、金融等应用场景人工智能应用与产品提出安全指导。IEEE SA计算机学会下设的标准化委员会(C/SAB)和软件与系统工程委员会(C/S2ESC)围绕人工智能系统设计阶段伦理、自主系统透明度、算法偏差、数据隐私保护、知识图谱等领域开展标准制定。后续，人工智能系统社区也将关注自动驾驶、智能城市、工业人工智能等领域的安全标准化。

我国在IEEE人工智能安全标准化工作方面取得积极进展：2020年6月，微众银行牵头立项可解释人工智能体系架构标准P2894，对人工智能可解释性的定义、分类、应用场景、性能评估等进行系统性的规范；2019年8月，我国牵头成立IEEE知识图谱标准工作组，由中国电子技术标准化研究院专家担任主席，推动开展P2807知识图谱系列标准制定。

1.5 NIST

美国国家标准与技术研究院(NIST)将人工智能作为重点标准领域，于2019年2月发布《关于维持美国在人工智能方面的领导地位的行政命令》(EO 13859)，呼吁联邦机构加强与人工智能标准相关的知识、领导力和开发或使用人工智能的机构之间的协调，推动人工智能系统可信度的重点研究。NIST下设信息技术实验室(Information Technology Laboratory，ITL)，重点关注人工智能系统的安全性和可信性、社会和伦理安全、人工智能技术治理、隐私政策和原则等。NIST涉及人工智能安全的标准项目见表5。

表5 NIST人工智能安全标准项目概况

此外，2020年NIST发布隐私框架路线图，提出后续应加强对人工智能隐私安全的关注。

2 人工智能安全国际标准化进展总结及发展建议

人工智能作为快速发展变化的新技术领域，其安全标准制定需要首先明晰概念术语、提出安全框架、梳理相关场景、提出安全原则等，并在标准中为未来人工智能安全技术产业的发展指引方向，达到标准引领技术进步和产业发展的作用。当前，从各标准化组织工作进展来看，人工智能安全国际标准化工作整体处于初级阶段，标准化的重点方向主要包括基本概念、可信赖框架、评估方法梳理、安全风险分析、伦理安全原则等，并对认知科学、评估测量、车联网应用安全、区块链应用安全等后续人工智能安全潜在重点方向予以铺垫和考虑，具有基础性(基础议题多)、探索性(技术报告多)、前瞻性(铺垫方向多)等特点。

我国高度重视人工智能安全标准化工作，发布了《下一代人工智能发展规划》《国家新一代人工智能标准体系建设指南》等文件，明确了安全标准作为人工智能标准体系的重要组成部分，提出应发挥标准引领作用，保障我国人工智能安全。鉴于我国人工智能技术应用具有一定的国际领先优势，我国应积极参与国际标准化工作，一方面抢占人工智能安全标准化先机，提升我国在人工智能技术应用领域的国际话语权；另一方面保持国内外标准的协调一致，使我国人工智能安全技术产业符合国际标准相关要求，有利于我国人工智能技术和产品的国际输出。

综合考虑国际人工智能安全标准化现状以及我国人工智能技术产业发展特点，针对我国进一步深化人工智能安全领域国际标准化工作，提出两点建议：一是充分发挥我国人工智能技术应用及数据规模优势，结合丰富的应用领域和多样化应用场景，根据企业、高校、研究机构关注侧重点的差异，精确匹配国际上多个标准化组织的重点标准研制方向，有策略地牵头和参与ISO/IEC(总体性标准)、ITU-T(ICT行业相关度较高的标准)、ETSI(地区性应用指导性标准)、IEEE(伦理安全标准)等国际组织的标准化工作，鼓励我国专家在国际标准组织任职及担任国际标准项目编辑，打造兼具专业能力与外语水平的复合型国际标准专家队伍。同时，鉴于人工智能国际标准在国际上具有一定敏感性，在标准化立项和推进过程中要秉承积极协商、灵活应对、推进共识的工作策略，保障国际标准工作的顺利推进。二是紧密跟踪研究国内外人工智能安全标准化工作动态和发展趋势，把握人工智能安全领域国际标准研究态势和重点方向。建立人工智能重点难点标准合作交流机制，借鉴各国在国际标准组织中的工作经验，参考形成我国人工智能安全国际标准化工作推进策略。充分吸收国外人工智能安全领域标准研究成果，借助国际力量丰富和推进我国人工智能安全标准制定，保持国家/行业标准与国际标准之间的协调一致，提高我国标准的先进性、规范性，确保人工智能安全标准能够及时满足人工智能安全保障和新兴技术产业发展的需求。

3 结束语

我国人工智能产业规模、核心企业数量仅次于美国，位居全球第二位，覆盖技术平台、产品应用等多个环节，医疗影像、智能语音、智能翻译、自动驾驶等产品已达国际先进水平，智能安防、消费无人机等领域具备国际竞争优势，未来有望发展为全球最大的人工智能市场[4]。同时，由于人工智能技术应用对数据的高度依赖，我国的数据规模优势能够进一步助力人工智能技术应用的发展。高质量标准规范是人工智能得以创新发展的前提，我国人工智能标准领域的组织化建设、标准制修订等方面已经开展大量的工作，具备一定的工作基础[5]。然而，在人工智能等新技术领域国际标准化方面，尚未将有利于我国技术产业发展的规则以标准方式推向国际，并有效融入全球人工智能治理框架。全面了解人工智能安全领域的国际标准化工作态势，有利于我国专家有策略地牵头立项和深度参与国际标准化工作，发挥我国大市场、产业链完备以及数据规模优势，在新技术应用领域提升数字空间的国际影响力。