浅析人工智能安全面临的问题与挑战

焦阳

摘要：近年来，人工智能技术快速发展和广泛应用，推动了人类经济社会的快速发展，也逐步转变人们的生活方式。与此同时，人工智能安全问题逐步凸显。本文从人工智能的内生安全、衍生安全和助力安全三个方面出发，分析人工智能安全面临的问题与挑战，最后提出人工智能安全未来发展的几点思考。

关键词：人工智能;安全;信息技术

人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用的科学技术。人工智能的快速发展对人类的经济社会发展和生活方式产生了巨大影响。作为信息技术，人工智能自然存在本身的安全问题，而作为应用到其他领域的赋能技术，人工智能还存在着衍生的安全问题。本文从人工智能安全的不同方面分析其面临的问题与挑战，并提出几点思考。

一、人工智能安全概述

人工智能可以模擬人类自主活动，实现对部分人类智慧的替代，因此其安全问题备受关注。国内专家学者对人工智能安全的体系架构从不同角度进行了研究和讨论，有的研究从网络空间安全和人类社会安全角度，提出覆盖安全风险、安全应用、安全管理三个维度的人工智能安全体系架构。或者从人工智能内部和外部两个视角，提出人工智能的内生安全、衍生安全和助力安全。本文即采用第二种角度对人工智能的安全问题进行讨论。

（一）人工智能内生安全

人工智能作为以计算机科学为基础的信息技术，本身存在着一般信息系统普遍存在的脆弱性。人工智能的算法、模型、数据、框架/组件等方面的脆弱性构成了人工智能内生安全问题。

算法安全的主要风险源于人工智能算法的不可解释性。人工智能广泛采用的神经网络，其每个神经元的权重参数，以及多个隐藏层所代表的含义缺乏可解释性，从而无法找到算法的缺陷，造成安全风险。模型安全的主要风险源于人工智能模型的可窃取和可篡改。数据的错误和质量低下会对人工智能系统形成严重的干扰，这是数据安全风险的主要来源。人工智能框架/组件的开源开放带来了人工智能系统基础环境的不可靠，在当前广泛使用的大量开源框架中，大多数没有经过安全评测，对其潜在漏洞和风险没有安全底数。

（二）人工智能衍生安全

人工智能衍生安全问题指的是由于人工智能系统自身的脆弱性而危及其他领域安全的问题。人工智能广泛应用于各个领域，其自身安全也同时会引发其他人工智能应用领域的安全问题，常见于因系统失效带来的安全事故，包括自动驾驶汽车、智能机器人失导致人身安全受到危及，以及医疗领域人工智能应用中出现的危险医疗意见等等。

（三）人工智能助力安全

人工智能作为赋能技术，在助力安全方面主要表现为在网络安全、信息安全和社会公共安全等领域的广泛应用。人工智能在网络安全威胁的快速识别、反应和自主学习方面具有巨大潜力，可以推动网络安全向动态防御和主动防御演进，提升网络防护的自动化与智能化水平。同时，基于人工智能技术进行文本、图像和视频识别的应用日益成熟，面向违法信息的信息内容安全审查成为了人工智能在安全领域落地应用的前沿领域。在社会安全领域，基于人工智能技术的智能安防，可依托对海量视频数据的学习完成行为模式的推断和预测，从被动防御向主动判断、及时预警的智能化方向发展。

二、人工智能安全面临的问题与挑战

（一）人工智能内生安全面临的问题与挑战

对抗样本攻击。对抗样本攻击的概念早在2015年即提出，主要以图像、文本、音视频等形式，通过输入有扰动的数据，导致算法失效。对抗样本攻击凸显了人工智能输入数据干扰和算法的不可解释性导致的安全缺陷。

偏差的训练数据影响算法模型准确性。当训练数据发生偏差造成质量下降，产生较多噪声数据和小样本数据，某些依托海量数据训练的人工智能系统结果准确性会大幅下降。美国麻省理工学院研究人员与微软科学家研究发现，主流人脸识别系统大多用白种人和黄种人面部图像作为训练数据，在对黑种人进行识别时准确率会有很大下降。

开源框架/组件存在安全漏洞。目前国内人工智能广泛使用了大量开源框架和组件，这些开源的框架和组件大多数没有经过安全评测，可能存在漏洞和后门等风险。

（二）人工智能衍生安全面临的问题与挑战

人工智能自主系统危及人身安全。以自动驾驶汽车、机器人为代表的自主系统，在人们生产生活中逐步替代人类进行决策，施行自主操作。这些自主系统的非正常运行，直接危害人类自身安全。2018年3月，Uber测试运行的自动驾驶汽车就曾因自动驾驶系统的非正常运行造成一名女性行人的死亡。

算法歧视引发偏见与不公。算法歧视的主要表现在价格歧视、性别歧视和种族歧视等方面。例如，一些网购平台利用大数据技术，同款产品对老用户报价更高;某些筛选简历算法系统对求职者的评分结果，倾向于给男性求职者更高评分;某些国外网站的高薪工作的招聘启事，向白种人显示的机会多于其他人种。

（三）人工智能助力安全面临的问题

人工智能技术在助力网络安全防御的同时，也被广泛应用于网络攻击，对现有网络安全防护体系构成威胁与挑战。

利用人工智能设计恶意软件。2018年，IBM研究人员在美国黑帽大会（Black Hat Conference）上展示了人工智能恶意软件DeepLocker的新式概念验证攻击程序，利用深度神经网络模型隐藏在合法app中，通过影像、声音、地理位置等特征辨识目标并释放攻击。DeepLocker还能利用人工智能能力躲避安全软件的侦测。

人工智能模糊测试发现零日漏洞。美国飞塔公司（Fortinet）在其2019年发布的威胁态势预测中指出，利用人工智能进行模糊测试，继而发现并利用零日漏洞，成为网络攻击的新趋势。人工智能机器学习模型的应用使零日漏洞的发现变得更为高效，这将对网络设备与系统防护产生重大影响。

三、几点思考

在人工智能快速发展的今天，我们既要充分肯定其在解放人类生产力、改善生活水平方面的巨大作用，也要高度重视其自身安全问题及广泛应用在经济社会发展中可能带来的风险与挑战，及早采取行动加以防范。

首先，要建立健全法规制度，保障人类自身安全。对于人工智能系统自主性活动较多的领域，应明确人工智能产品或系统的责任主体，充分考虑可能产生的故障事故和违法违规行为，从制度层面加以规范和约束，避免由此造成的财产损失、人身伤害和社会危害。

其次，应加强人工智能技术的安全评估检测。人工智能发展到当前阶段，其自身脆弱性所引发的安全问题已经凸显，需要从算法、模型、数据、框架等方面，结合原有信息安全防护经验，并适应人工智能技术新特点，设计出较为完备的安全评估检测方法。

第三，应加强自主创新力度，打牢技术基础。随着人工智能逐步应用到金融、交通等核心关键领域，以往“重应用、轻基础”，多采用开源框架进行二次开发的方式，为人工智能技术基础安全带来隐患。因此，需要从人工智能算法、框架等关键技术和基础环境研究入手，加强自主原创开发力度，并在涉及国计民生的核心领域采用具有自主知识产权的人工智能系统或产品，消除基础安全风险。

参考文献

[1]方滨兴主编，《人工智能安全》，中国工信出版集团、电子工业出版社，2020年6月第1版.

[2]中国信息通信研究院，《人工智能安全白皮书 （2018年）》.

[3]国发〔2017〕35号，《国务院关于印发新一代人工智能发展规划的通知》.

[4]警惕算法潜藏歧视风险，http：//news.gmw.cn/2019-06/23/content_32939880.htm.