人工智能技术的安全风险亟须重视

张于喆 李红宇

技术发展无疑是人类文明进步的主要推动力，不仅再造了经济社会发展的驱动优势，同时重塑了经济社会发展的逻辑轨迹。当前，人类社会正处在一个大发展大变革大调整的时代，人工智能技术是影响经济社会发展的重要变量。如果我们不能正确理解技术条件带来的颠覆性变化，就无法在这场全球经济社会格局的大变革中重新定位自身角色、找到发展方向。

一、人工智能技术作为影响经济社会发展的重要变量具有两面性，既带来新机遇，又带来新挑战

当今，我们正处在百年未有的大变局中，人工智能技术正在引领新一轮科技革命。人工智能技术由基础技术和通用技术构成，其中基础技术主要包括云计算和大数据平台，通用技术主要包括机器学习、模式识别与人机交互。随着云计算和大数据平台的发展，以及超强算力、算法模型、海量数据和应用场景的共同作用，以计算智能、感知智能、认知智能和人机增强型智能为代表的人工智能技术呈现加速发展态势，并不断演进成为新一轮科技革命和产业变革的重要驱动力量。麦肯锡（MGI）报告指出，人工智能有可能显著提高整体经济生产力，其影响堪比19世纪的蒸汽动力、20世纪的工业制造和21世纪的信息技术对世界经济的影响（或更大）。应该说，人工智能技术作为国际竞争的新焦点，为我国经济社会发展带来了新机遇，是事关我国能否抓住新一轮科技革命和产业变革机遇的战略问题;其快速发展不仅对于新时代下我国转变发展方式、优化经济结构、转换增长动力、提升社会治理能力具有重大意义，而且只有加快发展新一代人工智能，才能避免因缺少人工智能技术辅助而在战略判断、策略选择与执行效率等方面而进一步拉大与技术先进者的能力鸿沟，才能赢得全球竞争主动权。

同时，人工智能技术发展的不确定性也会给一国带来新挑战，比如说，其会受限于算法不可解释性、数据强依赖性等技术问题以及人为恶意应用，而对经济社会与国家政治领域带来全新挑战;特别是在与实体经济深度融合发展的过程中，也可能会对经济安全、意识形态安全、国家安全、政权安全等方面造成一系列挑战。例如，根据不完美、不可预测的现实世界数据做出预测、决定的人工智能系统，很有可能会因缺乏常识和推理能力而以不恰当的方式被使用;特别是如果用来做出决定的数据存在偏见，那么算法会继承、吸收、再现和强化现有的不平等数据模式，这种反馈效应模式使得最后的结果会加剧不平等并引发各类安全隐患。

总体而言，人工智能技术不仅仅关乎技术，更将关乎治理，必将在广度和深度等方面对一国经济社会产生深刻影响，甚至是“颠覆性”变化，其结果也将直接影响世界发展格局和国家前途命运。因而，面对百年未有之大变局，必须强化风险防范意识，早识别、早预判，通过提前识别风险、精准管控风险，才能妥善防范化解重点领域风险，确保人工智能技术的发展行稳致远。

二、人工智能技术对经济安全、意识形态安全、国家安全、政权安全的潜在负面影响不可小觑

随着人工智能技术的不断发展和应用不断突破瓶颈，人工智能技术不仅已经有能力做出可以改变普通人日常生活的决定，而且对经济安全、国家安全、意识形态安全、政权安全的潜在负面影响之快、之大、之深远远超出人们预期。因而，在人工智能领域的技术探索已处于世界前列的同时，如何确保“我们用技术打造的世界，是一个我们想要居于其中的世界”，成为当前我们面临的关键问题。

从经济安全的角度看，尽管人工智能的整体发展仍处于初级阶段，仍然只能解决特定问题，但作为新一轮国际竞争的焦点，人工智能技术可能会引发新的安全风险，最常见的安全问题主要包括对国外信息技术产品的高依赖性、锁定在产业链中低端、数字鸿沟的不断加剧等方面。例如，在人工智能产业链的基础层、技术层和应用层，我国更多集中于将技术应用于商业場景，具有很强的背景依赖性，很难将一些领域的技术进步转化到其他领域;而人工智能技术的核心在于算法、算力和数据，我国在算法、算力以及致力于解决不同类别问题等方面，与先发国家相比差距还相对较大。其中，在CPU、内存、硬盘和操作系统等核心基础软硬件产品方面，我国的CPU主要依赖英特尔和AMD，内存主要依赖三星、镁光，硬盘主要依赖东芝、日立和希捷，操作系统主要依赖微软，特别是，中兴事件更是给我们敲响了发展警钟。又如，从《专利合作条约》（Patent Cooperation Treaty，PCT）申请的数量来看，美国仍然是技术输出的领头羊，并且其申请量占到总量的41%，中国申请数量相对较少，仍然没有形成较大规模性的技术输出。再如，人工智能技术发展的最大受益者是高技能劳动者和投资者以及积极采用技术的创新型前沿公司，潜在受损者将是从事中低技能工作的人群以及不愿意或无法快速实施技术的公司，由此产生的“人工智能技术分歧”将会加剧社会不平等、助长经济不平等和破坏竞争，不利于经济可持续发展并引发经济风险与危机。

从国家安全的角度看，随着人工智能技术的应用，使得攻击能力在潜伏性、隐蔽性、定向性、自主性、融合性等方面愈发突出，也使得各种黑客组织、民族分裂和恐怖主义势力可以更加便捷地融合利用人工智能技术;如此，加剧了非对称性强的“攻防不对等”形势，成为威胁政治安全和社会稳定的严峻风险，特别是在网络空间等新兴领域爆发冲突的风险不断增加。由于“守方”技术实力的局限性以及“攻方”行动隐蔽性好、效费比高、攻击智能化等特点，使得攻击可以快速绕过多重防御，最常见的安全问题主要包括金融、能源、通信、工业系统、教育、交通、医疗卫生等领域关键基础设施或政府机构和政府有关实体被攻击，以及数据被篡改等方面，最终造成的潜在危害影响范围广、破坏性大。例如，印度黑客入侵巴基斯坦政府官网，将网站页面设为纯黑色，并播放印度国歌，以庆祝印度独立日。又如，瑞典运输管理局（Trafikverket）在2018年10月遭到黑客DDoS攻击，导致官网服务掉线、列车运行延误。再如，在“震网”（Stuxnet）事件中，美方使用了5个Windows零日漏洞和1个西门子的零日漏洞，实现了通过网络空间作业对伊朗核设施造成物理破坏的效果，几乎永久地迟滞了伊朗核计划，达成了美方的战略意图。

从意识形态安全和政权安全的角度看，随着世界多极化、经济全球化、文化多样化、社会信息化的深入发展，各类组织和个人越来越多地通过机器学习恶意使用信息来故意混淆、误导或转移公众舆论，以实现其战略目标，这已经成为一种新威胁，也对我们提出了新挑战。由于大量匿名用户的存在和网络连接的开放性，最常见的安全问题主要包括在物理层（Physical）（网络基础设施）、逻辑层（Syntactic）（操作系统和应用服务）和社交层（Semantic）（应用服务的互动交流人群）等方面进行“怀有敌意”的攻击行动，特别是通过谣言（Disinformation）、误传（Misinformation）以及数据的篡改，实现舆论导向、文化渗透，并引发非常严重的后果。例如，2018 年 3 月，剑桥分析（Cambridge Analytica）公司非法获取脸书（Facebook）上超过5000 万用户数据，并通过定向推送影响大选事件曝光。又如，有了人工智能技术的推动，可以精确地识别那些最易受到虚假信息影响的人，而且含有“deepfake”技术伪造的视频的“假新闻”，可以通过具有影响力的社交平台进行非法传播，以实现某种政治目的或改变某种政治进程与格局。再如，人工智能技术可以强化它们从现实数据中获得的认知，然而在依靠规则和训练数据的过程中，特别是在面对不熟悉的场景时，不透明的“黑箱”很可能做出错误判断，甚至放大解决问题、做出预测和采取行动的风险。

总体而言，人工智能技术不是凭空存在的，创造技术的行为和使用技术的方式，都会体现特定的价值观和逻辑假设，作为工具的技术，本身无法做到其实际上做不到的事情，即无法解决深层次的规范性问题。特别是，训练数据中的认知偏见和系统复杂性，使得学习系统的行为并不总是可以预测，由此可能会让人们付出代价，并放大恶意内容、虚假信息的负面影响。为此，必须要真正地从国家安全和发展全局的高度，以深沉的忧患意识和强烈的责任担当，从长远考虑，科学处理好人工智能技术作为推动经济社会发展巨大引擎和对经济安全、意识形态安全、政权安全带来潜在风险的辩证关系。

三、“补短板、强监管、促融合”，最大限度降低人工智能技术的负面影响

人工智能技术发展的风险与机遇同在，无论国际风云如何变幻，中国维护国家主权和安全的信心和决心不会变。我们必须要顺应人工智能的技术发展趋势和当今国际环境的特点，深刻认识人工智能技术发展中安全性的极端重要性，按照“创新发展有底线”的要求，更好发挥政府作用，通过“补短板、强监管、促融合”，最终让人工智能技术推动我国经济社会发展的潜力发挥到极致。

（一）补短板

要紧紧抓住创新驱动的“牛鼻子”不放松，推动人工智能技术发展取得新突破新成效。

一是开展人工智能基础技术研发。坚持创新驱动，积极抢占技术制高点，实现人工智能技术基础层、技术层和应用层的全链条重大突破。借鉴美国DARPA的数据驱动模型发现研发计划（Data Driven Discovery of Models，D3M），通过构建可选基元库技术、开发复杂模型自动整合技术、创新人机混合交互技术和领域专家知识融合技术，重点开发可以自我更新、自我学习的新算法，推进数据驱动的重要线索发现或演化规律预测，提升信息的深度认知能力和对手行动态势、发展变化的预测能力，极大地扩大人工智能的实用性。加强高时效的大数据计算模型、优化技术与系统以及特定场景智能感知与理解技术、数据可视化技术等人工智能基础理论和技术方法的研发攻关，重点开发能够像人类一样推理的人工智能系统。推动政府监管部门对人工智能与机器学习技术的集成，充分利用人工智能技术协助收集、处理、分析海量可用数据，通过对数据的编目和标注以及算法训练的加强，使得相关数据快速转变为用于指导行动的情报，实现对数据最大程度地利用和工作效率的提升，从而有效破解甚至消除“数据迷雾”。

二是积极开发提升态势感知体系能力、基于云的大数据平台。借鑒美国防信息系统局（DISA）的赛博大数据平台（BDP），通过融合大数据、云计算和其他交叉学科技术，提供包括通用数据基础表征、分布式数据存储与索引、数据分析、系统抗毁性防御组件等整套功能、基于云的解决方案，实现最广泛、最全面的活动视图，以支持决策并增强整体安全态势。要深挖人工智能技术应用中的痛点，聚焦技术研发、创新应用等方面，注重实用化、国际化和长期价值的创造，通过基于云的大数据平台，加速人工智能技术和具体应用场景、更多客户的匹配，推动人工智能技术的迭代创新，以最快速度提供解决经济社会发展过程中所遇各种实际问题的能力。

（二）强监管

要坚持“高站位、宽视野”的原则，采取法治化、市场化手段，确保防范化解重大风险取得新成效。

一是建立人工智能技术应用管理机制。要在对人工智能技术新应用、新尝试给予足够创新空间的同时，通过系列兵棋推演，不断掌握确保安全可控的技术能力，加强安全监测、预警、控制和应急处置能力的建设，推动应对安全风险行动的优先次序和资源分配。要加强政府部门、市场主体等各方的沟通交流，在技术上加强跟踪控制，在政策上加强统筹协调，明确沟通程序、冲突管理的解决方法和责任人，提升政府部门的应急管理效率和强化安全监管职能。要树立正确的网络安全观、信息安全观，不断强化落实人工智能技术安全管理的主体责任，全面提升安全综合治理意识和能力，实现对人工智能技术创新发展风险的有效控制和及时调整，以应对安全领域的挑战。要加强对不可预见风险的预防性工作，通过风险规划、风险识别、风险估计、风险评价等工作，推动国家安全能力成熟度的审查和评估，有效推动里程碑管理。

二是加强人工智能技术创新与应用发展的监测。要充分发挥企业、高校、科研院所、产业联盟和行业协会的作用，加速构建适应人工智能技术风险管理的多方合作、利益共享、风险共担的开源生态格局，为人工智能技术的健康发展提供保障。要依托产业联盟、组织各方力量、加强工作协同，探索建立人工智能技术创新与应用发展情况的动态运行监测体系，定期发布人工智能技术创新与应用发展报告，形成对发展进度、潜在影响、发展趋势的及时、连续、系统记录和报告，有利于防范系统性风险。要充分发挥人民群众的主体作用，积极践行群众路线，认真研究吸纳群众的意见建议;特别是，面对重大突发性安全事件，更要紧密联系群众、紧紧依靠群众，让人民群众成为维护意识形态安全、国家安全和政权安全的第一道防线。

三是积极应对人工智能技术的挑战和脆弱性。要积极推动安全可信网络架构、智能传感器和算法模型的建设，加强关键信息基础设施的保护，提供安全的端到端服务，确保从网络到用户整个过程的数据安全，强化管理监督、提高工作效率。要加强对网络内容、智能设备和关键点的智能化控制，通过提升安全规范自动化的规模，力争做到让人工智能技术进行系统识别、优先排序并以最快速度选择任务需求，提升联网设备的智能管理能力和快速执行处理能力，确保海量设备在整个生命周期中的安全性。要制订重要数据的敏感度评估办法，加强数据集的敏感度认定，设置基于用户权限级别的数据掩码。要创建人工智能的道德规范，着力增强规则制定能力、议程设置能力、舆论宣传能力、统筹协调能力，提高相关部门在全球技术治理中的话语权。

（三）促融合

要构建促进融合发展的体制机制，形成高质量发展的强大合力。

一是提高数据的实时融合效率。充分利用领先的用户规模、普及的智能终端和积累的数据资源等综合优势，推动传统的“烟囱式”数据库整合成统一的分析决策视图，构建集中管理、快速准确分析海量数据的算法模型，并提供面向任务、可理解的高效分析方法和情报信息，大幅提升跨机构协作能力。依托互联互通的共享数据信息，鼓励相关企业合作创建、使用可重用工具、库、标准以及人工智能云服务，扩大基于共用基础数据的人工智能影响。鼓励市场主体基于共享数据提供有助于情报分析人员和决策者实时、动态掌握、理解和管理态势感知、智能决策的综合性系统和解决方案，实现“从数据到決策”的闭环管理以及观察（Observe）、调整（Orient）、决策（Decide）和行动（Act）决策循环周期的有效缩短。

二是加强军民融合协同创新发展。要坚持开放与协同创新，着眼于提高人工智能技术领域军民融合发展的整体质量效益，通过制定军民融合发展的工作规则，形成军民融合发展的鲜明导向和评价标准规范，促进军民两大领域的需求共融、资源共融、能力共融、技术共融，构建一个军民互动、共同协作、效益放大的发展格局。要在资源有限、时间有限的条件下，科学理解和准确把握人工智能技术的发展态势和未来趋势，紧紧围绕军民融合发展战略，充分利用军民资源的各自优势，进一步明确军民融合发展的指导思想、发展目标、基本原则、组织方式、重点环节和基本程序等内容，逐步实现军民领域资源的一体配置、一体统合、一体运用，打造一体化的战略体系和能力。

（张于喆、李红宇，中国宏观经济研究院产业所副研究员）