人工智能算法“黑盒”安全风险及治理探讨

□ 文 叶晓亮 王丽颖 李晓婷

0 引言

当前我国面部识别、语音识别等人工智能（AI）创新应用已进入世界前列，世界AI大会最新发布的《2020年全球人工智能创新指数报告》列出，我国AI创新指数全球排名第二。但是，安全作为发展的前提，AI算法“黑盒”问题带来的安全风险亟待高度重视。中科院、浙江大学等高校明确指出，由于算法不透明等因素，在医疗诊断、无人驾驶等领域存在各类安全风险重大隐患，针对算法“黑盒”相关研究及AI应用安全管控问题迫在眉睫。

1 AI算法“黑盒”存在四大安全风险

AI算法“黑盒”问题是指由于广泛应用在AI产品上的深度学习等主流算法模型内部结构复杂、运行过程自主性较强且人工无法干预等因素，在数据输入、模型训练、结果输出等方面出现运行机制难以解释，运行结果无法完全掌控等问题。在实际应用中，AI算法“黑盒”问题体现出四大安全风险：训练数据缺乏导致安全缺陷难发现、模型运行自主性及不可解释性导致运行过程难理解、安全测试标准不统一导致产品安全难掌控、技术手段探索不足导致安全监管难以到位。

1.1 训练数据缺乏导致安全缺陷难发现

目前深度学习作为AI技术的主要算法之一，其特点是通过大量的训练数据对模型训练，最终确保在特定输入数据下通过“黑盒”运行，得到更加智能、精准的输出结果。例如智能网联汽车需要大量多样化路况信息和场景训练，才能确保其无人驾驶过程中能够分场景判断路况，并相应调整运行状态。从技术机理上看，深度学习等算法的安全性与数据具有强耦合性，不同数据所触发的神经网络节点并不相同，测试结果也不尽相同。针对“静态”情况下的深度学习算法进行的安全测试仅能发现较少漏洞。另外，神经网络中往往包含着众多的隐藏层，只有利用体量足够大、类型足够丰富的数据进行安全测试时，“激活”模型中各个部分，才能测试出更多的安全漏洞。浙江大学指出，由于历史数据的偏差，曾发生过算法对肺炎患者诊断出错等问题。从产业实践上看，经调研发现，目前各家科技公司仅利用本公司所搜集的有限数据进行测试，各公司宣称“安全”的AI产品往往具有很多较难发现的安全漏洞。因此，一旦未经充分安全测试的相关产品大范围应用于交通、民生、医疗、甚至军事等领域，将暗藏错误推理、错误决策等较大安全隐患。

1.2 模型运行自主性及不可解释性导致运行过程难理解

深度学习等算法通常涉及特征提取、特征处理、多次迭代（即多次循坏）等过程。在特征提取阶段，该过程往往是由深度学习算法自主选择并进行处理，具有不可解释性；在特征处理阶段，经提取后的特征需进行多次函数处理，目前业界仍无法解释该过程的处理结果；在迭代阶段，深度学习迭代次数及迭代数据巨大。例如工程上，深度学习算法模型训练图片时通常数据量是1万张以上，因此对该过程进行实时跟踪依旧无助于算法模型的解释性工作，目前尚无有效技术手段了解内部运行流程。中国科学院大学研究指出，由于算法的解释性差等原因，通过神经网络嵌入恶意软件可以使模型在性能未受影响或影响很小的情况下秘密传播。

1.3 安全测试标准不统一导致产品安全难掌控

传统软件测试具备完善的测试体系，而目前监管部门以及各大科技企业之间暂未形成统一的测试标准及测试流程，各个企业针对自身产品的安全性表述往往是“自说自话”，市场上AI产品安全性参差不齐。腾讯朱雀实验室研究发现，通过模拟实战中的黑客攻击路径，摆脱传统利用“样本投毒”等攻击方式，直接控制AI算法模型的神经元，为算法模型“植入后门”，可在几乎“无感”的情况下，实现完整的攻击验证。从产业实践上看，经调研发现，产品上线前，大多数科技企业会针对产品进行大量测试。但是多家科技公司指出，由于针对AI产品缺乏统一的测试标准以及底线要求，随着传统网络攻击、数据投毒等攻击手段的升级，AI算法“黑盒”本身以及其衍生的安全问题将更加突出，产品的安全性将更加难以控制，亟待根据安全风险变化，与时俱进完善产品测试标准以及安全测试公共服务环境。

1.4 技术手段探索不足导致安全监管难发力

产业监管通常包括备案式和主动检查式两种监管模式。目前由于测试技术、测试手段不健全以及算法“黑盒”难题未解决等原因，即使科技企业将源代码提交至监管部门备案，或者交由第三方机构进行安全审查，监管部门同样面临算法内部运行机制不清晰，以及算法运行结果难解释等问题，导致算法备案、第三方审查等监管方式无法发挥真正的监管作用。从产业实践上看，经调研发现，由于上述技术难题，监管部门只能从算法外侧进行初步的安全检查，难以进行更有针对性的监管。可以预见，即使算法存在“后门”等安全缺陷，且现有监管体系在AI发展过程中存在不足，容易遗漏产品的重大安全风险以及产品应用可能引发的次生风险。中国科学院大学发现，使用真实的恶意软件替换AlexNet等AI算法模型中50%左右的神经元，该模型的准确率仍保持在93.1%以上，同时该被“污染”的模型可成功规避防病毒引擎的安全扫描。

2 国外在AI算法监管方面的实践

2.1 “强问责”顶层规范算法安全使用

2.1.1 事前鼓励算法备案。在算法正式应用前，多国政府要求平台企业应根据不同算法的风险等级，进行自我备案或向监管部门备案。美国、澳大利亚均要求对平台企业采取的算法进行监管，并披露算法细节。

2.1.2 事中加强算法安全性举证责任。在监管部门启动有关算法调查和行政处罚中，平台企业承担着自证合规的举证责任。脸书前产品经理豪根在美国国会参议院听证会上指责脸书算法的危险性，公开指出脸书产品存在危害儿童、放大偏见、鼓励两极化等问题，随后公司高层被要求就算法等问题进行解释。

2.1.3 事后强化算法追责。当企业自己主动提供隐私政策和承诺后，监管部门有理由对其违背自身隐私政策的行为，以“欺骗性贸易”的名义进行处罚。美国联邦贸易委员会曾因脸书违反自身于2012年作出的企业隐私政策，对脸书处以5亿美元的罚款。

2.2 “分场景”设置风险安全管理规定

2.2.1 对高风险应用场景的算法进行严格监管和限制。欧盟、美国、德国等主要地区均对高风险应用场景提出了特别规范要求，欧盟按照安全风险的高低，将AI应用场景分为“最低风险、有限风险、高风险、不可接受的风险”四个等级，等级越高的应用场景受到的限制越严格。其中“高风险”应用场景主要包括与生物识别、关键基础设施、教育培训、就业、执法、移民、司法民主等领域内的应用，这类功能在启用前应履行严格义务，包括严格的风险评估、通过高质量数据最大限度降低风险、增加必要的人工监督等。美国对高风险算法也提出了特别的规制要求，制定关于“高风险自动决策系统”的评估规则。德国拟建立从不受监督的无害AI系统到完全禁止的危险系统的五级监管体系。

2.2.2 对大型科技企业的算法过程进行严格监管。美国提出年收入超过5000万美元或拥有超过100万用户的企业，应进行算法影响评估，衡量在开发、设计和训练数据过程中，对算法准确性、公平性及对消费者隐私和安全的影响。法国要求平台企业为用户提供推荐排名的方式、影响排名因素等推荐系统的基本信息。

2.2.3 对涉及个人数据的算法进行严格监管。欧盟为保障AI环境下的消费者利益，建立了严格的法律框架，如消费者权益保护法、个人数据保护法等。美国对学生入学资格筛选、个人简历筛选、信用卡申请等涉及个人数据的AI应用场景提出了严格监管举措，要求必须满足透明度和数据安全方面的规定。

2.3 “争先导”占领全球AI治理制高点

针对AI算法监管问题，国际间安全治理的争夺正逐渐白热化。

2.3.1 国际组织和联盟争相推出AI原则，但体现的价值管理、规范方式及约束路径不同。联合国提出应对致命自主武器系统进行人类控制原则，并成立专门机构研究算法等治理问题；二十国集团提倡以人类为中心、负责任的态度开发AI；经济合作与发展组织提出AI发展应遵守法治、人权、民主价值观和多样性、公平公正等伦理原则；国际电气和电子工程师协会倡导人权、福祉、数据自主性、有效性、透明、问责等原则；北约就AI武器化的规则制定进行协商，强调负责任的使用AI。

2.3.2 美欧等领先国家及地区争夺AI治理先导权。美国提倡自下而上的治理原则，要求培养公众对AI应用的信任和信心，并强调AI伦理对军事和情报的作用，发布了全球首份军用AI伦理原则；欧盟提倡自上而下的治理原则，强调建立一个可信的AI框架，并提出具体可操作的评估准则和清单，创建“信任生态系统”，强化对科技发展及应用的信心。

2.3.3 企业加强算法监管，争做产业健康发展先头兵。谷歌、微软、IBM、脸书、旷视、百度、腾讯等国内外科技企业均提出了企业层面的AI价值观，并设立了内部管理机构，践行AI伦理原则。其中谷歌、脸书等表示愿公开披露算法细节，提供更多透明度和控制权，接受严格监管，不断改进算法。

3 应对举措

为应对AI算法“黑盒”安全风险，抢占规则制定的话语权，我国亟待抓紧完善算法披露及问责等顶层设计，改进现有监管机制，提高算法透明度以及安全防护能力。

3.1 完善算法披露及问责等制度细则

一是明确算法输出结果的底线要求。针对AI产品明确数据安全、网络安全、伦理道德等方面的最低要求。二是在保障企业商业及技术秘密的情况下，明确科技企业对开发及使用的AI算法作最大限度的解释性说明以及公开披露等强制性义务。三是完善算法问责与违法行为惩罚规定。针对科技企业等主体违反行业道德或相关法律法规时，除一定的经济处罚措施外，还应当采取从时间上或经营范围限制其进入市场，甚至剥夺其进入市场资格等惩罚措施。

3.2 建立适配当前技术发展现状监管机制

一是AI应用上线前，企业应向监管机构提交算法代码、企业内部测试数据、测试环境、测试文档等相关材料进行备案。监管部门可聘请第三方机构结合备案材料以及监管机构测试数据集进行安全检测。二是借鉴欧盟的首部AI法案对我国应用实行分类分级管理，破解传统“一刀切”管理弊端。对于军事武器等对高危领域的AI应用实行严格管控，对于教育培训、金融服务等中风险领域实行适度检测，对于游戏等低风险领域营造较为宽松的监管环境。三是建立公共测试数据环境支撑行业监管。针对交通、教育、生产制造等重点领域，鼓励公共服务机构联合产业链上下游建立公共测试环境，测试数据集中的数据体量、种类应尽可能全面，尤其应包含在极端条件下的测试用例，例如自动驾驶汽车行驶过程中“行人突然出现”等突发情况。

3.3 提高算法透明度及安全防护能力

一是重点突破特征关联度较大等情况下的算法不可解释难题。当前可解释性方法及工具尚处于起步阶段，解释效果较不理想，无法满足现有需求，亟待建立可解释性评价指标体系，提高深度学习等算法解释准确性和实时性。二是鼓励业界开展算法及应用相关风险产生机制、影响研究。鼓励科研单位联合企业界，加强输入数据验证、AI模型攻防对抗演练等能力建设，建立AI算法“黑盒”测试环境、技术产品和测试标准。三是针对工业、金融业等重点领域AI应用及风险案例，征集安全解决方案和风险应对预案，积极在产业界推广应用。

4 结束语

在“新基建”等战略背景下，AI对我国经济发展以及生产生活等各个方面的赋能作用将不断凸显，我国需借鉴国内外优秀经验，管控AI算法“黑盒”相关风险，积极探索AI可解释性技术，推动我国AI安全可靠发展。