前 言

人工智能依托于物联网、云计算、大数据技术的迅速发展，在科学发现、经济建设、社会生活等各个领域具有广泛应用.但是，人工智能技术面临着严峻的安全与隐私挑战，并且这些挑战会随着人工智能技术的普及和发展愈演愈烈.人工智能安全与隐私保护可以说是人工智能技术发展过程中不可忽视的瓶颈和关键挑战.现阶段学术界对于人工智能安全与隐私保护的重视程度越来越大，国内外相关学者进行了大量研究并取得了不错的研究成果.

为进一步推动人工智能安全与隐私保护技术的研究，促进密码学与网络安全理论与技术的发展及应用，及时报道我国学者在该领域的最新研究成果，《计算机研究与发展》策划和组织了“人工智能安全与隐私保护技术”专题.

本期专题通过公开征文共收到52篇普通投稿和5篇特邀稿件，反映了人工智能安全与隐私保护技术领域多个方面的最新研究成果.经过严格评审，最终共精选录用论文15篇.这15篇论文涵盖了人工智能攻击检测与溯源技术、秘密共享与分组密码算法、分布式深度学习隐私与安全等研究内容，在一定程度上反映了当前国内在人工智能安全与隐私保护技术研究领域的主要研究方向.

1 综 述

以深度学习为主要代表的人工智能技术正在悄然改变人们的生产生活方式，但深度学习模型的部署也带来了一定的安全隐患.研究针对深度学习模型的攻防分析基础理论与关键技术，对深刻理解模型内在脆弱性、全面保障智能系统安全性、广泛部署人工智能应用具有重要意义.“针对深度学习模型的对抗性攻击与防御”一文从对抗的角度出发，探讨针对深度学习模型的攻击与防御技术进展和未来挑战，从对抗性攻击生成机理分析、对抗性攻击生成、对抗攻击的防御策略设计、对抗性攻击与防御框架构建4个方面对现有工作进行系统的总结和归纳，并讨论了现有研究的局限性.最后，提出了针对深度学习模型攻防的基本框架，并在此基础上总结了面临的技术挑战.

分布式深度学习摆脱了模型训练过程中数据必须中心化的限制，实现了数据的本地操作，允许各方参与者在不交换数据的情况下进行协作，显著降低了用户隐私泄露风险.但生成对抗式网络攻击、成员推理攻击和后门攻击等典型攻击揭露了分布式深度学习依然存在严重隐私漏洞和安全威胁.“分布式深度学习隐私与安全攻击研究进展与挑战”一文首先对比分析了联合学习、联邦学习和分割学习3种主流的分布式深度学习模式特征及其存在的核心问题，并从分布式深度学习隐私和安全2个角度出发，分别阐述了分布式深度学习所面临的各类隐私和安全攻击，并归纳和分析了现有隐私和安全攻击的防御手段，最后从隐私与安全攻击角度，对分布式深度学习未来的研究方向进行了讨论和展望.

人工智能系统中隐藏的漏洞无处不在，它可能引发严重的危害，比如2011年的震网蠕虫病毒，2017年发生的WannaCry勒索攻击，2019年发现的的波音737MAX客机控制系统漏洞，这些事件凸显着漏洞检测技术的重要性，模糊测试是实现漏洞检测的关键技术之一.“模糊测试技术综述”一文首先总结出模糊测试的基本工作流程，并对每个环节中面临的任务以及挑战分别进行了讨论.然后重点介绍了目前模糊测试的主流方向，并结合物联网和内核安全领域，分析了特定领域中使用模糊测试的独特需求以及相应的解决方法.最后，结合安全领域以及机器学习等新兴领域的研究进展，分析了模糊测试面临的挑战和机遇，为下一步的研究提供了方向参考.

人工智能模型训练需要大量的专业知识、数据和计算资源，训练后的模型是重要的资产，并作为服务为用户提供API接口.但是这个过程中会存在恶意用户企图非法使用甚至窃取相关机器学习模型及数据.此外，一些公司将机器学习模型直接进行出售，但是又担心该模型会被非授权转售或泄露.因此，水印概念被扩展到人工智能领域，嵌入需保护的模型，并用来保护人工智能模型，尤其是训练成本较高的神经网络模型.“神经网络水印技术研究进展”一文首先介绍水印技术及其基本需求，并对神经网络水印涉及的相关技术进行介绍.然后对目前存在的多种神经网络水印技术进行对比，根据技术手段分为白盒和黑盒水印两类进行详细分析，并分析水印鲁棒性攻击、隐蔽性攻击、安全性攻击等多种神经网络攻击.最后，针对神经网络水印技术未来的研究方向与挑战进行探讨.

恶意软件给信息技术的发展带来了很多负面的影响，而如何有效检测恶意软件则一直备受关注.随着人工智能技术的蓬勃发展，恶意软件的检测技术开始与机器学习、深度学习技术相结合，这种新的检测技术能够更好地检测先前未见过的新式样本，更能够满足当前社会的安全需求.作为新型恶意软件检测技术的代表，恶意软件智能检测技术具有泛化能力强的特点，还能够在一定程度上降低人工的参与.“Windows平台恶意软件智能检测综述”一文首先介绍了当前的恶意软件智能检测相关工作和智能检测所需的主要环节，然后从智能检测中常用的特征、如何进行特征处理、智能检测中常用的分类器、当前恶意软件智能检测所面临的主要问题4个方面进行了系统地阐述与分类.最后，总结现有智能检测相关工作的优缺点，阐明了该领域未来潜在的研究方法，旨在助力恶意软件智能检测的发展.

2 人工智能攻击检测与溯源

人工智能系统中新生威胁以及其复杂多变的攻击方式对人工智能安全和隐私造成严重影响，新型安全和隐私攻击层出不穷，它们持续时间长，空间跨度大，攻击形式多样，对攻击的快速检测与溯源带来了巨大的挑战.

本部分共收录4篇论文，主要围绕窃密攻击检测、APT攻击溯源、恶意软件检测、代码注入攻击检测等方面展开.“一种无监督的窃密攻击及时发现方法”将每个用户视为独立的主体，通过对比用户当前行为事件与其历史正常行为的偏差检测异常，采用无监督的检测算法，以会话为单元进行检测，实现了对窃密攻击及时的检测.“隐私保护的基于图卷积神经网络的攻击溯源方法”一文提出了一种具有隐私保护的基于图卷积神经网络的APT攻击溯源方法.通过监督学习解决了因多日志关系连接导致的状态爆炸，对Louvain社区发现算法进行优化，从而提高了检测速度及准确性，利用图卷积神经网络对攻击进行有效的分类，并结合属性基加密实现了日志数据的隐私保护.“一种基于多特征集成学习的恶意代码静态检测框架”一文提出基于多特征集成学习的恶意软件静态检测框架.通过提取恶意软件的非PE结构特征、可见字符串与汇编码序列特征、PE结构特征以及控制流图调用关系等5部分特征，构建与各部分特征相匹配的模型，并采取权重策略投票算法对五部分集成模型的输出结果做进一步聚合，实现了对多种恶意软件的检测.“面向数字货币特征的细粒度代码注入攻击检测”一文提出了一种细粒度的代码注入攻击检测内存特征方案，利用勒索软件在被攻击者支付过程中表现的数字货币内存特征，结合多种通用的细粒度内存特征，实现了一种细粒度的代码注入攻击检测系统.

3 秘密共享与分组密码算法

分组密码算法作为对称密码的一个重要分支，在人工智能和信息系统安全领域有着广泛应用，同时也是构建其他密码算法或密码协议的密码元语.近年来，伴随无线传感器网络以及射频识别技术的发展和广泛应用，对资源受限的设备进行数据加密需要使用轻量级的密码算法.本部分收录3篇论文，主要围绕轻量级可调分组密码、差分密码分析、图像秘密共享等方面展开.“RAIN：一种面向软硬件和门限实现的轻量分组密码算法”一文设计了一种基于国际上分组密码设计广泛采用的SPN结构的RAIN算法，通过迭代混淆层S盒和扩散层字混合提供强雪崩效应，不仅保证强的安全性，还兼顾了软硬件实现.“基于深度学习的SIMON32/64安全性分析”一文将神经网络技术应用于SIMON32/64的安全性分析，分别采用前馈神经网络和卷积神经网络模拟多差分密码分析当中的单输入差分-多输出差分情形，设计了应用于SIMON32/64的6～9轮深度学习区分器，并通过对前馈神经网络和卷积神经网络的7轮深度学习区分器向前向后各扩展1轮，提出了针对9轮SIMON32/64的候选密钥筛选方法，大幅降低了SIMON32/64安全性分析中的时间复杂度和数据复杂度.“基于区域卷积神经网络的图像秘密共享方案”一文采用基于卷积神经网络的Faster Region-CNN(RCNN)模型将秘密图像分割成重要性级别不同的多个区域，然后在此基础上分别构建渐进式图像秘密共享方案(PSIS)和具有重要影子图像的图像秘密共享方案(SISE)，重要影子图像在重构每个区域上比普通影子图像具有更大的权重，提升图像分类和识别的效率.

4 深度学习安全与隐私保护

深度学习目前已在很多领域具有广泛应用，比如在图像分类、语音识别、自然语言处理等，但由于网络的开放性使得目前深度学习模型的安全和隐私存在严重隐患，传统的网络防御手段已逐渐不能适应日益复杂的网络环境.

本部分收录3篇论文，主要围绕图重构、模型隐私风险评估、模型指纹检测等方面展开.“一种面向图神经网络的图重构防御方法”一文提出了一种面向图神经网络的图重构防御方法GRD-GNN，分别从图结构和节点特征考虑，采用共同邻居数和节点相似度2种相似度指标检测对抗连边并实现图重构，使得重构的图结构删除对抗连边，且添加了增强图结构关键特征的连边，从而实现有效防御.“通用深度学习语言模型的隐私风险评估”一文针对自然语言处理中通用语言模型的安全性问题，提出了一条针对通用文本特征的隐私窃取链，从更多维度评估通用语言模型使用中潜在的隐私风险，方案仅根据通用语言模型提取出的文本表征，攻击者就能够以近乎100%的准确度推断其模型来源，以超过70%的准确度推断其原始文本长度，最终推断出最有可能出现的敏感词列表，从而帮助攻击者重建原始文本的敏感语义，揭示了目前通用语言模型中仍存在巨大的隐私风险.“针对深度神经网络模型指纹检测的逃避算法”一文设计了一个指纹样本检测器Fingerprint-GAN，利用GAN学习正常样本在隐空间的特征表示及其分布，根据指纹样本与正常样本在隐空间中特征表示的差异性，检测到指纹样本，并向目标模型所有者返回有别于预测的标签，使模型所有者的指纹比对方法失效，揭示了目前模型指纹保护方案的脆弱性.

本专题的出版得到了各位投稿作者、审稿专家和编辑部的大力支持，专题所涉及的领域极为活跃，并且发展迅速，学科前沿日新月异，这对审稿人和特邀撰稿人带来极大挑战，在此表示衷心感谢.由于专题容量所限，对来稿只能优中选优，有些优秀成果并未能收录到专题中来，敬请各位作者谅解.我们要特别感谢《计算机研究与发展》编委会和编辑部，从专题的立项到出版，各个环节都依赖于编辑部一丝不苟的工作作风和任劳任怨的工作态度.由于时间紧张及水平所限，在专题的审稿出版过程中，难免有不当之处，敬请各位稿件作者、各位专题读者谅解.再次感谢为本专题的出版做出贡献的所有人.