基于轻量级神经网络的白盒攻防研究

曾逸夫 薛继伟

(东北石油大学计算机与信息技术学院 黑龙江 大庆 163318)

0 引 言

随着移动端技术的日益兴起，加之5G时代的到来，作为AI领域领军技术的深度学习也在向移动端发展。神经网络作为深度学习的核心框架，通过层级叠加思想来不断实现更高级的功能。但是由于移动设备在硬件上存在相当大的局限性，所以神经网络在参数上会受到一定的限制，将神经网络轻量化也势在必行。轻量级神经网络最大的特点就是用很少的参数实现同等功能，并且准确率保持平稳。近些年，轻量级神经网络也逐渐进入了人们的视野。Iandola等[1]创造的SqueezeNet采用火焰模型来降低参数量和计算量。Xception在Inception v3[2-4]基础上进行了改进，采用了深度可分离卷积从而降低计算量[5]。Zhang等[6]创造了ShuffleNet，采用点群卷积和通道混洗缩小了模型体积并提高了模型效率。Hu等[7]创造的SENet采用挤压和激活技术，通过学习的方式来自动获取到每个特征的重要程度，然后依照这个重要程度来提升有用的特征并抑制对当前任务用处不大的特征。Howard等[8]创造的MobileNet v1采用了深度可分离卷积，但与Xception不同的是模型架构顺序以及有无激活层。随后Sandler等[9]又创造了MobileNet v2，采用线性瓶颈层和倒置残差块有效解决了MobileNet v1的不足之处。Ma等[10]创造了ShuffleNet v2，弃用了ShuffleNet v1的1×1点群卷积，采用1×1的普通卷积替代，并在ShuffleNet v1的基础上提出了一种新的操作——通道分离，模型输入端分为两部分，一部分直接向下传递，另一部分则进行真正的向后计算。模型输出端将两个分支级联起来，从而克服了ShuffleNet v1中Element-wise sum的操作[10]。受强化学习中的神经架构搜索算法启发，Tan等[13]在NasNet[11]和PnasNet[12]基础上设计出了一种基于移动端的MnasNet神经网络，采用分解式层次搜索空间，将一个CNN模型分解为不同的模型，然后针对每个搜索操作和模块之间的连接关系，允许不同块有不同的层结构，从而提高了模型的效率。轻量级神经网络主要应用在目标分类、目标检测、图像分割和识别等领域，结合嵌入式技术，比如调用移动端摄像头来检测识别目标，进而做出相应动作。

随着轻量级神经网络功能逐渐强大和性能的提升，其安全性问题也随之而来。移动设备较PC端的使用量逐年提升，同时在大数据时代也面临着信息安全问题，比如人们衣食住行基本都在移动端进行交互，带来方便快捷的同时也伴随着个人信息安全的问题，所以移动端神经网络模型的攻击和防御的研究具有一定的潜在价值和发展动力。本文不仅要对模型的功能和性能进行创新，还要对模型安全性进行加固和防御，从而使模型健壮性加强，为人们提供一个安全健康的人工智能产品体验。模型攻击分为三种，分别是白盒攻击、黑盒攻击和物理攻击，这三种攻击策略都在某种程度上存在着一定的难度。白盒攻击算法最初由GAN创始人Goodfellow等[14]提出的FGSM，即快速梯度算法，可以应用于定向和非定向攻击。另一种基于梯度的白盒攻击算法DeepFool是由Moosavi-Dezfooli等[15]提出，其作为一种非定向攻击算法，相对FGSM有更小的扰动来达到攻击目标。JAMA算法是Papernot等[16]提出的，是典型的L0范数的定向攻击算法，其尽量减少修改的像素个数。CW算法是Carlini等[17]提出的，其被公认为白盒攻击算法中攻击能力最强的算法之一，是一种基于优化的对抗样本生成算法。

本次研究主要创新在于两个方面：1) 在MobileNet v2模型上采用7种优化器与CW算法的原始优化器进行对比攻击测试，通过传统的数据增强技术进行防御，从而体现出改进后的CW白盒攻击算法的反防御能力；2) 在MobileNet v2、ShuffleNet v2以及MnasNet模型上通过改变旋转缩放因子、采用高斯-X噪声混叠模式以及调整双边滤波器像素中心点直径对改进后的CW攻击算法进行二次防御研究，进而得出轻量级神经网络模型安全防御措施。

1 模型反防御

1.1 传统CW攻击算法基本原理

CW算法是一种基于优化的对抗样本生成算法，在定向攻击中，使用交叉熵定义目标函数，其优化过程就是不断地将目标函数减小的过程。其损失函数公式如下：

1=α·φ(tanh(λ)+1)

(1)

2=min

(2)

CW=1+2

(3)

φ(χ)=max(max{Ζ(χ)i:i≠j}-Ζ(χ)j,-κ)

(4)

式中：α是1和2之间的置信度，通过二分查找计算出α的最小值，φ为目标函数，χ为样本数，λ为变换变量，Ζ为被攻击模型的Logits输出，κ为常数。

1.2 改进CW算法的反防御

原始的CW算法使用的优化器为Adam[18]，但是经过大量实验证明Adam对CW算法的攻击能力和攻击速度上均存在一定程度的缺陷。对此采用AdamMax[18]、AdamW[19]、RMSprop[20]、Adagrad[21]、Adadelta[22]、SGD[23]、ASGD[24]这7种优化器和Adam进行对比攻击测试，探究这7种优化器在传统数据增强防御技术的反防御能力。

模型反防御，即采用改进的攻击算法对传统防御策略进行攻击。在模型攻击方面通过采用传统CW白盒攻击算法和改进的CW白盒攻击算法对模型进行对比攻击测试。防御方面采用传统的数据增强技术，包括对目标的旋转、高斯噪声增强和双边滤波器平滑处理技术来对模型进行一定的防御，目的是体现CW算法改进后的反防御能力。轻量级神经网络应用广泛，本次实验以图像分类为例，采用基于ImageNet 2012数据集[25]训练的MobileNet v2神经网络模型，测试图像数据选自Kaggle猫狗大战数据集[26]测试数据集，编号132，ImageNet标签类别为Siberian husky，编号为250，如图1所示。将图像250通过CW算法定向攻击，得到标签为500的对抗样本，然后采用传统的数据增强方法探究7种改进后的CW算法与原始CW算法的攻击性能，进而得出CW算法的最佳优化器。

图1 测试图像

1.2.1目标旋转

在不改变目标图像的原始大小的情况下，将目标图像以5度旋转一次，旋转区间为0～180度，如图2所示。

图2 MobileNet v2的旋转反防御

假设识别概率大于80%为正确识别图像250，由图2可知，从曲线的跨度可以看出模型攻击能力，跨度越大，所需防御样本数越多，防御的成本越高，防御效率越低。CW原始优化器Adam仅比RMSprop要好一些，反防御性能最好的是ASGD和Adamax，旋转最大区间靠近125度。

1.2.2高斯噪声增强

对目标图像上添加一定的高斯噪声可以降低对抗样本的鲁棒性，以噪声点比例为0.01增加一次，噪声方差区间为0.01～0.2，如图3所示。

图3 MobileNet v2的噪声反防御

假设识别概率大于80%为正确识别图像250。由图3可知，Adam优化器在抗噪声方面有很好的效果，优于大部分的优化器，但是ASGD优化器比Adam的跨度要大一些，所以ASGD在高斯噪声下反防御能力最强的优化器，最大噪声方差点靠近0.160。

1.2.3双边滤波器平滑处理

对图像采用平滑降噪处理，可以在一定程度上降低对抗样本的鲁棒性，以滤波标准差为10增加一次，滤波空间距离区间为0～300，如图4所示。

图4 MobileNet v2滤波器反防御

假设识别概率大于80%为正确识别图像250。由图4可知，8种优化器基本相差不大，Adam优化器较其他优化器要好一些，ASGD优化器跨度仅次于Adam优化器，最大滤波距离200。

1.2.4优化器性能

通过在MobileNet v2模型上采用传统的数据增强的方法，包括目标旋转、添加高斯噪声以及双边滤波器平滑处理8种优化器的反防御性能和效率如表1所示。

表1 8种优化器防御性能对比

由表1可知，ASGD优化器在模型攻击效率上是最快的(硬件基础：GPU为RTX2060，内存32 GB)，其CW损失值相比其他优化器是最小的。

为了验证实验结论具有泛化性，本实验在ImageNet 2012[25]、Pascal VOC 2012[27]、MS COCO 2014[28]、MS COCO 2015[28]、MS COCO 2017[28]五个测试数据集上分别随机选取3幅不同类别的图片，共计15幅测试图片，如图5所示。

图5 泛化性测试图片

由图5可知，每行为同一数据集下的3幅不同类别的图片，每列为不同数据集下的图片。在同一数据集下三幅图片为一组，选用15种不同类别进行泛化性实验，具体数据信息如表2所示。

表2 泛化性测试图片信息

将表2中15幅图片分别用8种优化器的CW白盒攻击算法进行反防御测试，实验结果如表3所示。

表3 反防御泛化性测试

表3中参数1为旋转最大区间靠近点，单位为度；参数2为最大噪声方差靠近点；参数3为最大滤波距离；“其他”为其他优化器性能最大值。从表3中可以看出ASGD在以上三项指标中均高于Adam以及其他6个优化器。

综合上述实验结果，将ASGD作为改进后的CW攻击算法的优化器。

1.3 模型反防御的应用

在攻击移动端神经网络模型的物体分类相关操作时，通过改进的CW算法可以增加传统防御所需的样本量，增大对抗样本强度，降低模型识别能力。在实际场景中有如下应用：

(1) 干扰无人机火点检测。对于用无人机检测森林火点时，可以通过改进的CW算法对火点数据进行干扰，导致无人机不能准确地反馈森林火点信息。

(2) 攻击扫地机器人。通过改进的CW算法对扫地机器人的物体检测模型进行干扰，导致其无法完成相应的清扫任务。

综上所述，如果模型的识别能力降低，将会给人们的生活和生产安全带来不便，所以要采取一定的二次防御机制，实现对模型的安全防护。

2 模型二次防御

模型二次防御，即在MobileNet v2、ShuffleNet v2以及MnasNet模型上对传统数据增强技术进行改进，如表4所示，并用改进后的数据增强技术对改进后的CW白盒攻击算法进行二次防御。通过改进的数据增强技术使对抗样本的鲁棒性降低，从而使模型抵御攻击能力表征增强。改进的防御措施主要包括：(1) 改变旋转缩放因子；(2) 采用高斯-X噪声混叠模式；(3) 调整双边滤波像素中心点直径。

表4 三种模型性能对比[9-10，13]

2.1 改变旋转缩放因子

目标旋转方法中有三种参数，分别是旋转中心横纵坐标、旋转角度以及旋转缩放因子。实验发现通过改变旋转缩放因子可以在一定程度上抵御攻击。目标图像以5度旋转一次，旋转区间为0至180度，旋转缩放因子选取0.9、0.5、0.3(传统旋转缩放因子默认为1)，如图6所示。

假设大于80%为正确识别图像250。由图6(a)可知，当旋转缩放因子为0.9时，MobileNet v2曲线跨度减小，所需旋转样本减少，对抗样本鲁棒性降低，防御性能增强。当旋转缩放因子小于0.5时，虽然曲线跨度减小，但是由于图像过小，整体识别率低于80%。由图6(b)和(c)可知，ShuffleNet v2和MnasNet模型曲线跨度随着缩放因子减小而减小，相比MobileNet v2模型，在缩放因子为0.5时，模型识别率在80%处识别较好，但是旋转因子为0.3时，整体识别率低于80%。

(a) MobileNet v2的二次防御

(a) MobileNet v2的二次防御

2.2 采用高斯-X噪声混叠模式

传统噪声增强包括高斯噪声、泊松噪声、盐噪声、椒噪声、椒盐噪声等，仅针对一种噪声进行研究会体现出一种苍白感。实验发现将盐噪声、椒噪声、椒盐噪声分别与高斯噪声进行混叠，提出高斯-盐噪声、高斯-椒噪声和高斯-椒盐噪声三种混叠模式。以噪声点比例为0.01增加一次，噪声方差区间为0.01～0.2，如图7所示。

假设大于80%为正确识别图像250。由图7(a)可知，三种高斯-X混叠模式的曲线跨度均小于高斯噪声，在MobileNet v2模型下高斯-椒盐噪声的跨度最小，所需防御样本减少，二次防御能力增强。由图7(b)可知，在ShuffleNet v2模型中，高斯-盐噪声的曲线跨度最小，防御能力最强。由图7(c)可知，在Mnasnet模型中，曲线跨度最大的是高斯-椒噪声，模型防御能力最低。曲线跨度最小的是高斯-盐噪声，所需的防御样本数最少，能够有效降低对抗样本的鲁棒性。

(a) MobileNet v2的二次防御

2.3 调整双边滤波像素中心点直径

双边滤波器是对空间信息和色彩信息综合研究的滤波方式，在滤波过程中既能有效地去除噪声，又能有效地保护图像内的边缘信息。双边滤波器主要包括三种参数：像素中心点直径、颜色差值范围、空间坐标。实验发现改变当前像素点中心点的直径，可以在一定程度上降低对抗样本鲁棒性，使模型的防御能力增强。滤波空间距离为0至300，实验的像素中心点直径选取30、50、80三个参数(像素中心点直径默认为10),如图8所示。

假设大于80%为正确识别图像250。由图8可知，在MobileNet v2、ShuffleNet v2以及MnasNet模型上，滤波像素中心点直径为30时，防御能力最强。由图8(a)可知，MobileNet v2模型在滤波像素中心点直径为30处，比图8(b)和(c)中的ShuffleNet v2和MnasNet模型曲线跨度缩小范围幅度较大。

(a) 旋转二次防御

2.4 二次防御

实验选用MobileNet v2、ShuffleNet v2，以及MnasNet三种轻量级神经网络模型，通过改进的传统数据增强技术对采用ASGD优化器的CW攻击算法进行二次防御研究，实验结果如表5所示。

表5 轻量级神经网络模型二次防御性能

表5中，方法1为改变旋转缩放因子，方法2为采用高斯-X噪声混叠模式，方法3为调整双边滤波像素中心点直径。在旋转操作中，缩放因子不能过小，在0.5以上。在高斯-X噪声混叠模式中，高斯-盐噪声对模型防御效果最佳，高斯-椒盐噪声次之。在双边滤波器平滑处理中，将像素中心点直径设置成30为最佳，不能过小或者过大。

为了验证二次防御具有泛化性，将反防御实验中的15幅测试图片进行二次防御实验，如图9所示。

图9中将MobileNet v2、ShuffleNet v2、MnasNet用M、S、Mn三个缩写符表示；横轴含五种数据集，纵轴表示每种数据集中3幅图像的平均概率(假设大于80%为正确识别类别指标，平均概率=1/3(正确识别样本数/总样本数))。由图9(a)可知，在相同识别率的前提下，随着旋转缩放因子的减小，平均概率降低，所需测试样本数减少；由图9(b)可知，对高斯噪声进行混叠，在一定程度上减少了所需的测试样本量，其中高斯-盐对降低测试样本量效果显著；由图9(c)可知，对双边滤波器像素中心点直径进行适当调整，可以有效地降低测试样本量，其中将滤波像素直径控制在30～50之间效果明显。

综合上述实验结果，通过改变旋转缩放因子、混叠高斯噪声以及调整双边滤波像素中心点直径可以在一定程度上减少所需测试样本数，降低了二次防御难度，提升了二次防御性能。

2.5 模型二次防御的应用

通过数据增强方法对传统防御策略进行改进，在一定程度上缩小了防御所需的样本量，降低了对抗样本的攻击强度。在1.3节中，一方面可以提升对无人机火点检测的抗干扰能力，很好地反馈火点信息，对国土资源防护起到一定的保护作用。另一方面可以增强扫地机器人对改进的CW算法的抗干扰性，有效地完成扫地任务，改善智能家居体验感。

3 结 语

针对移动端轻量级神经网络模型的安全性提出模型的反防御和二次防御的一些方法。在MobileNet v2模型上通过8种优化器对CW白盒攻击算法进行改造，采用传统的数据增强方法对模型进行防御，进而探究CW算法在模型反防御中的最佳优化器。在MobileNet v2、ShuffleNet v2，以及MnasNet模型上通过改进的数据增强技术对模型进行二次防御。实验结果表明，采用ASGD优化器的CW白盒攻击算法对模型的反防御能力有很好的强化作用。采用改变旋转缩放因子、高斯-X噪声混叠模式以及调整双边滤波像素中心点直径的改进的数据增强方法可以在一定程度上降低对抗样本的鲁棒性，具有很好的二次防御效果。后续研究中将尝试对图像平移、翻转，调整目标图像的透明度、亮度以及对比度等操作，努力将改进的数据增强技术应用到移动端轻量级神经网络模型安全上，打造一个安全、稳定的智能移动应用平台。