二值量化的多尺度描述子网络优化

王昌伟 柳伟 陈三风 任仙怡 陆芸婷

（深圳信息职业技术学院 广东省深圳市 518172）

1 引言

本文将在图像匹配中融合基于正则化的二值量化方法以及基于图像比特位的多尺度方法，构建二值量化的多尺度描述子网络，并介绍该网络的实验设计、环境、指标和结果，同时根据实验结果分析该多尺度方法性能，在NVIDIA Jetson TX2 平台部署该网络并测试运行时间等。

2 二值量化的多尺度描述子网络仿真实验

实验主要基于正则化的二值量化方法以及基于图像比特位的多尺度方法，构建了多尺度二值描述子网络，并在HPatches 数据集上测试了图像匹配精度。

2.1 二值量化的多尺度描述子网络实验环境介绍

2.1.1 实验数据集介绍

HPatches 数据集利用三维重建的方法获得特征点位置和匹配关系，共包含从116 个序列中提取的1500000 多个补丁，其中viewpoint 为具有明显的视点变化的59 个图像序列，illumination 为具有显着照明变化的57 个图像序列。HPatches 数据集定义了三个评估任务：补丁验证，补丁检索和图像匹配。构建数据集通过对匹配组合对添加不同的重投影噪声，生成EASY，HARD 和TOUGH三种难度数据集，同时在同一个序列或者不同的图像序列旋转为上面选定的patch 选择非匹配组合对。

2.1.2 实验网络结构介绍

仿真实验基于正则化的二值量化方法以及基于图像比特位的多尺度方法对RF-Net 进行了多尺度重构与量化。关键点检测部分，构建了由两组卷积神经网络融合的双通道关键点检测网络，通过深层网络通道获取包含丰富语义信息的高层特征，并与浅层网络通道中感受野递增的低层特征融合；特征描述子提取部分对输入的图像对进行训练，提取特征描述子。网络结构如图1所示。

2.1.3 实验开发环境介绍

实验代码均基于python3.6 语言环境以及pytorch 深度学习框架撰写，训练与测试过程利用Tesla-V100 图像处理单元加速，开发环境为Ubuntu16.04，CUDA9.0 以及cuDNN7.0。

2.2 二值量化的多尺度描述子网络实验评价指标介绍

为了有效评价本章优化的二值量化的多尺度描述子网络性能以及实验结果，将用以下三个指标评价量化算法性能：

2.2.1 神经网络参数量

神经网络中参数量定义为构成神经网络的所有权重参数占用内存大小。为了有效评价占用内存大小，采用参数量指标评价此网络性能，通过计算未量化网络全参数量与网络未参与量化部分的参数量差值求得量化部分参数量，利用32 倍压缩系数（1 比特权重代替32 比特权重）估计压缩后参数量，具体过程如下：

式中：Pbin—量化后网络的参数量；Punbin—网络中未量化部分的参数量；p—未量化全精度网络的参数量。

表1：Hpatches 图像匹配结果

表2：NVIDIA Jetson TX2 上前向推理时间

2.2.2 神经网络计算量

神经网络中计算量定义为神经网络中浮点型权重与浮点型输入张量之间的乘法与加法运算量。为了有效评价计算速度，采用计算量指标评价此网络性能，通过计算差值求得量化部分计算量，利用2 倍和58 倍压缩系数（分别表示仅量化网络和同时量化网络和输入张量的压缩系数）估计压缩后计算量，具体过程如下：

式中：fbin—量化后网络的计算量；funbin—网络中未量化部分的计算量；f—未量化全精度网络的计算量；λ—量化压缩系数，仅量化卷积核权重时该系数为2，同时量化卷积核系数与输入张量时该系数为58。

2.2.3 准确率（Average Precision）

特征匹配准确率定义为在图像匹配任务中正确匹配的特征点数目占所有匹配数目的比例。实验中，通过计算Hpatches 数据集中网络预测的匹配结果negative，ignore 和positive 与数据集标签相同的数目来评价二值量化的多尺度描述子网络性能，并通过比较与未量化全精度描述子网络匹配准确率差值定量分析量化带来的精度损失。

2.3 二值量化的多尺度描述子网络实验设计与性能分析

基于正则化的神经网络量化算法与基于图像比特位的多尺度方法应用于RF-Net 特征点提取与描述子生成网络，在Hpatches 数据集上测试了特征点匹配准确率，并分别计算了仅量化卷积核权重、同时量化卷积核权重和输入张量以及未量化描述子网络的参数量、计算量和匹配准确率。实验结果如表1所示。

综合表1 实验数据可以得出以下结论：

（1）二值量化的多尺度描述子网络可以有效提升降低神经网络的参数量与计算量。在仅量化网络权重下，实现了约22%的参数量压缩，约48%的计算量压缩；在同时量化网络权重与输入张量下，实现了约22%参数量压缩，约92.53%的计算量压缩。

（2）二值量化的多尺度描述子网络在减小占用内存、加快推理速度的同时有效控制了精度损失。相较于全精度网络，此方法在有效降低参数量和计算量的同时，RF-Net-1W32A 网络上描述子匹配匹配准确率损失约0.04，在仅量化卷积核权重条件下有效地控制了精度损失；RF-Net-1W1A 网络上描述子匹配匹配准确率损失约0.216，即为92.53%计算量压缩付出0.216 匹配准确率的损失。

图1：RF-Net 网络框架

3 二值量化的多尺度描述子网络硬件平台实验

对多尺度二值量化的RF-Net 在Hpatches 数据集上测试了相应的参数量、计算量以及匹配准确率，在移动终端NVIDIA Jetson TX2 设备测试了多尺度二值量化的RF-Net 网络以及原生RF-Net 在该移动终端的运行时间。

3.1 二值量化的多尺度描述子网络硬件实验环境及评价指标介绍

3.1.1 NVIDIA Jetson TX2 硬件平台介绍

实验将多尺度二值量化的RF-Net 部署于移动终端设备NVIDIA Jetson TX2，从而验证网络的实时性以及可部署能力。NVIDIA Jetson TX2 是由英伟达公司开发的基于NVIDIA Pascal ™架构的嵌入式小型人工智能电脑。该设备提供多个标准硬件接口，外形小巧、节能且性能出色，支持功耗7.5w 至15w 模式，适合机器人、无人机、智能摄像机和便携医疗设备等智能终端。

3.1.2 实验网络结构介绍

硬件平台实验基于RF-Net 实现，基于正则化的二值量化方法以及基于图像比特位的多尺度方法对RF-Net 进行了多尺度重构与量化。

3.1.3 实验开发环境介绍

实验代码均基于python3.6 语言环境以及pytorch 深度学习框架撰写，开发环境为Ubuntu16.04 的NVIDIA Jetson TX2。

3.1.4 评价指标介绍

实验采用神经网络前向推理时间，是神经网络模型完成一次前向推理用时，可有效地评价神经网络对算力的依赖。实验分别测试了原RF-Net、仅量化网络权重的多尺度RF-Net 以及同时量化权重和输入张量的多尺度RF-Net 的前向推理时间。

3.2 二值量化的多尺度描述子网络硬件平台实验设计与分析

本节实验将多尺度二值量化的RF-Net 部署于移动终端设备NVIDIA Jetson TX2，测试了完成网络前向推理的时间。实验结果如表2所示。

如表2所示，在仅量化网络权重条件下，网络前向推理时间减少约13.23%，在同时量化网络权重和输入张量条件下，网络前向推理时间减少约33.86%，同时在对位运算友好的嵌入式平台上可以使用位运算代替RF-Net-1W1A 中的卷积运算，实现实时的网络前向推理。实验数据表明在移动终端设备上，该结构可以有效的解决神经网络部署时面临的算力不足问题。

4 小结

本文基于正则化的二值量化方法以及基于图像比特位的多尺度方法，构建了二值量化的多尺度描述子网络，并分别做了Hpatches数据集匹配仿真实验以及NVIDIA Jetson TX2 硬件平台实验。经过实验检测证明，本文提出的方法可以有效地解决基于深度学习的图像匹配算法在移动终端设备上部署困难的问题，可以有效地压缩参数量与计算量，并有效地控制精度损失。