混合量子神经网络及其数字识别应用

郭为多，莫思特，李碧雄

1.四川大学 电气工程学院，成都610065

2.四川大学 建筑与环境学院，成都610065

深度学习高速发展，其提取图像深层信息的特点使数字识别准确度大幅提升，从而在智能交通、邮政通信、金融经济等方面得到广泛的工程应用[1]。模型泛化性能的进一步增强，将有助于削减训练成本开销，推动数字识别应用的发展[2]。

深度学习的良好表现与充足的训练数据密不可分，由于样本缺乏或标注困难，在小样本环境下得到高精度与高泛化性能的模型具有挑战性。与此同时，摩尔定律的失效使得经典计算机存储能力和功率消耗或将成为机器学习的发展瓶颈。另一方面，量子计算作为新的计算模式，被证明从效率上相比于经典信息处理具有更大潜力[3]。从20世纪80年代首次提出量子计算的概念起，诸如Shor大数质因子分解、Grover无序数据库搜索量子等算法[4-5]，多次证明了量子算法的强大能力。探究结合经典机器学习和量子计算的混合方法被认为有助于发展新的机器学习技术[6-7]。

专家学者对如何将传统神经网络与量子计算结合投入大量时间精力进行研究，并在数字识别领域做了建设性尝试：Farhi等人[8]提出一种通用的量子神经网络框架，对包含1位辅助量子比特的17位量子系统施加系列参数化酉正变换，并在降采样为4×4 大小的MNSIT 图片上进行了3 和6 二分类实验；Grant 等人[9]使用基于多尺度纠缠重整化的Ansatz 的分层量子神经网络分类器模型对MNIST 数据集执行0 和1、2 和7、是否大于4 以及奇偶判断的系列二元分类任务；Henderson 等人[10]利用随机量子电路替换卷积层构造量子混合结构，实现对手写体数字的输入特征提取。他们利用量子计算特性辅助特征提取，取得了良好效果。是否能够利用量子计算的叠加和纠缠性质，缓解训练数据不足造成的特征处理中的过拟合现象具有研究意义。

本文将量子计算叠加和纠缠性质与卷积网络进行有益结合，提出一种保留神经网络非线性和可扩展性的混合量子神经网络模型（hybrid quantum neural network，HQNN）。该模型根据量子层混合方式的不同，对传统卷积模型进行嵌入与直接输出混合，将卷积全连接层信息作为量子酉门参数，经过系列幺正变换进行特征处理，最后对量子比特进行测量并仿照梯度下降思想更新量子参数以得到期望输出。通过对MNIST数据集进行二分类和十分类识别，证明了混合结构的可行性。针对单一卷积神经网络识别极小规模彩色数字数据集精度不高的问题，结合迁移学习，利用混合网络与经典网络的特征融合提取图像深层特征，得到相比传统模型更高的识别率，证明了混合量子神经网络不同于高度依赖训练数据的传统机器深度学习方法，在小样本环境下也能够兼顾良好的泛化能力与识别精度，为量子计算与神经网络交叉融合应用于数字识别提供一种新的思路。

1 量子计算

量子计算的基本信息单位是量子比特，通过量子逻辑门改变状态。量子位的叠加和纠缠是量子计算机提高计算能力的关键[11]。

1.1 量子比特

其中，复数α、β为量子比特概率幅。单个概率幅的平方为测量得到对应状态的概率，且满足相加归一性。

当n个量子比特构成多体量子系统时，按张量积的形式得到2n维空间矩阵。以两个量子位为例有如下结果：

1.2 量子旋转门

量子门包含量子计算特点，通过幺正酉变换改变量子状态，是实现量子计算的基础。单比特量子旋转门定义式为：

1.3 受控非门

2 混合量子神经网络数字识别

2.1 混合量子神经网络

神经网络模仿脑部结构和思维过程，以人工神经元为基本单位来接收和处理信息，因其具有并行处理数据、非线性映射和模式分类等能力，受到各领域研究者欢迎。混合量子神经网络作为一种受经典神经网络启发的量子机器学习算法，保留传统神经网络的非线性，以及对深层结构的可扩展性等特点。

在混合量子神经网络结构中，“混合”体现为对经典神经网络模型的部分量子化，即保留经典神经网络中大部分原始结构，利用量子电路对某层网络进行增加或直接替换。根据具体要求和实际方案，可将量子层作为提取特征（features extraction）、嵌入隐藏（embedded）或者识别输出（classification）的一部分来满足任务需求。如图2 所示，将量子电路层概括为酉变换U，下标即为所对应功能：UF对网络输入进行特征映射；通过UE嵌入两个经典层之间，使得网络更加灵活；测量UC层的量子比特状态概率可以直接作为预测概率输出。本文选取后两种混合方式展开后续实验研究。

2.2 混合网络实现

参数化量子电路通常将分层结构作为经典网络与量子混合的接口[12]，其广义特征映射能够探索指数大的线性空间中相邻数据点的相关性，允许混合算法更有效地捕获数据集模式特征。

经典输入矢量以量子旋转门参数形式进行数据嵌入，即每个输入矢量控制对应线路上量子的旋转角度。

损失函数因此可以定义为真实标签和得到的期望值的距离，即：

图3 展示了一个简单的混合量子神经模型结构。其中xi是经典神经层的输入向量；hi是隐藏层中第i个神经元的输出；R(hi)是旋转角度为hi的任一旋转门；而y是从混合网络生成的最终预测值。

参数优化更新是决定网络效果好坏的重要因素。混合网络训练优化过程形同经典网络，不断调整参数化量子电路参数，使得损失函数收敛至最小值。类似经典网络基于梯度下降，通过反向误差传输更新神经网络权重参数。当优化量子参数时，同样可以使用基于梯度的优化技术达到更新目的。

量子电路层在实施反向误差传播过程中计算梯度时，通常采用“参数位移规则（parameter shift）”[13]：对量子电路进行梯度计算，再将结果带入经典网络的反向传播过程中。由于反向过程中唯一的“量子化”过程为应用参数化电路实现的特征映射，当参数化酉门有两个唯一的特征值时，量子梯度计算可考虑为对式（7）的偏导求解[14-15]，如式（9）所示：

其中，r表示由酉门特征值推导得到的位移常数，表示对θ中第j个参数进行的运算。对于单比特旋转门，取r=1/2，将目标参数分别带入θ+π/2 和θ-π/2的两次测量结果相减，得到损失函数关于目标参数的梯度值作为更新权重的依据。

2.3 混合卷积网络实现

混合量子卷积神经网络延续了经典卷积网络的大部分结构，由卷积层（Conv）、最大池化层（Max Pooling）、完全连接（FC）层和量子电路组成，如图4所示。在网络的后半部分，量子参数化电路可作为全连接层间的嵌入部分参与网络计算，或直接测量量子层状态概率作为预测结果。

图6所示量子线路为本文实验的混合部分，并定义QC-C 为10 条QC-A 的线路组合。在MNIST 二分类中使用QC-A 实现卷积网络的混合，直接得到输出；在MNIST 十分类中，分别使用QC-B 和QC-C 实现嵌入和直接输出混合。

2.4 混合网络的迁移学习

特征融合通过串、并联或加权平均等途径对多种方法提取的图像特征矢量进行融合，保留强代表性的图像特征信息[16]。

本文结合迁移学习，载入CNN（convolutional neural networks）权重，将优化后得到的微调网络与混合网络特征进行串联融合，作为识别小样本数据集的最终特征，提高网络表示能力。本文设计的混合迁移量子特征融合模型（hybrid transfer quantum feature fusion model，TQFF）识别过程如图7所示。

3 实验

3.1 实验环境

为了验证混合模型的可行性，本文进行了MNSIT和小样本数据集对比实验，所涉及量子线路搭建与测量均利用Qiskit，模型的训练与测试在Pytorch深度学习框架下完成。系统硬件环境为Intel®CoreTMi7-8700k CPU@3.70 GHz 处理器，NVIDIA GeForce RTX 3060 GPU。软件环境为Python 3.7，Pytorch 1.80+cu111，Qiskit0.32。

3.2 实验数据集与预处理

实验所用数据集包括MNIST手写体数字数据集和自制小样本数据集：MNIST 数据集总共包含70 000 张标签分别为0到9共10类数字的黑白样本，每一个样本是大小统一为28×28像素的灰度图像，其中有训练图片60 000 张和测试图片10 000 张；自制数据集截取书本、信封、门牌、邮箱等复杂背景彩色照片中的数字，共获得每类数字60张，总共600张不同尺寸的三通道JPG格式数字图像，按照5∶1划分为10类数字均衡分布的训练集和测试集。数据集中部分样本图像如图8所示。

本文将自制数据集中不同尺寸图片按MNSIT样本格式统一大小为28×28×3。为保证迁移学习预训练网络在彩图上的模型适用性和泛化能力，对MNIST 数据集图片进行通道扩展，以匹配三通道样本训练过程。

3.3 结果与分析

3.3.1 MNIST二分类识别

在相同条件下，对采用QC-A线路的混合网络（hybrid QC-A，HQC-A）与卷积神经网络模型进行比较，分别对0和1、0和2……7和8、7和9以及8和9共45组数字进行二分类识别。以测试集准确率（accuracy）为网络性能的评估指标。设置训练学习率为0.001，实验轮次为20。

为了对比混合网络与经典网络在识别效果上的差异，实验中混合网络与作为对比的卷积神经网络除最后一层量子层外，保持相同的网络结构、超参数与输出维数。

图9为两种网络的二分类准确率对比。可以看出，混合量子经典神经网络总体上显示出更好的识别能力，能够完成简单的二分类任务。其在45组数字识别实验中保持98%以上的准确率，并在某些传统卷积网络表现稍弱的组别上得到了更好的结果。

3.3.2 MNIST十分类识别

在十分类数字识别中，采用QC-B 线路的嵌入混合网络（hybrid QC-B，HQC-B）和采用QC-C 线路的直接预测输出混合（hybrid QC-C，HQC-C）结构与CNN做性能对比。选择准确率（accuracy）、精确率（precision）、召回率（recall）、F 值（F1-score）衡量十分类中不同模型表现的好坏。模型均迭代2 000次。

两种混合网络随训练迭代次数的准确率变化如图10（a）所示，在两种结构都能得到较高准确率的前提下，HQC-C 比HQC-B 结构更快接近100%的精度，并具有更小的波动。图10（b）、（c）、（d）分别代表三种网络在测试集上对每个数字的精确率、召回率以及F值。训练完成后的模型对测试集的分类正确率如表1所示。

表1 十分类测试集结果Table 1 Ten classification test set results

图1 受控非门示意图Fig.1 Schematic diagram of controlled-NOT

图2 混合量子神经网络模式示意图Fig.2 Schematic diagram of hybrid quantum neural network mode

图3 混合量子神经网络框架Fig.3 Framework of hybrid quantum neural network

图4 混合量子卷积神经网络结构示意图Fig.4 Structure diagram of hybrid quantum convolution neural network

图5 量子状态演化图Fig.5 Changing diagram of quantum state

图6 量子电路示意图Fig.6 Schematic diagram of quantum circuit

图9 二分类实验结果图Fig.9 Experimental results of binary classification

图10 十分类实验结果图Fig.10 Experimental results of ten classification

结合图表可知，两种结构的混合经典量子网络总体都表现出接近甚至超过传统卷积网络的性能：HQC-B相较于卷积神经网络，在每个分类精确率、召回率和F值基本持平的情况下，准确率提升了0.021 1；HQC-C量子混合网络在各项指标上都优于传统卷积网络，以卷积网络的最后识别准确率为参考，该结构的混合网络的准确率提升了0.039 8。

3.3.3 结合迁移学习的小样本数字数据集十分类识别

在迁移学习思想下，使用与小样本数据集有较大相关度的MNIST数据集对网络进行预训练。冻结预训练网络前端参数，有助于提高模型泛化能力，解决训练样本不足可能带来的问题。

选取MNIST十分类实验中表现能力更好的量子线路QC-C作为该部分实验的混合结构。在同等条件下，未加迁移学习的CNN 与结合迁移学习的CNN（transfer CNN，TCNN）、结合迁移学习的HQNN（transfer hybrid quantum neural network，THQNN）模型以及迁移量子特征融合模型（TQFF）对小样本数据集的识别结果混淆矩阵与识别准确率如图11和表2所示。

表2 不同方法的识别率Table 2 Recognition rate of different methods

图11 混淆矩阵结果图Fig.11 Confusion matrix result diagram

从实验结果可以看出，单一卷积网络对小样本数据集识别准确率低，量子层的加入将原有模型的识别准确率提升了0.08；迁移学习有效改善了样本不足问题，使用迁移学习的CNN与HQNN模型较直接训练模型准确率分别提升了0.24和0.30；特征融合模型综合了较强代表性特征，最大可能地保留有用信息，TQFF在实验中展示出最好的识别能力，相比于CNN网络，识别准确率提高0.45，并在THQNN基础上将精度提高了0.07。

4 结束语

为探索量子计算与机器学习结合的可能性，本文对经典卷积网络进行量子电路层嵌入混合与直接输出混合，在MNIST 数据集上验证了混合量子神经网络模型的实施可行性。与卷积网络对比表明，该模型能够应用于简单图像的分类任务，在提升深度学习算法性能上存在潜力，是一种处理深度学习任务的新思路。在自建的复杂背景彩色数字数据集上，结合迁移学习与特征融合的混合模型对不同数字的分类准确率达到了83%，比同等实验条件下未使用与使用迁移学习的CNN和HQNN模型效果更好，能够有效缓解小样本数据集造成的训练过拟合现象，对数字识别模型性能有明显的提升。