基于CNN-Transformer的欺骗语音检测

摘 要：语音合成和转换技术的不断更迭对声纹识别系统产生重大威胁。针对现有语音欺骗检测方法中难以适应多种欺骗类型，对未知欺骗攻击检测能力不足的问题，提出了一种结合卷积神经网络（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＣＮＮ） 与Ｔｒａｎｓｆｏｒｍｅｒ 的欺骗语音检测模型。设计基于坐标注意力（Ｃｏｏｒｄｉｎａｔｅ Ａｔｔｅｎｔｉｏｎ，ＣＡ） 嵌入的ＳＥ-ＲｅｓＮｅｔ１８ 的位置感知特征序列提取网络，将语音信号局部时频表示映射为高维特征序列并引入二维位置编码（ｔｗｏ-Ｄｉｍｅｎｓｉｏｎａｌ Ｐｏｓｉｔｉｏｎ Ｅｎｃｏｄｉｎｇ，２Ｄ-ＰＥ） 保留特征之间的相对位置关系；提出多尺度自注意力机制从多个尺度建模特征序列之间的长期依赖关系，解决Ｔｒａｎｓ-ｆｏｒｍｅｒ 难以捕捉局部依赖的问题；引入特征序列池化（Ｓｅｑｕｅｎｃｅ Ｐｏｏｌｉｎｇ，ＳｅｑＰｏｏｌ） 提取话语级特征，保留Ｔｒａｎｓｆｏｒｍｅｒ 层输出帧级特征序列之间的相关性信息。在ＡＳＶｓｐｏｏｆ２０１９ 大赛官方逻辑访问（Ｌｏｇｉｃ Ａｃｃｅｓｓ，ＬＡ） 数据集的实验结果表明，提出的方法相对于当前先进的欺骗语音检测系统，等错误率（Ｅｑｕａｌ Ｅｒｒｏｒ Ｒａｔｅ，ＥＥＲ） 平均降低１２． ８３％ ，串联检测成本函数（ｔａｎｄｅｍ Ｄｅｔｅｃｔｉｏｎ Ｃｏｓｔ Ｆｕｎｃｔｉｏｎ，ｔ-ＤＣＦ） 平均降低７． ８１％ 。

关键词：欺骗语音检测；位置感知序列；Ｔｒａｎｓｆｏｒｍｅｒ；特征序列池化

中图分类号：ＴＰ３９１． ４ 文献标志码：Ａ 开放科学（资源服务）标识码（ＯＳＩＤ）：

文章编号：１００３－３１０６（２０２４）０５－１０９１－０８

０ 引言

ＮＩＳＴ 说话人识别评估挑战［１］的结果显示，在过去的数年里，语音生物识别技术已经达到了令人印象深刻的性能。由该技术衍生出的自动说话人验证（Ａｕｔｏｍａｔｉｃ Ｓｐｅａｋｅｒ Ｖｅｒｉｆｉｃａｔｉｏｎ，ＡＳＶ）系统得以被广泛地应用在安全系统、出入境管制、法医实验室、网上银行和其他电子商务系统等社会重要机构。大量研究表明，尽管最先进的ＡＳＶ 系统具有很高的性能，但在面对语音合成、语音转换等欺骗攻击时依然表现得十分脆弱［２］，因此设计有效的欺骗检测方法保证ＡＳＶ 系统的安全性具有重要意义。

在语音信号的时频表示中，不同的子区域之间存在某些固定的关系，例如基频与谐波［３］，语音合成或者语音转换技术通常无法充分对这些关系进行建模［４］。因此有效提取局部时频区域特征并建模它们之间的全局依赖关系能够提高欺骗检测的性能。卷积神经网络（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＣＮＮ）目前是反欺骗对抗最常用的模型。Ｗａｎｇ等［５］设计了一种密集连接的卷积神经网络增强音频特征的传播，并通过特征重用确保网络中各层之间的最大信息流，大幅提升特征提取能力。Ｌｉ 等［６］在Ｒｅｓ２Ｎｅｔ 的基础上提出了ＣＧＲｅｓ２Ｎｅｔ，通过在特征组之间的连接中加入门控机制，实现根据输入动态选择信道，提升检测效果。Ｆｕ 等［７］提出了一种基于快速傅里叶变换的ＣＮＮ 前端特征提取网络ＦａｓｔＡｕｄｉｏ，用可学习层取代固定滤波器组实现特征提取，与固定前端相比，能够更加灵活地适应未知欺骗检测。Ｔａｋ 等［８］使用ＲａｗＮｅｔ２ 直接从原始语音波形中学习帧级特征，实验结果表明了避免使用基于先验知识的手工前端特征的端到端架构在欺骗检测中的潜力。但是基于ＣＮＮ 的模型只适用于建模局部特征，对于全局依赖性通常需要依靠堆叠大量的卷积层实现，效率低下。为了解决该问题，Ｔａｋ 等［９］通过图注意力网络（Ｇｒａｐｈ Ａｔｔｅｎｔｉｏｎ Ｎｅｔｗｏｒｋ，ＧＡＴ）跨越时频点捕获局部时频区域之间的全局依赖关系，但是出于计算量的考虑，构建图结点的数量比较有限，这会导致信息的损失。

最近，基于Ｔｒａｎｓｆｏｒｍｅｒ［１０］的架构在计算机视觉、自然语言处理等领域表现出优秀的效果，其通过自注意机制高效的捕获全局依赖性，这对语音欺骗检测来说至关重要。受此启发，本文提出了一种结合ＣＮＮ 和Ｔｒａｎｓｆｏｒｍｅｒ 的欺骗检测模型，增强对局部时频特征的提取能力以及高效建模特征之间的全局依赖关系，提升对未知欺骗攻击检测的性能。

１ Ｔｒａｎｓｆｏｒｍｅｒ 网络模型

１． １ Ｔｒａｎｓｆｏｒｍｅｒ 概述

Ｔｒａｎｓｆｏｒｍｅｒ 架构引入自注意力机制，通过计算每个特征序列与其他序列之间的关系对当前序列进行更新。自注意力机制的主要特点是高效并行化计算和快速构建全局相关性的能力，这使其比递归神经网络或者ＣＮＮ 更适合学习长距离依赖关系。Ｔｒａｎｓｆｏｒｍｅｒ 后来被用于自然语言处理。最近，它的各种变体结构被广泛集成到计算机视觉和说话人识别领域中并取得了优秀的性能。

Ｔｒａｎｓｆｏｒｍｅｒ 架构由多个Ｔｒａｎｓｆｏｒｍｅｒ 块堆叠组成，每个Ｔｒａｎｓｆｏｒｍｅｒ 块包括多头自注意力层和前馈层Ｆ（·）。其中多头自注意力层由多个自注意力头Ａｔｔ（·）组成，它是Ｔｒａｎｓｆｏｒｍｅｒ 学习全局依赖信息的关键。给定输入序列集合ｈ ＝ ［ｈ１ ，ｈ２ ，ｈ３ ，…，ｈｔ］∈ Rｔ×ｄ，其中ｔ 和ｄ 分别代表序列的数量和维数，每一个自注意力头可以被看做是对值矩阵Ｖ 的加权和，权重由键矩阵Ｋ 和查询矩阵Ｑ 之间的相似性得出，计算如下：

式中：矩阵Ｑ、Ｋ、Ｖ 由序列集合ｈ 与权重矩阵Ｗ 相乘得到。

多头注意力机制将多个自注意力的输出进行拼接后传入一个线性层计算全局相关性。

２ 本文模型结构

为了高效捕捉语音信号局部时频表示之间的相关性，提升欺骗语音检测的性能，本文设计了一种基于结合ＣＮＮ 和Ｔｒａｎｓｆｏｒｍｅｒ 的欺骗语音检测网络，基本结构如图１ 所示。主要由位置感知序列映射、帧级特征提取以及话语级特征聚合组成。

对于一段语音信号样本，首先将其转换为时频表示特征ＦＢａｎｋ，将ＦＢａｎｋ 通过卷积神经网络映射为Ｃ 维特征序列集合Ｘ∈RＴ×Ｆ×Ｃ 并添加位置编码信息，其中，Ｔ、Ｆ 为ＦＢａｎｋ 时间和频率方向的局部时频表示数量。随后，进行拉伸变换，构建位置感知特征序列集合ＸＰ ∈RＣ×Ｄ ，其中Ｄ ＝ Ｔ×Ｆ。然后基于改进的Ｔｒａｎｓｆｏｒｍｅｒ 编码器提取帧级特征，从多个尺度高效建模各个特征序列之间的相关性，最后引入特征序列池化聚合话语级特征用于分类预测。

２． １ 位置感知序列映射

本文采用ＳＥ-ＲｅｓＮｅｔ１８ 的前３ 层从ＦＢａｎｋ 中提取局部特征，构建特征序列集合。原ＳＥ-ＲｅｓＮｅｔ１８在每个卷积块之间添加Ｓｑｕｅｅｚｅ Ｅｘｃｉｔａｔｉｏｎ（ＳＥ）模块用于学习通道之间的相关性，是一种面向通道的注意力机制。但是ＳＥ 模块忽略了空间关系，对于欺骗语音检测而言，难以区分各个局部时频表示的重要性。因此本文通过在每个ＳＥ-ＲｅｓＮｅｔ１８ 块之间嵌入坐标注意力（Ｃｏｏｒｄｉｎａｔｅ Ａｔｔｅｎｔｉｏｎ，ＣＡ）机制［１１］对ＳＥ-ＲｅｓＮｅｔ１８ 进行改进。此外，特征序列集合的拉伸变换操作会丢失每个时频子区域之间的相对位置关系，故本文引入二维交替正余弦编码［１２］对相对位置信息进行保留。

２． １． １ ＣＡ 嵌入

ＣＡ 机制通过将时间方向和频率方向的空间信息编码到通道中，使模型能够关注重要时频区域，忽略无效时频区域，具体结构如图２ 所示。首先，对于给定的输入特征Ｈ∈RＣ×Ｔ×Ｆ ，使用平均池化沿时间和频率方向聚合一对一维空间感知向量ｓｔ ∈RＣ×１×Ｆ 、ｓｆ∈RＣ×Ｔ×１ ，将２ 个空间感知向量拼接后经由１×１ 卷积进行通道交互和压缩，然后通过批归一化（ＢａｔｃｈＮｏｒｍａｌｉｚａｔｉｏｎ，ＢＮ）层与非线性变换层（Ｎｏｎ-ｌｉｎｅａｒ）生成空间编码信息ｓｐ ∈RＣｒ×１×（Ｆ＋Ｔ），ｒ 表示压缩系数，最后使用２ 个１×１ 的卷积以及Ｓｉｇｍｏｉｄ 激活函数分别产生时间方向和频率方向的权重信息对原始特征进行加权。

２． １． ２ 二维交替正余弦编码

Ｔｒａｎｓｆｏｒｍｅｒ 中通常使用一维位置编码处理自然语言序列中可能出现的由于位置变换导致位置信息丢失的问题，但是这并不适用于由ＣＮＮ 输出的三维特征序列集合，因此本文引入文献［１２］中的二维交替正余弦编码保留特征序列之间的相对位置信息。对于特征序列集合Ｘ ＝ ［ｘ１ ，ｘ２ ，ｘ３ ，…，ｘｉ ］∈ Ｔ×Ｆ×Ｃ ，具体编码信息如下：

２． ２ 多尺度自注意机制

Ｔｒａｎｓｆｏｒｍｅｒ 中的自注意机制优势在于其高效的并行化能力和全局依赖建模，但却难以捕捉特征序列局部之间的依赖，这也导致基于Ｔｒａｎｓｆｏｒｍｅｒ 的架构通常难以应用到语音领域。为了提升Ｔｒａｎｓｆｏｒｍｅｒ对的特征序列局部长期依赖的建模能力，本文提出了一种多尺度自注意力（Ｍｕｌｔｉｓｃａｌｅ Ｓｅｌｆ-Ａｔｔｅｎｔｉｏｎ，ＭＳＡ）机制对原自注意力进行改进。该机制利用不同的自注意力头关注不同长度的局部序列以获取多尺度长期依赖信息，提高局部建模能力，结构如图３所示。

首先将特征集合ｘ∈RＤ×Ｃ 按序列长度均分得到ｎ 个局部序列特征集合ｘｉ∈RＤ×（Ｃ/ｎ），其中ｉ 表示第ｉ 个局部序列特征集合，Ｃ 表示单个特征序列长度，Ｄ 表示集合中的特征数量。均分操作之后，每个局部序列特征集合ｘｉ 都会通过与之相对应的自注意力头Ａｔｔｉ 和激活函数为ＬｅａｋｙＲｅＬＵ 线性层Ｌｉ，其中线性层的作用是保证ｘｉ 和ｙｉ 的维度一致。输出ｙｉ 表示如下：

如图３ 所示，Ａｔｔｉ 的输入特征不仅包括当前的局部序列特征集合ｘｉ，同时还包括前一项输出局部序列特征集合ｙｉ。因此，当前输入局部特征子集包含更长的序列特征以及多种感受野的大小组合。更长的序列特征包含更多的语音信息以及进行更好的上下文分析，多种感受野的大小组合则可以丰富局部子序列长期依赖关系，实现更精准、有效的特征提取。如式（９）所示，将所有的ｙｉ 进行拼接后输入线性层ＬＧ 和自注意力头ＡｔｔＧ 进行全局级多尺度依赖信息整合，输出特征Ｙ∈RＣＧ×Ｄ 。

２． ３ 特征序列池化

池化操作也称为读出操作，主要作用是将连续的高维帧级序列特征聚合为可用于分类的话语级特征。本文引入特征序列池化（Ｓｅｑｕｅｎｃｅ Ｐｏｏｌｉｎｇ，ＳｅｑＰｏｏｌ）［１３］聚合帧级特征，不同于常用的平均池化、最大池化以及总和池化等静态池化方法，特征ＳｅｑＰｏｏｌ 是一种基于注意力机制的映射变换，其通过保留不同帧级序列之间的相关信息提高性能并且不会带来额外的参数。

该方法一共包括３ 个步骤。对于一个Ｌ 层的Ｔｒａｎｓｆｏｒｍｅｒ 编码器输出ｙＬ ∈RＤ×Ｃ，特征ＳｅｑＰｏｏｌ 方法首先利用一个线性层对ｙＬ 进行降维以及信息整合，随后，对ｇ（ｙＬ ）∈RＤ×１ 应用Ｓｏｆｔｍａｘ 激活函数为每一个输入帧级序列产生一个重要性权重，计算如下：

ｗＬ ＝ Ｓｏｆｔｍａｘ（ｇ（ｙＬ） Ｔ ）∈ R１ ×Ｄ ， （１０）

式中：ｇ（ｙＬ）代表线性层映射。将重要性权重ｗＬ 与ｙＬ 相乘生成话语级特征ｚ，计算如下：

ｚ ＝ Ｓｏｆｔｍａｘ（ｇ（ｙＬ） Ｔ ）× ｙＬ ∈ R１ ×Ｃ 。（１１）

将ｚ 进行降维后生成ｚ′∈R３． １ 实验环境与参数细节Ｃ 输入到全连接层中进行分类。对于欺骗检测任务，全连接层的最后一层是一个包含２ 个神经元的线性层，每一个神经元的输出分别代表欺骗类别和真实类别的置信度得分。

３ 实验与结果分析

３． １ 实验环境与参数细节

本文采用ＦＢａｎｋ 作为前端时频表示特征。以２０ ｍｓ 帧长、１０ ｍｓ 帧移、汉宁窗以及５１２ 个傅里叶变换变换点提取对数功率谱。所有对数功率谱调整为固定长度４００ 帧，对于时长不足的语音样本，本实验沿时间轴对特征进行复制。对于长语音，本实验随机选择４００ 帧连续帧。然后应用６０ 个线性滤波器提取６０ 维ＦＢａｎｋ。

本实验基于Ｕｂｕｎｔｕ ２０． ０４ 操作系统，采用Ｐｙ-Ｔｏｒｃｈ 框架实现，显卡为ＮＶＤＩＡ ＧＴＸ １０８０Ｔｉ。设置β１ ＝ ０． ９，β２ ＝ ０． ９９９，初始学习率为５ ×１０－５ 的Ａｄａｍ优化器，学习速率衰减采用余弦退火方法。总共训练１００ 个轮次，取其中最好的实验结果作为最终结果。

３． ２ 数据集

实验采用ＡＳＶｓｐｏｏｆ２０１９ 大赛的逻辑访问（Ｌｏｇｉｃａｌ Ａｃｃｅｓｓ，ＬＡ）数据集验证本文模型以及其他不同模型的检测效果。该数据集基于ＶＣＴＫ 语料库的１０７ 位说话人语音样本，由１７ 种不同的语音合成以及语音转换算法产生后通过１６ 比特量化下采样到１６ ｋＨｚ 得到。数据集包含训练集、开发集以及评估集３ 个子集且彼此之间没有交集。此外，开发集中的欺骗语音采用训练集中相同的欺骗语音算法（Ａ０１ ～ Ａ０６）产生，用于验证算法对可见欺骗语音的检测效果。评估集中使用了１３ 种欺骗语音产生算法（Ａ０７ ～ Ａ１９），其中的Ａ０６、Ａ０４ 与训练集中的Ａ１９、Ａ１６ 是同一种欺骗算法，另外的１１ 种算法相对于训练集是未知的，用于验证算法对未知欺骗语音的检测效果。数据集详细设置如表１ 所示。

３． ３ 评估指标

本文采用等错误率［２］（Ｅｑｕａｌ Ｅｒｒｏｒ Ｒａｔｅ，ＥＥＲ）作为次要检测指标，采用ＡＳＶｓｐｏｏｆ２０１９ 大赛中所提出的最小串联检测代价函数［１４］（ｍｉｎ ｔａｎｄｅｍ-Ｄｅｔｅｃｔｉｏｎ Ｃｏｓｔ Ｆｕｎｃｔｉｏｎ，ｍｉｎ ｔ-ＤＣＦ）作为主要检测指标，二者的值均越低代表系统的检测准确度越高。

（１）ＥＥＲ

如式（１４）所示，ＥＥＲ 被定义为在阈值为τ 的情况下，错误接受率ＰＦＡＲ（τ）和错误拒绝率ＰＦＲＲ（τ）相等时的值。错误接受率和错误拒绝率由式（１２）、式（１３）所示，其中Ｎｆａ（τ）、Ｎｍｉｓｓ（τ）分别表示欺骗语音样本被错误接受的数量以及真实语音样本被错误拒绝的数量，Ｎｓｐｏｏｆ、Ｎｂｏｎａｆｉｄｅ 分别表示欺骗语音样本的数量以及真实语音样本的数量。ＥＥＲ 是一种独立评判欺骗语音检测系统的有效指标，通过比较ＥＥＲ可以直观地看出欺骗语音检测系统的性能。

（２）最小串联检测代价函数

实际场景中，ＡＳＶ 系统通常与反欺骗（ＣＭ）系统串联应用，如果只将ＣＭ 系统的等错误作为评价指标，无法全面反映ＣＭ 系统和ＡＳＶ 系统对检测结果的影响。因此，ＡＳＶｓｐｏｏｆ２０１９ 大赛采用最小串联检测代价函数作为主要的评价指标。如式（１５）所示，其综合考虑ＣＭ 系统和ＡＳＶ 系统的决策，在评价系统性能时更加合理：

式中：ＰＣＭＦＲＲ（τ）和ＰＣＭＦＡＲ（τ）分别表示在阈值为τ 的情况下，ＣＭ 系统的错误拒绝率和错误接收率；系数Ｃ０ 、Ｃ１ 、Ｃ２ 由ＡＳＶ 系统和ＣＭ 系统的２ 种错误率以及先验概率所决定，ｔ-ＤＣＦｄｅｆａｕｌｔ 定义为ＣＭ 系统接受或拒绝每条测试语音样本无信息的默认成本。

ｔ-ＤＣＦｄｅｆａｕｌｔ ＝ Ｃ０ ＋ ｍｉｎ｛Ｃ１ ，Ｃ２ ｝。（１６）

３． ４ 消融实验

为了验证本文模型中每个组件的有效性，通过移除或者替换对应组件在评估集上进行了多组消融实验，结果如表２ 所示。

由表２ 可知，实验２ 通过添加位置嵌入信息（Ｐｏｓｉｔｉｏｎ Ｅｍｂｅｄｄｉｎｇ，ＰＥ）保留时频子区域之间的相对位置关系能够在一定程度上提升模型性能。实验３ 在ＳＥ-ＲｅｓＮｅｔ１８ 层之间添加ＣＡ 模块区分局部时频子区域之间的重要性，ＥＥＲ 与ｍｉｎ ｔ-ＤＣＦ 分别降低３． ７％ 、１． ３％ 。在实验３ 的基础上将自注意力机制替换成ＭＳＡ 机制，ＥＥＲ 降低５． ０％ ，ｍｉｎ ｔＤＣＦ 降低３． ７３％ ，这表明丰富尺度信息能有效提升对欺骗伪影的检测。实验５ 进一步将全局平均池化（Ｇｌｏｂａｌ Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ，ＧＡＰ）替换为ＳｅｑＰｏｏｌ，ＥＥＲ和ｍｉｎ ｔ-ＤＣＦ 达到１． ５８ 和０． ０４８ １，对比实验４ 分别降低４． ７３％ 、２． ０３％ ，因为ＳｅｑＰｏｏｌ 相对于静态池化方法，能够有效保留Ｔｒａｎｓｆｏｒｍｅｒ 编码器输出帧级特征之间的相关信息，从而提升模型检测精度。

图４ 是分别提取２ ０００ 条真实语音和各类欺骗语音的话语级特征进行降维后形成的可视化消融实验对比图，其中紫色代表真实语音，黄色代表欺骗语音，图４ （ａ）～ 图４ （ｄ）分别对应消融实验２ ～ ５。图４（ａ）为添加ＰＥ 信息后的可视化效果图，可以看出真实语音和欺骗语音类间碰撞情况较多，且对于真实语音的类内聚合度差。图４（ｂ）为在图４（ａ）的基础上嵌入ＣＡ 机制的可视化效果图，相比于图４（ａ），图４ （ｂ）的类间碰撞情况有所降低，且真实语音类间聚合度有明显提升，这表明ＣＡ 提升了模型的特征提取能力，话语级特征具备更强的甄别性。图４（ｃ）为将自注意力机制替换为ＭＳＡ 机制的可视化效果图，可以看出类间碰撞降低，对于大部分真实语音，类间聚合度明显提高，但是依然存在少部分真实样本聚合度比较差。图４（ｄ）为进一步替换ＧＡＰ 为ＳｅｑＰｏｏｌ 的可视化效果图，相比于图４（ｃ），在没有增加类间碰撞的情况下，提升了真实语音之间的相似性，这表明ＳｅｑＰｏｏｌ 并不会影响主干网络的特征提取能力，且能保留主干网络输出特征序列之间的相关性信息以提升区分度。

３． ５ 未知攻击检测性能对比实验

为了验证本文模型对未知攻击检测的性能，在评估集中使用６ 种模型与本文模型进行对比，包括ＯＣ-Ｓｏｆｔｍａｘ［１５］、ＬＣＮＮ-ＬＳＴＭ-ｓｕｍ［１６］、Ａｔｔｅｎｔｉｏｎ ＋ ＲｅｓＮｅｔ［１７］、ＭＣＧ-Ｒｅｓ２Ｎｅｔ５０［６］、Ｒａｗ ＰＣ-ＤＡＲＴＳ［１８］和Ｒｅｓ-ＴＳＳＤ-Ｎｅｔ［１９］。上述６ 种模型均是单一系统，并没有经过任何分数融合策略。对比实验分别比较７ 种模型的ＥＥＲ 和ｍｉｎ ｔ-ＤＣＦ，结果如表３ 所示。本研究在ＥＥＲ 指标上达到最优性能，相较于最优模型Ｒｅｓ-ＴＳＳＤＮｅｔ，ｍｉｎ ｔ-ＤＣＦ 相同，但是ＥＥＲ 降低了１． ８３％ 。

为了进一步对比Ｒａｗ ＰＣ-ＤＡＲＴＳ、Ｒｅｓ-ＴＳＳＤＮｅｔ与本文模型对不同攻击类型的检测性能，在评估集上对Ａ０７ ～ Ａ１９ 共１３ 种未知欺骗攻击分别进行实验并比较ｍｉｎ ｔ-ＤＣＦ 指标，结果如图５ 所示。

从图５ 可以看出对于大部分的欺骗类型，３ 种模型的检测性能表现差距不大。针对Ａ０７ ～ Ａ１６ 共１０ 种攻击类型，本文模型的整体精度表现得更加稳定，对于Ａ０８ 和Ａ１２ 类型，Ｒａｗ ＰＣ-ＤＡＲＴＳ 无法有效检测，Ｒｅｓ-ＴＳＳＤＮｅｔ 的检测性能波动最明显，相对于其余攻击类型，其对于Ａ０７、Ａ１０ 以及Ａ１５ 的检测精度存在明显下降，这表明本文模型的泛化性能更好，能够适应更多种的未知欺骗类型。但是在面对公认难度最高的Ａ１７ 攻击类型时，３ 种模型的ｍｉｎ ｔ-ＤＣＦ均有大幅度上升，其中本文模型的表现最差，主要原因在于Ａ１７ 是一种基于原始波滤波的转换攻击算法，因此采用Ａ１７ 算法生成的伪装语音在原始波中会包含更多的欺骗伪影。而Ｒａｗ ＰＣ-ＤＡＲＴＳ 和Ｒｅｓ-ＴＳＳＤＮｅｔ 均采用未经手工处理的原始波形作为输入特征，相对于本文采用的前端特征Ｌｉｎｅａｒ ＦＢａｎｋ 保留了更多的有效信息。但是以原始波形作为输入特征同时会引入大量冗余信息，提升了模型对特征的提取难度，导致模型无法在多种不同的攻击类型上表现出平稳的性能。

本文模型的话语级特征在评估集上针对各类攻击类型的可视化结果如图６ 所示，红色圆点为真实语音，其余颜色圆点为多种欺骗语音。从图６ 中可以看出真实语音类内聚合度高，同时与各类欺骗语音之间间距明显，少量类间碰撞主要集中于Ａ１７ 上，这表明本文模型能够有效区分真实语音和欺骗语音。

４ 结束语

本文提出了一种结合ＣＮＮ 与Ｔｒａｎｓｆｏｒｍｅｒ 的欺骗语音检测模型，旨在通过高效捕捉语音信息局部时频表示之间的全局相关性来提高来解决现有方法难以适应多种欺骗类型、对未知欺骗攻击检测能力不足的问题。设计基于ＣＡ 注意力嵌入的ＳＥ-Ｒｅｓ-Ｎｅｔ１８ 的位置感知特征序列提取网络，将语音信号局部时频表示映射为高维特征序列，采用二维位置编码保留特征序列之间的相对位置信息，并在原ＳＥ-ＲｅｓＮｅｔ１８ 的基础上嵌入ＣＡ 注意力区分特征序列之间的重要性，提升特征提取能力；提出ＭＳＡ 机制替换Ｔｒａｎｓｆｏｒｍｅｒ 层中的单一自注意力，解决Ｔｒａｎｓｆｏｒｍｅｒ 难以捕捉局部依赖的问题；引入ＳｅｑＰｏｏｌ提取话语级特征，保留Ｔｒａｎｓｆｏｒｍｅｒ 层输出帧级特征序列之间的相关性信息，优化检测精度。实验结果表明，在ＡＳＶｓｐｏｏｆ２０１９ 大赛数据集的ＬＡ 场景中，相较于当前先进模型，本文模型适应性更强且ｍｉｎ ｔ-ＤＣＦ 与ＥＥＲ 平均降低７． ８１％ 和１２． ８３％ ，整体检测精度上具备明显优势。在未来的工作中，将使用多特征融合的方式，丰富前端特征表达，从而提升对未知攻击检测的精度和模型的泛化性。

参考文献

［１］ ＳＡＤＪＡＤＩ Ｓ Ｏ，ＧＲＥＥＮＢＥＲＧ Ｃ，ＳＩＮＧＥＲ Ｅ，ｅｔ ａｌ． Ｔｈｅ２０２１ ＮＩＳＴ Ｓｐｅａｋｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ Ｅｖａｌｕａｔｉｏｎ ［ＥＢ ／ ＯＬ ］．（２０２２－０４－２１）［２０２３－０５－１６］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／２２０４． １０２４２．

［２］ ＮＡＵＴＳＣＨ Ａ，ＷＡＮＧ Ｘ，ＥＶＡＮＳ Ｎ，ｅｔ ａｌ． ＡＳＶｓｐｏｏｆ２０１９：Ｓｐｏｏｆｉｎｇ Ｃｏｕｎｔｅｒｍｅａｓｕｒｅｓ ｆｏｒ ｔｈｅ Ｄｅｔｅｃｔｉｏｎ ｏｆ Ｓｙｎｔｈｅｓｉｚｅｄ，Ｃｏｎｖｅｒｔｅｄ ａｎｄ Ｒｅｐｌａｙｅｄ Ｓｐｅｅｃｈ ［Ｊ ］． ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｂｉｏｍｅｔｒｉｃｓ， Ｂｅｈａｖｉｏｒ， ａｎｄ ＩｄｅｎｔｉｔｙＳｃｉｅｎｃｅ，２０２１，３（２）：２５２－２６５．

［３］ ＨＵＡＮＧ Ｐ Ｙ，ＸＵ Ｈ，ＬＩ Ｊ Ｃ，ｅｔ ａｌ． Ｍａｓｋｅｄ Ａｕｔｏｅｎｃｏｄｅｒｓｔｈａｔ Ｌｉｓｔｅｎ［Ｃ］∥ ＮｅｕｒＩＰＳ ２０２２． Ｎｅｗ Ｏｒｌｅａｎｓ：［ｓ． ｎ． ］，２０２２：２８７０８－２８７２０．

［４］ ＨＵＡＮＧ Ｒ Ｊ，ＣＵＩ Ｃ Ｙ，ＣＨＥＮ Ｆ Ｙ，ｅｔ ａｌ． ＳｉｎｇＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｈｉｇｈｆｉｄｅｌｉｔｙ ＳＩｎｇｉｎｇＶｏｉｃｅ Ｇｅｎｅｒａｔｉｏｎ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３０ｔｈ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ． Ｌｉｓｂｏａ：ＡＣＭ，２０２２：２５２５－２５３５．

［５］ ＷＡＮＧ Ｚ，ＣＵＩ Ｓ Ｓ，ＫＡＮＧ Ｘ Ｇ，ｅｔ ａｌ． Ｄｅｎｓｅｌｙ ＣｏｎｎｅｃｔｅｄＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ａｕｄｉｏ Ｓｐｏｏｆｉｎｇ Ｄｅｔｅｃｔｉｏｎ［Ｃ］∥２０２０ ＡｓｉａＰａｃｉｆｉｃ Ｓｉｇｎａｌ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ａｓｓｏｃｉａｔｉｏｎ Ａｎｎｕａｌ Ｓｕｍｍｉｔ ａｎｄ Ｃｏｎｆｅｒｅｎｃｅ （ＡＰＳＩＰＡＡＳＣ）． Ａｕｃｋｌａｎｄ：ＩＥＥＥ，２０２０：１３５２－１３６０．

［６］ ＬＩ Ｘ，ＷＵ Ｘ Ｘ，ＬＵ Ｈ，ｅｔ ａｌ． Ｃｈａｎｎｅｌｗｉｓｅ ＧａｔｅｄＲｅｓ２Ｎｅｔ：Ｔｏｗａｒｄｓ Ｒｏｂｕｓｔ Ｄｅｔｅｃｔｉｏｎ ｏｆ Ｓｙｎｔｈｅｔｉｃ ＳｐｅｅｃｈＡｔｔａｃｋｓ ［ＥＢ ／ ＯＬ］． （２０２１ － ０７ － １９ ）［２０２３ － ０５ － １６ ］．ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ ２１０７． ０８８０３．

［７］ ＦＵ Ｑ Ｃ，ＴＥＮＧ Ｚ Ｗ，ＷＨＩＴＥ Ｊ，ｅｔ ａｌ． ＦａｓｔＡｕｄｉｏ：Ａ Ｌｅａｒｎａｂｌｅ Ａｕｄｉｏ ＦｒｏｎｔＥｎｄ ｆｏｒ Ｓｐｏｏｆ Ｓｐｅｅｃｈ Ｄｅｔｅｃｔｉｏｎ［Ｃ］∥ＩＣＡＳＳＰ ２０２２ － ２０２２ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎＡｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ）． Ｓｉｎｇａｐｏｒｅ：ＩＥＥＥ，２０２２：３６９３－３６９７．

［８］ ＴＡＫ Ｈ，ＰＡＴＩＮＯ Ｊ，ＴＯＤＩＳＣＯ Ｍ，ｅｔ ａｌ． ＥｎｄｔｏＥｎｄ Ａｎｔｉｓｐｏｏｆｉｎｇ ｗｉｔｈ ＲａｗＮｅｔ２ ［Ｃ］∥ ＩＣＡＳＳＰ ２０２１ － ２０２１ ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ ＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ）． Ｔｏｒｏｎｔｏ：ＩＥＥＥ，２０２１：６３６９－６３７３．

［９］ ＴＡＫ Ｈ，ＪＵＮＧ Ｊ，ＰＡＴＩＮＯ Ｊ，ｅｔ ａｌ． Ｇｒａｐｈ Ａｔｔｅｎｔｉｏｎ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ａｎｔｉｓｐｏｏｆｉｎｇ ［ＥＢ ／ ＯＬ ］． （２０２１ － ０４ － ０８ ）［２０２３－０５－１６］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ ２１０４． ０３６５４．

［１０］ ＶＡＳＷＡＮＩ Ａ，ＳＨＡＺＥＥＲ Ｎ，ＰＡＲＭＡＲ Ｎ，ｅｔ ａｌ． ＡｔｔｅｎｔｉｏｎＩｓ Ａｌｌ Ｙｏｕ Ｎｅｅｄ ［Ｃ］∥ ＮＩＰＳ ２０１７． Ｌｏｎｇ Ｂｅａｃｈ：ＣｕｒｒａｎＡｓｓｏｃｉａｔｉｏｒ Ｉｎｃ． ，２０１７：６０００－６０１０．

［１１］ ＨＯＵ Ｑ Ｂ，ＺＨＯＵ Ｄ Ｑ，ＦＥＮＧ Ｊ Ｓ． Ｃｏｏｒｄｉｎａｔｅ Ａｔｔｅｎｔｉｏｎｆｏｒ Ｅｆｆｉｃｉｅｎｔ Ｍｏｂｉｌｅ Ｎｅｔｗｏｒｋ Ｄｅｓｉｇｎ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆｔｈｅ ＩＥＥＥ ／ ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ． Ｎａｓｈｖｉｌｌｅ：ＩＥＥＥ，２０２１：１３７１３－１３７２２．

［１２］ ＲＡＩＳＩ Ｚ，ＮＡＩＥＬ Ｍ Ａ，ＦＩＥＧＵＴＨ Ｐ，ｅｔ ａｌ． ２Ｄ ＰｏｓｉｔｉｏｎａｌＥｍｂｅｄｄｉｎｇｂａｓｅｄ Ｔｒａｎｓｆｏｒｍｅｒ ｆｏｒ Ｓｃｅｎｅ Ｔｅｘｔ Ｒｅｃｏｇｎｉｔｉｏｎ［Ｊ ］． Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｖｉｓｉｏｎ ａｎｄ ＩｍａｇｉｎｇＳｙｓｔｅｍｓ，２０２０，６（１）：１－４．

［１３］ ＨＡＳＳＡＮＩ Ａ，ＷＡＬＴＯＮ Ｓ，ＳＨＡＨ Ｎ，ｅｔ ａｌ． Ｅｓｃａｐｉｎｇ ｔｈｅＢｉｇ Ｄａｔａ Ｐａｒａｄｉｇｍ ｗｉｔｈ Ｃｏｍｐａｃｔ Ｔｒａｎｓｆｏｒｍｅｒｓ［ＥＢ ／ ＯＬ］．（２０２２－０６－０７）［２０２３－０５－１６］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／２１０４． ０５７０４ｖ４．

［１４］ ＫＩＮＮＵＮＥＮ Ｔ，ＬＥＥ Ｋ Ａ，ＤＥＬＧＡＤＯ Ｈ，ｅｔ ａｌ． ｔＤＣＦ：ＡＤｅｔｅｃｔｉｏｎ Ｃｏｓｔ Ｆｕｎｃｔｉｏｎ ｆｏｒ ｔｈｅ Ｔａｎｄｅｍ Ａｓｓｅｓｓｍｅｎｔ ｏｆＳｐｏｏｆｉｎｇ Ｃｏｕｎｔｅｒｍｅａｓｕｒｅｓ ａｎｄ Ａｕｔｏｍａｔｉｃ Ｓｐｅａｋｅｒ Ｖｅｒｉｆｉｃａｔｉｏｎ［ＥＢ ／ ＯＬ］． （２０１９ －０４ －１２）［２０２３ －０５ －１６］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ １８０４． ０９６１８ｖ２．

［１５］ ＺＨＡＮＧ Ｙ，ＪＩＡＮＧ Ｆ，ＤＵＡＮ Ｚ Ｙ． Ｏｎｅｃｌａｓｓ Ｌｅａｒｎｉｎｇ Ｔｏｗａｒｄｓ Ｓｙｎｔｈｅｔｉｃ Ｖｏｉｃｅ Ｓｐｏｏｆｉｎｇ Ｄｅｔｅｃｔｉｏｎ ［Ｊ ］． ＩＥＥＥＳｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｌｅｔｔｅｒｓ，２０２１，２８：９３７－９４１．

［１６］ ＷＡＮＧ Ｘ，ＹＡＭＡＧＩＳＨＩ Ｊ． Ａ Ｃｏｍｐａｒａｔｉｖｅ Ｓｔｕｄｙ ｏｎＲｅｃｅｎｔ Ｎｅｕｒａｌ Ｓｐｏｏｆｉｎｇ Ｃｏｕｎｔｅｒｍｅａｓｕｒｅｓ ｆｏｒ ＳｙｎｔｈｅｔｉｃＳｐｅｅｃｈ Ｄｅｔｅｃｔｉｏｎ［ＥＢ ／ ＯＬ］． （２０２１－０３ －２１）［２０２３ －０５ －１６］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ ２１０３． １１３２６ｖ２．

［１７］ ＬＩＮＧ Ｈ Ｆ，ＨＵＡＮＧ Ｌ Ｃ，ＨＵＡＮＧ Ｊ Ｒ，ｅｔ ａｌ． Ａｔｔｅｎｔｉｏｎｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ ＡＳＶ Ｓｐｏｏｆｉｎｇ Ｄｅｔｅｃｔｉｏｎ［Ｃ］∥ Ｉｎｔｅｒｓｐｅｅｃｈ ２０２１． Ｂｒｎｏ：［ｓ． ｎ． ］，２０２１：４２８９－４２９３．

［１８］ ＧＥ Ｗ Ｙ，ＰＡＴＩＮＯ Ｊ，ＴＯＤＩＳＣＯ Ｍ，ｅｔ ａｌ． ＲａｗＤｉｆｆｅｒｅｎｔｉａｂｌｅ Ａｒｃｈｉｔｅｃｔｕｒｅ Ｓｅａｒｃｈ ｆｏｒ Ｓｐｅｅｃｈ Ｄｅｅｐｆａｋｅａｎｄ Ｓｐｏｏｆｉｎｇ Ｄｅｔｅｃｔｉｏｎ ［ＥＢ ／ ＯＬ ］． （２０２１ － １０ － ０６ ）［２０２３－０５－１６］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ ２１０７． １２２１２ｖ２．

［１９］ ＨＵＡ Ｇ，ＴＥＯＨ Ａ Ｂ Ｊ，ＺＨＡＮＧ Ｈ Ｊ． Ｔｏｗａｒｄｓ ＥｎｄｔｏＥｎｄＳｙｎｔｈｅｔｉｃ Ｓｐｅｅｃｈ Ｄｅｔｅｃｔｉｏｎ ［Ｊ］． ＩＥＥＥ Ｓｉｇｎａｌ ＰｒｏｃｅｓｓｉｎｇＬｅｔｔｅｒｓ，２０２１，２８：１２６５－１２６９．

作者简介

徐童心 男，（１９９９—），硕士研究生。主要研究方向：语音检测与人工智能。

黄 俊 男，（１９７１—），博士，教授。主要研究方向：深度学习。

基金项目：国家自然科学基金（６１７７１０８５）