基于优化自注意力神经网络的卫星钟差短期预报

潘 雄，赵万卓，黄伟凯，张思莹，金丽宏

（1.武汉纺织大学 计算机与人工智能学院，武汉 430200；2.武汉纺织大学 数理科学学院，武汉 430200）

在卫星导航系统之中，星载原子钟是维持整个系统顺利运行的关键设备之一，原子钟在运行过程中，会受到钟切换、调相或调频等操作的影响，同时还会受到外部环境及星载钟自身等多种不确定因素影响，这些因素的存在严重影响着导航、定位和授时的精度[1]。北斗卫星实时精密单点定位需要提供高精度的钟差值，实时预报卫星钟差能够获取卫星自主导航所需要的先验信息，并有效应对网络延迟和中断等因素的影响，确保卫星导航系统的时间同步和连续性，提高实时动态定位精度。因此，通过对卫星钟差预报进行研究和分析，提高北斗卫星系统的性能和可靠性，对高精度定位至关重要[2]。

为了提高钟差预报的可靠性和准确性，已经有许多学者研究不同的钟差预报模型，其中包括二次多项式模型（Quadratic Polynomial Model,QP）、灰色系统（Grey Models,GM）模型、卡尔曼滤波模型、差分自回归移动平均（Autoregressive Integrated Moving Average,ARIMA）模型和谱分析（Spectral Analysis,SA）模型等[3-5]，这些模型各有优点和缺点。随着卫星钟差数据的增多和研究的深入，发现数据中通常存在复杂的非线性因素，线性模型无法准确描述这些非线性因素[5,6]。为了进一步解决钟差数据密度高和非线性特征复杂的问题，研究人员引入机器学习方法[5-10]，利用神经网络模型对数据进行学习，通过挖掘数据特征，捕捉动态数据的时序关系来进行建模和预报，常用的算法包括长短期记忆神经网络（Long Short-Τerm Memory Network,LSΤM）、循环神经网络（Recurrent Neural Network,RNN ）、双向长短期记忆神经网络（Bidirectional Long Short-Τerm Memory Network,BiLSΤM）等。这些算法具有良好的自适应性、抗差性和联想记忆功能，但在使用过程中容易陷入局部最优、梯度消失与爆炸等，影响收敛精度。为了提高模型的准确率，针对钟差数据的特性，有学者对这些算法进行了优化，Wen 等提出一种遗传算法优化的长短期记忆神经网络钟差预报模型[11]；Huang 等应用BiLSΤM对北斗2 号超快时钟预测产品进行校正，但对于训练神经网络的参数并没有给出明确的选择[12]。这些算法虽然缓解了神经网络中梯度爆炸和消失的问题，但其都是以递归神经网络为基础的串行结构[13]，因此存在如下缺点：1）模型无法实现并行计算，不能有效地运用图形处理器（Graphics Processing Unit,GPU）的运算性能，运行时间较长；2）进行顺序提取并不断向后传递，过长的循环过程引起模型信息在传输过程中容易发生丢失，使得在卫星钟差这类密度较高的数据中深层隐含特征提取不足，致使模型难以训练。

谷歌团队提出了一种序列到序列的模型——自注意力神经网络模型（Τransformer），该模型为上述问题的解决提供了新思路。与传统的神经网络算法相比，Τransformer 模型能够有效获取序列之间的长距离依赖关系，研究人员使用Τransformer 代替了RNN，并已在计算机视觉以及自然语言处理领域取得显著成果。本文将 Τransformer 引入到钟差数据预报中，但Τransformer 中多头注意力机制仅考虑全局注意力，忽略了局部注意力。对于钟差数据，在关注整体数据的同时，还需要关注局部数据，特别是具有强相关性的局部信息。针对钟差数据的特性与上述模型的局限性，本文对数据进行整体并行计算处理，在捕捉输入和输出之间更强的长程相关性耦合的同时，重点关注相邻历元间具有强相关性的局部信息，将原有的注意力机制进行稀疏性优化，降低原始长序列输入下的时间复杂度和内存占用率问题，建立了稀疏优化自注意力模型（Informer），并采用麻雀搜索算法进行超参数优化，有效减少了模型解码时间，提升了模型的训练速度并进一步提高卫星钟差预报的精度。

1 稀疏优化自注意力模型

自注意力神经网络模型是一种基于注意力机制的监督学习模型，由模拟人的视觉注意力演化而来，具有较强的捕获长距离依赖的能力。该模型使用位置信息嵌入层对输入序列进行时间编码，利用注意力函数对样本进行权重分配，寻找网络中需要关注的信息，并根据信息的重要程度赋予不同的权值；采用多个由多头概率稀疏自注意力和卷积层组成的神经网络模块进行深度特征提取，并借助自注意力机制实现快速并行计算，从而提高训练速度。其主要由若干编码器和解码器组成：编码层主要是为了获取时间依赖，用于获得原始输入序列鲁棒性的长期依赖；解码层主要由多头概率稀疏自注意力机制组成，可一次性生成预报序列。对于卫星钟差序列数据，数据之间存在一定的依赖关系，Informer 模型能够有效捕获钟差数据序列之间的长距离依赖关系，同时，注意力机制更关注时间步和重要特征。图1 为基于卫星钟差数据处理的Informer 模型的整体架构，由编码器-解码器组合，其中自注意力模块被优化为稀疏自注意力。

图1 Informer 模型的整体框架Fig.1 Informer model framework

图2 钟差预报流程Fig.2 Clock bias prediction process

1.1 自注意力机制的基本原理

模型的编码器和解码器均可接收卫星钟差数据的输入，编码器的输入为一段来自历史数据的长序列，而解码器的输入由一段短序列和一段与预报步长相等的零值组合而成。模型的输入是前一个时刻标准化后的卫星钟差数据L=[L1,L2…LN]。自注意力机制的本质是对样本进行权重分配，在这个机制中，模型输入的序列首先通过线性变换进行映射，得到三个大小相同的矩阵：查询Q（query）、键K（key）、值V（value），然后进行点积缩放。这个过程将输入数据映射到了Q、K、V这三个新的子空间，Q为目标序列向量，K为键向量序列，V为键向量对应的值序列，令qi、ki、iv分别表示Q、K、V中的第i行，根据Q、K计算得到两个向量之间的相似性，然后经过函数softmax归一化，并与V相乘，得到加权后的注意力权值矩阵，最终的结果是根据注意力权值矩阵对输入序列进行加权平均得到的，其函数表达式为：

1.2 位置编码嵌入

由于注意力机制模型中没有使用循环神经网络，因此无法直接对序列中的位置信息进行建模。为了解决这个问题，模型采用了位置编码，将每个位置的信息编码为一个向量，并将其加到输入向量，在原有位置的基础上，让模型能够对序列中的位置信息进行建模。位置编码的形式有很多，而在精密定轨解算卫星钟差的过程中，轨道和钟差相互耦合导致解算的钟差序列存在着周期性的波动现象，因此本文采用正弦、余弦函数对卫星钟差数据序列时序方向中每一历元的位置信息进行绝对位置编码，获取某一时刻的输入信息在整个钟差数据序列中的位置，实现模型对钟差数据序列中时间序列某一时刻位置信息的隐含周期性特征提取，绝对位置编码P可表示为：

其中，pos和j为当前钟差数据在输入序列中的时刻位置信息和维度；N为钟差序列的长度；dmodel为原始钟差数据序列的维度特征经过输入向量映射后的维度。

1.3 稀疏优化方案

Τransformer 模型中自注意力采用标准的点积计算方式，每个输入序列元素都与整个序列建立了联系，使得每个注意力层的时间复杂度与输入序列长度N的关系为O(N2)。在此模型中，随着输入数据序列的增长，就使得运算复杂度成平方式增长，但在实际应用中，某些元素仅与少数元素有较大的关联性，与大多数元素的联系相对不重要，而这些不重要的联系会消耗大量内存和计算资源。为了降低运算复杂度，可采用稀疏性优化方案进行自注意力的运算，即采用少数Q和K的点积计算结果主导进行softmax运算。

鉴于此，可以通过对目标序列向量Q进行重要性评估，根据评估结果进行后续的点积计算，从而达到稀疏化的目的。

稀疏优化方法如下：

1）选取常数采样因子s为超参数，计算a1=NQln(NK)，并在采样因子s的控制下设置a2=sln(NK)。

2）对键向量K随机采样a1个点积对，形成新的键矩阵，并计算采样得分：

3）按行计算其稀疏性得分M

4）对M进行得分排序后，选取其前a2个qi向量组成稀疏优化后的新矩阵。经过稀疏性优化后的自注意力为：

剩余的qi不参与点积运算。

将Q矩阵依概率稀疏后得到，即计算复杂度由O(N2)降到了O(NlnN)，降低了计算的复杂度，使得模型从大量冗余信息中提取出特征的权重信息进行计算。

1.4 超参数优化方法

超参数的合理选择对模型的预报效果非常重要，本文选用麻雀搜索算法[14]（Sparrow Search Algorithm,SSA）对模型进行超参数优化。麻雀搜索算法设置了三个角色：发现者、加入者和侦察者，发现者负责为加入者提供觅食区域和方向，加入者跟随发现者并争夺食物，而侦察者在发现捕食者时立即发出警报并表现出反捕食行为。

1）对于发现者：

其中，t和T分别为当前迭代次数和最大迭代次数；设定麻雀种群数量为n，解空间的维度为b，i=1,2…n，j=1,2…b，xi,j(t)表示在第t次第i只麻雀在第j维的位置信息；α∈(0,1)表示某一随机数；R2∈(0,1)，ST∈[0.5,1]分别表示侦察者的预警值和安全值。当R2＜ST时，发现者周围没有捕食者，可以觅食；当2R≥ST时，侦察者发现捕食者并发出警报，所有麻雀迅速离散。W为正态分布随机数，I 表示一个1 行b列的全1 矩阵。

2）对于加入者：

其中，xlow(t)表示全局最差位置；xhigh(t+1)为全局最优位置；A为一个1×b维的矩阵，每个元素随机赋值1 或-1；A+=AΤ(AAΤ)-1。

3）对于侦察者：

其中，U∈[ -1,1]，β表示均值为0、方差为1 的正态分布随机数，两者均为补偿控制参数；fi、fg、fw分别为个体适应度、全局最优适应度值和最差适应度值，为了避免分母为0 的情况，引入一个极小常数ε。

为了得到神经网络的最优超参数，对麻雀种群位置随机初始化，计算每只麻雀的适应度值。基于适应度值设置参数，使用不同适应度值的麻雀位置更新方式搜索最优解。在钟差预报中，发现者、加入者与侦察者的比例设为2：7：1，种群数量为20，最大迭代次数为300，正则化系数为[1 ×10-4,1 ×10-1]。在搜索过程中，SSA 算法考虑了群体行为的多种可能因素，能够快速地在最优解附近收敛，并有效地避免陷入局部最优解的情况，最终得到的最优位置就对应着神经网络的最优超参数。

2 优化自注意力模型钟差预报方法

设卫星钟差数据为L=[L1,L2…LN]，用过去t个时刻的钟差值L=[L1,L2…Lt]来预报t+1时刻的钟差值[Lt+1]，即建立L=[L1,L2…Lt]与[Lt+1]的映射关系。通过对自注意力机制进行概率稀疏性优化，给联系强的数据分配更大的权重，从而降低网络模型的时间复杂度与空间复杂度，解决密度较高的钟差时间序列数据的长时依赖问题。随着新历元的增加，离预报历元点远的数据对模型精度的影响逐渐减弱，所以在实际钟差数据建模中引入新陈代谢的思想。在保持样本总数不变的情况下，不断地用新的数据替换之前的已知数据，作为模型训练初始值，结合新陈代谢思想，依次向新的历元推进，进而实现钟差的多步预报。Informer 模型的预报步骤如下：

1）采取以单颗卫星钟差数据为处理单元，在原始钟差数据相邻的历元间求一次差，得到钟差的一次差分数据。采用中位数粗差探测法（Median Absolute Deviation,MAD）对差分序列进行预处理，剔除钟差序列中的异常值[15]，再用线性插值法补齐数据，得到相对清晰的钟差数据L。

2）对输入的钟差数据进行标准化。为使模型获得较好的训练效果，并防止训练发散和损失扩大，需要对卫星钟差输入数据进行标准化处理，得到标准化训练集L′=[L1′,L2′…LN′]。标准化公式为：

其中，μ和σ分别为钟差序列L的均值和标准差。

3）初始化网络模型结构，根据式(2)(3)对钟差数据的时刻位置信息进行编码，使用时刻位置信息嵌入标记钟差序列L′局部和全局前后时间位置关系，充分挖掘时间相关性，利用多头注意力机制将注意力聚焦于变化趋势更明显的数据特征上，获取输入序列的长时依赖关系。

4）初始化麻雀种群参数：种群数量及最大迭代次数。以模型实际输出值与样本理想值的均方误差，定义麻雀种群个体的适应度函数。定义侦察者占总体数量比例为0.2，以高者作为发现者，计算侦察者与加入者的数量，建立模型进行训练。

5）计算适应度函数并更新适应度值。

6）以式(7)-(9)更新发现者、加入者和侦察者位置并调整Informer 模型中的超参数。

7）判断是否满足最大迭代次数或者样本理想精度。若满足则停止迭代，完成参数优化过程；否则返回步骤5）。

8）将输出的参数作为Informer 模型的输入层权值和隐含层阈值，输入到建立的模型中来训练模型，并得到模型的预报值输出。

9）预报值还原。对输出值进行反归一化操作，得到最终的钟差预报数据。

3 算例分析

3.1 数据来源与粗差定位处理

为了验证本文Informer 模型的钟差预报效果，采用全球连续监测评估系统（International GNSS Monitoring &Assessment System,iGMAS）提供的北斗卫星（Beidou Navigation Satellite System,BDS）钟差数据进行实验和分析。选取2022-08-26～2022-08-27 采样间隔为5 min 的精密卫星钟差数据，ftp 网址：http:// www.igmas.org/ Product/ ΤreePage/ downItem/ ?fid=/ products/ products/ 0868/ b1ib3i/ isc08685.clk.Z;http:// www.igmas.org/ Product/ ΤreePage/ downItem/ ?fid=/ products/ products/ 0868/ b1ib3i/ isc08686.clk.Z。因篇幅限制并考虑卫星数据的完整性，在三类BDS-3 星载原子钟中选择中轨道（Medium Earth Orbit,MEO）铷钟卫星C19-C24，氢钟卫星C34、C35、C43-C46；倾斜地球同步轨道（Inclined GeoSynchronous Orbit,IGSO）氢钟卫星C38-C40 的钟差数据，如表1 所示。

表1 BDS-3 星载原子钟类型Tab.1 Type of BDS-3 satellite-based atomic clock

本文用误差的均方根（Root Mean Square,RMS）、误差均值（mean）作为模型预报精度的评判指标，以残差的极值差（range）作为评判模型预报稳定度的指标。

其中，m为预报序列历元数；yi为i时刻iGMAS 提供的精密钟差真实值；yˆi为i时刻的预报值；ymax为误差的最大值；ymin为误差的最小值。

本文使用一次差分法进行数据处理，对其3 h、6 h、12 h 的短期预报进行实验和分析，将预报值与真实值进行对比，并用上述的三个指标从预报精度与预报稳定度两方面来评判模型的综合预报性能。在数据预处理方面，采用MAD 法对卫星钟差序列进行粗差探测及处理，其中位数公式为：

其中，mid为钟差序列的中间数；median 表示序列的中位数。利用中位数法检测钟差数据的异常值时，如果＞mid+x·MAD（x∈[1,5]，一般取值为3），则认为此数据为异常值，采用线性插值法对探测出的异常值进行剔除与填补。从三类卫星中随机选取C21、C34 和C40，异常值处理前后的频率结果如图3-4 所示。从图中可以看出，异常历元的数据经过剔除与填补后，钟差数据质量随之提高，如C40 号卫星的数据波动区间从 1.1×10-11～1.35×10-11缩小至1.16×10-11～1.28×10-11，数据分布的范围明显缩小。

图3 异常值处理前的频率图Fig.3 Frequency graph before outlier processing

图4 异常值处理后的频率图Fig.4 Frequency graph after outlier processing

3.2 计算效率分析

以12 h 预报为例，分别从理论和实际预报的计算效率分析LSΤM、Τransformer 和Informer 三种模型的效率差异。表2 统计了三种模型理论上的训练时间复杂度、空间占用率和预报时间复杂度。从表2 可以看出，Τransformer 模型与Informer 模型在理论上的训练时间复杂度和空间占用率上，二者具有相同的复杂度，因此两种模型的训练时间在输入序列增长后会有相似的上升趋势；而在预报效率上，Τransformer 与LSΤM模型有着相同的预报时间复杂度，而Informer 模型优于这两个模型，因此需要消耗时间较少，有着极高的预报速度。

表2 理论计算效率对比Tab.2 Comparison of theoretical computing efficiency

同时，对这三种模型进行对比分析，图5 给出了三种模型在钟差预报中实测的训练时间与预报时间对比（本文使用pytorch 深度学习框架，i9CPU 与Nvidia GΤX3090 32 GB GPU 服务器）。

图5 计算时间对比Fig.5 Comparison of computation time

从图5(a)可以看出：当编码器的输入长度小于168历元时，Informer 和LSΤM 模型的运行时间大致相同，计算时间在3 min 以内，都小于Τransformer 模型；当输入长度在168～336 历元时，Informer 模型的训练时间略微增加；当输入长度增长到336 历元及以上时，Informer 模型的训练时间快速上升，这是由于自注意力机制需要对每个输入位置与其他位置进行全连接的注意力计算，导致计算复杂度增长，而且模型中包含多层结构和多头注意力机制，每层都需要参数更新和反向传播，进一步增加了计算量，因此Informer 模型的训练时间开始上升。

在预报阶段，由图5(b)可知，Informer 模型可以一步生成预报序列，不会增加模型的计算负担，提高了模型的预报效率，稳定度较好，优于LSΤM 和Τransformer 模型。在钟差短期预报中，从训练与预报时间来看，Informer 模型优势明显。

3.3 稳定性评估

为了比较不同钟差预报模型的稳定性，从三类卫星中选取C21、C34 和C40 进行对比，采用QP 模型、GM 模型、LSΤM 模型和Informer 模型进行对比分析。采用卫星钟差24 h 的数据，采样间隔为5 min，共288个数据转化的一阶差分数据，使用训练好的模型进行3 h、6 h 和12 h 的预报，预报稳定度如图6 所示。为了更好地比较预报效果，图7 给出了12 h（144 个历元）预报的误差趋势图。

图6 四种模型稳定度对比柱状图Fig.6 Τhe contrast bar chart of stability of the four models

图7 钟差预报误差趋势图Fig.7 Clock bias prediction error trend graph

从图6 可知，在3 h 预报中，Informer 模型在MEO铷钟C21 号和IGSO 氢钟C40 卫星上的预报稳定度高于其他模型，在MEO 氢钟C34 号只优于GM 模型，随着预报时间增长，Informer 模型的稳定度略有损失。在MEO 氢钟C34 号卫星的三个预报时长中，Informer稳定度虽低于LSΤM，稳定度range 指标皆在2 ns 之内。在三个时长预报中，IGSO 氢钟C40 号卫星的Informer 模型的预报稳定度均高于其他三种模型，效果最好，MEO 铷钟C21 号效果次之，MEO 氢钟C34号最差。

从图7 可知，随着预报历元的变长，四种模型的稳定度均有所降低，LSΤM 和Informer 模型的预报误差曲线变化起伏较小，说明其稳定性较好，优于QP 和GM 模型。GM 模型在C21 和C40 号卫星中的预报稳定度较低，是由于其对数据集的指数滑动平均系数敏感，导致模型在不同卫星下的预报结果偏差较大。QP、LSΤM 和Informer 在三类卫星上的预报误差趋势表现出较高的稳定性。综合三颗卫星的误差趋势图可以看出，LSΤM 与Informer 模型的预报误差趋势较为平稳，两者稳定度皆高于QP 模型。

表3 统计了四种模型在三个预报时间段的平均range 值。

表3 平均range 统计（单位：ns）Tab.3 Statistics of average range (Unit: ns)

从表3 可以看出，在3 h 与6 h 的预报时长中，QP、LSΤM 和Informer 模型的稳定度都在次纳秒级，GM 模型为纳秒级，稳定度较低；在12 h 预报时长中，QP、GM、LSΤM 和Informer 模型的稳定度分别为2.7328 ns、8.4122 ns、0.6727 ns 和0.7243 ns，可以发现两种神经网络模型的稳定度基本一致，在12 h 预报时长中仍然能够保持次纳秒级的稳定度，均较大幅度优于QP 和GM 模型。综上所述，Informer 模型在三个时段的卫星钟差短期预报中的稳定性与实用性较高，证明其在钟差短期预报中具有较大的可行性。

3.4 预报精度验证

为进一步比较不同模型在钟差预报中不同时段的精度，选取Informer 模型与常用的QP 模型、GM 模型和LSΤM 模型作对比。首先，选取BDS-3 的15 颗卫星在2022 年8 月26 日的钟差数据进行建模和训练。然后，每颗卫星用这四种模型分别进行3 h、6 h 和12 h的钟差预报，统计出预报精度。15 颗卫星的预报误差均值与预报均方根误差对比如图8-9 所示。

图8 不同时间段预报误差均值对比Fig.8 Comparison of the means of prediction errors for various periods

从图8-9 可知，Informer 模型三个预报时长的预报精度均高于QP 模型与GM 模型，3 h 与6 h 的预报精度高于LSΤM 模型，12 h 的预报精度略高于LSΤM模型。以C20 卫星为例，在3 h 和6 h 的预报时长中，QP 模型的预报均方根误差低于2.5 ns，误差均值为3 ns 左右；GM 与LSΤM 模型预报精度相似，在两个时长的预报中都处于1 ns 左右，两者的误差均值也都未超过1.1 ns；而Informer 模型的预报精度与误差均值在0.4 ns 和0.16 ns 以内。当预报时长增加到12 h，QP 模型的预报精度高于3 ns；GM 与LSΤM 模型的预报精度都高于1 ns；Informer 模型的预报精度开始下降，但仍在1 ns 之内，表现出的性能均优于其他三种模型，验证了该模型在BDS 钟差短期预报中具有较好的性能和抗干扰能力。

为了进一步分析原子钟类型对模型预报精度的影响，体现各模型在不同时间段的预报精度以及不同类型原子钟的差异，表4 统计了四种模型3 h、6 h 和12 h的预报精度，给出了不同轨道原子钟的均方根误差平均值与误差均值绝对值的平均值，表中Count 用来统计模型在15 颗卫星上预报精度最高的数量总和。

表4 各模型预报精度统计（单位：ns）Tab.4 The statistics of prediction accuracy of each model (Unit: ns)

结合图9 与表4 可以看出：对MEO 铷钟和IGSO氢钟预报时，在3 h 和6 h 预报中，Informer 模型预报的精度较常用的QP、GM 和LSΤM 模型提高了3～5倍。同时发现，在3 h 预报中，Informer 模型在预报MEO 铷钟与IGSO 氢钟这两类卫星钟差时精度均都高于其他三种模型；Informer 与QP 模型对MEO 氢钟的预报精度相当，其预报均方根误差都0.7 ns 之内。在6 h 预报中，Informer 模型在MEO 铷钟与IGSO 氢钟上的预报均方根误差与误差均值仍有较大优势；QP 模型在MEO 氢钟的预报中表现性能最好，Informer 模型的预报均方根误差仅略低于QP，两者差距在20%之内。在12 h 时长的预报中，Informer 与LSΤM 两种模型在三类原子钟上的精度较为平均，Informer 在MEO 氢钟和IGSO 氢钟上的预报精度高于LSΤM，在MEO 铷钟预报平均精度略低于LSΤM。另外，通过比较三个预报时长的Count 值，分析各模型在预报中表现最优的卫星数量的总和，可以发现Informer 模型在3 h 与6 h 中的预报性能远优于其他模型，在12 h 时长中与其他模型持平。

表5 列出了15 颗卫星预报结果的平均RMS（因各轨道卫星数量不一致，因此结果为表5 的加权平均值）。从表中可以看出，随着预报时间的增长，四种模型的预报精度分别有所下降。Informer 模型在三个不同时长的预报中，其精度均高于其他三种模型，在3 h、6 h 预报中的优势最为明显，与QP、GM、LSΤM 相比，3h 提升了66.83%、79.78%、71.11%，6h 提升了50.50%、70.84%、53.54%，特别是在3 h 时长的预报中，Informer 模型的预报精度仅在C35 与C45 号卫星中略低于QP 模型，C19 略低于GM 模型，C44 略低于LSΤM 模型，表明虽然短期钟差序列随机性强、波动性大，但依然有迹可循，Informer 模型可以有效找出时间序列数据中的隐含特征，模型在超短期预报中的精确度较高，具有充分的可行性。在12 h 时长的预报中，随着需要的训练数据集增大，Informer 模型的预报精度有所损失，模型性能逐步下降，但其预报精度仍然优于其他三种模型，分别提升了37.91%、60.12%和15.74%。

表5 平均RMS 精度统计（单位：ns）Tab.5 Statistics of average RMS accuracy (Unit: ns)

5 结论

针对BDS 钟差数据密度较高、序列较长和具有较为复杂的非线性特征，本文提出了一种基于优化自注意力机制的神经网络模型进行钟差短期预报，通过实验对比分析，得出以下结论：

1）本文提出的Informer 模型，以优化自注意力机制避免了基于循环神经网络（RNN）与其变体模型（LSΤM、BiLSΤM）需要多次循环，无法并行计算导致其在密度较高的钟差数据上训练和预报效率低下的缺点，使得模型能够并行化计算和捕捉长序列中长期依赖关系，提高了钟差预报的计算效率与预报精确度。

2）在三个时长的短期预报中，Informer 模型预报BDS 卫星钟差的平均精度分别为0.5107 ns、0.8551 ns和1.5482 ns，相较于其他三种常用的钟差预报模型具有更高的精度与稳定性，体现了其在钟差预报中的优势与可行性。

3）本文主要研究了钟差预报中基于自注意力机制的计算性能优化与其超参数优选方法，而影响神经网络预报精度和计算性能的因素还有很多，例如粗差、空缺值、建模数据量以及预报长度等，这些问题还需进一步的讨论。