时间序列预测模型发展趋势分析

摘要：时间序列预测是当前研究的主要方向之一，能有效解决工业、交通等领域的工艺指标和客流量预测问题。通过分析现有的时间序列模型，可以预测未来的发展趋势。首先，分析现有时间序列预测模型的结构，以了解其技术实现方式；其次，根据技术手段的不同，将模型分为优化提升类和创新类；最后，讨论了时间序列预测模型的未来发展趋势。

关键词：时间序列优化提升神经网络时间序列预测模型

中图分类号：TP3

TheAnalysisofDevelopmentTrendsinTimeSeriesForecastingModels

WANGRuifangMAPinganYUTing

（LanzhouResources&EnvironmentVOC-techUniversity，Lanzhou，GansuProvince，730021，China）

Abstract：Timeseriesforecastingisoneoftheprimaryresearchdirectionsintimeseriesanalysiscurrently.Iteffectivelyaddressesissuessuchasforecastingprocessindicatorsandpassengerflowinfieldslikeindustryandtransportation.Inthispaper，thefuturedevelopmenttrendsarespeculatedthroughtheanalysisandresearchofexistingtimeseriesmodels.Firstly，ananalysisofthestructureofexistingtimeseriesforecastingmodelsisconductedtoidentifythetechnicalimplementationmethodsofthemodels.Then，basedondifferenttechnicalapproaches，theyareclassifiedintooptimization-enhancementandinnovationcategories.Finally，thefuturedevelopmenttrendsoftimeseriesforecastingmodelsarediscussed.

KeyWords：Timeseries；Optimizationandimprovement；Neuralnetwork；Timeseriespredictionmodel

随着深度学习的快速发展，针对不同的预测任务需求，早期的时间序列预测模型已经难以实现当下的时间序列预测任务。传统的机器学习主要以融合集成为主，但同时也容易造成模型的复杂度提升，内存占用空间大等情况。因此，根据任务需求设计出具有新型网络架构的时间序列预测模型成为必然趋势，不仅可以更深层次地捕获数据特征，也降低了模型复杂度。本文主要通过对传统及新兴时间序列预测模型进行总结分析，总结出时间序列预测模型未来的发展趋势。

1问题的提出

时间序列是指一组或者多组按照时间先后顺序排列的数据点，其数据间隔点可以根据需求自行规定进行数据采集，如秒、分、小时等。另一方面，根据时间序列特性及不同的任务需求，时间序列模型的功能也不尽相同。众所周知，良好的数据支持可以极大地捕获数据之间的变化特性从而进一步提升模型的精度。

从任务需求分析，对于时间序列而言主要有分类、聚类及预测。时间序列分类任务，主要是根据已经标记好的训练数据来确定时间序列属于预先定义的类别。时间序列聚类任务，通过对时间序列数据预处理，特征提取以及聚类算法等操作，发现时序数据的趋势等，为任务提供有效决策。时间序列预测任务主要是通过先前的历史数据，计算分析其变化特征或规律并对未来数据的变化做出预测。参数组成主要可分为单时间序列和多元时间序列，单时间序列预测任务只受自身数据影响，而多元时间序列预测任务不仅受自身数据影响，同时也会由于其他参数变化而受到影响。

而在现实工业等预测任务中，多元时间序列预测占较高比重。一方面，由于现实世界情况较为复杂，预测参数之间存在特定的影响因子；另一方面，通过计算多元时间序列相关性可以提高模型的预测精度。例如：为实现煤矿巷道变形风险预测，需要对温度与孔隙水压等参数变化进行预测[1]；为了对不同气象条件下的客流量做出精准预测，需要对交通需求与天气变化等参数进行融合预测[2]；根据采空区煤自燃这一严重威胁，以一氧化碳、二氧化碳、甲烷、乙炔等气体浓度指标进行预测分析，确定不同阶段的气体浓度指标，避免煤自燃情况发生[3]；针对空气污染事件频发，选取气温、气压、固体颗粒物、风速等参数进行建模预测，规避空气污染问题[4]；对于海洋污染问题，通过对海水温度、pH值、溶解氧及盐度等参数分析预测，可以及时有效了解海域的变化情况[5]；为做好人口出生率研究，通过对GDP，保险保费收入与财政收入等多个变量进行分析研究，最后以GDP、城镇居民可支配收入、农村居民可支配收入等促进生育率的参数为指标进行预测，实现人口出生率预测[6]。

在早期的时间序列预测任务中，预测模型种类较少，主要代表有Transformer[7]、CNN（ConvolutionalNeuralNetworks）[8]、ARIMA（AutoregressiveIntegratedMovingAverageModel）[9]、LSTM（LongShort-TermMemory）[10]、GNN（GraphNeuralNetwork）[11]等。

上述模型分别提出了注意力机制、卷积神经网络、差分移动自回归架构、长短时记忆网络等。早期的时间序列预测模型对于时间序列噪声处理、缺失值补充、特征提取等处理不足，模型精度较低，但他们创造的模型网络架构为时间序列预测任务提供了很好的发展思路。

2现有时间序列预测模型

根据当下的模型结构分析，现有时间序列预测模型主要可以分为优化提升类和创新类两大类。优化提升是指通过对已有的时间序列预测方法进行研究分析，优化模型中存在的不足之处，或者对两种或多种已有的时间序列预测方法进行研究分析，提取各自模型中的“有效”模块进行融合等操作。创新是指根据时间序列预测任务，通过对时间序列分析及任务需求，设计出新的时间序列预测方法或者神经网络架构，并且可以在预测任务中展现出比较高的预测精度及较低的模型复杂度等。

2.1优化提升

2.1.1Former类

长期以来，Transformer模型作为老牌的时间序列预测模型一直备受关注，其编码器，解码器网络架构及注意力机制也作为热点研究内容。而在近几年中，以Transformer模型为基础架构，衍生出了一系列Former类时间序列预测模型，主要通过对Transformer模型存在的数据处理及时序特征提取不足等问题进行优化集成或者设计出新的网络架构模型进行融合等，主要代表有以下几种模型。

（1）Reformer[12]：使用局部敏感哈希及可逆残差层对注意力结构进行优化，降低模型复杂度。

（2）Performer[13]：设计出一个广义的注意力框架，对于长序列预测任务有较高的精度。

（3）Longformer[14]：针对Tramsformer处理长文本的不足，提出了滑窗机制（Slidingwindowattention）、膨胀滑窗机制（Dilatedslidingwindow）、融合全局信息的滑窗机制（Dilatedslidingwindow），降低了模型的时间复杂度。

（4）Informer[15]：设计出新的ProbSparseself-attention注意力机制，并针对传统解码器层进行优化提升generativedecoder，通过以上改进提升模型性能，降低时间复杂度。

（5）Autoformer[16]：针对传统注意力机制存在的时序依赖问题，提出了一种自相关机制的深度分解架构。

（6）FEDformer[17]：引入傅里叶分析法将时间序列的频域部分与Transformer结合，从而改善了模型在长时间序列中的预测精度问题。

（7）Non-stationaryTransformers[18]：构建多层感知网络计算时间序列的非平稳因子，并将其引入到注意力计算中得到非平稳注意力，通过非平稳性特征还原解决时间序列模型的过度归一化问题。

（8）Crossformer[19]：将时间序列进行分段处理，并构建双层注意力网络架构，关注自身注意力得分的同时也关注多元时间序列之间的相关性，以此来提升模型预测精度。

（9）iTransformer[20]：对于多元时间序列预测，将每一个独立的时间序列看作一个Token，并通过注意力机制挖掘多变量参数之间的相关性。

上述模型分别通过对Transformer模型进行不同程度的优化改进，在时间序列预测任务中表现出良好的性能，在一定程度上弥补了Transformer模型的不足之处，在增强模型功能的基础上也提高了模型的预测精度，降低了预测误差。

2.1.2其他神经网络

神经网络作为深度学习的主要内容贯穿整个时间序列研究，主要可分为前馈神经网络和反馈神经网络，而随着神经网络的不断发展，在时间序列预测任务中单一的卷积神经网络，LSTM等神经网络的功能已经相形见绌，难以达到目标要求。伴随着神经网络的不断发展，对于时间序列数据处理以及数据特征捕获，模型算法复杂度等要求也逐步提升，因此在此基础上对CNN等模型进行结构优化，性能提升是一个不可避免的技术手段。通过对原有模型的结构拆分以及特性分析，提取出原有模型中的闪光点进行融合嵌套等，设计搭建出一系列新的神经网络架构，组成功能更好的时间序列预测模型。以下述时间序列预测模型为代表。

（1）RNN（RecurrentNeuralNetwork）[21]：针对CNN模型中输出仅考虑前一个输入的影响而忽略了其他时刻输入在运算过程中的作用，设计出一种可以对以前的信息进行记忆保留，并有效应用于当前输出计算中的网络架构。

（2）TCN（TemporalConvolutionalNetwork）[22]：通过优化模型结构可并行处理时间序列，并根据不同的任务要求可以更加灵活地指定模型的感受野，通过对每一层的卷积核共享降低了内存的使用率。

（3）ModernTCN[23]：模型主要通过空洞卷积扩大卷积核的感受野，同时通过残差连接等提升模型性能。

（4）GCN（GraphConvolutionalNetwork）[24]：对于传统卷积结构无法处理非欧几里的结构类数据，GCN通过将拓扑图使用拉普拉斯矩阵进行表述，将其映射到频域中卷积，最后再利用逆转变换完成图卷积操作。

（5）SegRNN[25]：在输入端通过分段迭代的方法，将输入进行分段来提高运算效率，输出端使用并行多步预测方法提升模型性能。

（6）MTGCN[26]：设计出一个通用的多元时间序列图神经网络架构，解决了GNN无法直接应用到未知相关性的多元时间序列预测问题。

（7）FourierGNN[27]：设计了一种新的超变量图结构，将每一个变量或时间戳都视为图节点。同时提出傅里叶图神经网络，将傅里叶图算子进行堆叠，并进行矩阵运算等操作。

（8）CrossGNN[28]：针对时间序列中存在的意外噪声，构建出自适应多尺度识别器，Cross-ScaleGNN及Cross-VariableGNN等进行多尺度时间序列模拟、动态关系捕获等，通过上述方式来降低噪声对时间序列预测任务的影响。

2.2创新

根据不同的时间序列预测任务研究可以得出，传统的Transformer或者CNN等神经网络互相嵌套融合难以解决全部问题。因此，根据任务需求，针对特定问题进行研究分析，设计出新的神经网络架构是极其重要的。与此同时，随着神经网络的不断深入研究，时间序列预测模型也得到飞速发展。例如：对于时间序列的分析研究，已经不再局限于从一维角度出发，可以通过技术手段对其进行映射变为二维等，在这样的技术创新可以更加准确地捕捉到变化特征。另一方面，对于时间序列存在的噪声影响以及模型结构复杂但功能不足等问题，现如今已创新设计出大量时间序列预测模型予以解决。以下述模型为代表。

（1）MSDR（Multi-StepDependencyRelation）[29]：主要针对时间序列的复杂时空依赖性，设计出一种新的多步依赖关系神经网络将多个历史时间步步骤进行融合作为每一个时间单位的输入，以此捕获时间序列复杂的动态依赖关系。

（2）RevIN（ReversibleInstanceNormalization）[30]：对于存在时序分布偏移的预测任务，设计出可逆实例归一化方法并可适用于大量预测模型中。

（3）DEPTS（DeepExpansionLearningforPeriodicTimeSeries）[31]：大部分时间序列存在一定的周期性，该模型通过对时序间的复杂关系进行逐层扩展，并设计周期模块进行信息捕获，通过上述方式提升模型性能。

（4）MICN（Multi-scaleIsometricConvolutionNetwork）[32]：通过一种新的建模视角设计出IsometricConvolution模块对局部及全局信息进行特征计算，极大地降低了模型复杂度。

（5）TimesNet[33]：将时间序列从1维映射到2维，在二维空间中分析时序周期内及周期间的变化，从而提升模型的预测精度。

（6）OneNet[34]：使用基于强化学习的方法与传统在线编程框架相融合，将跨时间维度与跨空间维度模型进行线性融合，极大地降低了在线预测误差。

（7）ClimODE[35]：设计出一种结合了物理信息的气候预测方法，以全球气候信息作为神经流，实现了气候预测的全新技术突破。

（8）FITS[36]：设计出一种新的周期性解耦网络架构，通过捕获二维时序变化建模实现的时间序列预测。

（9）Time-LLM（LargeLanguageModels）[37]：通过将大型语言模型重新编程，利用Prompt-as-Prefix强化模型的数据处理能力。

（10）STanHop（SparseTandemHopfield）[38]：提出一种新的STanHop-Net网络架构，把Hopfield与外部存储模块相融合，提升了模型的学习能力以及响应速率。

上述模型根据不同的时间序列预测任务，创新性地设计出了不同的神经网络架构或者算法，通过这种不同创新的模型设计，也让时间序列预测模型得到了快速发展。

3未来趋势分析

通过对最近几年的国内及国际学术期刊发表的时间序列论文研究分析，不难发现时间序列预测模型仍存在巨大潜力且发展越来越多元化。优化提升与创新仍旧作为时间序列预测模型发展的两条主干线。对于不同需求的时间序列预测任务，很难设计出一种完全符合其要求的时间序列模型。同时在当下的神经网络模型中，也没有在数据预处理及时间序列特征提取，模型复杂度这几个方面中都展现出优异性能的预测模型。因此，创新与优化提升将继续作为主要技术手段推进时间序列预测模型的发展。

（1）对于已经存在的时间序列预测模型，首先，研究重点在于通过对模型及模块功能分析，剖析其主要创新点。其次，分析出现有创新点的不足之处或者模型中存在的问题等。再次，进行可行性分析，将两个或者多个时间序列预测模型的主要创新点进行分析，研究模型融合的可行性以及最终模型所具有的功能等。最后，再与其他类模型进行融合集成，所构建的新模型表现出更好的预测性能。以Transformer、CNN模型为例，虽然提出的时间较早，但现在仍然有很多研究人员以此为基础进行优化改造，设计出新的预测模型。因此，在优化提升这一技术路线中，主要在于发现现有模型的不足之处与长处，只有完完整整地理解了一个时间序列预测模型的网络架构及所表现出的性能，才可以获得好的设计思路，并在此基础之上进行优化提升，构建出新的时间序列预测模型。

（2）根据时间序列预测任务需求，需要设计出新的神经网络架构以及预测模型。通过对现有的模型结构分析，可以发现时间序列分段，特征还原以及图神经网络的设计是当下主流的研究方向之一。在之前的研究过程中，时间序列的特征提取等研究比较局限，研究人员习惯于把时间序列固定在一个特定的维度并将其看作一个大的整体。这种整体性的处理方法难以挖掘出数据潜在的变化特征，而在最近几年的发展研究过程中，研究重点侧重于对原始数据进行切割分段，通过将时间序列进行等份分割等操作来捕获时间序列更深层次的数据变化特征。同时针对时间序列预处理过程，当下的研究重点已经不局限于处理好数据，更关注如何在模型训练过程中保留数据的原始特性。创新设计的神经网络不仅可以很好地完成时间序列预测任务，同时也为时间序列预测模型发展注入新鲜血液，提供了新的设计思路。

同时85788b6aebcfe9ad63548df4dae83208，根据目前的时间序列预测模型性能分析，可以发现时序预测模型的功能不再单一。过去的时间序列预测模型研究重点仅限于如何做好时间序列特征提取，提高模型预测精度完成时间序列预测任务。而当下时间序列预测模型研究扩展为，在保证模型预测精度的前提下，研究人员开始对模型性能进行扩展提升。从过去的单一的时序预测到现在的时序预测、分析、填补及分类等。简而言之，使用一个模型可以满足不同的时序处理任务。这样的模型功能整合虽然扩展了模型的性能，但同时也应该注意模型的算法复杂度等问题。

综上所述，未来时间序列预测模型发展将保持创新与优化的主要路线，研究重点应该更侧重于对时间序列的特征还原及保留，避免由于追求高的预测精度而进行过度数据处理。同时，对于时间序列的特征提取，时间序列分段、图像神经网络设计搭建等技术也将成为主要的研究手段。在时间序列预测任务中图神经网络表现出了良好的性能，而时间序列分段等创新的技术手段不仅有效提取了时间序列特征也提供了新的研究路线。而时间序列预测模型的性能扩展也将作为新的挑战推动时间序列的研究发展。在此过程中，也需要将模型复杂度及内存占用空间等指标作为重点关注指标，在保证模型性能的前提下尽可能地降低模型的复杂度。

参考文献

• 贾连鑫，刘永鑫，丁总意.煤矿巷道变形风险的多元时间序列模型研究与应用[J].工业建筑，2023，53（S2）：602-605，610.
• 祝玮琦，陈海燕，刘莉，等.基于多元时序和模式挖掘的终端区交通流预测（英文）[J].TransactionsofNanjingUniversityofAeronauticsandAstronautics，2023，40（5）：595-606.
• 李沂蔓.采空区煤自燃多元指标时间序列预测研究[D].廊坊：华北科技学院，2024.
• 马园.基于深度学习的空气质量预测研究[D].济5c5a102c2fad57c8e6d4faa8f7036fec南：山东大学，2024.
• 许崇轩.基于相空间重构和双向门控循环单元神经网络的海水指标预测研究[D].秦皇岛：燕山大学，2023.
• 郭良箴.湖北省人口出生率影响因素研究及趋势预测[D].武汉：华中师范大学，2022.

[7]VASWANIA，SHAZEERN，PARMARN，etal.Attentionisallyouneed[J].AdvancesinNeuralInformationProcessingSystems，2017，30：112-127.

[8] LECUNY，BOSERB，DENKERJS，etal.Backpropagationappliedtohandwrittenzipcoderecognition[J].NeuralComputation，1989，1（4）：541-551.

[9] SHUMWAYRH，STOFFERDS，SHUMWAYRH，etal.ARIMAmodels[J].TimeSeriesAnalysisandItsApplications：withRexamples，2017，102（479）：75-163.

[10] HOCHREITERS，SCHMIDHUBERJ.Longshort-termmemory[J].NeuralComputation，1997，9（8）：1735-1780.

[11] SCARSELLIF，GORIM，TSOIAC，etal.Thegraphneuralnetworkmodel[J].IEEETransactionsonNeuralNetworks，2008，20（1）：61-80.

[12] KITAEVN，KAISERL，LEVSKAYAA.Reformer：Theefficienttransformer[J].arXivPreprint，2020：arXiv：2001.04451.

[13] GROTOWSKIJ.Performer[M]//TheGrotowskiSourcebook.Routledge，2013：376-380.

[14] BELTAGYI，PETERSME，COHANA.Longformer：Thelong-documenttransformer[J].arXivPreprint，2020：arXiv：2004.05150.

[15] ZHOUH，ZHANGS，PENGJ，etal.Informer：Beyondefficienttransformerforlongsequencetime-seriesforecasting[C]//ProceedingsoftheAAAIconferenceonartificialintelligence.2021，35（12）：11106-11115.

[16] CHENM，PENGH，FUJ，etal.Autoformer：Searchingtransformersforvisualrecognition[C]//ProceedingsoftheIEEE/CVFinternationalconferenceoncomputervision.2021：12270-12280.

[17] ZHOUT，MAZ，WENQ，etal.Fedformer：Frequencyenhanceddecomposedtransformerforlong-termseriesforecasting[C]//InternationalConferenceonMachineLearning.PMLR，2022：27268-27286.

[18] LIUY，WUH，WANGJ，etal.Non-stationarytransformers：Exploringthestationarityintimeseriesforecasting[J].AdvancesinNeuralInformationProcessingSystems，2022，35：9881-9893.

[19] ZHANGY，YANJ.Crossformer：Transformerutilizingcross-dimensiondependencyformultivariatetimeseriesforecasting[C]//TheEleventhInternationalConferenceonLearningRepresentations.2022.

[20] LIUY，HUT，ZHANGH，etal.itransformer：Invertedtransformersareeffectivefortimeseriesforecasting[J].arXivPreprint，2023：arXiv：2310.06625.

[21] GROSSBERGS.Recurrentneuralnetworks[J].Scholarpedia，2013，8（2）：1888.

[22] LEAC，VIDALR，REITERA，etal.Temporalconvolutionalnetworks：Aunifiedapproachtoactionsegmentation[C]//ComputerVision–ECCV2016Workshops：Amsterdam，TheNetherlands，October8-10and15-16，2016，Proceedings，PartIII14.SpringerInternationalPublishing，2016：47-54.

[23] LUOD，WANGX.ModernTCN：Amodernpureconvolutionstructureforgeneraltimeseriesanalysis[C]//TheTwelfthInternationalConferenceonLearningRepresentations.2024.

[24] ZHANGS，TONGH，XUJ，etal.Graphconvolutionalnetworks：acomprehensivereview[J].ComputationalSocialNetworks，2019，6（1）：1-23.

[25] LINS，LINW，WUW，etal.Segrnn：Segmentrecurrentneuralnetworkforlong-termtimeseriesforecasting[J].arXivPreprint，2023：arXiv：2308.11200.

[26] WUZ，ZHANM，ZHANGH，etal.MTGCN：Amulti-taskapproachfornodeclassificationandlinkpredictioningraphdata[J].InformationProcessing&Management，2022，59（3）：102902.

[27] YIK，ZHANGQ，FANW，etal.FourierGNN：Rethinkingmultivariatetimeseriesforecastingfromapuregraphperspective[J].AdvancesinNeuralInformationProcessingSystems，2024，36：459-481.

[28] HUANGQ，SHENL，ZHANGR，etal.Crossgnn：Confrontingnoisymultivariatetimeseriesviacrossinteractionrefinement[J].AdvancesinNeuralInformationProcessingSystems，2024，36：761-797.

[29] LIUD，WANGJ，SHANGS，etal.Msdr：Multi-stepdependencyrelationnetworksforspatialtemporalforecasting[C]//Proceedingsofthe28thACMSIGKDDConferenceonKnowledgeDiscoveryandDataMining.2022：1042-1050.

[30] KIMT，KIMJ，TAEY，etal.Reversibleinstancenormalizationforaccuratetime-seriesforecastingagainstdistributionshift[C]//InternationalConferenceonLearningRepresentations.2021.

[31] FANW，ZHENGS，YIX，etal.DEPTS：Deepexpansionlearningforperiodictimeseriesforecasting[J].arXivPreprint，2022：arXiv：2203.07681.

[32] WANGH，PENGJ，HUANGF，etal.Micn：Multi-scalelocalandglobalcontextmodelingforlong-termseriesforecasting[C]//TheEleventhInternationalConferenceonLearningRepresentations.2022.

[33] WUH，HUT，LIUY，etal.Timesnet：Temporal2d-variationmodelingforgeneraltimeseriesanalysis[C]//TheEleventhInternationalConferenceonLearningRepresentations.2022.

[34] KIMYB，LEES，STRATOSK.Onenet：Jointdomain，intent，slotpredictionforspokenlanguageunderstanding[C]//2017IEEEAutomaticSpeechRecognitionandUnderstandingWorkshop（ASRU）.IEEE，2017：547-553.

[35] VERMAY，HEINONENM，GARGV.ClimODE：ClimateForecastingWithPhysics-informedNeuralODEs[C]//TheTwelfthInternationalConferenceonLearningRepresentations.2023.

[36] XUZ，ZENGA，XUQ.FITS：ModelingTimeSerieswith$10k$Parameters[J].arXivPreprint，2023：arXiv：2307.03756.

[37] JINM，WANGS，MAL，etal.Time-llm：Timeseriesforecastingbyreprogramminglargelanguagemodels[J].arXivPreprint，2023：arXiv：2310.01728.

[38] WUD，HUJYC，LIW，etal.Stanhop：Sparsetandemhopfieldmodelformemory-enhancedtimeseriesprediction[J].arXivPreprint，2023：arXiv：2312.17346.