基于Time2Vec-LSTM-TCN-Attention的天然气负荷组合预测

摘要针对天然气负荷序列的复杂性和非线性，本文提出一种基于Time2Vec-LSTM-TCN-Attention的天然气负荷组合预测模型．首先，采用皮尔逊相关系数进行相关性分析，提取出相关性强的气象特征;其次，引入时间向量嵌入层Time2Vec，将时间序列转换为连续向量空间，提取相应的时间特征，提高了模型对时间序列信息的计算效率;然后，将Time2Vec提取的时间特征、皮尔逊相关系数选取出的气象特征和原始负荷序列输入到长短期记忆网络（LSTM）和时间卷积网络（TCN）中进行负荷预测，充分利用LSTM的长期记忆能力和TCN的局部特征提取能力;最后，将LSTM和TCN通过注意力（Attention）机制组合起来，并根据其重要程度分别赋予不同的权重，得到最终预测结果．实验结果表明，本文所提出的组合预测模型具有更强的适应性和更高的精度．

关键词Time2Vec;注意力;长短期记忆网络;时间卷积网络;组合预测;负荷预测

中图分类号TP18

文献标志码A

0 引言

天然气负荷预测是系统调度、计划、规划等管理部门的重要工作之一．提高天然气负荷预测技术水平，有利于节煤、节油和降低发电成本，有利于科学地制定能源建设规划，提升能源系统的经济和社会效益．因此，天然气负荷预测已成为实现能源系统管理现代化的重要内容之一［1］．

近年来，随着科学技术的迅速发展，国内外学者对负荷预测进行了大量的研究，提出了很多改进负荷预测精度的方法．总的来说，负荷预测的方法大致分为三类：以统计模型为基础的预测方法、基于人工智能的预测方法和组合预测方法．

基于传统数学统计模型的预测方法包括时间序列法［2］、回归分析法［3］、指数平滑法［4］、卡尔曼滤波［5］等．这类方法原理简单、便于掌握、计算速度快，但其较为简单、鲁棒性差．随着能源系统规模的扩大，负荷的波动与复杂程度日益增加，传统的统计模型已难以适应能源市场的需求．人工智能算法作为近年来兴起的一种新型的算法，具有较强的自我学习能力和较强的数据挖掘能力，已经被广泛地应用于负荷预测领域中，并取得了较好的效果．目前，常见的人工智能模型主要有极限梯度提升树（XGBoost）［6］、卷积神经网络（CNN）［7］、支持向量机（SVM）［8］、长短期记忆网络（Long Short-Term Memory，LSTM）［9］、时间卷积网络（Temporal Convolutional Network，TCN）［10］等．

然而，在实际应用中，单一模型的预测准确性往往无法满足实际需要．为了提高模型的泛化能力和预测精度，组合模型应运而生，它结合了多个单一模型的优势，往往能够取得更好的预测结果．将数据分解算法和预测模型串联起来是常见的组合方法之一．徐岩等［11］通过粒子群算法对变分模态分解（VMD）最佳影响参数组合进行搜寻，针对各子序列分量建立基于GRU（门控循环单元）的预测模型;Jalalifar等［12］使用离散小波（DWT）将时间序列分解为子信号，然后计算子信号的时空自相关性，将子信号作为SAC-ConvLSTM的输入;毕贵红等［13］利用奇异谱分解（SSD）和VMD两种信号分解方法进行分解，获得两类多尺度分量，不同模式的多尺度分量可降低原始风速的复杂度和非平稳性，实现了不同模式模态分量规律的互补．这些基于数据分解的组合方法利用数据分解方法和深度学习模型，消除了相关时间序列中的随机扰动，实现了良好的预测性能，然而，这些方法将时间序列处理与预测分离，导致最终方案不太理想［14］．最近，一个新的时间嵌入层Time2Vec被引入深度学习模型中，使其在处理时间序列方面变得非常灵活．Feroz等［15］将Time2Vec与CNN、RNN、Inception模块和ResNet结合使用，利用Time2Vec将时间特征转换为连续向量表示，从而解决了准确表示时间数据的难题;Wen等［16］在嵌入层中使用了时间矢量（Time2Vec）和节点矢量（Node2Vec），以分别获得时间节点和空间节点的通用表示，并将其组合成空间-时间嵌入（STE）块;Srihari等［17］提出一种新的混合WSF方法，称为VMD-Ts2Vec-SVR，将Ts2Vec模型用于从去噪序列中学习所有语义级别的连续上下文表示．另一种常见的方法是融合注意力机制的组合预测方法．注意力机制通常被用于加强模型对重要信息的关注，为不同特征或不同模型分配权重．赵星宇等［18］构建基于贝叶斯优化的LSTNet-Attention模型进行初步预测，利用贝叶斯算法优化模型多个结构参数，并通过注意力机制合理分配特征权重;Bian等［19］提出一种基于VMD-SE和CNN-BiLSTM-Attention融合的新型天然气负荷预测模型，对不同的特征因素，通过注意力机制赋予相应的权重，突出重要因素的影响;郑征等［20］提出一种基于多头注意力的卷积循环神经网络深度学习模型，相较于单纯的时间序列模型，该模型利用卷积和加权机制对电力属性和有功功率间的局部相关性进行建模．

针对天然气负荷序列分解将时序处理与预测分离以及组合模型权重难以分配的问题，本文提出一种基于Time2Vec的天然气负荷组合预测模型．首先，通过皮尔逊相关系数计算各因素之间的相关性，选取相关性强的特征;其次，将经过预处理的原始负荷数据与Time2Vec进行串联，将时间序列转换为连续向量空间，提取相应的时间特征;然后，将Time2Vec提取到的时间特征，皮尔逊相关系数选取出的气象特征与原始负荷序列特征一起输入到LSTM、TCN模型中进行负荷预测．为防止不合理的权重分配方式造成较大误差，本文采用注意力机制对LSTM、TCN模型进行组合，根据两者对于最终预测结果的重要性分别赋予权重，得到最终预测模型，实现对负荷数据的精准预测．

1 主要模型算法

1.1 Time2Vec

Time2Vec是一种可学习的向量表示法．它可以将时间特征转换为连续向量表示，从而解决了准确表示时间数据的难题．Time2Vec具有同时捕捉周期性和非周期性模式、不受时间重缩的影响、足够简单3个重要特征，因此可以与许多模型相结合．

基于以上3个重要的特征，本文提出利用Time2Vector表示时间特征.时间特征定义如下：对于给定的时间标量概念τ，Time2Vec的τ表示为t2v（τ），是一个大小为k+1的向量．Time2Vec定义如下：

其中：1≤i≤k，k是Time2Vector的维度;t2v（τ）［i］是第i个元素;F是周期性激活函数;ωi和φi是可学习参数．鉴于向量表示法在不同任务中的普适性，时间的向量表示法使其很容易被不同的架构所使用．在实验中选择正弦函数F，当F=sin时，对于1≤i≤k，ωi和φi是正弦函数的频率和相移．

1.2 LSTM

LSTM是一种特殊的循环神经网络（图1）．与传统的RNN相比，LSTM更适合对时间序列中跨度较大的重要事件进行处理和预测．LSTM通过引入记忆细胞、输入门、输出门和遗忘门的概念，能够有效地解决长序列问题．记忆细胞负责保存重要信息，输入门判断是否要将当前输入信息写入记忆细胞，遗忘门判断是否遗忘记忆细胞中的信息，输出门则决定是否将记忆细胞的信息作为当前的输出．这些门的控制能够有效地捕捉序列中重要的长时间依赖性，并且能够解决梯度问题．

图1中各部分的计算公式如下：

1.3 TCN

TCN是一个可以用于处理时间序列的卷积模型．与传统的卷积神经网络相比，TCN增加了因果卷积、膨胀卷积及残差连接3个模块，不仅具有因果性、并行性等特点，还具有灵活的感受野，所以比卷积神经网络更适合处理时间序列数据．膨胀卷积内部结构如图2所示．

TCN模型卷积结构的层与层之间都是相互依赖的，后一层输出依赖于前一层的输入，通过间隔采样的形式，逐层膨胀系数呈指数级增长，从而以较少的层数获得较大的感受野．

1.4 注意力机制

注意力机制（Attention）是一种分配机制，它的核心思想是突出对象的某些重要特征．根据Attention对象的重要程度，重新分配资源，即权重．其实现的主要思路就是在已有的数据基础上，找到数据之间的相关性，并突出某些关键的特性．

注意力机制的计算过程可分为如下3步：

1）计算注意力分数Si．通过注意力评分函数来计算每个输入向量与查询向量的相关性，最常用的评分函数为点积函数，其公式为

Si=XTiq." （8）

式中：Xi为输入向量;q为查询向量．

2）计算注意力分布权重αi．使用Softmax函数将注意力分数归一化到［0，1］范围内．

3）计算最终的注意力输出向量F．根据注意力分布权重αi，对输入数据进行加权平均，得到最终的输出．

2 基于Time2Vec的天然气负荷组合预测方法

2.1 特征选择

影响天然气负荷预测的特征因素很多，但是考虑到模型复杂性和冗余性等原因，不可能将所有的特征都输入到模型中进行预测．特征选择就是从初始特征集中通过某种方式筛选出一部分有效性较高的特征形成最优特征子集，从而达到除去冗余特征、降低计算复杂度的目的．皮尔逊相关系数可以较好地反映两个变量之间的相关程度．本文利用皮尔逊相关分析方法，对不同影响因子与天然气负荷之间的相关关系进行分析．

皮尔逊相关性系数公式如下：

式中：E为数学期望;cov（X，Y）为协方差;σ为标准差．

本文相关系数如

图3和表1中：load表示天然气负荷;week表示工作日;low表示最低温度;high表示最高温度;temp表示平均温度;humid表示湿度;windlev表示风级;pres表示气压;rain表示降水量;condition表示天气状况;hot表示闷热指数．闷热指数［21］是一种能够反映人的热感受的综合指标，它受到温度和湿度的双重限制，是由气温和相对湿度两个要素来共同确定的，可以反映出人与外界热量交换的程度．

ihot=（1.8t+32）-0.55（1-f）（1.8t-26）." （12）

式中：ihot为闷热指数;t为摄氏温度（℃）;f为相对湿度（％）．

相关系数愈接近1，说明两者之间的关系愈高;愈靠近0，则关联程度愈低．通常可将其相关性归纳为：相关系数在（0.8，1.0]之间，说明两个因子的相关性很强;相关系数在（0.6，0.8]之间，说明两个因子的相关性较强;相关系数在0.2～0.6之间，说明两个因子的相关性一般;相关系数在（0.0，0.2]之间，说明两个因子不相关．

从表1和图3可知：最高温度、最低温度、平均温度、闷热指数与天然气负荷的相关系数在0.8以上，说明它们与天然气负荷的相关性很强;气压与天然气负荷的相关系数为0.67，说明它们与天然气负荷的相关性较强;其余因素与天然气负荷的相关性均低于0.2，与天然气负荷不相关．综上，从以上10种因素中选取最高温度（high）、最低温度（low）、平均温度（temp）、闷热指数（hot）、气压（pres）与天然气负荷（load）数据作为输入变量，以下一时刻的天然气负荷值作为模型的输出变量．

2.2 参数设置

考虑到各模型间不同超参数设置会对预测结果有一定影响，在原模型的基础上经过多次试错以及以往经验参考得出针对本文数据集的最佳参数．各模型主要参数设置如表2所示．

表2中：feature_num为特征总数量;kernel size为卷积核大小;LSTM units是LSTM单元内的隐藏层的尺寸;optimizers为优化器;learning rate为学习率;epochs为训练轮数;batch size为批量大小．

2.3 基于Time2Vec的天然气负荷组合预测总体研究思路

本文构建了基于Time2Vec的天然气负荷组合预测模型，具体步骤如下：

1）收集可能影响天然气负荷的特征因素，采用皮尔逊相关系数来对各特征因素进行特征选择，去除掉相关程度较低的冗余特征;

2）通过Time2Vec捕捉时间序列中复杂和非线性时间信息，提取输入序列中的时间特征，与1）中筛选出的特征因素、原始负荷序列一同输入到模型中;

3）建立LSTM、TCN的单一预测模型进行负荷预测，作为下一步组合预测模型的基模型;

4）使用注意力机制将两个单一的预测模型进行组合，计算各个模型的权重，将注意力权重与特征相乘得到加权的特征，通过全连接层输出预测结果;

5）代入实验数据集进行中期负荷预测，建立评价指标体系，设计对比实验并对模型进行分析评价．

天然气负荷组合预测总体研究思路如图4所示．

3 算例分析

3.1 数据选取

为验证本文模型预测的有效性，本文选择陕西省西安市某天然气站的居民用气量作为具体研究对象．选取2011年1月1日至2015年6月19日的负荷数据作为原始数据集，共1 631个样本数据．天然气负荷数值采样间隔为1 d，每日采样一个点，特征数据包括最高温度、最低温度、平均温度、闷热指数、气压共5项指标．将数据集按8∶2划分，前80％的数据作为训练集，后20％数据作为测试集进行回归预测．

3.2 模型评价指标

本文选取均方根误差（RMSE）、均方误差（MSE）、平均绝对误差（MAE）和决定系数（R2）作为天然气负荷预测模型的效果评价指标．其中：R2用于对模型进行拟合，R2越大表明模型拟合程度越高;RMSE、MSE、MAE则用于对预测模型的准确性进行验证，它们值越小说明精度越高．具体的计算公式如下：

3.3 仿真实验及结果分析

为了验证本文所提出基于Time2Vec和 LSTM-TCN-Attention预测模型的优越性，通过RMSE、MAE、MSE和R2 4种评价指标，将基于Time2Vec和 LSTM-TCN-Attention的预测模型与多种模型进行对比，观察各模型的拟合效果．将组合模型与主流的机器学习 SVR、Lightgbm、XGBoost以及主流的深度学习GRU、CNN模型进行对比，预测精度对比结果如表3和图5所示．在此基础上，增添一组消融实验，将Time2Vec-TCN-LSTM-Attention（T2V-TLA）组合模型与TCN-LSTM-Attention（TLA）、Time2Vec-TCN-Attention（T2V-TA）、Time2Vec-LSTM-Attention（T2V-LA）和Time2Vec-TCN-LSTM（T2V-TL）模型的天然气负荷预测精度进行对比，消融实验模型的预测精度对比结果如表4和图6所示．

由表3可知，本文提出的Time2Vec-LSTM-TCN-Attention模型的 MSE、MAE、RMSE与R2分别为0.001" 11、0.018 19、0.033 33、0.986 0．将Time2Vec-LSTM-TCN-Attention模型与XGBoost、CNN、SVR、GRU、Lightgbm进行对比，其MSE值分别下降了0.001 02、0.003 16、0.006 29、0.002 13、0.003 01，MAE分别下降0.004 46、0.030 6、0.049 66、0.017 9、0.020 4，RMSE分别下降0.012 79、0.032 03、0.052 68、0.023 59、0.030 89，R2分别提高0.012 8、0.039 8、0.079 2、0.026 8、0.038 0，由此可以验证Time2Vec-LSTM-TCN-Attention模型可以有效提高对时间序列预测的精度．由图5可知，CNN与SVR两模型得到的预测结果与真实值之间的拟合程度较差，GRU拟合程度一般，Lightgbm拟合程度较好，本文模型拟合程度最好，充分验证了本文模型的有效性．

由表4可知：将本文模型与TCN-LSTM-Attention相比，MSE、MAE和RMSE分别下降0.001 13、0.007 89和0.013 94，R2提高0.014 2，表明Time2Vec可以有效提取相关的时间特征，从而提高后续模型的预测效果;将本文模型与Time2Vec-TCN-Attention、Time2Vec-LSTM-Attention相比，其MSE分别下降0.003 12、0.002 26，MAE分别下降0.031 42、0.016 72，RMSE分别下降0.031 67、0.024 75，R2分别提高0.039 3、0.028 5，表明将TCN和LSTM并联可以充分利用两个模型各自的优势，充分发挥TCN的局部特征提取能力和LSTM的长期记忆能力;将本文模型与Time2Vec-TCN-LSTM相比，MSE、MAE和RMSE分别下降0.009 73、0.059 4和0.070 78，R2提高0.122 6，表明注意力机制能够有效解决两个模型的权重分配问题，进一步突出关键特征的影响．

由图6对比曲线可以看出：Time2Vec-TCN-LSTM拟合程度最差，表明Attention机制对模型预测结果起了很大作用，Attention 机制的加入可以为两个并联模型分配合适的权重，突出关键特征对模型的影响，从而提高模型预测精度;Time2Vec-TCN-Attention和Time2Vec-LSTM-Attention拟合程度较差，表明TCN-LSTM并联预测对预测结果具有较大的影响，二者并联充分发挥了两个模型各自的优势，形成优势互补的组合预测模型;比较TCN-LSTM-Attention和Time2Vec-TCN-LSTM-Attention与其他消融实验的预测结果，可得出这两种方法具有较强的拟合能力，且本文所提模型的拟合程度最高，表明Time2Vec可以有效捕捉时间序列中复杂和非线性的时间信息，从而提高模型的预测精度．

4 结语

为提高天然气负荷预测的准确性，本文引入Time2Vec来提取时间特征，通过Attention机制为两个并联模型LSTM、TCN分配合理的权重，建立了基于Time2Vec-LSTM-TCN-Attention的天然气负荷组合预测模型．通过实验结果和对比分析得到以下结论：

1）本文采用皮尔逊相关性系数对特征进行相关性分析，去除掉相关程度较低的冗余特征，保留相关性强的特征，从而减少了模型的输入维度，构造出复杂度更低、预测精度更高的预测模型．

2）为解决复杂和非线性的时间特征难以提取的问题，本文引入Time2Vec来提取时间特征，结果表明，Time2Vec能够有效地捕捉复杂和非线性的时间特征，捕捉周期和非周期数据，从而有效提高了模型的预测精度．

3）为防止不合理的权重分配问题导致预测误差较大，本文引入Attention机制来对两个并联模型进行权重分配，突出重要模型的影响，结果表明，通过Attention机制来对两个基模型分配权重可以有效降低实验误差．

4）通过对各个模型进行对比分析，表明本文所提出的基于Time2Vec-LSTM-TCN-Attention的天然气负荷组合预测模型可以结合各个模型的优点，具有较强的拟合能力和较高的预测精度．

参考文献References

［1］牛东晓，曹树华，赵磊，等.电力负荷预测技术及其应用［M］.北京：中国电力出版社，1998

［2］ Nepal B，Yamaha M，Yokoe A，et al.Electricity load forecasting using clustering and ARIMA model for energy management in buildings［J］.Japan Architectural Review，2020，3（1）：62-76

［3］ Madhukumar M，Sebastian A，Liang X D，et al.Regression model-based short-term load forecasting for university campus load［J］.IEEE Access，2022，10：8891-8905

［4］ 吴迪，马文莉，杨利君.二次指数平滑多目标组合模型电力负荷预测［J］.计算机工程与设计，2023，44（8）：2541-2547

WU Di，MA Wenli，YANG Lijun.Power load forecasting with quadratic exponential smoothing multi-objective combination model［J］.Computer Engineering and Design，2023，44（8）：2541-2547

［5］ 陈培垠，方彦军.基于卡尔曼滤波预测节假日逐点增长率的电力系统短期负荷预测［J］.武汉大学学报（工学版），2020，53（2）：139-144

CHEN Peiyin，FANG Yanjun.Short-term load forecasting of power system for holiday point-by-point growth rate based on Kalman filtering［J］.Engineering Journal of Wuhan University，2020，53（2）：139-144

［6］ 孙超，吕奇，朱思曈，等.基于双层XGBoost算法考虑多特征影响的超短期电力负荷预测［J］.高电压技术，2021，47（8）：2885-2898

SUN Chao，L Qi，ZHU Sitong，et al.Ultra-short-term power load forecasting based on two-layer XGBoost algorithm considering the influence of multiple features［J］.High Voltage Engineering，2021，47（8）：2885-2898

［7］ Hong Y Y，Chan Y H.Short-term electric load forecasting using particle swarm optimization-based convolutional neural network［J］.Engineering Applications of Artificial Intelligence，2023，126：106773

［8］ 丁宏，陶晓峰，陆春艳，等.基于RWT-SVM的台区配电网日前负荷预测研究［J］.南京信息工程大学学报（自然科学版），2023，15（3）：330-336

DING Hong，TAO Xiaofeng，LU Chunyan，et al.Day-ahead load forecasting of distributed power grids based on RWT-SVM［J］.Journal of Nanjing University of Information Science ＆ Technology （Natural Science Edition），2023，15（3）：330-336

［9］ 那幸仪，贾俊铖，赵晓筠，等.基于小波变换和LSTM模型的城市天然气负荷预测［J］.计算机应用与软件，2021，38（12）：61-66

NA Xingyi，JIA Juncheng，ZHAO Xiaojun，et al.City natural gas load forecasting based on wavelet transform and LSTM model［J］.Computer Applications and Software，2021，38（12）：61-66

［10］ 赵洋，王瀚墨，康丽，等.基于时间卷积网络的短期电力负荷预测［J］.电工技术学报，2022，37（5）：1242-1251

ZHAO Yang，WANG Hanmo，KANG Li，et al.Temporal convolution network-based short-term electrical load forecasting［J］.Transactions of China Electrotechnical Society，2022，37（5）：1242-1251

［11］ 徐岩，向益锋，马天祥.基于粒子群算法优化参数的VMD-GRU短期电力负荷预测模型［J］.华北电力大学学报（自然科学版），2023，50（1）：38-47

XU Yan，XIANG Yifeng，MA Tianxiang.VMD-GRU short-term power load forecasting model based on optimized parameters of partical swarm algorithm［J］.Journal of North China Electric Power University （Natural Science Edition），2023，50（1）：38-47

［12］ Jalalifar R，Delavar M R，Ghaderi S F.SAC-ConvLSTM：a novel spatio-temporal deep learning-based approach for a short term power load forecasting［J］.Expert Systems with Applications，2024，237：121487

［13］ 毕贵红，赵鑫，李璐，等.双模式分解CNN-LSTM集成的短期风速预测模型［J］.太阳能学报，2023，44（3）：191-197

BI Guihong，ZHAO Xin，LI Lu，et al.Dual-mode decomposition CNN-LSTM integrated short-term wind speed forecasting model［J］.Acta Energiae Solaris Sinica，2023，44（3）：191-197

［14］ Ma Z J，Mei G.A hybrid attention-based deep learning approach for wind power prediction［J］.Applied Energy，2022，323：119608

［15］ Feroz Mirza A，Mansoor M，Usman M，et al.Hybrid inception-embedded deep neural network ResNet for short and medium-term PV-wind forecasting［J］.Energy Conversion and Management，2023，294：117574

［16］ Wen Y J，Li Z H，Wang X Y，et al.Traffic demand prediction based on spatial-temporal guided multi graph Sandwich-Transformer［J］.Information Sciences，2023，643：119269

［17］ Srihari P，Kiran T，Vishalteja K.A hybrid VMD based contextual feature representation approach for wind speed forecasting［J］.Renewable Energy，2023，219（P1）：119391

［18］ 赵星宇，吴泉军，展晴晴，等.基于贝叶斯优化注意力机制LSTNet模型的短期电力负荷预测［J］.科学技术与工程，2023，23（15）：6465-6472

ZHAO Xingyu，WU Quanjun，ZHAN Qingqing，et al.Short-term load forecasting based on Bayesian optimized LSTNet with attention mechanism module［J］.Science Technology and Engineering，2023，23（15）：6465-6472

［19］ Bian G Q，Yang Y，Guo X S，et al.Natural gas load forecasting based on the fusion of VMD-SE and CNN-BiLSTM-Attention［J］.Journal of Physics：Conference Series，2023，2504（1）：012048

［20］ 郑征，谭磊，周楠，等.基于多头注意力卷积网络的电力负荷预测［J］.南京信息工程大学学报（自然科学版），2022，14（5）：535-542

ZHENG Zheng，TAN Lei，ZHOU Nan，et al.Power load prediction based on multi-headed attentional convolutional network［J］.Journal of Nanjing University of Information Science ＆ Technology （Natural Science Edition），2022，14（5）：535-542

［21］ 廖春花，罗潇，谢睿恒，等.基于气象因子的长沙市日最大电力负荷预测对比研究［J］.自然灾害学报，2023，32（1）：183-190

LIAO Chunhua，LUO Xiao，XIE Ruiheng，et al.Comparative study on the forecast of the maximum daily electric load in Changsha city based on meteorological factors［J］.Journal of Natural Disasters，2023，32（1）：183-190

Combined forecast of natural gas load based on

Time2Vec-LSTM-TCN-Attention

Abstract To tackle the complexity and nonlinearity inherent in natural gas load sequences，this paper proposes a combined forecasting model that integrates Time2Vec，LSTM （Long Short-Term Memory），TCN （Temporal Convolutional Network），and attention mechanism.Initially，the Pearson correlation coefficient is used to conduct the correlation analysis to extract the meteorological features that exhibit strong relevance.Subsequently，the time vector embedding layer of Time2vec is introduced to convert the time series data into a continuous vector space，thus enhancing the model’s computational efficiency in processing time series information.Then the temporal features extracted by Time2Vec，alongside the meteorological features selected using Pearson correlation coefficient，are fed into both the LSTM and TCN models for prediction，exploiting the long-term memory capability of LSTM and the local feature extraction capability of TCN.Finally，these two models are combined through attention mechanism，and assigned different weights according to the importance of the two to obtain the final prediction results.The experimental results show that the proposed Time2Vec-LSTM-TCN-Attention model outperforms other combined models in terms of adaptability and accuracy for natural gas load forecasting.

Key words Time2Vec;attention;long short-term memory （LSTM）;temporal convolutional network （TCN）;combined forecasting;load forecasting