基于网络搜索量和混合频率模型的经济变量预测研究

袁　铭

(天津财经大学 统计系，天津，300222)



基于网络搜索量和混合频率模型的经济变量预测研究

袁铭

(天津财经大学 统计系，天津，300222)

摘要：针对大数据背景下利用互联网搜索量数据进行经济预测的问题，提出建立能够充分利用高频变量信息的混合频率模型，并尝试解决建模过程中的关键词选取、数据预处理和降维等问题。在对金融和消费领域预测的实证研究中，经过筛选的关键词搜索量变量与作为预测对象的经济变量是高度相关的，并且混频模型相对于经过频率转换的模型具有更优的估计量性质和更高的样本内外预测精度。同时，根据估计结果得到的权重函数还可以发现月内各日搜索量在预测模型中的贡献度分布具有不同模式，借助该分布模式可以对经济主体行为进行描述和测度，也为搜索量数据的频率转换提供了一些参考。

关键词：网络搜索量；混合频率模型；经济预测

一、引言

网络搜索数据是近几年来新出现的数据源，它可以精确记录所有互联网用户的搜索行为，并形成指数化的搜索量序列。由于信息搜索是用户为了满足一定目标需求而进行的特定活动，例如有购买住房意愿的互联网用户会通过搜索引擎查询所在地区的住房价格、贷款政策等方面的信息，而用户的目标需求又受到外部环境的影响。因此，某个关键词的搜索量必然也会受到外部环境的影响，从而表现为该关键词搜索量与经济变量之间具有相关性。利用这种相关性，可以改善模型的预测效果。同时，利用搜索量数据进行宏观经济建模和预测还具有以下两方面优势：第一，中国目前网民规模达到6.32亿人，网络购物规模达到3.02亿人，搜索引擎用户规模达到5.07亿。这三个数字分别占中国经济活动人口的比例为80%、38%和64%，可见互联网用户在很大程度上代表了现阶段中国经济生活的行为主体，而网络搜索量则是他们获取信息作为决策依据这一过程的数据表现，并从侧面反映出宏观经济的微观基础。第二，与官方统计数字相比，关键词搜索量属于高频数据，例如百度和淘宝每日都会以指数化的方式提供搜索量，这其中蕴含了比较丰富的信息，从而为我们实现实时预测以及捕捉经济运行中的异常波动奠定了基础。

目前，国内外有较多的文献将搜索量数据用于行业领域的市场趋势或者宏观经济中某个变量的研究与预测。在国外方面，Choi和Varian发现将关键词“工作”、“社会服务”、“失业”等搜索量数据加入到预测首次申请失业救济人数的模型后可以将预测误差降低15.74%[1]。Askitas和Zimmerman在德国进行了相似的研究，结果表明关键词搜索量与当月失业率有极强的相关性[2]。在行业方面，Choi和Varian将相关关键词搜索量加入传统AR模型中，用于对汽车、旅游和住房市场预测，结果显示搜索量的加入可以将短期预测精度提高5%和20%(取决于商品属性)，在商品购买过程中计划、选择与决策阶段越长，预测精度提高的幅度越大，这进一步证明了网络搜索是消费者获取信息的主要途径[3]。此外，由于搜索动机往往可以体现人的市场预期，因此，一些学者将基于搜索量的预测模型与基于信心或者景气调查数据的预测模型进行比较。Schmidt和Vosen的研究结果显示，与基于消费信心指数的模型相比，将关键词类别经过适当筛选后可以大幅度提高预测精度[4]。McLaren和Shanbnogue在英国劳动力和住房市场预测模型中也发现基于搜索量的预测模型比基于市场调查的信心指数预测模型的预测效果更优，并且特别适用于分析突发事件的影响，而调查数据是通过预先设定的问卷采集的，远不如搜索数据灵活，并且数据处理周期较长[5]。国内方面，在研究搜索量与经济变量的相关性方面，研究尚不充分。宋双杰等以及赵龙凯等将股票简称的百度搜索量作为投资者关注度用于研究股票IPO 市场异象和预测股票收益率[6-7]。张崇等证明了Google搜索数据与CPI之间存在一定的相关关系及先行滞后关系，模型的拟合优度很高，预测误差较低，并且模型具有很强的时效性，具备一定的转折点预测能力[8]。

上述研究虽然验证了将搜索量数据用于市场趋势或者宏观经济预测的可行性和实证效果，但要完全发挥出其优势还需要解决两方面问题：

第一，关键词选取问题。该问题是利用网络搜索量进行经济研究和建模的核心环节。由于人们的搜索习惯不同，不同的人在获取相似信息时，往往输入不同的关键词，例如“价格指数”、“CPI”以及“衬衣”、“衬衫”都表示相同的含义，这就使得关键词的数量极为庞大，必须从中选择代表性关键词。现有的技术取词法，即利用高性能计算机将一切关键词都纳入研究范畴的方法，受研究条件的制约很大；而运用主观经验的直接进行取词的方法，虽然可以大幅度降低了工作量，但是存在遗漏核心关键词的风险。

第二，低频与高频数据的融合问题。搜索量数据属于高频数据(日度)，而预测对象通常是低频数据(月度或季度)。因此在建模时，必须将高频数据转化为低频数据。目前，已有研究都是通过简单平均实现频率转换，但这样不仅减少了样本容量，损失了高频数据的信息，也无法实现对经济运行中异常波动做到及时追踪和描述。

综上，本文将在合理选择关键词的基础上，搜集百度指数、淘宝指数日度数据，建立基于网络搜索量的混合频率模型，用于对中国金融、消费领域的宏观经济变量进行预测。所谓混合频率模型是指在计量模型中同时包括低频和高频变量，从而可以直接利用日度搜索量数据中蕴含的丰富信息。本文的研究意义在于进一步揭示了搜索行为与经济变量之间的相关性，并尝试对这种相关性的行为基础进行揭示；建立的混合频率预测模型可以充分利用高频搜索量数据中蕴含的信息，从而可以获得更优的样本内外预测精度；利用估计得到的月内各日搜索量数据权重可以探索经济变量对搜索行为的反应模式。总之，本文研究将为建立基于搜索量的宏观经济预测模型提供新的研究视角，也为政府决策部门和官方统计部门更好地利用搜索量这一新型数据集监控经济走势、辅助政策制定提供参考和依据。本文的结构安排如下：首先，对混合频率模型建模思想、模型设定以及参数估计方法进行简介；然后基于搜索量数据建立预测模型，解决建模过程中的关键词选择、数据预处理、搜索量指标合成等问题，并将模型的预测效果与基准模型进行比较；最后，得出结论，并指出混频模型在建立基于网络搜索量的宏观经济预测模型中进一步应用的方向。

二、混合频率计量经济模型

混合频率模型(Mixed Data Sampling，MIDAS)是Ghyselts et.al提出的用于解决数据不同频时，计量经济模型估计与预测问题的方法[9]。该方法可以直接利用高频数据信息，避免了在频率转换过程中产生的信息损失和人为虚增。国内已有研究将混合频率模型及其扩展形式用于对中国宏观经济变量进行预测，对经济周期进行测度，并验证了混频模型的有效性[10-12]。为了更加清晰理解MIDAS模型的建模过程，本文以预测变量为日度数据(高频)、预测对象为月度数据(低频)为例，介绍MIDAS模型的形式和参数估计方法。

(一)基础MIDAS模型的形式与参数估计

(1)

其中μ和β分别为截距和斜率，εt+h是随机误差项。另一种解决方法是为月内每天数据都赋予一个斜率，相应的预测模型为：

(3)

第一种是p阶阿尔蒙多项式函数，表达式如式(4)所示，p一般情况下小于3，否则达不到减少待估参数的目的。

(4)

第二种是指数p阶阿尔蒙多项式函数，表达式如式(5)所示。这是目前使用的最多的设定，它可以保证权重为正，并且通过不同的参数组合实现递增型、递减型、U型或者倒U型等不同的权重函数形态，并且能使估计量具有较优的渐进性质。

(5)

第三种是Beta多项式函数，表达式如式(6)所示。

(6)

第四种是步函数，表达式如式(7)所示，也即权重函数是由一系列离散步构成的，可以根据模型的需要定义步数p。

(7)

其中

a0=1

在上述四种函数中，第一种和第四种权重函数通常用于金融市场波动率的建模和预测；第二种和第三种权重函数通常用于宏观经济变量的建模和预测。

在MIDAS模型基础上，还可以建立分布滞后自回归MIDAS模型(ADL-MIDAS)，其基本形式为：

(8)

(二)IDAS模型的扩展形式

MIDAS模型自从提出来以后，发展相当迅速，出现了许多扩展形式。例如，前文介绍的基础MIDAS模型都只包含1个高频变量，但影响宏观经济变量的因素众多，需要在预测模型中加入多个高频变量，这就得到了多元MIDAS模型。一个拥有k个高频变量的ADL-MIDAS模型的具体形式为：

(9)

不难看出，每加入一个高频变量，需要估计的参数只增加2～3个(取决于权重函数的设定)，这是该模型最主要的优点。但在参数估计时，也需要同时给出所有权重函数中参数的初始值。

此外，为了刻画经济中的非对称和结构突变现象，学者们也将非线性成分引入MIDAS模型，相继提出了非对称MIDAS模型、平滑转换MIDAS模型以及马尔可夫转换MIDAS模型等。由于本文实证研究中建立的全部是线性模型，因此对这些非线性混合频率模型不做详细介绍，相关内容可以参考刘汉等的研究文献[13]。

三、基于网络搜索数据的混频预测模型实证研究

(一)基于百度指数的理财产品收益率混频预测模型

近年来，随着居民收入增加，中国普通民众和家庭对包括银行在内的众多金融机构个人理财业务的关注程度是空前的。因此本文尝试使用百度指数对理财产品收益率进行样本内和样本外预测。百度指数是百度公司提供的以指数化方式表示的关键词搜索量。由于百度搜索引擎在国内互联网用户的覆盖率高达97.4%，因此基本上可以代表网民的搜索行为。在关键词选择方面，本文采用范围取词与经验取词相结合的方法。纳入考虑范围的一般是与银行理财业务直接相关的关键词，例如“理财”、“理财产品”、“理财收益”、“理财产品收益率”等，也包括银行名称加上述关键词的情况，例如“建行 理财”、“建行 理财”等。确定范围后，观察这些关键词的搜索量序列，可以发现这些关键词的搜索量差异很大，其中关键词“理财”的搜索量显著高于其他关键词，例如“理财”的日平均搜索量为4 209，分别是关键词“理财产品”和“理财产品收益率”的2倍和34倍，也是“银行名称+理财”这类关键词的16～20倍。这说明在获取银行理财业务有关信息时，网民倾向于使用简短但具有明显指向性的关键词。因此本文选择关键词“理财”的搜索量(对数形式)作为预测变量。对于理财产品收益率，本文分别使用3月期全市场理财产品收益率和股份银行理财产品收益率。同时，为了考察央行货币政策的影响，本文还在模型中加入M2同比增速。上述三个变量的数据时间范围为2011年1月1日至2015年1月31日，对于月度数据本文均采用Census X-12季节调整方法进行调整，最终得到的变量序列图如图1所示。

本文建立的混合频率单步预测模型形式为：

(10)

图1　关键词“理财”的搜索量与模型中相关经济变量的序列图

被解释变量权重函数参数估计结果μ0μ1βθ1θ2样本内RMSE收益率指数Almon2.5485-0.22970.6633-0.29390.00800.2867(全市场)(1.564)(0.0431)(0.1484)(0.4834)(0.0177)Beta函数2.6988-0.23100.64641.16387.09030.2889(1.522)(0.0430)(0.1443)(0.8049)(9.0532)算术平均2.3384-0.19700.63410.3565(1.828)(0.0472)(0.1722)收益率指数Almon1.4239-0.23660.8290-0.29390.00870.2665(股份制)(1.657)(0.0457)(0.1572)(0.3606)(0.0123)Beta函数1.6787-0.24000.80291.14325.45910.2651(1.631)(0.0457)(0.1553)(0.6198)(7.1428)算术平均1.016-0.19680.81130.3345(1.948)0.0503)(0.1835)

注：2015年1月两种收益率的实际值分别为5.253和5.408。

为了进一步比较模型的样本外预测精度，本文首先利用2011年1月至2014年6月的数据估计模型并对2014年7月的理财收益率进行预测，然后以一个月为步长逐次延长样本区间长度并分别进行单步预测，最终得到7次单步预测结果，计算它们的预测均方误差(FRMSE)，得到的结果如表2所示。

图2(a)　全市场理财产品收益率预测模型中的权重函数图

图2(b)　股份制银行理财产品收益率预测模型中的权重函数图

被解释变量权重函数样本区间2011.1～2014.62011.1～2014.72011.1～2014.82011.1～2014.92011.1～2014.102011.1～2014.112011.1～2014.12FRMSE收益率(全市场)实际值5.1285.115.1035.155.0525.225.253指数Almon4.8495.3605.3135.2985.2135.3425.2620.1880Beta函数4.9095.3425.3515.2535.2745.3295.2630.1835算术平均4.8175.4145.4675.3635.3575.3925.2650.2645收益率(股份制)实际值5.3585.3545.2875.3555.2025.2875.408指数Almon5.2665.3975.4815.5365.4205.3715.4300.1393Beta函数5.2385.4065.5145.5025.3485.3935.4290.1323算术平均5.1395.4395.6895.6025.5305.4835.4350.2460

注：表2中的实际值是指利用样本区间进行单步预测时相应的实际值，例如样本区间2011年1月至2014年6月对应的实际值是2014年7月的收益率。

根据参数估计结果，可以得出以下四点结论：第一，网络搜索量和货币供应量与理财产品收益率存在显著的相关性。其中，搜索量与收益率正相关，其背后的行为基础是当社会存在较大的资金需求时，金融机构会加大营销力度从而使普通民众对理财产品的关注度增加，并且对收益率的预期也升高。金融机构为了吸引资金只能给出较高的收益率。货币供应量与收益率是负相关的。这是因为此时社会资金较充裕。第二，模型对股份制银行理财产品收益率的样本内外预测效果要优于全市场理财产品收益率。这是由于股份制银行自身的信誉和给出的收益率水平相对较高，普通民众多数情况下在此类机构购买理财产品。第三，混频模型的预测效果特别是样本外预测效果和参数估计量的有效性都要显著优于经过频率转换的模型，显示出优越性。这表明在混频模型中更多的信息可以得到利用。第四，虽然指数Almon和Beta函数权重函数有所差异，但整体上可以看出越靠近月末，该日的搜索量所占的权重越大(利用不同样本区间估计混频模型后得到的权重函数也显示出具有此特征)，也即较近期的搜索行为具有更高的预测能力。此外，在预测股份制银行理财产品收益率时，月内各日搜索量数据的贡献度相对更均匀。

(二)基于淘宝指数的消费数据混频预测模型

网络购物是目前中国消费者特别是城镇消费者重要购物方式之一。典型的消费者网络购物过程可以分为两个阶段：研究和选择阶段以及决策购买阶段。而在选择阶段消费者需要利用搜索引擎、电商网站查找与待购买商品相关的品牌、价格、用户评论等信息。尽管消费者可能最终在实体店购买，或者放弃购买，但也产生了特定关键词搜索量。该数据能够相当准确地反映消费者需求以及购买意愿，进而可以用于预测社会消费品零售总额和CPI等与消费相关的宏观经济变量。因此本文尝试使用淘宝指数建立混频预测模型。淘宝指数是淘宝用户进行购物搜索时形成的每日指数化搜索量。使用该数据而不使用百度指数这种通用搜索引擎搜索量的原因是在获取商品信息时，网民绝大多数情况下直接在诸如京东、淘宝购物网站内进行搜索(中国互联网络信息中心，2014)。而在这些购物网站中淘宝网以接近90%的使用率占绝对统治地位，可以说淘宝网搜索量数据几乎可以完全代表中国网民的购物搜索行为。

在关键词选取方面，由于网络购物涉及的商品种类繁多，因此无法像前文预测理财产品收益率一样，选择指向性很强的关键词。因此本文在综合考虑居民消费习惯(参考《居民消费支出分类2013》)以及搜索习惯(参考淘宝指数热搜排行榜)的基础上，给出如下关键词选取方法：首先，连续跟踪热搜排行榜一年，记录每种商品类型每周的搜索热词。这样做一方面可以排除季节性商品的影响，另一方面也避免突发搜索(礼品类商品等)的影响。然后，统计每周商品分类中搜索热词在一年内的出现次数并排序，选择其中一定比例的高频词作为本文研究使用的关键词。根据该方法最终确定的关键词数量为200个(20个商品小类，每类10词)。图3给出了几个代表性关键词的搜索量序列图(实线)，数据范围为2011年7月1日至2014年6月30日，共36个月。

图3(a)　关键词“连衣裙”

图3(b)　关键词“手机”图3　搜索量的原始序列以及经过数据预处理后的序列图

显然，搜索量数据呈现出明显的周期性特征，并且存在较多的尖峰和噪声，其他关键词也普遍存在这一现象。因此，在建立混频模型之前需要对原始序列进行处理。本文沿用笔者在前期研究中采用的方法，即通过连续小波变换实现对原始序列的重构，从而能够消除序列中的噪声、短周期成分和异常值[14]，消除序列均值后，得到的结果如图3中的虚线所示。

对于消费类经济变量，本文选择的预测对象为经过X-12季节调整的月度居民消费价格指数(全国/城镇)以及社会消费品零售总额(对数值)，最终建立的单步预测模型形式为：

(11)

图4　典型商品类型分类因子以及整体的共同因子图

不难看出，整体因子中的F1和F2分别具有向上和向下的趋势。进一步研究发现，与因子F1高度相关的商品类型为衣着服饰、文娱和生活用品类。这些类型的商品由于电商平台售价相对于实体店售价更具有吸引力，并且物流配送也比较便利，属于网络销量最大的商品类型，因此可以反映网络消费的关注程度。与因子F2高度相关的商品类型为家庭设备和居住类，这些商品大多数情况下属于耐用消费品，此类商品的消费通常与消费者对未来收入的预期相关。如果对未来收入预期较乐观就会产生更新耐用消费品的需求，从而产生较高的搜索量。因此F2可以反映消费者对未来收入或者宏观经济情况的信心。

提取因子后，估计模型参数，为了保证最优化算法求解估计量时具有较高的精度，本文只在混频预测模型中加入总体因子中的F1和F2，得到的结果如表3所示，表4给出了模型的样本外预测效果评价，具体方法与前文相同。图5则给出了根据参数估计结果计算出的权重函数值。

表3　消费类经济变量混频模型参数估计结果

表4　消费类经济变量预测模型的样本外预测效果

图5根据参数估计结果计算的权重函数值图

根据参数估计结果，可以得到以下几点结论：第一，在各种预测模型中，因子F1和F2都是显著的，模型的预测效果良好，这在一定程度上验证了指标合成的合理性。第二，由于F1可以反映消费者对网络购物的关注程度，因此它与社会消费品零售总额正相关。同时，较高的网络购物程度以及电商平台相对较低的售价会拉低社会总体价格水平，因此F1与价格指数反相关。F2反映的是消费者信心，当消费者乐观时，社会总需求旺盛，因此它与社会消费品零售总额和价格水平均为正相关。第三，对于3个预测对象，混频模型的样本内外预测精度均优于经过频率转换的模型，并且由于网络购物的主体主要是城镇居民，因此预测城镇CPI的效果优于预测全国CPI。第四，在三个预测模型中，权重函数都呈现出倒U型，也即月中搜索量具有更大的贡献度，并且月内各日搜索量数据的贡献度也比理财收益率预测模型中分布得更均匀。笔者认为出现这种情况的原因是理财投资属于定期的计划性行为，而消费特别是非耐用品消费一般是日常行为，随意性比较强。

四、结论

本文在合理选择关键词的基础上，建立基于日度网络搜索量数据的混合频率预测模型，并根据估计结果构造权重函数。在预测CPI和消费品零售总额的模型中，本文还提出利用主成分分析提取众多关键词搜索量的共同因子作为预测变量，从而实现数据降维。本文得到的主要结论有以下三点：第一，在本文建立的所有预测模型中，搜索量变量都是显著的，表明网络搜索行为与宏观经济变量之间存在强相关性。第二，建立的混频模型由于可以充分利用日度搜索量的信息，其样本内外预测精度都优于简单模型。第三，研究还发现月内各日搜索量在预测模型中的贡献度分布具有不同的模式，利用该模式可以在一定程度上对经济主体行为进行描述和测度。虽然本文在基于网络搜索量建立经济预测方面进行了一些创新性工作，并得出了一些可供借鉴的结论。但本文还存在一系列问题需要进一步研究。首先，本文利用主成分分析实现对关键词搜索量数据的降维，但经典主成分分析在强多重共线性条件下以及面对复杂数据时表现不佳，并且对提取的共同因子经济含义解释起来也存在困难。因此，未来应考虑在混频模型框架内给出一种适用于网络搜索数据的降维方法，以期能进一步提高模型的样本内外预测精度。其次，本文仅建立了简单的线性混频模型，没有考虑搜索量与经济变量之间的关系可能存在非对称性和结构变化，也没有加入其它具有预测能力的经济变量，因此今后可以考虑建立结合因子的非线性混频模型。最后，本文直接根据参数估计结果刻画出了权重函数形态，但对其行为基础，特别是两类搜索量呈现出完全不同形态的原因没有给出解释，这也将成为未来的研究工作之一。

参考文献：

[1]Choi H, Varian H. Predicting Initial Claims for Unemployment Insurance Using Google Trends[R/OL]. Technical Report, Google, 2009, http://research.google.com/archive/papers/initialclaimsUS.pdf.

[2]Askitas N, Zimmermann K F. Google Econometrics and Unemployment Forecasting[J]. Applied Economics Quarterly, 2009, 55(2).

[3]Choi H, Varian H. Predicting the Present with Google Trends[R/OL]. Google, 2011, http://google.com/googleblogs/pdfs/google_predicting_the_present.pdf.

[4]Vosen S，Schmidt T. Forecasting Private Consumption: Survey-Based Indicators vs. Google Trends[J]. Journal of Forecasting,2011,30(6).

[5]McLaren N,Shanbhogue R. Using Internet Search Data as Economic Indicators[R]. Bank of England Quarterly Bulletin (Q2),2011.

[6]赵龙凯,陆子昱,王致远. 众里寻“股”千百度——股票收益率与百度搜索量关系的实证探究[J]. 金融研究,2013(4).

[7]宋双杰,曹晖,杨坤. 投资者关注与IPO异象——来自网络搜索量的经验证据[J]. 经济研究,2011(S1).

[8]张崇,吕本富,彭赓,刘颖. 网络搜索数据与CPI的相关性研究[J]. 管理科学学报,2012(7).

[9]Ghysels E, Santa-Clara P， Valkanov R. The MIDAS Touch: Mixed Data Sampling Regressions[R]. Working Paper, 2004.

[10]刘金全,刘汉,印重. 中国宏观经济混频数据模型应用——基于MIDAS模型的实证研究[J]. 经济科学,2010(5).

[11]刘汉,刘金全. 中国宏观经济总量的实时预报与短期预测——基于混频数据预测模型的实证研究[J]. 经济研究,2011(3).

[12]郑挺国,王霞. 中国经济周期的混频数据测度及实时分析[J]. 经济研究,2013(6).

[13]刘汉. 中国宏观经济混频数据模型的研究与应用[D].长春：吉林大学博士论文,2013.

[14]袁铭. 基于小波的搜索量聚类及在变量选择中应用[J]. 计算机应用,2015,35(3).

(责任编辑：马慧)

Research on the Prediction of Some Economic Variables based on the Internet Search Volume and Mixed-frequency Model

YUAN Ming

(Department of Statistics, Tianjin University of Finance and Economics, Tianjin 300222, China)

Abstract:This paper has proposed a mixed-frequency modelling method for economic prediction through the Internet search volume, which can fully utilize the information contained in the high frequency variables. The paper has also tried to address the problems of the choice of key words, data preprocessing and dimension reduction during the modelling cycle. In the empirical studies for the prediction of key indicators in the fields of finance and consumption, the paper has found that the search volumes of some screened key words are highly correlated with the predicted economic variables and the mixed-frequency models have better estimator properties and in/out-sample prediction accuracy than the models through frequency transformation. Meanwhile, the weight function has shown that daily search volume has different contribution mode in a month, and with this mode we can describe and measure economic body's behavior.

Key words:Internet search volume; mixed-frequency model; economic prediction

收稿日期：2015-11-20

基金项目：天津哲学社会科学规划项目《大数据背景下消费者价格指数的测度及预测研究》(TJTJ13-002)

作者简介：袁铭，男，天津人，经济学博士，讲师，研究方向：计量经济模型。

中图分类号：F222.3∶C812

文献标志码：A

文章编号：1007-3116(2016)05-0027-09

【统计理论与方法】