小波非参数回归分析方法的实现及比较研究*

乔　舰,范淑芬

(1.中国矿业大学 理学院，北京 100083；2.中央民族大学 附属中学，北京 100081)



小波非参数回归分析方法的实现及比较研究*

乔舰1,范淑芬2

(1.中国矿业大学 理学院，北京 100083；2.中央民族大学 附属中学，北京 100081)

摘要：旨在利用小波进行非参数回归分析.比较了基于小波核、小波基展开与小波阈值理论的三种非参数回归分析实现方法.分析了三种方法的理论基础、相互关系、优缺点，通过对实现过程中未知参数的选择标准进行定义，进行了相应的数值模拟.结果表明：文中给出的模型适用条件、参数选择标准、自变量适用条件不满足时修正算法的合理性.

关键词：小波；非参数回归分析；小波基；小波阈值

小波理论可以为非参数回归提供迄今最新的强有力工具[1].从20世纪90年代开始，非参数回归分析方法主要由小波阈值理论所主导.基于小波的非参数回归本质上是基于正交基的非参数回归分析方法的特例，但由于其快捷的实现算法以及良好的可视化效果，又被称为小波收缩、曲线估计或小波回归.尽管基于小波理论的非参数回归分析应用广泛，但对于其实现方法的比较研究却未见报道.本质上基于小波的非参数回归分析主要基于三种不同的理论基础：小波核、小波基展开与小波阈值理论.考虑标准的单变量回归分析问题

(1)

式中：Yi为已知含噪因变量观测样本；Xi为已知自变量观测样本;g(X)为未知待估回归函数；εi为随机误差项，假定独立同分布于均值为零，方差为σ2的正态分布.标准单变量回归分析问题一般可通过两种模式进行定义：①固定设计，其中自变量Xi非随机抽样得到，应该记为xi；②随机设计，其中(Xi,Yi)为独立同分布的二维随机变量.两种模式下研究目标都是基于含噪观测样本Yi估计回归函数g(X).

1三种理论基础下小波回归估计量

1.1基于小波核的小波回归估计量

基于核理论的密度函数估计为

(2)

基于小波理论的线性密度函数估计为

(3)

通过式(2)与式(3)之间的类比，可得

(4)

即窗宽为h的核函数与分辨率为J的再生核函数在密度函数估计中的作用相当，由于∫REJ(x,y)dy=1,EJ(x,xi)又被称为分辨率为J的小波核.

固定设计情形下，文献[2]基于g(X)的Gasser-Muller核估计量给出了相应情形下基于小波核的估计量

(5)

进一步，基于随机设计情形下g(X)的Nadaraya-Watson核估计量给出了相应情形下基于小波核的估计量

(6)

式中：J∈Z为某分辨率.

运行以上两种估计量时，需要事先选定小波父函数φ(x)及分辨率J.小波父函数φ(x)在小波估计中的作用类似核估计中的核函数，对估计结果的影响远小于分辨率J.文献[3]构造的具有指定光滑度的紧支撑非对称正交小波基族在统计学中应用最为广泛，文中采用了具有5阶消失矩的Daubechies小波函数族.分辨率J在小波估计中的作用类似核估计中的窗宽，但由于取值整数，相对核估计中的窗宽取值范围小了许多，可通过最小化交叉验证估计量来选择相应参数J[2]，交叉验证估计量为

(7)

1.2基于小波基的小波回归估计量

若式(1)中xi=i/n,i=1,…,n,n=2J;假定g(x)为区间[0,1]上的平方可积函数，则由小波多分辨率分析理论，g(x)在分辨率J所在尺度函数空间的正交投影为

(8)

式中：cJ,k为对应φJ,k(x)的小波父函数系数.

小波基展开式为

(9)

式中：φJ,k(x)为分辨率为J平移参数为k的小波母函数；dj,k为对应φJ,k(x)的小波母函数系数.

基于式(8)，文献[4]给出g(x)小波估计量为

(10)

式中：φJ,k(xi)为分辨率为J平移参数为k的小波父函数在xi点处的取值.

在式(9)、式(10)的实现过程中，小波父函数φ(x)及分辨率J的确定可参照本文基于小波核的实现过程；在式(10)的实现过程中还需确定门限阈值λ与阈值函数δ.对于阈值函数δ，文献[5]给出了软阈值和硬阈值函数，分别定义为

1.3基于小波收缩的小波回归估计量

k=0,1,…,2j-1

(11)

2三种小波回归估计量的比较

三种不同理论基础下的小波估计量本质上可分为线性估计量和非线性估计量两类，文中式(4)、式(9)为线性估计量；式(10)、式(11)为非线性估计量.式(4)、式(9)是通过对式(7)的小波父函数系数进行估计来实现，均假定函数g(x)为分段常数函数，即

(12)

自变量取值区间非(0,1)、非等间距、样本容量非2J的处理方式：由于基于小波基展开或小波收缩理论的回归估计量都是建立在自变量取值在区间(0,1)内、等间距排列、样本容量为2J的前提条件下.当条件不满足时，尽管可以使用基于小波核理论的回归方法，但由于在其实现过程中快速离散小波变换算法不可使用，故而算法实现速率较慢，需将自变量取值区间非(0,1)、非等间距、样本容量非2J的自变量取值进行相应处理.常见的处理方式有两种：

(13)

(14)

式(13)～(14)所形成二维变量(tk,sk)为满足小波基或小波收缩理论回归估计要求的对应于原始二维样本变量(xk,yk)的相应数据，式(13)主要用于基于小波基展开的回归分析；式(14)为Matlab软件实现小波回归程序算法，主要用于基于小波收缩的回归分析.

三种基于小波的非参数回归估计结果在待估函数支撑的边界点附近存在边界效应，尽管基于小波核的估计中核函数随待估数据点而变化.常见处理方式为在待估区间左右边界点处将原始数据反对称排列形成新的数据，然后基于新的数据在待估区间上估计回归函数.

3算例及分析

假定(xi,yi)来自于模型Yi=2Xi+sin(9πXi)+εi,i=1,2,…,n，其中n=256,{xi}为从[0,1]中等间距抽样得到,x0=0,xn=1,εi～N(0,0.22),基于此数据的小波回归估计结果如图1所示，小波基展开估计中通过交叉验证得到最优分辨率为4，小波收缩估计中使用了全局门限阈值和软阈值函数.

选取非参数回归分析中的经典数据集mcycle为分析对象，该数据包含了摩托车事故模拟试验中摩托车加速时间xi和驾驶者头部加速度数值yi，i=1,2,…,133，主要用于测试头盔质量，其中自变量xi非等间距抽取.基于此试验数据的小波回归估计结果如图2所示，小波核估计中通过交叉验证得到最优分辨率为-2，原始数据插值等间距处理后的小波基展开估计中通过交叉验证得到最优分辨率为4，原始数据分区等间距处理后的小波收缩估计中使用了全局门限阈值和软阈值函数.

图1　等间距模拟数据小波回归结果

图2　摩托车实例数据小波回归结果

4结 论

基于小波理论的非参数回归分析方法相对基于核理论的相应分析方法，具有算法实现快捷，可视化效果较好的优点，但其算法设计本身的理论基础是不同的，如文中所述，主要有三种：小波核、小波基展开与小波阈值理论.

文中对这三类算法设计的理论基础，适用条件 进行了对比；对算法设计中未知参数的选择标准进行了综述；对三种小波估计量进行了分类对比；对不满足算法设计适用条件的自变量类型给出了修正算法.数值分析结果：对于第一组模拟数据，依据本文给出的参数选择标准得到的估计结果对真实已知函数拟合效果良好；对于第二组实例数据，依据文中给出的参数选择标准进行的三种小波估计结果相差较小，说明文中给出的参数选择标准及自变量适用条件不满足时修正算法的合理性.

参 考 文 献：

[1]童恒庆.经济回归模型及计算[M].武汉：湖北科学技术出版社,1999.

TONG Hengqing.Economic Regression Model and Computation[M].Wuhan:Hubei Science Technology Press,1999.(in Chinese)

[2]ANTONIADS A,GROGOIRE G,MCKEAGUE W.Wavelet Methods for Curve Estimation[J].Journal of the American Statistical Association,1994,89(428):1340.

[3]DAUBECHIES I.Ten Lectures on Wavelets[M].Philadelphia:Society for Industrial and Applied Mathematicsatics,1992.

[4]ABRAMOVICH F,BAILEY T.C,SAPATINAS T.Wavelet Analysis and Its Statistical Applications[J].Journal of the Royal Statistical Society,2000,49(1):1.

[5]DONOHO D L,JOHNSTONE I M.Adapting to Unknown Smoothness via Wavelet Shrinkage[J].Journal of the American Statistical Association,2015,90(432):1200.

[6]BRUCE A G,GAO H Y.Understanding WaveShrink:Variance and Bias Estimation[J].Biometrika，1996,83(4):727.

[7]OGDEN R.T.Essential Wavelets for Statistical Applications and Data Analysis[M].Boston:Birkhäuser Basel,1997.

[8]DONOHO D.L,JOHNSTONE I.M.Ideal Spatial Adaptation Via Wavelet Shrinkage[J].Biometrika,1994,81(3):425.

[9]KOVAC A,SILVERMAN B.W.Extending the Scope of Wavelet Regression Methods by Coefficient Dependent Thresholding[J].Journal of the American Statistical Association,1999,95(449):172.

[10]HARDLE W,KERKYACHARIAN G,PICARD D,et al,Wavelets,Approximation and Statistical Applications[M].New York:Springer Verlag,1998.

(责任编辑、校对张超)

【相关参考文献链接】

赵文芝,夏志明,贺兴时.基于小波的非参数回归模型多变点检测[J].2012,26(4):536.

李体政,曹艳平,李阳.前向神经网络:一个新的非参数回归方法[J].2009,22(2):207.

贺飞跃,朱敏慧,成涛.一类半参数回归模型的经验似然[J].2010,23(2):155.

强怀博,吴琼.线切割工艺参数优化的非线性回归模型[J].2011,31(7):621.

董威,孟奇,王尧.1JHA4Y软磁材料矫顽力测量中的多元回归法应用[J].2006,26(4):312.

孙颖,杨君慧.Logistic回归与分类树模型的比较[J].2014,34(9):689.

穆静,杜亚勤,王长元,等.小波包变换的图像融合技术的研究[J].2005,25(4):356.

丁锋,何正嘉,张新运.小波包分析在滚动轴承信号消噪处理中的应用[J].2006,26(1):8.

张超.正交小波变换在钻削刀具状态特征提取中的应用[J].2007,27(3):223.

樊亚军,曹蔚,王蕊.利用改进的小波阈值算法进行图像消噪处理[J].2007,27(6):567.

魏娟,马颖.超小波多阈值估计的图像去噪新方法[J].2011,31(1):84.

尚宇,刘素勤.基于分数阶小波变换的心电信号去噪处理研究[J].2014,34(9):710.

张德生,张小静,武新乾.通货膨胀的非参数回归模型[J].2007,27(1):95.

王志,吴红芳.基于小波神经网络补偿的飞艇滑模控制[J].2011,31(5):465.

姚红革,杜亚勤,刘洋.基于小波分析和BP神经网络的图像特征提取[J].2008,28(6):568.

黄师娟,张德生,常振海,等.国际黄金价格的小波变换FAR预测模型[J].2009,29(1):84.

党晓敏,赵凤群,张菊梅.微分方程的Legendre小波方法[J].2009,29(6):589.

Implementation of and Comparison Between Nonparametric Wavelet Regression Analysis Methods

QIAO Jian1，FAN Shufen2

(1.College of Sciences,China Unversity of Mining and Technology,Beijing 100083,China;2.The High School Affiliated to Minzu University of China,Beijing 100081,China)

Abstract:The paper makes the nonparametric regression analysis based on wavelet.First,a comparison is made between the implementations of the three nonparametric regression methods based on wavelet kernel,wavelet base expansion and wavelet threshold theory,respectively.Then their theoretical basis,relationships,advantages and disadvantages are analyzed.Finally,the numerical simulations are made based on the review of the selection criteria of unknown parameters. The results show the rationality of the conditions for applying the models,of the criteria for selecting parameters,and of the modifination of the algorithm when the independent variable is not satisfied.

Key words:wavelet；nonparametric regression analysis；wavelet base；wavelet threshold

DOI:10.16185/j.jxatu.edu.cn.2016.05.002

收稿日期：2015-04-27

基金资助：中央高校基本业务费(2015QS01)

作者简介：乔舰(1977-),男,中国矿业大学讲师,主要研究方向为风险管理.E-mail:qj@cumtb.edu.cn.

文献标志码:中图号：O212A

文章编号：1673-9965(2016)05-0352-05