非线性关系的研究及处理

张 川

(湖南工商大学 湖南 长沙 410000)

一、引言

在实际应用中，很可能会碰到某种曲线形态存在于一些现象的因变量和自变量之间，观测变量之间常有着复杂的关系。非线性关系存在于各个学科、各类数据中，且非线性关系有多种表现形式，这会给我们所研究的问题带来影响，降低我们相关分析的准确性。线性回归分析只适用于可用线性参数来描述的数据，而对于非线性参数来表示的变量关系，需要拓展线性回归方法，那么如何对非线性关系问题进行分析与处理，这就有待于我们做进一步的探讨和研究。

二、文献综述

近年来，非线性关系成为焦点，非线性分析也引起了广泛的关注，梳理国内外研究，主要是从非线性回归模型和其算法入手。陶春菊等(2003)推导出了含有回归系数变化的可线性化非线性回归预测模型的一种有效改进方法—泰勒级数法；施招云(1993)采用Gram-Schmldt正交化最小二乘算法实现了非线性模型的结构确定和参数估计；韦博成从微分几何的观点对非线性回归分析作了处理。然而，很难获得一般都比较复杂的非线性回归模型的参数估计，对非线性回归分析的研究造成了一定影响。Nash对此问题专门著了一本书，详细讲解了各种算法，包括直接搜索法、Nelder-Mead法和截尾牛顿法等，大多针对性强，所要求的条件较苛刻；方开泰(1993)提出了一种非线性回归模型参数估计的一个新算法。综合现有文献，可以发现国内外研究对非线关系的具体表现形式，以及各分析方法和工具的适用条件进行归纳探讨方面还存在较大的研究空间，这也正是本文价值所在。

三、非线性关系的具体表现形式及影响

(一)非线性

非线性是相对于线性而言的，用以区分不同变量之间的两种关系。在某一变化过程中，线性即某一算子f满足可加性和齐次性，则x、y是线性关系。“非线性”就是这两条至少一条不成立，也就是说，其变量之间的关系是曲线或不确定的属性，不再是直线形态。而非线性关系即是所有能用非线性展示的关系。

(二)非线性关系的具体表现形式

非线性关系一般有三种：(1)经过适当的变量变换，变量的非线性关系可转变为线性；(2)能明确参数未知的变量之间非线性关系的数学形式，只是变量替换后还是不能化为线性关系；(3)无法确定变量间非线性关系的数学形式。

四、非线性关系的分析方法与工具的比较

通过代数变换能将某些非线性关系转化成线性关系。

(一)化为线性回归模型

一般的线性模型为Y=β0+β1X1+β2X2+……+βnXn+μ，模型中参数和变量都是线性的，也就是说因变量是参数的线性函数，且模型中的变量形式只能是原型。

1.变量的非线性

2.参数的非线性

相比较而言，只通过重新定义无法处理参数的非线性，所以其问题更麻烦。可通过模型两边取对数进线性化处理，这要求模型的扰动项和等式的右端是Xa或eaX一系列项的乘积形式。

3.变量的非线性和参数的非线性并存

(二)构建非线性模型

对于某些非线性问题，能明确参数未知的变量之间非线性关系的数学形式，只是变量替换后还是无法化为线性关系，就只能用更复杂的拟合方法来求解。非线性回归模型一般为Y=f(Xk,θn)+ε，其中Xk为k个解释变量，θn是n个未知参数，f为非线性函数。非线性回归分析的参数估计有两种基本方法，这里介绍最小二乘法。对正规方程组通过解析的方法一般在非线性函数中无法求解，所以需要用非线性优化方法如搜索法或迭代运算估计参数。

1.搜索法

(1)直接搜索法

其方法是把参数的所有可能取值都代入函数g中，使得g达到最小的取值即为参数的估计值。直接搜索法原理很简单，但是只适合参数个数较少且参数的可能取值也很少(或对参数估计的精度要求不高)的情况。

(2)格点搜索法

其方法是按一定规律把部分取值代入函数g。以只有一个参数θ为例θ可能取值区间为[a,b]，先把区间10等分，然后分别把a0=a,a1=a+0.1(b-a),a2=a+0.2(b-a),…,a9=a+0.9(b-a),a10=b代入函数g，设ai使得g最小，再把新区间[ai-1,ai+1]10等分，重复上述方法，使参数的可能取值范围不断地减小，直到满足精度要求或收敛标准，即得参数的最小二乘估计。上述算法表明，当g存在唯一最小值时，格点搜索法才有效。

但是直接搜索法和格点搜索法都是低效的，在实际的工作中实用性很低。

2.迭代法

其基本思路是：首先线性化在某一组初始参数估计值附近的非线性方程，方法是泰勒级数展开；然后对这一线性方程进行最小二乘估计，得到新的参数估计值；再线性化新参数估计值附近的非线性方程，然后最小二乘估用于新的线性方程，又得到一组新的参数估计值；依此不断重复，直到参数估计值参数估计值满足精度要求。

(1)高斯-牛顿法

该方法是常用的非线性最优化算法之一，虽然非线性回归不能通过变换转化为线性模型，但可以用泰勒展开式转化为线性模型，具体如下：

1)假设参数的初值a0=(a10,a20,…,an0)，由泰勒级数展开并只取线性项：

(1)

经过整理为：

(2)

2)把(a11,a21,…,an1)作为新的初值，通过泰勒展式，得到新的估计(a12,a22,…,an2)，依此重复法，直到参数估计值收敛。

高斯-牛顿法实质上就是非线性模型本身的反复线性化和线性回归，适用于不能通过数学变换转化线性模型，但具有连续可微函数性质，可以利用一阶泰勒级数展开强制转化成线性模型的非线性模型。

(2)牛顿-拉夫森法

该方法是高斯-牛顿法的改进，但牛顿-拉夫森法是直接对最小二乘函数最优化的一阶条件做一阶泰勒级数展开近似，而不是对非线性函数f本身做线性近似，设参数向量θ=θ1,θ2…,θn，估计量为a=(a1,a2,…,an)，残差平方和g(a)最小时的一阶条件为u(a)=∂g(θ)/∂θ=0，给定初始值a=a0，对u(a)用一阶泰勒展开近似得u(a)≈u(a0)+v(a0)(a-a0)，其中v(a0)是g(a)在a0处的二阶导数，由于u(a)=0，所以有u(a0)+v(a0)(a-a0)≈0，也即是a≈a0-v-1(a0)u(a0)，该式作为θ的近似估计值，并可视为新的初始值，重复上述方法，直到参数估计值满足精度要求或收敛。

牛顿-拉夫森法的缺点是迭代运算中需要反复计算梯度向量，特别是海塞矩阵的逆矩阵，因此计算量很大。

3.有理插值方法

某些经济计量分析中的研究并不符合最小二乘在线性回归中的假定：模型中的随机误差ε作E(ε)=0及var(ε)=σ2，从而影响了这一方法的应用。而有理插值理论的非线性特点，在非线性回归分析上更有优势。这里主要讨论运用连分式插值理论来进行非线性回归分析。

(1)有理插值理论

(3)

将R(x)右边整理，即得上述有理分式函数Rm,n(x)，a0(x),a1(x),…,am+n(x)为倒差商。

(2)有理插值算法在非线性回归中的运用

五、总结

通过对非线性关系的具体表现形式及影响的介绍，以及比较各非线性关系的分析方法与工具，研究得出，非线性关系一般有三种：

(1)经过适当的变量变换，变量的非线性关系可转变为线性。其中又可分为三种情况，变量的非线性，参数的非线性和变量的非线性和参数的非线性并存。其多是通过变量代换和将模型两边取对数进而线性化，然后再运用线性方法进行分析。

(2)能明确参数未知的变量之间非线性关系的数学形式，只是变量替换后还是不能化为线性关系。一般用搜索法或迭代运算的非线性优化方法获得参数的最小二乘估计。其中搜索法又分为直接搜索法和格点搜索法，直接搜索法原理很简单，但是只适合参数个数较少且参数的可能取值也很少(或对参数估计的精度要求不高)的情况，而格点搜索法只有当残差平方和存在唯一最小值时才有效；迭代法主要是高斯-牛顿法，适用于不能通过数学变换转化线性模型，但具有连续可微函数性质，可以利用一阶泰勒级数展开强制转化成线性模型的非线性模型；牛顿-拉夫森法可看作是高斯-牛顿法的改进，但牛顿-拉夫森法是直接对最小二乘函数最优化的一阶条件做一阶泰勒级数展开近似。

(3)无法确定变量间非线性关系的数学形式。这类非线性问题通过有理插值法或多元线性逐步回归来求解；本文主要对有理插值法作了详细探讨，其适用于实际中并不满足统计模型中随机误差E(ε)=0及var(ε)=σ2的假定的情形。