两种观点下最小二乘解的统一性

两种观点下最小二乘解的统一性

柳彦军

(重庆第二师范学院 数学与信息工程系，重庆 400065)

摘要：通过对比偏导数及向量两种观点下最小二乘解的求法，得出两种观点下最小二乘解的求解方法本质上是统一的。

关键词：偏导数；向量；最小二乘解

收稿日期：2015-03-14

基金项目：重庆市教委科研项目(KJ1501407),重庆第二师范学院教改项目(JG2015219)

作者简介：柳彦军(1988-)，甘肃庄浪人，助教，研究方向：非线性分析与偏微分方程。

中图分类号：O172

文献标识码：A

文章编号：1008-6390(2015)05-0153-02

一、问题提出

插值法虽然在一定程度上可以解决根据函数表求函数的近似表达式问题，但同时亦存在着明显的缺陷。首先，因为由实验提供的数据往往带有测试误差，个别数据的误差还可能很大，如果要求近似曲线严格地经过所有数据点，就会使曲线保留着这些误差，从而失去原数据表示的规律；同时，实验数据又往往很多，用插值法得到的近似表达式，明显地缺乏实用价值，而最小二乘法是解决此类问题的一个常用方法。

设实系数线性方程

(1)

无解，即无论x1，x2，…，xs取哪一组实数值，s元函数

(2)

的值都大于零，这样的方程组称为矛盾方程组(或称超定方程组)。我们设法找c1，c2，…，cs，使当x1=c1，x2=c2，…，xs=cs时，(2)式的值最小，这样的c1，c2，…，cs称为矛盾方程组(1)的最小二乘解。这种问题就是一个常见的最小二乘法问题。

二、偏导数观点下矛盾方程组的最小二乘解求法

要使Q取得极小值，则

从而极值条件变为

(3)

具有s个未知量s个方程式的线性方程组(3)称为对应于矛盾方程组(1)的法方程组(也叫正规方程组)。

记A=(aij)n×s

X=(x1，x2，…，xs)T

B=(b1，b2，…，bs)T

则(3)式等价于

ATAX=ATB

即ATAX=ATB就是最小二乘解所满足的线性方程组。

三、向量观点下最小二乘解的求法

为了解决最小二乘法问题，我们需要讨论向量到子空间的距离这一问题。

设W是欧式空间V的一个子空间，它是由向量α1，α2，…，αs生成的，即W=(α1，α2，…，αs)。易知α正交于W的充分必要条件是α正交于每个αi(i=1，2，…，s)。

定理设W是有限维欧式空间V的一个子空间，α是V中一个向量，再设β是W中使α-β正交于W的一个向量，则对W中任一向量γ，都有

|α-β|≤|α-γ|

证先把α-γ分解成两个向量的和

α-γ=(α-β)+(β-γ)

因为W是一个子空间，所以由β∈W，γ∈W知，β-γ∈W。

由于α-β正交于W，所以α-β正交于β-γ，所以

|α-γ|2=|α-β|2+|β-γ|2

因此

|α-β|≤|α-γ|

证毕。

由于α可表成

α=β+(α-β)

其中β∈W, α-β∈W⊥,因此β就是α在子空间W上的内射影。由此可知，一个向量α到子空间W中各向量间的距离以α到α在W上的内射影β之间的距离最短。

现在利用这个事实讨论最小二乘法，并且给出最小二乘解满足的代数条件。

令

A=(aij)n×s

X=(x1，x2，…，xs)T

B=(b1，b2，…，bs)T，

则线性方程组(1)可写成

AX=B

再令A的列向量依次为α1，α2，…，αs，并设

W=(α1，α2，…，αs)，

显然W是Rn的子空间，B∈Rn。B与W中的向量k1α1+k2α2+…+ksαs间的距离的平方为

|B-(k1α1+k2α2+…+ksαs)|2

它就是当x1=k1，x2=k2，…，xs=ks时(2)的值。最小二乘法问题就是要找实数c1，c2，…，cs，使B与

c1α1+c2α2+…+csαs间的距离比B与W中其它向量间的距离都短。这意味着c1α1+c2α2+…+csαs是B在W上的内射影，即

B-(k1α1+k2α2+…+ksαs)⊥W

亦即内积

〈B-(c1α1+c2α2+…+csαs),αi〉=0，i=1，2，…，s

令C=(c1，c2，…，cs)T，上式等价于

〈B-AC,αi〉=0，i=1，2，…，s

根据内积的性质，有

〈B,αi〉=〈AC,αi〉，i=1，2，…，s

即

αiTB=αiTAC,i=1，2，…，s

上式又等价于

ATB=ATAC

也就是说，C是线性方程组

ATAX=ATB

(4)

的解向量。

反之，当(c1，c2，…，cs)是线性方程组(4)的(实)解向量时，上述过程倒推回去，可知B与c1α1+c2α2+…+csαs间的距离比B与W中其他向量间的距离都短，亦即当x1=c1，x2=c2，…，xs=cs时，(2)取得最小值。

因此(3)就是最小二乘解所满足的线性方程组，它的系数矩阵是ATA，常数项是ATB。

由此可见，上述偏导数观点下和向量观点下最小二乘解所满足的线性方程组是同一个方程组。因此，两种观点下最小二乘解的求解方法本质上是一样的。

参考文献：

[1]李信真,车刚明,欧阳洁,等.计算方法[M].西安:西北工业大学出版社,2000.

[2]杨万利,牛庆银,董玉才,等.数值分析教程[M].北京:国防工业出版社,2002.

[3]肖筱南,赵来军,党林立.现代数值计算方法[M].北京:北京大学出版社,2003.

[4]华东师范大学数学系.数学分析[M].北京:高等教育出版社,2007.

[5]刘仲奎,杨永保,程辉,等.高等代数[M].北京:高等教育出版社,2003.

[6]王萼芳,石生明.高等代数[M].北京:高等教育出版社,2003.

[7]程其襄,张殿宙,魏国强.实变函数与泛函分析基础[M].北京:高等教育出版社,2003.

[8]李庆扬,关治,白峰杉.数值计算原理[M].北京:清华大学出版社,2000.

[责任编辑王南山]