牛顿法与最速下降法在自适应信号处理中的应用

操童

摘 要：在自适应信号处理的系统中，我们对性能表面十分感兴趣。微电子技术的飞速发展，容量大、体积小、性能可靠的信号处理器已经出现，包括自适应信号处理在内的各种类的信号处理技术，得到越来越广泛的应用。牛顿法和最速下降法是我们熟知的两种性能表面搜索法，最速下降法不同于牛顿法，没一步权的调整都是在梯度的方向上。在工程应用中，牛顿法很难实现，但其数学意义十分重要，在工程中已经实现了最速下降法，且这种方法已被证实具有广泛的实际应用价值。该文重点介绍了应用牛顿法和最速下降法在自适应信号的性能表面寻找最小点，并对两种方法的收敛性进行比较。

关键词：性能表面 牛顿法 最速下降法 收敛性

中图分类号：G64 文献标识码：A 文章编号：1674-098X（2015）01（c）-0084-02

1 自适应系统

自适应系统是近年来一个蓬勃发展的研究领域，先已研究出一大类受制于某种条件的，近似有生物适应过程和生命系统的自适应自动机。现如今，由于微电子技术的飞速发展，已经可以设计并制造出容量大、体积小、性能可靠的信号处理器，包括自适应信号处理在内的各种类的信号处理技术，得到越来越广泛的应用。

自适应系统最基本、最主要的性质是它的时变，自调整性能。自适应系统必须是时变、非线性系统，特别是其特性与其输入信号有关。如果输入加在自适应系统上，自适应系统将适应于这个输入并产生相应的输出。如果再加上另一个输入信号，系统又将去适应第二个信号并再产生一个输出。一般来说，这个自适应系统针对两个不同的输入的形态或结构的调整时不同的。如果两个输入的和加在自适应系统上，系统将适应这个新的输入，而且产生一个新的输出，这个输出一般不同于+，输出的和取决于输入值和。对于线性系统所满足的叠加原理一般不再成立。

自适应系统在非线性系统中没有明确的归类。不过，其两个方面的特征，可以将它与别的形式的非线性系统有所区分。其一，自适应系统能进行调整，且有限长度信号的时间平均特性通常与它们的调整相关，因此不是由信号或者是内部系统状态的瞬时值决定的。其二，自适应系统是进行有目的的调整的，通常是对某个确定的性能测度进行优化。

当结束适应过程，不在进行自适应调整时，其中有一类自适应系统变成线性系统，被称为“线性自适应系统”。这一类的自适应系统方便数学处理，也很有用，而且与其他形式的自适应系统相比，其设计比较容易。

在自适应信号处理中，性能表面的一个重要特征是，如果信号时平稳的，并具有不变的统计特性，则性能表面额形状将保持不变，并在它的坐标系统只保持固定。在这种情况下，自适应过程由下列步骤所组成：从性能表面上的某个点很出发，向下运动至最小点附近，最后停在那儿。

另一方面，若信号时非平稳的并且具有缓慢变化的统计特性，这种情况下，我们可以认为性能表面是“模糊”的或“起伏”的，或在其所处坐标系统中移动。这样，自适应进行过程中，不但要向下运动到最小点，还要在性能表面发生移动时，对其最小点进行跟踪。

2 牛顿法

牛顿法和最速下降法是我们熟知的两种性能表面搜索法。这些方法都需要用梯度估值，以指明性能表面最小值所在的方向。这类方法特别适用于二次型性能表面。该章将着重介绍牛顿法。

尽管在实际应用中很难用到牛顿法，不过其数学意义却非常重要，它是一种梯度搜索法。该方法在搜索过程中使权向量的所有分量每一步都在改变。并且，只要是二次型的性能表面，则总是在指向性能表面最小点的方向上发生改变。

寻找是问题关键，也就是说要使均方误差最小则需要调整权。由于对性能表面不是很清楚，所以能从任意初值出发。同时对曲线在此点的斜率进行测量，选出新值，使其等于初值加上一个正比于斜率负值的增量。同样，通过测量在的斜率再用同样的方法导出下一个新值。重复此过程，直至找到最佳权。在离散间隔，，…，对性能曲线的斜率进行测量得到的值叫“梯度估值”。

时，单变量梯度搜索过程是临界阻尼的。（为梯度搜索算法收敛率）在这种情况下，对二次型性能函数仅一步就收敛。由于它在初等微积分学中求多项式根的方法有关，故称为牛顿法。现讨论这种方法对单权函數的应用。

当性能表面为二次型，并对所有的值都已知的单变量情况，牛顿法使用起来时简单的。

3 最速下降法

与牛顿法不同的是，最速下降法每一步权都是在梯度的方向上来调整的。对于一个想通过最少的迭代次数来实现性能表面搜索的数值分析者而言，收敛一步完成则是令人满意的事情。不过，对自适应系统设计者来说，这有点太快了。分析数值时，一般是给定了所要搜索的函数，然而许多自适应系统在实际应用时，性能表面是不可知的，必须对数据进行随机输入来估计或者测量。因此，最速下降法有了广泛的应用。

4 结语

在工程应用中，牛顿法很难实现，但其数学意义十分重要。目前，在工程中已实现最速下降法，而且这种方法被证实是具有广泛实际应用价值的。此方法权向量总是在性能表面的负梯度方向上改变。原因是，只有在权向量坐标位于性能表面的主轴上时，梯度的负方向才指向最小点。

参考文献

[1] Bernard Widrow，Samuel D.Stearns 著；王永德，龙宪惠 译.自适应信号处理[M].北京：机械工业出版社，2008.

[2] 袁亚湘，孙文瑜.最优化理论与方法[M].北京：科学出版社，1997.

[3] 最优化方法讲义.