一类无约束优化混合共轭梯度法的全局收敛性

翁世有

（苏州市职业大学 数理部 江苏 苏州 215104）

一、引言及参数的算法

针对无约束优化问题

其中：f:Rn→R 是连续可微函数，其梯度函数△f(x)记为g(x)。共扼梯度法的迭代公式如下：

搜索方向要求dk是下降方向的，即

同时，认为搜索方向满足充分下降条件，当且仅当

目前，有许多不同的共轭梯度[1-2]：

其中，‖·‖为欧几里得范数，yk=gk-gk-1。

许多学者针对同样的问题(1)，提出不同的共轭梯度公式，进而得到不同的共轭梯度法。Gilbert 和Noceda[3]， 张 丽[4]提 出 了 一 类 修 正 的Polak-Ribiere-Polyak (PRP) 共轭梯度法，这个梯度法也满足了搜索方向dk为充分下降的性质。韦增欣等[5]提出了一个修正的PRP 共轭梯度法，通常称为Wei-Yao-Liu 共轭梯度法， 满足了Gilbert 和Nocedal 中的性质。本文基于Gilbert 和Nocedal 的混合CG 参数，提出一类新的共轭梯度法，该方法具有很好的收敛性质和速度。

共轭的一种混合参数[6]有如下形式：

为了使参数βk(θk)更有效，给出一种混合参数θk的计算方法。对于一般的非线性函数，由均值定理可知：存在一个常数ξk∈[0，1] 使得

基于该方程和共轭梯度的定义，显然有下面的等式条件成立：

由共轭梯度方法，βk(θk)作为它的参数如(1.6)，根据(1.8)有：

解此方程有得到参数θk：

由此得，混合梯度方法的CG 参数表示为：

二、全局收敛的证明

Wolfe 线搜索，它要求αk满足wolfe 搜索准则：

为证明算法全局收敛，需要如下引理：

引理1[7]设目标函数f(x)下方有界，导数△f(x)满足lipschitz 条件

对xk+1=xk+αkdk，其中dk满足dTkgk＜0，步长因子αk满足wolfe 条件(2.1)和(2.2)，则有：

(2.4)通常称Zoutendijk 条件。

定理1 设目标函数H1：f(x)下方有界；H2：导数满足lipschitz 条件：

步长因子αk满足wolfe 条件(2.1)和(2.2)，则由(1.9)表出的参数βNEWk使得算法满足：

证明：利用反证法，若结论不成立，则存在常数ε＞0 使得

由

及-gTkgk-1＜0，有

由(2.2)

结合dTkgk＜-C‖gk‖2有

再由

两端同时除以(gTkdk)2，

从而

当βk＞0时，有

因此

又

进而

得到，

综上证明，由于(2.15)和(2.20)与Zoutendijk 条件相矛盾，故得证即新参数βNEWk的共轭梯度法在wolfe 条件下全局收敛。

三、数值检验

系统环境win7 旗舰版32 位，处理器Intel(R)Pentium(R)；CPU G645 @ 2.90GHz；安 装 内 存4GB。运用MATLAB，实现以下函数的共轭梯度求最小值。详情函数如下：

统一σ=0.35，δ=0.9，α0=1

从表1 中5 个函数分别在PRP 参数，DY 参数和新的参数下的共轭梯度法的迭代次数和运行时间可以看出，运行时间相对减少，迭代次数相对降低，由此，本论文提出的混合型非线性共轭梯度法具有良好的计算效果，并且收敛速度快。

表1 各函数在不同参数共轭梯度下的迭代次数和CPUtime