一种具有充分下降性的修正DL型谱共轭梯度法

摘 要： 提出了一种大规模无约束优化问题的求解方法，通过修正Dai-Liao（DL）共轭梯度法的共轭参数和谱共轭梯度法的谱参数，构造了一种修正DL型谱共轭梯度法。所选取的谱参数使得每次迭代都自动产生一个不依赖于任何线搜索的下降方向；在常规假设下，利用强Wolfe线搜索证明了此方法对一致凸函数是全局收敛的。

关键词： 无约束优化；强Wolfe线搜索；谱共轭梯度法；谱参数；全局收敛

中图分类号： O221.2 文献标志码： A 文章编号： 1673-3851 （2023） 03-0279-06

引文格式：李亚敏.一种具有充分下降性的修正DL型谱共轭梯度法［J］. 浙江理工大学学报（自然科学），2023，49（2）：279-284.

Reference Format： LI Yamin. A modified DL-type spectral conjugate gradient method with sufficiently descent property［J］. Journal of Zhejiang Sci-Tech University，2023，49（2）：279-284.

A modified DL-type spectral conjugate gradient method with sufficiently descent property

LI Yamin

（School of Economics， Technology & Media University of Henan Kaifeng， Kaifeng 475001， China）

Abstract：  A method for solving large-scale unconstrained optimization problems is proposed. By modifying the conjugate parameter of the Dai-Liao （DL） conjugate gradient method and the spectral parameter of the spectral conjugate gradient method， a modified DL-type spectral conjugate gradient method is constructed. The spectral parameter is selected so that each iteration automatically generates a descent direction that does not depend on any line search. Under conventional assumptions， it is proved that this method is globally convergent for uniformly convex functions by using strong Wolfe line search.

Key words： unconstrained optimization; strong Wolfe line search; spectral conjugate gradient method; spectral parameter; global convergence

0 引 言

共軛梯度法（Conjugate gradient method， CGM）的迭代格式简单，在计算时仅需要目标函数值和梯度函数值，无需计算二阶导数值，储存需求低，是求解无约束优化问题（1）的常用迭代方法之一：

3 结 论

本文在DL法和谱共轭梯度法的基础上，把DL法的共轭参数βDLk的第一项gTkyk-1dTk-1yk-1修正为gTk（gk-gk-1）‖dk-1‖2，得到了共轭参数βDL-Rk=gTk（gk-gk-1）‖dk-1‖2-tgTksk-1dTk-1（gk-gk-1），修正谱参数为θk=1+βDL-RkgTkdk-1‖gk‖2，使得搜索方向dk不依赖于任何线搜索都充分下降，进而得到了一种求解大规模无约束优化问题的修正DL型谱共轭梯度法；并在强Wolfe线搜索下证明了该方法对一致凸函数是全局收敛的。

参考文献：

［1］Fletcher R， Reeves C M. Function minimization by conjugate gradients［J］. The Computer Journal， 1964， 7（2）： 149-154.

［2］Polak E， Ribiere G. Note sur la convergence de mthodes de directions conjugues［J］. Revue Franaise d'Informatique et De Recherche Oprationnelle Srie Rouge， 1969， 3（16）： 35-43.

［3］Polyak B T. The conjugate gradient method in extremal problems［J］. USSR Computational Mathematics and Mathematical Physics， 1969， 9（4）： 94-112.

［4］Hestenes M R， Stiefel E. Methods of conjugate gradients for solving linear systems［J］. Journal of Research of the National Bureau of Standards， 1952， 49（6）： 409-436.

［5］Dai Y H， Yuan Y. A nonlinear conjugate gradient method with a strong global convergence property［J］. SIAM Journal on Optimization， 1999， 10（1）： 177-182.

［6］Liu Y， Storey C. Efficient generalized conjugate gradient algorithms， part 1： Theory［J］. Journal of Optimization Theory and Applications， 1991， 69（1）：129-137.

［7］Fletcher R. Practical Methods of Optimization， Vol 1： Unconstrained Optimization［M］. New York： John Wiley & Sons，1987：80-92.

［8］李丹丹，李远飞，王松华.一种修正三项Hestenes-Stiefel共轭梯度投影算法及其应用［J］.吉林大学学报（理学版），2022，60（1）：64-72.

［9］Jiang X Z， Liao W， Yin J H， et al. A new family of hybrid three-term conjugate gradient methods with applications in image restoration［J］. Numerical Algorithms， 2022， 91（1）：161-191.

［10］Waziri M Y， Ahmed K， Halilu A S. A modified PRP-type conjugate gradient projection algorithm for solving large-scale monotone nonlinear equations with convex constraint［J］. Journal of Computational and Applied Mathematics， 2022，407：114035.

［11］Lotfi M， Hosseini S M. An efficient Dai-Liao type conjugate gradient method by reformulating the CG parameter in the search direction equation［J］. Journal of Computational and Applied Mathematics， 2020， 371：112708.

［12］Mtagulwa P， Kaelo P. An efficient modified PRP-FR hybrid conjugate gradient method for solving unconstrained optimization problems［J］. Applied Numerical Mathematics， 2019， 145：111-120.

［13］Dai Y H， Liao L Z. New conjugacy conditions and related nonlinear conjugate gradient methods［J］. Applied Mathematics and Optimization，2001，43（1）：87-101.

［14］Hager W， Zhang H C.A new conjugate gradient method with guaranteed descent and an efficient line search［J］. SIAM Journal on Optimization， 2005，16：170-192.

［15］段复建，杨冲，李向利. 一个自适应Dai-Liao共轭梯度法［J］. 应用数学， 2022，35（2）：336-342.

［16］Rivaie M， Mamat M， June L W，et al. A new class of nonlinear conjugate gradient coefficients with global convergence properties［J］. Applied Mathematics and Computation， 2012， 218（22）： 11323-11332.

［17］Birgin E G， Martínez J M. A spectral conjugate gradient method for unconstrained optimization［J］. Applied Mathematics and Optimization， 2001， 43（2）： 117-128.

［18］Awwal A M， Kumam P， Abubakar A B. Spectral modified Polak-Ribire-Polyak projection conjugate gradient method for solving monotone systems of nonlinear equations［J］. Applied Mathematics and Computation， 2019， 362：124514.

［19］Koorapetse M， Kaelo P， Lekoko S， et al. A derivative-free RMIL conjugate gradient projection method for convex constrained nonlinear monotone equations with applications in compressive sensing［J］. Applied Numerical Mathematics，2021，165：431-441.

［20］Fang X W. A class of new derivative-free gradient type methods for large-scale nonlinear systems of monotone equations［J］. Journal of Inequalities and Applications， 2020， 2020： 93.

［21］Liu H， Yao Y， Qian X Y， et al.Some nonlinear conjugate gradient methods based on spectral scaling secant equations［J］. Computational and Applied Mathematics，2016，35（2）：639-651.

［22］高立. 數值最优化方法［M］. 北京：北京大学出版社，2014：107-108.

（责任编辑：康 锋）

收稿日期： 2022-08-01网络出版日期：2022-11-01网络出版日期

作者简介： 李亚敏（1992- ），女，河南开封人，助教，硕士，主要从事优化理论方面的研究。