一种求解非线性方程组的修正Levenberg-Marquardt算法

韩扬　芮绍平

摘要：通過修改Levenberg-Marquardt （LM）参数，结合信赖域方法给出一种新的求解方程组的LM算法。在局部误差界条件下，证明了该算法具有局部快速收敛性。数值实验结果表明，此算法稳定、有效。

关键词：Levenberg-Marquardt算法；方程组；LM参数；局部快速收敛性

中图分类号：O221.1 文献标志码：A

从表1中的数值实验结果可以看出，ALLM算法相对稳定，对于大部分测试的实验结果，ALLM算法的计算时间小于AELM算法的计算时间，并且当选取的初始点远离解集时，算例3在参数θ=05及δ=2、算例5在参数θ=05及δ=15，2和算例9在参数θ=05及δ=1，15，2时，ALLM算法的计算量和计算时间均小于AELM算法。

4 结论

本文结合信赖域方法提出了一种求解非线性方程组的修正的LM算法（ALLM算法），在不必假设雅可比矩阵非奇异的局部误差界条件下，证明了该算法具有局部快速收敛性。可根据实际应用的需要，通过改变θ和δ值以优化λk的选取，数值实验结果表明，ALLM算法稳定有效。然而雅可比矩阵的计算量和收敛速度还需继续改善，如何节约雅可比矩阵的计算量和提升收敛速度是今后有待解决的问题。

参考文献

［1］LEONOV E A，POLBIN A V. Numerical search for a global solution in a two-mode economy model with an exhaustible resource of hydrocarbons［J］. Mathematical Models an Computer Simulations，2022，14（2）： 213-223.

［2］NOROUZI N，FANI M，TALEBI S. Green tax as a path to greener economy： A game theory approach on energy and final goods in Iran［J］. Renewable and Sustainable Energy Reviews，2022，156：111968.

［3］VU D T S，BEN GHARBIA I，HADDOU M，et al. A new approach for solving nonlinear algebraic systems with complementarity conditions. Application to compositional multiphase equilibrium problems［J］. Mathematics and Computers in Simulation，2021，190：1243-1274.

［4］LUO X L，XIAO H，L J H. Continuation Newton methods with the residual trust-region time-stepping scheme for nonlinear equations［J］. Numerical Algorithms，2022，89（1）：223-247.

［5］WAZIRI M Y，AHMED K. Two descent Dai-Yuan conjugate gradient methods for systems of monotone nonlinear equations［J］. Journal of Scientific Computing，2022，90（1）：36.

［6］PES F，RODRIGUEZ G. A doubly relaxed minimal-norm Gauss-Newton method for underdetermined nonlinear least-squares problems［J］. Applied Numerical Mathematics，2022，171：233-248.

［7］LEVENBERG K. A method for the solution of certain non-linear problems in least squares［J］. Quarterly of Applied Mathematics，1944，2（2）：164-168.

［8］MARQUARDT D W. An algorithm for least-squares estimation of nonlinear parameters［J］ Journal of the Society for Industrial and Applied Mathematics，1963，11（2）：431-441.

［9］YAMASHITA N，FUKUSHIMA M. On the rate of convergence of the Levenberg-Marquardt method［J］. Computing，2001，15：239-249.

［10］ FAN J Y，YUAN Y X. On the convergence of a new Levenberg-Marquardt method＼[DB/OL＼]. ＼[2022-09-09＼]. https：//citeseerx.ist.psu.edu/document？repid=rep1&type=pdf&doi=dc7c189e9fdec273b26f3abcc292ee81d237c301.

［11］ FISCHER A. Local behavior of an iterative framework for generalized equations with nonisolated solutions［J］. Mathematical Programming，2002，94（1）：91-124.

［12］ MA C F，JIANG L H. Some research on Levenberg-Marquardt method for the nonlinear equations［J］. Applied Mathematics and Computation，2007，184（2）：1032-1040.

［13］ FAN J Y. A modified Levenberg-Marquardt algorithm for singular system of nonlinear equations［J］. Journal of Computational Mathematics，2003，21（5）：625-636.

［14］ AMINI K，ROSTAMI F，CARISYI G. An efficient Levenberg-Marquardt method with a new LM parameter for systems of nonlinear equations［J］. Optimization，2018，67（5）： 637-650.

［15］ AHOOKHOSH M，AMINI K. A nonmonotone trust region method with adaptive radius for unconstrained optimization problems［J］. Computers & Mathematics with Applications，2010，60（3）： 411-422.

［16］ AHOOKHOSH M，AMINI K. An efficient nonmonotone trust-region method for unconstrained optimization［J］. Numerical Algorithms，2012，59（4）：523-540.

［17］ WANG P，ZHU D T. A derivative-free affine scaling trust region methods based on probabilistic models with new nonmonotone line search technique for linear inequality constrained minimization without strict complementarity［J］. International Journal of Computer Mathematics，2019，96（4）：663-691.

［18］ STEWART G W，SUN J G. Matrix perturbation theory［M］. Boston：Academic Press，1990.

［19］ MORE J J，GARBOW B S，HILLSTROM K E. Testing unconstrained optimization software［J］. ACM Transactions on Mathematical Software （TOMS），1981，7（1）：17-41.

［20］ SCHNABEL R B，FRANK P D. Tensor methods for nonlinear equations［J］. SIAM Journal on Numerical Analysis，1984，21（5）：815-843.

Modified Levenberg-Marquardt Algorithm for Solving Systems of Nonlinear Equations

HAN Yang，RUI Shao-ping

（School of Mathematical Sciences， Huaibei Normal University， Huaibei 235000， China）

Abstract： A new modified Levenberg-Marquardt （LM） algorithm for solving systems of equations was presented by modifying Levenberg-Marquardt （LM） parameters and combining trust region method. Under the local error bound condition， it was proved that the algorithm has local fast convergence. Numerical results show that this algorithm is stable and effective.

Keywords： Levenberg-Marquardt algorithm； systems of equations； LM parameter； local fast convergence

收稿日期：2022-09-24

基金項目：安徽省高等学校自然科学研究项目（批准号：KJ2020A0024）资助；淮北师范大学实验室开放项目（批准号：2022sykf016）资助。

通信作者：芮绍平，男，博士，教授，主要研究方向为最优化理论与算法。E-mail：rsp9999@163.com