基于二次光滑上界函数的MM算法研究

本文通过待定系数法构造了基于二次光滑上界函数的MM算法，并将此算法应用于求单变量目标函数的最小值。相对于牛顿法，新算法的适用范围更广，能避免矩阵求逆运算，缩短计算时间。

1.简介

在统计学领域，经常涉及到求函数最小值的问题。有时候，这类问题可以从数学分析的角度得到精确的解，但大多数情形，只能通过数值分析，运用计算机得到近似解。

本文介绍一种在凸集中应用的优化方法，称之为MM算法。MM算法的一般原理是由数字分析员Ortega和Rheinboldt在1970年的文章中提出的[1]。90年代后期，MM算法引起了统计界的关注。

2.基于二次光滑上界函数的MM算法

2.1. MM算法

MM算法基本思想是用容易求极值的上界函数将一个复杂的目标函数简单化，通过求解简单的目标函数得到近似解。对于下列问题

从MM算法与牛顿法的图像来看，两种算法有相同之处，都是用易于求解的上界函数来逼近目标函数，但两者也存在不同之处。MM算法强调全局上界，要求所有的上界函数的图像都必须在目标函数的图像上方。而牛顿法只强调局部上界，只要 的图像在 附近的区域内位于目标函数的图像上方即可。

3.牛顿法和MM算法的适用范围

MM算法通过构造上界函数，可避免矩阵求逆，从而提高计算速度。MM算法的困难在于上界函数的构造，本文通过待定系数法构造了基于二次光滑的上界函数，用于求单变量目标函数的最小值。

从牛顿法的迭代公式可以看出，目标函数至少要二阶连续可微。如例1中的极值问题，就不能用牛顿法来求解。由于牛顿法需要求函数的梯度，如果目标函数很复杂（函数求导很麻烦）时，求梯度及海瑟矩阵会比较困难，这时牛顿法不是好的选择。

4.结论

MM算法优点在于适用范围较广，能避免矩阵求逆运算，缩短计算时间；牛顿法优点在于收敛速度快，缺点是需要进行矩阵求逆运算。处理具体问题时，可以综合他们的优点，扬长避短，利用MM算法适用范围广的特点，构造上界函数，在上界函数中用牛顿法加速，提高计算速度，这不失为一种好的策略。

（作者单位：长春工业大学基础科学学院）