MCP正则组稀疏问题的稳定点分析
2020-07-28 17:04唐琦彭定涛
贵州大学学报（自然科学版） 2020年4期
唐琦 彭定涛
摘 要：本文考慮无约束组稀疏回归问题，其损失函数为凸函数，正则项为MCP（minimax concave penalty），主要刻画该问题的两类稳定点。首先，给出d-稳定点以及critical点的具体刻画，并且证明了这两类稳定点的关系;其次，分析d-稳定点与问题局部解的关系;最后，证明了该模型的下界性质。
关键词：组稀疏问题;MCP正则;d-稳定点;critical点;下界性质
中图分类号：O224 文献标识码： A
参考文献：
[1]YUAN M， LIN Y. Model selection and estimation in regression with groupedvariables[J]. Journal of the Royal Statistical Society， 2006， 68（1）： 49-67.
[2]HU Y H， LI C， MENG K W， et al. Group sparse optimization via p， q regularization[J]. Journal of Machine Learning Research， 2017， 18（1）： 960-1011.
[3]JIAO Y L， JIN B T， LU X L. Groupsparse recovery via the 02 penalty： theory and algorithm[J]. IEEE Transactions on Signal Processing， 2016， 65（4）： 998-1012.
[4]FAN J Q， LI R Z. Variable selection via nonconcave penalized likelihood and its oracle properties[J]. Journal of the American Statistical Association， 2001， 96（456）： 1348-1360.
[5]GRAMFORT A， KOWALSKI M. Improving M/EEG source localization with an inter-condition sparse prior[J]. IEEE International Symposium on Biomedical Imaging（ISBI）， 2009： 141-144.
[6]HUANG J Z， ZHANG T. The benefit of groupsparsity[J]. Annals of Statistics， 2010， 38（4）： 1978-2004.
[7]BIAN W， CHEN X J. Optimality and complexity for constrained optimization problems withnonconvex regularization[J]. Mathematics of Operations Research， 2017， 42（4）： 1063-1084.
[8]HUANG J， BREHENY P， MA S G. A selective review of group selection inhigh-dimensional models[J]. Statistical Science， 2012， 27（4）： 481-499.
[9]LIU H C， YAO T， LI R Z， et al. Folded concave penalized sparse linear regression： sparsity， statistical performance， and algorithmic theory for local solution[J]. Mathematical Programming， 2017， 166（1-2）： 207-240.
[10]AHN M， PANG J S， XIN J. Difference-of-convex learning： directional stationarity， optimality， and sparsity[J]. SIAM Journal on optimization， 2017， 27（3）：1637-1665.
[11]PENG D T， CHEN X J. Computation of second-order directional stationary points for group sparse optimization[J]. Optimization Methods and Software， 2020， 35（2）：1978-2004.
[12]ROCKAFELLAR R T， WETS R J B. Variational Analysis[M]. Berlin：Springer， 1998.
[13]ROCKAFELLAR R T. Convexanalysis[M]. Princeton：Princeton University Press， 1970.
[14]CLARKE F H. Optimization andnonsmooth analysis[M]. New York： SIAM， 1990.
[15]BIAN W， CHEN X J. A smoothing proximal gradient algorithmfor nonsmooth convex regression with cardinality penalty[J]. SIAM Journal on Numerical Analysis， 2020， 58（1）： 858-883.
[16]GONG P H， ZHANG C S， LU Z S， et al. A general iterative shrinkage andthresholding algorithm for nonconvex regularized optimization problems[J]. Proceedings of the 30th International Conference on Machine Learning， 2013， 28： 37-45.
[17]AN L T H， TAO P D， MINH L H， et al. DC approximation approaches for sparse optimization[J]. European Journal of Operational Research， 2015， 244： 26-46.
（責任编辑：曾 晶）
Analysis of Stationary Points for Group Sparse Problems
with the Minimax Concave Penalty
TANG Qi， PENG Dingtao*
（School of Mathematics and Statistics， Guizhou University， Guiyang 550025， China）
Abstract：
In this paper， we focus on the group sparse problem， where the loss function is convex， and the penalty term is defined by the minimax concave penalty. We discuss two kinds of stationary points of the problem. First， we provide concrete description for the d-stationary point and the critical point of the nonconvex regular group sparse problem， and analyze the relation of d-stationary point with critical point. Furthermore， we show that a point is a local minimizer of the relaxation problem， then it is a d-stationary point. Whats more， we obtain the lower bound property of the problem.
Key words：
group sparse problem;MCP;d-stationary point;critical point;lower bound property
收稿日期：2020-01-08
基金项目：国家自然科学基金资助项目（11861020）;贵州省高层次留学人才创新创业择优资助重点项目（[2018]03）;贵州省科技计划资助项目（[2018]5781）;贵州省青年科技人才成长资助项目（[2018]121）
作者简介：唐 琦（1996-），女，在读硕士，研究方向：稀疏优化，Email： qqtang77@163.com.
通讯作者：彭定涛，Email：dingtaopeng@126.com.
