浅谈提升凸优化教学效果的策略

董巧丽

【摘要】凸优化是一门有很多抽象概念性质的数学理论性极强的课程，也是很多学校计算数学专业研究生的学科专业课.为使计算数学专业研究生掌握凸优化的基本理论与方法并快速参与科研，笔者结合近几年的教学认识和实践，根据凸优化的课程特点从五个方面给出了提升凸优化教学效果的策略，旨在优化凸优化课程的教学内容，提升教学效果.

【关键词】凸优化；教学效果；极大单调算子；迭代算法

凸优化是指目标函数和约束为凸函数或凸集合的优化问题，它在很多学科领域有广泛的应用，譬如自动控制系统、信号处理、通讯和网络、电子电路设计、数据分析和建模、统计学（最优化设计）、金融和机器学习.许多优化问题都可以转化成凸优化（凸最小化）问题.凸优化问题有三方面的优势：凸优化问题的局部最优解就是全局最优解；很多非凸问题都可以被等价转化为凸优化问题或者被近似为凸优化问题（例如压缩感知问题）；凸优化问题的研究较为成熟，当一个具体问题被归为一个凸优化问题，基本可以确定该问题是可被求解的，因此凸优化问题一直是优化领域的研究重点.基于一阶优化条件（即费马引理），易于设计求解凸优化问题的迭代算法，而利用非线性分析工具可以容易地分析方法的收敛性.

目前，国内外很多高校的计算数学专业开设凸优化课程，目的是使计算数学专业的研究生掌握凸优化的基本理论、算法构造和收敛分析技巧.学生学完凸优化课程后将了解凸优化的重要概念性质，掌握构造基本迭代算法及分析算法收敛性的技巧，可以无障碍地阅读凸优化理论与算法方面的论文，了解凸优化研究的学术前沿动态.凸优化因为其内容具有抽象性、复杂性、严密性，难学也难教，而计算数学专业的研究生如果没有学好凸优化，没有开好头，后继参与科研也会受到很大影响.为了更好地提升凸优化的教学效果，下面笔者将从五个方面出发详细介绍提升教学效果的建议.

一、充分利用现代教育技术，提升教学效果

在课堂中使用现代教育技术有利于课堂教学结构、课堂思维训练、课堂操作形态等方面教与学的优化.首先，凸分析不仅知识点繁多而且概念抽象，比如，在讲解上方图、极大单调算子、共轭函数以及次微分等抽象概念时，若教师仅仅是从语言的角度讲解，学生很难理解这些抽象定义，但是若教师利用信息技术向学生展示这些概念的几何直观图，学生就会很快理解这一抽象概念并深刻记忆.其次，凸分析中许多定义、命题、定理和推论都较为冗长，譬如教材[9]中的定理18.15有9条结论，命题26.1有一页书的内容.若将其誊写在黑板上，不仅会浪費大量时间，而且在这个过程中学生会走神、说话，最后在一定程度上影响教学质量.而以信息技术呈现既方便教师讲解，也方便学生学习.最后，凸分析中很多重要的知识，也需要信息技术结合板书形式的教学.比如在讲解邻近算子时，教师将邻近算子的定义以及相关结论通过信息技术展示，随后将重要的分析和推导过程通过板书的形式给学生细讲、慢讲，让学生真正明白结论的由来.考虑到凸优化课程具有内容较多但课时有限的特点，为达到开设此课程的目的，教师需要精选一些内容（比如最新论文），通过线上方式分享给学生，扩展学生的知识视野，让学生尽可能地了解学术前沿动态.

二、注重新旧知识的衔接，培养学生逻辑思维

凸优化的前续课程是迭代分析，学生在迭代分析课程学习中已掌握了非线性算子的基本概念性质、不动点问题、迭代算法的分析基础和一些重要引理，尤其是非扩张算子不动点问题的Krasnosel？Skii-Mann迭代算法、Halpern迭代算法和粘滞迭代算法等经典迭代方法和收敛分析，掌握了一些证明技巧.迭代分析也简单介绍了凸优化问题、单调包含问题和线性方程组的迭代算法和收敛结果.凸优化课程首先讲解凸函数、（次）微分算子、共轭函数、邻近算子、（极大）单调算子和预解式的定义性质以及费马引理，然后基于这些概念性质说明（分裂）单调包含问题、变分不等式问题、鞍点问题和（结构型或约束）优化问题等问题与非扩张算子不动点问题的关系，进而着重介绍Krasnosel？Skii-Mann迭代算法与邻近算法、Douglas-Rachford分裂方法、Peaceman-Rachford分裂方法、向前向后分裂算法等算法的等价性.在进行算法的收敛性分析时和学生回忆迭代分析课程中学到的相关基础知识和证明技巧，并说明方法之间的区别，比如讲解凸优化问题的邻近算法时，介绍利用次微分算子和预解式分析收敛性时得到的结果不同，前者更好.这样不仅可以巩固学生的旧知识，也能进一步建立起新旧知识之间的联系，加强学生对知识点的掌握，同时有利于学生牢固掌握非线性分析和凸优化的基本理论与分析方法，建立完备的知识体系.

三、丰富课程内容，开阔学生视野

凸优化和后续科研衔接紧密，为了尽快进入科研状态，计算数学专业研究生不仅需要掌握凸分析教材的内容，而且需要扩大专业知识面，了解学术前沿动态.为此，教师不仅要将课程所用教材中的重点知识点着重讲解，还需要将有联系的知识在课堂上展示给学生.比如在讲述可微函数的凸性与梯度的单调性之间的关系时，教师可为学生介绍函数满足凸性及其梯度Lipschitz连续条件下的一些等价结论，通过这些结论，让学生更好地体会不同条件下结论的差异性.教师可将学术前沿动态融入课堂.比如在给学生讲解梯度下降算法、邻近算法、Douglas-Rachford分裂等算法时，提及方差缩减的随机梯度下降算法、随机邻近交替线性极小化算法、随机Douglas-Rachford分裂算法等近十年的热点算法，说明这些算法在解决大规模问题时的优势以及在机器学习中的广泛应用；在讲述结构单调包含问题和结构凸优化问题的算子分裂方法时，介绍向后向前分裂方法、Davis-Yin分裂方法、向前—向后—半向前分裂方法、向前-反射向后分裂算法等方法，说明这些算法之间的关系，让学生了解分裂算法的最新进展；在讲解邻近算法时，说明增广拉格朗日方法、原始对偶混合梯度算法、线性交替方向乘子法和Douglas-Rachford分裂等算法都可以看作邻近算法，并给出推导，以加深学生对这些关系的印象.最后，为使课程内容更丰富，教师可以在班级微信群里面发送相关综述类论文及学术报告视频，满足学生的求知欲.总结过去的教学经验，笔者发现丰富的课程内容可以使学生更快地进入科研状态，也可以鼓励学生看清问题本质，从源头上进行创新.

四、精心布置思考题，提升学生科研能力

思维和解题过程密切相关，著名数学教育家波利亚曾说：“掌握数学意味着什么呢？这就是说善于解题，不仅善于解一些标准的题目，而且善于解一些要求独立思考的、思路合理、见解独到的和有发明创造的题目.”在课堂上，教师精选一些思考题对学生进行训练，可以提高学生的创造性思维能力.比如，在讲解邻近算法时，让学生思考邻近算法与Krasnosel？Skii-Mann迭代算法、增广拉格朗日方法、Chambolle-Pock原始对偶方法和Douglas-Rachford分裂算法的关系；讲对偶时，让学生推导结构型线性约束优化问题的对偶问题；讲包含问题和优化问题的关系时，给几类特殊极小化问题，让学生利用费马引理思考对应的包含问题.除了课堂上给学生布置思考题，教师也可以给学生留些作业题，比如证明鞍点问题可以转化为结构包含问题，给出约束优化问题对应的鞍点问题，将Douglas-Rachford分裂算法应用于（两个凸集合交集的）凸可行问题，给出收敛性结果.这样就可以通过设置类似的开放性思考题，启发学生多角度寻找解决问题的方法，不仅使知识的应用有很大的覆盖面，而且能够满足不同层次学生的求知需求.学生在解题的过程中也逐渐学会独立思考，运用知识解决问题，同时提高了数学思维能力和独立搜索文献的能力.

五、关心鼓励学生，帮助学生树立学习数学的信心

凸优化课程在研究生二年级上学期开课，相对于其他基础性学科，本课程采用英文教材授课，且课程含有大量抽象的数学专业概念和性质定理，因此有些学生对本课程有一些畏难情绪.对此，教师需要及时引导学生，鼓励学生参与课堂讨论，以帮助学生克服畏难情绪.譬如在课堂讲授过程中启发学生思考，并逐渐地增加知识难度，逐步提升学生自信心；也可以留些有实际应用背景的数值实验，譬如图像、信号处理和机器学习中的实验，让学生了解本课程在解决实际问题时的重要作用，以激发学生的学习积极性和热情.

教师可以在课堂上讲一些数学名人的故事，比如拉尔夫·泰瑞尔·洛克菲勒（RalphTyrrell Rockafellar），他的博士论文与Jean-JacquesMoreau的相关研究一起被认为是凸分析的奠基性工作.虽然当时哈佛大学的老师对凸性和最优化没有什么兴趣且洛克菲勒的导师伯克霍夫既不参与研究，也不熟悉这个课题，但是洛克菲勒却在这一领域获得巨大成就，他对邻近梯度算法的发展做出了重要的贡献.教师可以以拉尔夫·泰瑞尔·洛克菲勒的事迹为例，鼓励学生要善于自己发现问题、提出问题和解决问题，鼓励学生树立学习和掌握凸优化课程内容的信心.教师还可以介绍年轻优化数学家印卧涛，他在算子分裂方法、并行和分布式计算、分散优化、压缩感知和变分图像处理领域是世界上最有影响力的研究人员之一.他和学生提出了著名的Davis-Yin分裂方法，对结构单调包含问题采取分而治之的策略，对算子分裂的发展做出了突破性贡献.由于这些贡献，他获得了NSF CAREER奖、Sloan奖、晨兴应用数学金奖、EgonBalas奖等，目前在阿里巴巴达摩院工作，主持创建了决策智能实验室，致力于将优化算法应用于解决实际问题.教师还可以向学生介绍中国著名优化学者何炳生，他利用普通的大学数学知识和一般的优化原理，以变分不等式为工具做出的一系列出色的工作，给出原始对偶问题、线性约束优化问题等问题与变分不等式的关系，从而以变分不等式算法出发，分析了Chambolle-Pock原始对偶方法、交替方向乘子法等方法的收敛性及参数选择，相关工作得到了国际同行的高度评价.通过介绍这些名人故事，尤其是华人数学家在优化领域的突出贡献，鼓励学生不畏艰难，积极进取，在优化领域做出国际领先的原创性工作.

结 语

凸优化是计算数学专业研究生的重要数学基础课程，但是这门课的概念抽象、性质定理繁多，因此学生学起来很困难.为提升凸优化课程的教学效果，笔者从教学内容和教学方法等方面出发给出了五点建议，以帮助计算数学专业的研究生掌握凸优化的基本理论、构造迭代方法和分析技巧，使学生了解学术前沿动态，也为学生的后续科研打下坚实的基础，提高他们发现问题、提出问题和解决问题的能力.

【参考文献】

[1]魏倩，白可，金勇，等.面向研究生的凸优化课程教学设计与实践[J].软件导刊，2022，21（7）：236-239.

[2]黄宏博，潘淑文.数据智能类专业最优化类课程教学研究[J].高教学刊，2020（21）：113-115.

[3]李衍杰.诱导式教学在優化与最优控制中的运用[J].教育教学论坛，2018（33）：112-114.

[4]宋雯彦.应用经济学与人工智能结合的研究生课程设计[J].科技视界，2020（27）：18-19.

[5]何松年，张翠杰.迭代分析基础[M].北京：科学出版社，2023.

[6]G·波利亚.怎样解题.[M].涂泓，冯承天，译.上海：上海科技教育出版社，2002.

[7]李航.统计学习方法（第2版）[M].北京：清华大学出版社，2019.

[8]BOYDS，VANDENBERGHEL.Convex Optimization[M].London：CambridgeUniversity Press，2004.

[9]BAUSCHKEHH，COMBETTESPL. ConvexAnalysisandMonotoneOperatorTheoryin HilbertSpaces（2nded）[M].NewYork：Springer-Verlag，2017.

[10]RYUEK，YINW.Large-ScaleConvex Optimization：AlgorithmsandAnalysesviaMonotone Operators[M].London：CambridgeUniversity Press，2022.

[11]SéBASTIENB.ConvexOptimization：AlgorithmsandComplexity[M].Netherlands：Publishers ofNowFoundationsandTrends，2015.

[12]MALITSKYY，TAMMK.AForward-BackwardSplittingMethodforMonotoneInclusions withoutCocoercivity[J].SIAMJournalonOptimization，2020（30）：1451-1472.

[13]BRICE？O-ARIASLM，DAVISD.Forward-Backward-HalfForwardAlgorithmforSolvingMonotone Inclusions[J].SIAMJournalonOptimization，2018（28）：2839-2871.

[14]RYUEK.UniquenessofDRSasthe2 OperatorResolvent-SplittingandImpossibilityof3 OperatorResolvent-Splitting[J].Mathematics Programming，2020（182）：233-273.

[15]DAVISD，YINW.AThree-OperatorSplitting SchemeanditsOptimizationApplications[J].Set-ValuedandVariationalAnalysis，2017（25）：829-858.

[16]HEBS，YUANX.AClassofADMM-Based AlgorithmsforThree-BlockSeparableConvex Programming[J].ComputationalOptimizationand Applications，2018（70）：791-826.

[17]TIBSHIRANIR.RegressionShrinkageand SelectionViatheLasso[J].JournaloftheRoyal StatisticalSociety：SeriesB（Methodological），1996（58）：267-288.

[18]XING-JUCAI，KEGUO，FANJIANG，etal. TheDevelopmentsofProximalPointAlgorithms[J]. JournaloftheOperationsResearchSocietyofChina，2022（10）：197-239.