机器学习的数学理论及其算法研究——评《机器学习的数学理论》

书名：机器学习的数学理论

作者：史斌，［美］S.S.艾扬格（S.S.Iyengar)

出版社：机械工业出版社

ISBN：978-7-1116-6136-8

出版时间：2020年8 月

定价：60 元

人工智能和统计学的发展衍生出了关于数据分析的机器学习。这门新兴学科是数据分析领域的研究人员重点探究的方向。有科学家将机器学习定义为，计算机通过储存的数据经验不断提高其自身性能的行为。机器学习是指计算机通过固有的规律性信息获得新的经验和知识，从而提升计算机的智能，达到像人类一样作出决策的目的。随着计算机科学的发展，机器学习的探究和应用取得了很大成就，研究机器学习的数学理论和算法对计算机的发展有重要作用。由史斌和艾扬格编著、机械工业出版社出版的《机器学习的数学理论》一书，详细介绍了机器学习的数学理论，讨论了机器学习的优化理论，为提高计算机研究人员对于机器的认知、实现机器的自动化具有重要指导价值。

《机器学习的数学理论》全书共分为十一章。第一章围绕神经网络、深度学习、梯度下降法的基本知识进行了概括介绍。第二章主要介绍机器学习与计算统计学的相关基础知识。第三章针对机器学习所需的优化理论的相关内容从专业角度进行了多维度介绍。第四章从梯度加速下降法和在线时变黏性网算法等方面对CoCoSSC 方法进行了全面解读。第五章针对关键术语的基本知识进行了概括介绍。第六章介绍了关于非凸规划几何的相关研究。第七章分析了收敛到最小值的梯度下降法，并介绍了最优和自适应的步长规则。第八章解读了基于优化的守恒定律方法。第九章分析了CoCoSSC 算法的主要结果，同时提出了算法改进策略。第十章分析了多元时间序列中稳定和分组因果关系。第十一章是后记。

笔者在开展基于海南省高等学校教育教学改革研究项目（Hnjg2021-145）研究成果认为，机器学习的深度学习与人类大脑的学习过程最接近，机器的深度学习借鉴了人脑的多分层结构和信息分析处理机制，拥有学习和适应处理信息的能力。虽然目前机器学习的应用范围较广并在商业上取得了成功，但机器学习还处于起步阶段，机器深度学习在构造、功能、运行机制和处理问题的能力方面都与人脑有巨大差异。

基于该书指导，机器学习主要过程是：机器首先在确定的网络结构和相应的数学模型上，选择可接收的学习和辅导方法，然后输入数据的数据构造进行进一步了解，同时不断调整内部模式，最后利用数学工具解决网络参数问题，以提高机器的泛化能力并阻止过度拟合。机器学习算法的过程是指用数理统计方法分析问题并采用最优化步骤解决问题，通常采用的算法有卷积神经网络深度学习算法和经典的BP 算法。

卷积神经网络是一种多层前馈神经网，其神经网络是卷积结构，这种网络结构与全连前馈神经网络大不相同，具有参数共享和本地连接的重要特性，这种特性使连接数、权重、和网络模型的复杂度都大幅度降低，同时提升了计算效率。另外，通过子采样自动提取具有平移不变性的局部特点。该书指出，卷积神经网络模型由输入层、隐藏层和输出层构成。多个独立的神经元构成一个平面，多个平面构成每层网络，隐藏层包含多对卷积层和下采样层，输出层通过前馈网络全连的方法相互连接。卷积层的神经元根据视觉局部感受野原理只与前一层网络对应位置的感受野相连，这种连接方式降低了网络参数。卷积神经网络要求当前层的卷积核等于在不同位置连接的前一层的权值，这样不仅简化了网络参数、实现了网络权值共享，而且提高了网络学习的鲁棒性视觉特征提取效果。

BP 算法属于有监督学习算法，该算法神经网络计算模型中的浅层前向区由输出层、隐藏层和输入层组成，各层互相连接的网络节点处的神经元通过激励函数处作为连接强度信号的网络权重，神经元通过调整强度信号将包含的模式信息的输入数据传递到输出图层。结合该书，BP 算法的学习过程分为传播和纠错两个阶段。第一阶段是向前传播，通过网络学习提取训练信息并传递给输出层。第二阶段是纠错，将误差向后传播，基于最优化理论算出与期望值比较后的残差，将残差向后传递改变输入的连接强度，调整输出值，减小残差，网络的权值是最终的学习结果。因此，BP 算法的本质是通过第二阶段将残差不断传递给输入层的神经元，调整输入层神经元的连接强度进行连续校正，使每个单元的重量和偏移量逐渐减小最终满足应用要求。