以深度学习为技术手段培养研究生的知识运用能力

刘雨平 党凡阳 孙伟民

哈尔滨工程大学物理与光电工程学院 黑龙江哈尔滨 150001

1 概述

发展新兴交叉学科，是经济社会发展的现实需求、“双一流”建设的内在要求、学科进化的必然趋势[1]。在新兴交叉学科背景下，以及社会对复合型人才需求的驱动下，要求研究生需要掌握多领域的专业知识。知识是研究生开展科研工作的基础，加强研究生对知识的掌握是研究生培养的重要内容之一，而掌握知识的关键之一是运用，现今研究生课堂通常会布置大作业，以锻炼研究生的独立思考和动手能力，但是大作业的完成方式和质量与学生个体有关，为了标准化地使学生充分运用所学知识，有必要让大作业布置标准化。

此外，硕士研究生的扩招规模不断加大，2020年3月，教育部印发教学〔2020〕2号的通知，提出要扩大2021年研究生招生规模[2]，但是研究生的招生规模对高等教育的承载能力提出了严峻考验，并对高质量研究生的培养提出了新挑战[3]。同时相关因素影响，部分高校无法完全实现线下教学，因此，研究生教育又面临着新的困难。

在此背景下，改进教学手段，提升研究生教学质量，对研究生培养至关重要。因此，对于培养研究生的知识运用能力而言，运用高效、便捷的训练方法十分必要。

人工智能的一个重要领域是机器学习，机器学习已经在许多领域得到应用，例如，金融[4]、军事[5]、工程[6]以及教育[7]等领域，但是目前机器学习主要用于解决技术问题。机器学习的一个重要分支领域是深度学习，深度学习算法实现基础是人工神经网络，是决定深度学习模型性能的核心[8]。基于神经网络的深度学习其实现借鉴了人类思考的方式，因而通过对深度学习模型的训练，既可以使学生总结并归纳解决问题所需的知识，同时也可以通过深度学习模型性能实时观测相关知识点相关问题的影响情况。基于此，该方法在锻炼研究生知识运用方面具备应用的潜力，并且可以有效监督学生的完成情况。

正是基于以上原因，本文提出了一种以人工智能—深度学习算法为技术手段的研究生知识运用能力培养方法。通过该方法，可以有效提升研究生课堂大作业的完成质量，同时可以将大作业标准化，避免学生遗漏课堂关键知识，督促学生对重要知识进行有效运用。

2 深度学习简介

深度学习分为监督式深度学习和非监督式深度学习，但是根据本文的研究目的，采用监督式深度学习，因此下面重点对监督式深度学习进行简介。[9]

监督式深度学习是深度学习最常见的一种形式。如果我们想要构建一个图像分类系统，那么首先需要获得大量相关的数据集，其中数据集带有其类别的标签，例如，分类房子、汽车和宠物。带有“标签”的数据集是监督式深度学习的特征之一。在训练过程中，深度学习模型会显示一幅图像，并以得分向量的形式产生一个输出，每个类别一个。我们希望目标类别获得最高的得分，但是深度学习模型在训练之前是无法实现的。通过利用目标函数计算深度学习模型输出与目标图像的偏差，然后深度学习模型会修改内部可调整的参数以减小偏差量。这些可调参数(通常称为权重)是实数，可以被视为定义机器输入输出功能的“旋钮”。在典型的深度学习系统中，可能具有大量的可调权重参数，同时利用大量的带标签的示例对深度模型进行训练。

为了正确地调整权重向量，学习算法计算一个梯度向量，对于每个权重，该梯度向量指示如果权重增加很小的量，误差将增加或减少多少。然后在与梯度向量相反的方向上调整权重向量。目标函数需要在所有训练示例中进行平均，并且目标函数可以被视为权重值高维空间中的一种丘陵景观。负梯度矢量表示该景观中最陡下降的方向，使其接近最小值，在此处输出平均误差较低。

在实践中，通常使用称为随机梯度下降(SGD)的程序。这包括显示几个示例的输入向量，计算输出和误差，计算这些示例的平均梯度，并相应地调整权重。对训练集中的许多小样本集重复该过程，直到目标函数的平均值停止下降。它被称为随机的，因为每一小组示例都给出了所有示例的平均梯度的噪声估计。与更复杂的优化技术相比，这个简单的过程通常能很快找到一组好的权重。训练后，系统的性能将在一组称为测试集的不同示例上进行测量。这有助于测试机器的泛化能力，即在训练过程中从未见过的新输入上产生合理答案的能力。

深度学习架构是一个简单模块的多层堆栈，所有(或大部分)模块都要接受学习，其中许多模块计算非线性输入输出映射。堆栈中的每个模块都变换其输入，以提高表示的选择性和不变性。通过多个非线性层(通过神经网络实现，例如，全连接网络、卷积神经网络等)，比如深度为5到20的系统可以实现其输入的极其复杂的功能，这些功能同时对微小细节敏感(区分萨摩耶犬和白狼之间的差异)，并且对背景、姿势、照明和周围物体等大的无关变化不敏感。

3 设计思路

本文所提出方法的基本思想如图1所示。通常在研究生学习过程中，研究生在老师的指导下完成一定专业知识的学习，并完成涉及一定知识范围的大作业，最终教师通过成绩评定，观察学生知识学习和大作业完成的质量，这一学习过程实际是一种监督式学习，这种学习方式对于学生学习初期十分重要。借鉴翻转课堂的概念[10]，综合教师和研究生在学习过程的相互关系，提出了一种研究生自主学习的方法。在该方法中，研究生充当教师的身份，而深度学习模型作为学生身份，然后通过观察深度学习模型的最终性能，判定研究生训练深度学习模型的优劣，进而衡量研究生对知识运用的效果。在训练深度学习模型过程中，研究生需要准备各种相关知识，并能够掌握各个知识点对模型学习效果的作用，例如，学习效率和学习内容等。因此，通过深度学习模型的训练，就可以锻炼研究生的知识综合运用能力。

图1 以深度学习为手段培养研究生知识运用能力的基本思想

为实现图1中的基本思想，需自开发相关软件，该软件实现方式如图2所示，包含三个基本过程。首先，为了实现规划的基本功能，需要根据具体课程进行相关算法设计，因而需要根据具体课程进行专业问题收集；其次，对以上专业问题进行人工解答，以便将专业问题分解为相关知识点，然后将知识点(也即深度学习模型学习的特征)以数据形式表达，从而转化为数据集，其中可以通过数据增强扩充数据集数量；最后，通过人工调整(也即训练研究生运用不同知识的过程)，利用携带有一定特征(知识点)的数据集对深度学习模型进行训练，并计算评价训练效果的相关指标。为了实施方便，拟选取作者研究领域相关知识作为示例进行程序开发，并进行相关具体说明。程序实现基于Python语言和PyTorch架构。

图2 以深度学习为手段培养研究生知识运用能力的实现方式

以拉曼光谱的信息获取与识别为例说明知识运用训练软件的实现，如图3所示。基于拉曼光谱的物质识别就是要解决的专业问题。拉曼光谱的特征信息蕴含于拉曼光谱谱带中，因而基于拉曼光谱较好地完成物质识别这一任务，拉曼光谱需要选择适当数量的拉曼谱带。拉曼谱带中包含线宽、峰位等特征信息，不同物质这些特征不同，通过改变这些特征可以进行数据增强，产生数量足够的数据集，而且通过不同的数据集可以影响深度学习模型的学习效果(物质识别准确度)。此外，实际的拉曼光谱还包含荧光(基线)、噪声等干扰信息。因而识别物质实际就是在基线和噪声存在下，识别拉曼谱带中线宽、峰位等特征信息的过程，而这些特征信息也是研究生需要学习并运用的知识点。那么根据一定理论规律，选择并表达这些特征就是研究生在知识运用过程的主要工作，例如，选择其中一个或多个组合特征作为深度学习模型学习的知识，不同的选择会产生不同的学习效果，如果特征选择不当，学习效率会明显变差，进而无法获得目标性能。因而，这就需要研究生掌握各个知识点(特征)在物质识别过程中的作用，最终才能获得最有效的数据集(知识组合)，因而训练深度学习模型的过程就是运用知识的过程，最终识别准确度可以用于评价模型训练的优劣。

图3 训练拉曼光谱知识运用的示例

结语

本文提出了一种基于深度学习的研究生知识运用训练方法，在该方法中，将研究生作为教授知识的个体，将深度学习模型作为学习知识的个体，而研究生需要运用相关知识，以便可以产生一定知识关系的数据集，使得深度学习模型可以准确学习相关知识关系，并根据训练效果观察各个知识点之间的相互影响。该方法的提出为研究生的培养提供了一种有效、方便的方法。