深度学习与中学教学的对比与思考

孙碧莹 董洪伟

深度学习（Deep learning）是人工智能的核心研究内容。近年来得益于深度学习的发展，计算机视觉、计算生物学、医学、经济学以及遥感等领域均取得了关键突破。现如今，社会各界都感受到了人工智能的高速发展带来的便利。机器学习作为人工智能的核心研究内容，是推动人工智能发展最主要的力量。而机器学习与教育有着极深的渊源，两者有着共同的目标与相似的手段，只是对象有所不同。教育界早已意识到机器学习与教育密不可分，许多学者对机器学习在教育学中的应用做了细致阐述。深度学习是一种特殊的机器学习，相比传统机器学习，深度学习更加注重对人类思维的模仿，故深度学习与教育学的联系更加紧密。目前，基于深度学习的教育学研究比较匮乏。研究深度学习中成功的方法与经验能够帮助教师重新认识教学中的难题，并能指引问题解决的方向。而将教学中的一些优良思想引入深度学习对深度学习的发展同样具有积极作用。本文将对比深度学习中的突出问题，引发对中学教学中相应问题的新思考，并通过分析深度学习中的成功案例，对中学教学的一些问题提出具体的改进方案。

一、深度学习

深度学习的概念由Hinton提出，是机器学习的一个新方向，其与传统机器学习的最主要区别在于集成了抽象与分类的过程，从而实现了端到端（end to end）学习。在机器学习中，特征一般通过专家人工进行归纳设计与提取，不仅耗时耗力，而且由于人类脑力水平的限制，一般提取的特征都是低级特征，在實际应用中效果不好。深度学习则可以自动地提取人类无法理解的高级特征，这是深度学习取得巨大成功的关键因素。深度学习的实现方式为人工神经网络（Artifical Neural Network），成功的深度学习算法有深度信念网络、循环神经网络和卷积神经网络等。人工神经网络的基本组成单位是神经元，它的设计灵感来源于人类神经系统的神经细胞，大量的、分层的神经元组成了一个完整的人工神经网络，其设计的目的是模拟人脑以实现分层的数据解释。设计深度学习算法的主要过程可分为模型设计、预训练和模型训练。

深度学习有多火？在“2017年度中国媒体十大流行语”中就有人工智能一席之地。普通人对于深度学习的认识莫过于越来越智能的手机软件以及谷歌DeepMind公司的人工智能算法、阿尔法狗击败各路围棋世界冠军。自2012年Hinton带领的团队在Imagenet大规模视觉识别挑战赛（ILSVRC）中首次使用深度学习算法进行人脸识别就取得了有史以来最低的错误率（15%左右，超出第二名10个百分点），深度学习一直处于超高速的发展状态。在ILSVRC比赛举行的7年中，深度学习算法识别图像的准确率由70%上升至97.3%，已经超越了人类的分类水平。在谷歌学术于2018年对学术出版物以及论文影响力的排名中，计算机视觉会议“IEEE Conference on Computer Vision and Pattern Recognition”（CVPR）已经排名第二十位，2016年在CVPR会议上提出的算法“ResNet”，其原文仅两年时间被引次数已经过万，对于一个真正发展时间仅有数年的新兴学科来说，取得如此成就是令人震惊的，这也体现了社会各界对深度学习的关注度之高。

虽然深度学习在很多领域取得了史无前例的突破，但它也存在一些问题。最突出的问题是深度学习理论的缺失，目前的深度学习算法大多是启发式的，对于一个深度学习模型来说，效果的好坏无法得到理论上的证明。另外，高效的优化方法，模型的深度、复杂度研究，计算能力的限制等都是深度学习面临的问题。

二、深度学习与中学教学的联系

教学的目的是让学生在教师的指导帮助下认识问题、了解问题、思考问题，最终能够独立解决问题。教学与深度学习，两者解决问题的手段虽然不同，但想要实现的目标是一致的，故它们解决问题的方法具有很强的相关性。教育学作为一门历史悠久的学科，有充足的理论知识基础，大量的经典方法与思想，能够极大地丰富深度学习的内涵，给予深度学习指导;而深度学习作为一门仅有二十几年历史的新兴学科，发展速度极快，有许多传统学科不具备历史的奇思妙想。新老学科的思维、知识碰撞也能够为教育学带来活力。

学生的学习主要发生在课前、课堂、课后三个场景，优化这三个场景的设计是提高学生学习质量的直接方法，也是教师最关心的问题。

课前学习能够帮助学生锁定学习目标，使学生系统地认识学习内容，是高效课堂学习的基础。然而在实际工作中常常被教师忽略。课堂学习是学生获取知识最直接、有效的途径。课堂学习可分为传授与纠错，传授指教师通过设计课堂，使学生理解知识;纠错指教师通过当堂质检，对学生出现的错误给予纠正。目前在工作中存在的一个主要问题是课堂容量大，课堂设置太过复杂，导致学生缺乏独立思考。课堂内容缺少与日常生活的联系，导致学生理解困难，也是课堂低效的原因之一。课后学习在教学过程中必不可少，是对学生之前学习成果的巩固与提升。通过课后作业的形式对教学质量进行评价，使教师掌握学生的学习情况，及时调整教学方案。当前存在的问题有课后作业量大，难度高，题目冗余，精简程度低，容易使学生产生厌学心理，对学习失去兴趣。

如果将教学中的学生比作一个未学习的人工神经网络，或者将深度学习中的神经网络比作一名懵懂的小学生，我们可以发现教学与深度学习本质上是同一个过程，他们之间的联系如图1所示。

预训练是深度学习的一个重要组成部分，对于一个设计完毕的网络，设计者应该根据网络的结构设计相适应的预训练方法。深度学习中使用预训练，可避免因数据少、网络深造成的学习困难。预训练与教学中课前学习的思想不谋而合，对深度学习预训练的研究能够使教师更加意识到课前学习的重要性，启发教师设计与课堂学习相适应的课前学习方法。

对深度学习而言，一个神经网络的能力由它的结构决定，如何设计网络结构是深度学习的核心问题。网络的结构设计对应教学中课堂的设计问题，两者相似度很高。设计网络的结构就好像算法设计者在为神经网络设计学习任务，网络的训练过程与学生课堂听课与质检的过程是一致的，学习者通过学习教师设计的课程，能够获得课程设计者希望他们拥有的能力。课堂设计的好坏很大程度上决定着学习者学成后的能力。

深度学习与教学在思想上具有很高的相似性，在教学工作正式开始之前，算法设计者和教师要做的工作的指导思想是一致的，即课前与课堂学习的教学设计。但由于面向的对象不同，在实施中也存在一些区别。在教学过程中，学生出现错误时由教师进行纠正，但学生并不会为出现错误而付出代价，故很难体会到出现错误的严重性。而在机器学习的过程中，机器错误的代价由代价函数（Cost function）进行衡量，机器一旦出现错误，则会视错误的大小给出相应的代价。机器学习的准则是算法整体向着代价最小的方向前进。这是人与机器学习的一大区别，也是机器学习高效的重要原因。算法科学家设计了合理的代价函数，对教师而言，如何平衡学生错误的代价是需要思考的问题。除此之外，人与机器学习的最主要区别在于：机器的学习是不间断的，机器可以不分昼夜地学习，而人的学习是间断的。如果将机器的学习热情记为1，那么人的学习热情一定是小于1的。对教师而言，调动学生的学习积极性是一个重要课题，而如今，算法科学家也在研究让机器变得“懒惰”，一些研究者认为，让机器学会适当的休息对于提高学习能力是有帮助的。

三、深度学习与中学教学的对比研究与思考

1.预训练与课前学习

自深度学习诞生以来，神经网络的初始化问题一直是学者们关注的焦点之一。深度学习利用复杂的非线性模型模拟人类思维，由于早期实践中数据的不足，网络的训练很困难。好的初始化方法可以减轻训练网络的困难程度，从而一定程度上减少数据匮乏对深度学习造成的影响。

随着获取数据越来越便利，预训练慢慢淡出了深度学习界的视野。然而对于教学来说，预训练或者说课前学习是必不可少的。當今的教学大力提倡高效、减负，这映射到深度学习中就意味着参与学习的数据不能太多，在数据有限的前提下，预训练对于深度学习是至关重要的。所以在减负增效的教学背景下，当代教师尤其要重视课前学习的设计。我们以两种深度学习中有效的预训练方法为基础，结合当今教学的特点，讨论如何优化课前教学的设计。

Hinton等学者提出的使用贪心算法逐层训练，再全局微调的预训练方法曾经是深度学习界的主流。这种逐层的学习方法对课前学习的设计有启示作用。在课前学习的设计中，也应该遵循循序渐进的原则，使学生对一个知识点有一定的理解后，再开始下一个知识点的预习，这样使学生理解更加深刻，基础更加稳固。在课前学习的最后，教师可设计自我检测环节，回顾整个课前学习过程，对学习效果进行提高。

在其他数据训练好的网络模型的基础上进行调试的fine-tuning方法也是主流的预训练方法之一，此方法利用了数据之间具有相似性，一部分底层的特征对于不同问题是可以共用的。对于教学来说也是如此，知识之间存在着千丝万缕的联系，将之前已经学习过的知识迁移到教学过程中有利于学生对知识的理解。

高质量的课前学习能够提高学生的课堂学习效率，加深学生对知识的理解，进而提高整体学习质量。在课前学习中，学生需要通读课本内容，并对课本中的重点内容进行理解性记忆。学生在课前学习过程中，对自己不理解的问题要及时标记，在课堂学习中对其着重理解。对教师而言，一般通过导学案来帮助学生进行课前学习。通过对深度学习中经典方法的分析，优化的导学案应包括以下内容：

要点回顾：设置一些之前已经学过并与本节课有关的内容，使学生构建学习的思维导图，帮助学生将新旧知识联系起来。

情境感知：教师要创设情境，设计指导学生阅读教材，有方法、有目的、有重点、有要求地给学生一定的暗示，指导学生知疑知难，重点研究。

自我检测：用基础知识点组题、检测，了解学生的自学成果，使学生发现问题、解决问题。

2.过拟合、梯度消失与课堂设计

过拟合现象和梯度消失现象曾经严重困扰深度学习界。过拟合是指深度学习模型过度地拟合训练数据，导致在非训练数据的其他数据上表现不佳。教学过程中，学生无法迁移知识，不能做到举一反三，同样类型的题目改一改数就不会做了，均为教学中的“过拟合”现象。在深度学习中，过拟合现象出现的根本原因是模型的设置太过复杂，模型学习的参数过多，导致其知识的迁移能力很差，解决问题的根本方法是设计模型时尽可能的精简参数，以控制模型的复杂度。此方法对教学来说同样适用，教师应当实现课堂的高效设计，避免高度复杂、冗余的课堂。

神经网络模型为层级结构，网络层的数目很大，则被称为深度神经网络。对于深度的网络模型来说，学习时会出现最后几层网络学习率很高，而前面的网络层几乎没有得到学习的情况，这就是深度学习中的梯度消失现象。梯度消失不仅会造成计算效率冗余，还抑制网络的性能。在教学中，学生在一堂课上学习的效率一般是呈下降趋势的，教师的课堂知识容量太大、教学时间太长就会导致学生对课堂后段的知识接受程度变低，产生类似于深度学习中的梯度消失现象。这也引发我们对设计高效且低负的课堂的思考。

课堂学习是教学过程的核心环节，高效的课堂学习对学生的发展具有直接推动作用。课堂学习应分为“四个环节”：自学讨论，质疑释疑，巩固提升，当堂检测。优秀的教师应力争“六个做到”：做到激情引趣，引领学生进入学习状态;做到惜时如金，不占用课堂时间在黑板上抄题;做到严谨缜密，提出的问题有思考价值;做到突出主体，提出问题后要给学生充分的思考时间和空间;做到培养能力，小组讨论要以先思考、后议论为前提;做到精心设计，配题要有层次，激励全体学生参与学习。

3.残差学习与作业的高效减负

深度学习由于其网络结构深，拥有强大的特征提取能力，能够提取超出人类认知范围的高级、深层特征。但是网络的深度并非越深越好，极深的网络结构不仅不一定能提高网络性能，还会给网络的训练带来极大困难。与之相对的，中学作业存在机械性、重复性、单一性等问题，量多且低质。课本中的练习题、学校的练习册、各式各样的辅导材料让学生不堪重负，作业成为了负担，不仅浪费了学生的精力和时间，也影响了课堂的教学质量。

通过以上对比可以看出，神经网络的深度与作业的数量具有相似的内涵：太少不行，太多也不可取。在深度学习界，残差学习（Residual Learning）在一定程度上解决了此问题，其核心思想是在神经网络相邻的两层或多层之间设置捷径，使得网络在学习过程中可以跳过一些不必要的学习阶段，从而减轻网络的负担。值得注意的是：网络只会走有必要的捷径，即跳过对学习有害的阶段，而对于重要的部分不会跳过。这种设立捷径的方法值得教师在设计课后作业时借鉴：例如在设计10道同一类型的题目时可以设置捷径，如果学生能够连续地答对三道题目，即可跳过剩余题目;若无法连续答对题目，则说明学生并没有完全掌握此类题型，不可跳过。这种借鉴残差学习的作业设计能够在降低课后作业负担的同时保持其有效性，借助网络学习这一新兴的手段，最大化地发挥它的作用。

深度学习的高速发展已经惠及很多行业，由于教育学与深度学习天然的相似性，将深度学习与教育学联系起来对比思考是很有必要的。本文对比分析了深度学习与教学的联系与区别，将深度学习中存在的问题映射至教学，来重新思考教学中类似的问题并基于深度学习中一些成功方法的思想，提出教学中一些问题的改进方案。深度学习的产生与发展为教育学带来了新的机遇，在未来的研究中，我们希望将教育学中的经典思想引入深度学习，更加合理地构建深度学习模型，以提高其性能。