田露
南京理工大学紫金学院 南京 210046
概率论与数理统计(简称概率统计)是高校理工科以及经管专业学生的必修课程,对后续专业课学习和实践应用非常重要。该课程由概率论和数理统计两部分组成,概率论主要包含(多维)随机变量及其分布、随机变量的数字特征、大数定律等内容;数理统计主要包含参数估计、假设检验、方差分析等内容。这些内容,一方面对学生的高等数学功底有一定的要求,另一方面概念多且抽象、公式繁且难以理解。所以,虽然这本来是一门应用性的课程,但是学生学习时仍然感觉偏理论轻应用,不了解课程内容与自己专业学习的联系,因而缺乏学习兴趣与动力。因此,如何激活概率统计的教学课堂,如何激发学生的学习兴趣,是教师们一直需要思考、探索的问题[1]。
为了激活概率统计的教学课堂,笔者顺其自然地想到,在教学过程中引入更具有科研热点的应用实例,使得学生了解到所学知识与当前科技热点问题的联系,提高学生应用数学来分析问题、解决问题的能力。当然,教师们也要清醒地认识到,不能为了改革而改革,现有教学课件中一些简单而又便于理解的实例,还是可以有一部分保留的,而不是全盘否定删除。比如“抛硬币观察正反面”“抽签问题”“分组问题”等一些经典的古典概率例题仍然可以适当保留[2]。
一方面,鉴于笔者所在学校是应用型的工科院校,工科生占很大比例,在如今深度学习流行的时代,很多人工智能相关的工科专业会开设深度学习这门课程,而这门课程与概率统计课程交叉的知识点很多[3];另一方面,由于笔者近年来一直从事应用深度学习相关的科研工作,在做科研过程中,经常遇到概率统计中一些基本的知识点,比如条件概率、全概率公式、贝叶斯公式、最大似然估计等,大量的概率统计知识用于深度学习中模型的建立,损失函数的设计等很多方面。所以笔者有意识地去收集一些深度学习与概率统计交叉的知识点,很自然地将这些科研热点问题或者实践应用问题引入到概率统计课程的实例中,让学生真正地看到数学的应用,提高学生的学习兴趣以及主观能动性,当然从教师的角度来说,这也让科研与教学相辅相成。下面详细地展示两个实例。
实例研究举例1
笔者在讲授随机变量这一章节中常见的随机变量分布时,首先会先讲0-1分布(或两点分布):
若随机变量X只取0、1两个值,且其分布律为
P{X=k}=pk(1-p)1-k,k=0,1 (0
则称随机变量X服从参数为p的0-1分布或两点分布。
关于两点分布,教学过程中重点在于强调随机变量X取值只能有两个。一般以往教学中,都以抛硬币观察正反面作为实例。这个例子虽然简单,但是很难与现实实际问题相结合。尤其是讲完两点分布后,会讲二项分布,而二项分布就是n重的两点分布,所以为了让学生能充分理解两点分布,可以找一些更直观的例子。笔者注意到,其实深度学习中二分类的问题其实就是两点分布的应用,比如Logistic回归是一种常用的处理二分类问题的线性模型,也是深度学习中最简单的分类模型。接下来可以先适当的介绍Logistic回归的背景知识[4]。
给定N个样本的训练集,其中y(n)∈{0,1}称为类别标签。在二分类问题中,线性模型的关键之处在于需要找到一个线性判别函数f(x;ω)=ωTx+b。特征空间中所有满足f(x;ω)=0的点组成一个分割超平面(二维情况下就是分割线),称为决策边界或者决策平面。决策边界将特征空间一分为二,划分为两个区域,每个区域对应一个类别。Logistic线性回归模型试图学习到参数ω*,使得每个样本(x(n),y(n))尽量满足
f(x(n);ω*)>0 ify(n)=1
f(x(n);ω*)<0 ify(n)=0
上面两个式子也可以合并,即参数ω*尽量满足
对于二分类问题,最简单直接的损失函数就是0-1损失函数,即
L(y,f(x;ω))=I(yf(x;ω)>0)
其中I(.)为示性函数。但是0-1损失函数的数学性质并不好,它关于参数ω的导数为0,从而导致算法去做梯度下降时无法优化参数ω。
在Logistic回归中,很显然会使用Logistic函数作为激活函数(把线性函数非线性化),目的是把线性函数f(x;ω)的值域从实数空间“挤压”到(0,1)之间,可用来表示概率。
Logistic回归模型预测条件概率
从而由上面第一个等式进行变换后得到
在这个例子中,一方面涉及了概率统计中的两点分布、条件概率、对立事件等知识点,另一方面也解释了为什么将Logistic回归也称为对数机率回归这个事实。当然分类问题不止Logistic回归线性模型一个例子,比如还可以将机器学习中的贝叶斯分类器作为实例,让学生看到由概率知识设计的模型,可以解决科研实践中的一类问题。
实例研究举例2
在概率统计的参数估计这章中,最大似然估计是非常重要的知识点,同时在数据建模、机器学习中使用广泛。机器学习中的一个热门研究问题,无监督学习,其涉及的参数密度估计,恰好就是根据先验知识假设随机变量服从某种分布,再利用训练样本来估计未知分布中的参数[4]。
使用最大似然估计(MLE)来寻找θ使得logp(D;θ)最大。这样参数估计问题就转化为最优化问题:
假设样本x∈R服从正态分布
其中μ和σ2分别为正态分布的均值和方差。
分别求上式关于μ,σ2的偏导数,并令其等于0,可得:
在这个例子中涉及了概率统计中最大似然估计这个重要的知识点,同时也看到在处理海量的大数据时,数学这个基础学科发挥的重要作用。然后还可以把上面的正态分布换成多项分布,类似的可以求得参数的估计。
在机器学习中还有很多以概率统计的知识为背景的算法,可以尝试作为教学案例,比如朴素贝叶斯分类器就是基于贝叶斯定理与特征条件独立假设的分类方法,而且发源于古典数学理论,需要坚实的数学基础理论,当然分类效果也很稳定,也有一定的数学理论的解释。当然机器学习不仅应用了概率统计理论,还有数学中其他分支的理论。比如主成分分析法,是一种常用的无监督学习方法[5],主要用于发现大量数据中的基本结构,对数据进行降维,消除冗余的数据。而该方法主要思想就是,利用正交变换把由线性相关变量表示的观察数据转换为由线性无关变量表示的数据。学过线性代数都知道,线性无关的变量本质上取自于原线性相关变量中的部分变量,所以数据量就会大大减少,使得数据变得更易使用,并且还能去除数据中的噪声。主成分分析可以从数据中识别主要特征,选择方差最大的方向作为第一条坐标轴,后续坐标轴则与前面的坐标轴正交。所以可以看到,这一个算法中应用到了线性代数、概率统计、高等数学知识,这对学生的综合分析能力、应用数学能力有很大的提高。
此外,教学模式也应该改革,目前比较流行的是混合式教学模式,其优点是可以运用多种教学资源,尤其是丰富的网络教学资源与多种技术手段相结合,改变传统的“填鸭式”教学,提高学生的学习兴趣。但是,在实践中,混合式教学模式改革存在着几个难点:1)一些基础的定义、定理抽象复杂,学生自学效果差;2)传统的面授教育习惯下,学生可能难以适应教学模式的改变;3)公共基础课受众面广,保证每一个学生的学习效果有难度;4)学生基础参差不齐,采用“一纲一本”的教学方式无法有效衔接;5)一味地追求技术手段的运用,为了“翻转”而“翻转”。
所以,任课教师不能盲目地寻找科研热点作为概率统计中的案例。根据不同难度级别的知识点,教学大纲中对这些知识点掌握程度的不同要求以及针对不同层次基础的学生,设计不同的案例以及不同的教学形式和评价机制,这样配合新的教学案例才能有更好的教学效果。关于知识点级别划分标准如下[6]。
1)一级知识点:具有丰富的数学历史背景,易于激发学生的学习兴趣,并且在教学大纲中要求学习了解或掌握的知识点。在概率统计中有诸如“赌博中止”“抽签策略”等经典案例,了解这些案例,既有助于学生了解这门学科发展的历史,追本溯源,又能增加学生的学习兴趣。对于这一类知识点,教师可以结合科研热点,作为引例来介绍对应的基本概念,使得原本枯燥的数学定义尽可能地直观,便于理解。当然,如果教师时间充裕的话,还可以将科研热点结合的案例制作成视频,上传至学习平台上,这样一方面便于统计学生的观看时间与次数,同时也不占用面授学时数。
2)二级知识点:基于学生前面课程学习,完全有能力理解,并且在教学大纲中要求学生熟练掌握的知识点。以概率论中的“数学期望”为例来说明,该知识点以学生掌握的积分知识为前提,要求学生能够求解离散型和连续型随机变量的数学期望。这个知识点的理论并不复杂,积分也是学生在高等数学课程中学习过的知识,但是以往的案例经常停留在计算的层面,学生不免觉得枯燥,体会不到应用性。那么前面提到的机器学习,包括现在很火的深度学习中比如Loss函数、随机梯度下降等等,很多地方应用到期望这个知识点。所以教师可以结合科研热点,或者设计一个教学案例,或者也可以作为一个引入期望概念的案例,或者也可以在学完期望后设计一个开放式的小论文,也就是说结合科研热点设计的方式可以多样化。
3)三级知识点:非常抽象复杂,学生难以理解的定义、定理。例如概率论中的分布函数、多维随机变量中的联合分布律、边际分布等,一直是学生学习的难点。这类知识点建议仍然以面授为主,以视频等线上资源为辅,尽量将教学案例设计得更直观易懂。
任课教师实施教学改革时,经常会面临课时有限的局限。很多教改的想法很好,但是实现起来往往由于课时紧张,很难执行。笔者之前在做高等数学教改时,探索出可以借鉴数学建模竞赛的规则,由教师出三个问题,让学生课后三人一组,以写论文的形式提交解决思路,这个方案仍然可以在概率统计这门课程的教学改革过程中尝试探索。当然最后的期末考核方式也应该多样化,不要局限于卷面成绩,平时成绩的比例可以适当地提高一些,增加学生参与的兴趣。同时任课教师也可以与专业课教师多沟通交流,更精准地了解数学与学生所学专业课之间交叉融合的知识点,可以引入更多更实用的教学案例[7]。
作为一名培养应用型人才的工科院校的基础学科教师,可以从自己的科研工作出发,有意识地搜集科研工作中遇到的最新的科研热点作为应用实例,或者作为数学知识背景进行介绍,或者作为课后延伸的小课题。总之,结合科研热点的形式不能仅拘泥于教学中的例题,形式应该多样化。为了保证更好的教学效果,教学模式也采用了混合式的教学模式。将传统的面授模式结合线上教学平台,将课堂延拓到课后,把课堂内和课堂外激活后,适当地再在课外仍然不占用课堂时间的前提下,激发学生学习的自驱力,使其主动参与到翻转课堂中来。
另外,评价机制也要多样化,不能依赖于最终的期末卷面成绩评价,更应该提高平时成绩的比例,促使学生功夫下在平时,而不是在期末考试前突击复习只是为了不挂科,学完就全部忘光,没有得到任何提高。使得学生能真正感觉到数学的有用性,化抽象为直观,化枯燥为有趣,提高学生学习数学的兴趣和应用数学的意识与能力,使学生在今后的工作中能经常想到用数学去解决问题,为学生将来学好自己的专业打下坚实的数学基础。此外对于教师而言,借此也认识到,科研和教学并不矛盾,将科研中的实际问题作为背景知识引入教学中,也可以借助教学,对科研问题中所需的数学知识有更深一步的了解,让科研服务教学,让教学辅助科研。