大数据时代统计学教育的改革

摘要：我们已经进入大数据时代，统计学作为处理和分析数据的科学，必然受到大数据的影响。目前我国统计学专业课程设置和教学内容改革还处于探索阶段，统计学教育现状存在亟待解决的问题，统计学教育的改革势在必行。本文在分析大数据时代特征的前提下，分析了我国统计学教育的现状与挑战性问题，讨论了统计学教育改革的内容、方法、借鉴和适应时代要求的变革问题。

关键词：统计学；教育改革；大数据

一、引言

最早提出大数据时代到来的机构是全球知名的麦肯锡咨询公司，该公司在一份研究报告中指出：“数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素，人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来”。

大数据是随着互联网技术的广泛应用带来的数据量和数据类型激增而衍生出来的一种现象，但大数据一词不仅指规模大、种类多的数据集，还包括对这种数据集进行采集、处理与分析以提取有价值信息和直接创造价值的技术构架和技术过程。大数据的第一个特征是数据量巨大。截止到2012年，数据量已经从TB（1024GB=1TB）级别跃升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB（1024EB=1ZB）级别。第二个特征是数据类型繁多、异构性突出，包括网络日志、音频、视频、图片、地理位置信息等等。第三个特征是数据价值密度较低，数据中存在大量重复性和无价值性信息或噪声。如何通过强大的计算技术和统计分析等方法迅速完成数据的价值提纯，是大数据时代亟待解决的难题。第四个特征是处理速度快、时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。

目前，不同的学科领域对大数据概念有着不尽相同的解释，但各种解释中大致可以从两个方面去理解。首先，大数据概念体现在数据量的巨大、种类的众多及产生速度的飞快，同时产生的数据集极有可能包含着各种半结构化和非结构化数据；其次，大数据概念还体现在对数据进行处理的手段和流程方面，由于数据量的庞大和类型复杂，利用常规的统计软件已经无法对当今的数据进行及时有效的存储、分析及处理。因此，所谓的大数据并不是单纯指数据流量的巨大，还指其结构的复杂和种类的多样，在数据处理和分析上需要采用高端计算平台或高级统计软件，以及海量数据中存在着可挖掘的潜在的大量价值信息与知识。

近年来，随着高速计算机的应用、信息技术的快速发展，特别是云计算技术的发展，使大数据的存储和分析技术得到迅速发展，目前的核心技术有MapReduce、GFS、BigTable、Hadoop，以及数据可视化等。在数据搜集上，可方便地通过在线互联网数据库获取二手数据或一手实时数据。在数据分析上，传统统计学方法采取的是基于统计模型的样本数据分析，而大数据分析技术则是通过高端计算平台，对大数据中的信息进行挖掘。

统计学作为对数据进行处理和分析的科学，必然受到大数据的影响。在大数据时代，统计学教育必须与时俱进，跟上时代发展步伐。近年来，有不少文献讨论了大数据环境下我国统计学教育的改革问题（例如[1]-[5]），本文在分析大数据时代特征的前提下，进一步讨论我国统计学教育的现状与挑战、统计学教育改革的内容、方法、借鉴和适应时代要求的变革问题。

二、统计学教育的现状与挑战

2013年，教育部对我国统计学专业设置进行一次新的调整，将原来的既可授予理学学位，也可授予经济学学位的统计学专业划分为统计学、应用统计学和经济统计学三个本科专业[6]。根据教育部高等学校统计类专业教学指导委员会2013年11月公布的数据，当时全国有194所高校开设了统计学专业，156所高校开设了应用统计学专业，164所高校开设了经济统计学专业[6]。目前，全国开设这三个统计学专业的高校个数和在校学生人数与2013年相比都有不少的增加。

面对大数据时代，我们目前的统计学教育无论在培养目标和教学内容上，还是在教育方式和人才培养模式上，都存在着亟待解决的挑战性问题。例如，在专业培养目标和人才培养过程中，我们比较重视课程层面上的评价，比较轻视专业层面上的整体评价，缺乏对学生综合能力的反馈机制。

关于教学内容，目前三个统计学专业在统计理论和应用统计两个方面有不同的侧重。统计理论主要包括：抽样理论、实验设计、估汁理论、假设险验、决策理论、贝叶斯统计、半参数和非参数统计、序贯分析、多元统计分析、时间序列分析、小样本理论和大样本理论等。在数据分析中，现今的统计方法基本以结构化数据为主要处理对象，而对非结构化和半结构化数据的分析和工具涉及较少。因此，现今统计学课程及内容已不能满足从事非结构型和半结构型的大数据研究和商业应用对人才培养的需要，必须进行必要的改革。

对于教育方式，鉴于大数据时代要求，统计分析人员需要具备较高的数学和现代统计学基础，具有较高的软件操作能力，掌握一定的大数据收集、整理、分析、处理和挖掘数据的技能。日本学者城田真琴认为：“数据科学家要有计算机科学专业背景，数学、统计方面的素养和使用数据挖掘软件的技能，善于利用数据可视化的手法展现晦涩难懂的信息，而且具备相应的专业知识、眼界和视野，具有适应社会发展和创造价值的能力”。现今的统计学教育方式还不能很好适应大数据时代数据科学人才培养需要，必须进行必要及时的调整和变革。

对人才培养模式，大数据时代不仅要求培养具有数据处理和分析所需的基本素质与技能，更重视培养从海量数据中发现和挖掘价值信息、把握市场机遇、创造利润的潜在能力。面对大数据时代的诸多挑战，现代统计技术、数据挖掘方法、计算机信息技术、软件工具和理念的日新月异，培养统计人才的教育模式也需要相应变化，统计学教育只有与时俱进，主动做出全面的调整和变革才能适应新时代知识进步和激烈人才市场竞争的需要，积极迎接大数据时代的挑战。

大数据时代对统计学教师有更高的要求，统计学教师需要与时俱进，跟上时代步伐。随着互联网、物联网、云计算等信息技术的发展，对数据的分析和处理的技术也随之要求更高，统计学教师固有的知识体系已不能满足培养现代统计人才的需要，必须进一步深化和更新原有的统计学理论知识，而且还需要学习掌握计算机技术、互联网、数据库和信息科学等有关知识和技术，同时还要熟悉处理非结构型和半结构型数据的知识和技能，以适应现代统计学教育对教师的知识结构和基本素质的要求。

大数据时代对统计专业的学生也提出了更高的要求，他们不仅需要掌握现代统计理论、统计方法和专业统计软件，还要学会如何分析、处理来自互联网或各种实际问题中的海量数据，如何利用统计软件和互联网技术进行数据操作，如何借助软件技术和统计准则判断数据质量，如何进行模型选择和评价模型方法的有效性，如何准确清晰地呈现统计分析结果和结论，等等。

2014年11月，美国统计学会发布了统计学本科专业指导性教学纲要 [7]，该教学纲要对统计学专业提出四个方面的要求：（1）具有扎实的数学和统计学基础、强大的统计计算和编程能力，熟练使用统计软件和数据库；（2）分析来自现实问题的真实数据，真实数据是统计专业教育的重要组成部分；（3）掌握多样化的统计模型方法；（4）具有通过语言、图表和动画等方式解释数据分析结果的能力。美国是统计学教育和人才培养最先进的国家之一，该指导性教学纲要代表着美国统计学专业培养人才的基本要求和发展方向，对我国统计教育的改革具有重要的参考价值。以该指导性教学纲要为参考依据，对照我国目前的统计学本科专业教育，无论是在培养目标和课程设置方面，还是在教学内容和教学方法方面，都存在着亟待解决的挑战性问题。

三、统计学教育的改革

大数据时代的统计学教育不仅是各种统计方法、数据挖掘方法和信息技术手段的延续或发展，更主要的是这些方法的集成应用和在实际数据分析中的真实体验。过去，企业数据库价格昂贵，在统计学教育的教学案例或实验课教学中，很少采用真实和海量的数据库资源，基本都是采用过时或虚拟的数据。今天，像百度大数据引擎这样的数据库的逐步对外开放，将有助于开展“线上大数据统计实验”教学。为了适应大数据时代要求，有必要利用网络资源以及各种数据处理软件，搭建线上大数据分析实验教学平台，全面开展大数据统计实验教学的改革。实际上，借助大数据分析平台，本科阶段的统计学教育就可以融人联机分析和数据的可视化教学。其次，要时刻关注大数据分析理论的进展，及时将新理论新方法融入课堂教学内容。

需要指出的是，在大数据时代，经典统计理论和方法并没有过时，但需要进行改进和进一步发展。这是因为，网上采集的巨型数据集往往存在大量的重复性和无价值数据信息，使得大数据价值密度降低。在对这些数据进行分析处理之前往往需要通过去噪、分层、截断、聚类等方法的预处理，将其变成便于进行分析处理的小数据，继而借助于经典统计方法进行分析和处理。因而在大数据时代仍然需要采用传统统计学的小样本理论和方法。所以，即便是在大数据时代，经典统计方法仍然是进行统计分析的基石，其核心地位不可动摇。所以，在大数据时代仍然要强化统计学的基本理论和方法，尤其是在长期发展和实践应用中经过验证的、成熟有效的经典和现代统计方法，在大数据时代仍然没有过时，但需要结合大数据分析的需要对经典统计方法进行必要的发展和改进。

大数据科学需要统计学与数学、计算机等学科的结合。亚马逊大数据科学家John Rauser 认为：“数据科学家是统计学家和计算机工程师的结合体”。为了满足大数据时代的要求，统计学专业的课程设置需要进行必要的调整。应根据新时代人才培养的要求，增设与大数据前沿领域发展相关的课程，如计算机网络和大数据相关的软件应用，同时要加大实验课和社会实践课的比重，引导学生理解和掌握大数据概念、理论、技术和方法，培养其运用大数据的相关分析工具解决实际问题的能力。对于理论课程，除基本统计理论外，还应开设一些较为现代和深入的课程，如现代贝叶斯方法、神经网络、数据挖掘、应用随机过程论等。另外，还应开设与大数据分析相关的关联规则、决策树、机器学习、支持向量机等课程。

为了培养与时代适应的统计学人才，统计学专业教师应不断更新自身的知识结构和价值观念，改变认识数据、收集数据和分析数据的思维，主动学习和补充互联网、现代数据分析技术、数据库和数据挖掘技术，使自己的知识体系不断更新和提升，跟上时代发展的步伐。

在大数据时代，要注意培养学生适应社会的能力。统计专业人才培养模式应以提高本专业学生数据分析方面的能力，开阔他们的视野，培养其适应社会的能力。应积极引导学生进入实训场所动手操作和锻炼，尝试以企事业单位的财政、金融、保险、统计、咨询和信息公司等部门为主构建专业性教育实践基地。鼓励学生到大数据相关的机构部门、产业园区和企业中去调查研究和实践。此外，统计专业应积极同其他专业进行合作，联合培养适应新时代要求的数据分析人才。鉴于大数据对数据分析人员在计算机技术、行业认知、业务知识、数据分析工具和方法的要求提高，统计学科应主动与计算机、经济学、管理学等相关学科合作，培养学生的计算机能力、专业素质和业务修养。

“它山之石可以攻玉”，关于统计学专业的课程设置，可以参考和借鉴美国统计学会公布的统计学本科专业指导性教学纲要。根据该教学纲要，统计专业的课程设置应该涵盖五个模块[7]：（1）统计方法与统计理论。建立统计模型并对模型的输出结果进行评价，熟悉统计推断，能够从数据分析中得出恰当的结论。（2）数据操作和统计计算。熟练使用一款专业统计软件进行探索性数据分析，发现和清洗数据中的错误记录，具有编程能力和算法思维，可以进行各种数据操作，还应掌握统计计算技术，能够进行模拟研究。（3）数学基础。熟练掌握微积分、线性代数、矩阵论、概率论和数理统计的基础知识。（4）实践训练和表达能力。具有良好的表达和交流能力，善于通过图示和动画等听众易于理解的方式展示分析结论，并且具有团队合作精神和项目领导能力。（5）特定领域的知识。掌握特定应用领域的知识，并用统计学特有的思维方法来分析和解决特定领域的实际问题。

大数据时代是以数据为中心的时代，统计学专业的教育改革必须适应这个时代的要求。统计数据分析中软件应用能力至关重要。在众多统计软件中推荐使用R和SAS软件，因为R是免费开源软件，其统计建模、统计计算和可视化功能强大，更新迅速，是最新统计方法发布的主要平台，非常有利于培养学生的编程能力和知识更新能力，而SAS软件被很多公司用于数据管理和数据分析，在实际应用领域具有长期而深远的影响，是数据分析不可或缺的专业统计软件。当然，教学中也可以尝试使用其他专业统计软件，例如经济统计专业学生也可使用SPSS软件，但最好会使用SAS或R软件。在加强软件使用和编程能力的基础上，应加强学生统计计算和统计模拟能力的培养。在大数据时代，强调统计计算的重要性是大势所趋。统计模拟技术是伴随着高速计算机和信息技术的快速发展而广泛应用的现代技术，可用来解决传统学科领域中无法解决的问题。例如，在计算技术飞速发展的今天，贝叶斯统计方法过去曾经面临的计算瓶颈正在逐渐消失，基于马尔科夫链蒙特卡洛（MCMC）技术的统计模拟方法在数据分析中的强大威力正在日益显现[8]。

参考文献：

[1] 刘春杰，大数据时代对当代统计学教育的挑战，统计与决策，2015年，第8期。

[2] 孟生旺，袁卫，大数据时代的统计教育，统计研究，2015年，第32卷4期。

[3] 葛虹，韩伟，大数据时代统计教育变革的SWOT分析与发展策略，统计与决策，2015年，第4期。

[4] 张海波，黄世祥，统计学专业学生大数据分析能力的培养方式选择，统计与决策，2014年，第24期。

[5] 李卫东，大数据对统计学科发展的影响，统计与决策，2014年，第13.期。

[6] 教育部高等学校统计类专业教学指导委员会.统计学专业教学单位.http：//statstsc.org/category/信息公开/教学单位，2013-11-15.

[7] American Statistical Association.2014 Curriculum Guidelines for Undergraduate Programs in Statistical Science [EB/OL].http：//www.amstat.org/education/curriculumguidelines.cfm，2014-11-15.

[8] 刘金山，基于MCMC技术的现代贝叶斯方法，统计与预测，2012年，第3期。