大数据下的概率论与数理统计的研究

2019-03-08 02:52常锋强
西部论丛 2019年6期
关键词:数理统计概率论大数据

摘 要:随着社会的发展,科技也不断进步,当前社会已经进入了大数据时代,在这个信息化、智能化、数据化的时代中,人们的生活也发生了翻天覆地的变化。如今互联网兴起,人们在生活中、工作中,都离不开互联网,互联网已经与人们的工作、学习、生活相融合。互联网中的网络数据也打破了地域等界线,将人们仅仅相连,本文就大数据下的概率论与数理统计理论知识展开分析,研究了概率论与数理统计的由来以及两者之间的关系,最后针对概率论与数理统计的实际应用展开探讨。

关键词:大数据 概率论 数理统计

大数据时代能够让人们足不出户就了解到全世界的各类信息,在大数据支持下,人们通过互联网、计算机就能够对信息进行搜索、统计,研究不同学科之间的交集,人们接触的到的信息越来越多,就需要对信息进行处理,通过对信息的处理,提高对信息利用的能力,这樣才能够充分利用大数据,因此当前大数据下概率论与数理统计的研究引起了社会各界学者的关注。

一、大数据下的概率论与数理统计概述

(一)大数据概念与特点

大数据(big data)指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产[1]。大数据时代具有三个典型的特点,分别是数据量大、数据种类多、数据分析全面。这三个特点之间具有一定的关联性,由于数据量大,在大数据中,人们可以通过数据获得各种各样的信息,通过信息的筛选与分析,能够得到全面的结论,因为结论是通过大量数据实践得到的,因此具有高度的科学性。在大数据时代背景下,概率论与梳理统计也得到了新的发展。

(二)大数据下的概率论与数理统计

概率论与数理统计都属于统计的一部分,自古以来,统计就无处不在,并且紧随时代的发展而发展,在古时候有结绳记事,如今社会已经发展为大数据时代,在大数据时代中统计的发展也有了翻天覆地的变化。概率论与数理统计的应用最早出现于法国,也就是大家都耳熟能详的赌徒典故,在大数据时代,统计学得到了新的发展,概率论与数理统计也能够在大数据的背景下,发挥出更加大的作用,是统计能够有现实的依托,得到的统计数据也会更加精确。

概率论是研究随机现象数量规律的数学分支。随机现象是相对于决定性现象而言的。在一定条件下必然发生某一结果的现象称为决定性现象。在生活中,有很多我们常见的常识问题与概率论都有联系,比如假设在标准大气压下,纯水加热到100摄氏度时水必然会沸腾等。随机现象则是指偶然性,当我们想要预测一件事情发生的可能性时,通过对其的观察发现,其结果具有偶然性,我们难以判断其出现的结果是什么,但是可以通过概率进行分析,比如常见的掷硬币,众所周知,硬币有两面,在正常情况下进行抛掷,可能出现正面或反面[2],我们没有办法对其结果进行预测,但是正面与反面出现的概率都是50%,因此我们能够根据其出现的次数进行推测,比如在一次实验中,我们对普通一元硬币进行抛掷,每次实验抛掷100次,一共进行4次实验,实验结果如下表1所示。

通过上述实验可以看出,具有偶然性的事件会根据概率进行分布,硬币出现正面次数与方面的次数十分接近。

数理统计是数学的一个分支,分为描述统计和推断统计。它以概率论为基础,研究大量随机现象的统计规律性。描述统计的任务是搜集资料,进行整理、分组,编制次数分配表,绘制次数分配曲线,计算各种特征指标,以描述资料分布的集中趋势、离中趋势和次数分布的偏斜度等[3]。

在大数据时代背景下,概率论与数理统计得到了发展的新契机,受大数据本身具有的特点影响,通过收集大数据,对大数据信息进行分析,能够得到比较优的答案,而概率论与数理统计分析,也是通过概率研究事件发生的几率,基于大数据的概率论与数理统计,能够更加科学,结果更加精确。

二、大数据下概率论与数理统计的新方法

大数据下概率论与数理统计十分重要,我们以校园教育为例,国家倡导在当今社会中应该充分利用大数据、大时代、人工智能等特点与优势,积极响应国家做好现代化教育的号召。网络中的教育资源根据学科进行分类,有教案、试卷、素材、课件等等,并且设有中考专区、高考专区、优课专区等,大家也可以通过社区模块将自己认为比较好的教育、学习资源进行上传,实现资源共享。资源共享平台充分的体现出了当前大数据时代的优势,当前高校中学生的生活离不开电脑、智能手机,教师教学也需要多媒体等方式,数据的选择能够提高教学水平,校园管理水平[4]。

由大数据背景下学校教学管理的改变能够看出,学校利用统计学原理对学科知识进行统计,以分模块的方式为学生的学习提供便捷条件,除了在校园之外,生活中、工作中各个方面都能够应用到大数据下概率论与数理统计,因此其十分重要。

在大数据背景下,统计学涌现出很多新的方法,如下:

首先,可视化分析法,大数据分析的使用者有大数据分析专家,同时还有普通用户,但是他们二者对于大数据分析最基本的要求就是可视化分析,因为可视化分析能够直观的呈现大数据特点,同时能够非常容易被读者所接受,就如同看图说话一样简单明了。比如很多APP具有推荐的功能,就能够根据使用者的浏览数据进行推荐其感兴趣的内容。

其次,统计分析法,统计与分析主要利用分布式数据库,或者分布式计算集群来对存储于其内的海量数据进行普通 的分析和分类汇总等,以满足大多数常见的分析需求,在这方面,一些实时性需求会用到EMC的GreenPlum等。

第三,预测性分析,大数据分析最终要的应用领域之一就是预测性分析,从大数据中挖掘出特点,通过科学的建立模型,之后便可以通过模型带入新的数据,从而预测未来的数据。比如百度地图优化行车路线,都是根据大数据进行分析,运用新型的统计方法开展的的软件。

三、大数据下概率论与数理统计的关系分析

从定义的角度出发吗,概率论是对我们看到的事件的随机性进行分析,研究其发生的规律,而数据统计是一种方法,其借助于计算机、互联网等进行操作,能够准确的分析大数据下事件发生的概率,并且能够对事物进行分类统计,因此概率论属于真实存在的一种事实,而数理统计是一种科学的方法,是针对数据进行处理的一种方式。概率论与数理统计之间有相辅相成的关系,其主要目的都是对数据进行处理,使数据能够具有科学的意义,并且对现实生活中的问题解决提供依据。在概率论与数理统计这两者之间,前者能够为后者提供研究的理论基础,而后者又能够为前者提供数据分析,两者相结合,能够使大数据的分析更加精确,数据处理也能够更加有意义[5]。

概率论与数理统计从很早的时候就已经开始应用了,但是当今社会中的数据量已经是海量数据时代,互联网等技术也在不断的发展,传统的数据处理方式难以适应当前的海量数据,因此应该选取涉及面比较广,构成数据的量比较大的新型处理方式。概率论与数理统计最早起源与赌博,大数据时代为其提供了发展的基础,数据来源比较广,数据的内容也比较丰富,采用概率论与数理统计的方式对数据进行处理,有助于数据的分析。

当今社会已经具备概率论与数理统计的研究基础,概率论与数理统计的研究在社会中也具有了应用的价值,因此在数据分析方面,概率论与数理统计两者能够相互联系与支撑。

四、大数据下概率论与数理统计的案例分析

PredPol公司通过与洛杉矶和圣克鲁斯的警方以及一群研究人员合作,基于地震预测算法的变体和犯罪数据来预测犯罪发生的几率,可以精确到500平方英尺的范围内。在洛杉矶运用该算法的地区,盗窃罪和暴力犯罪分布下降了33%和21%。通过概率论与数理统计的方式,我们能了解到盗窃罪和暴力犯罪时有发生,并且根据以往的犯罪记录,我们能够推测出不同地区的犯罪率,结合大数据背景,犯罪发生几率就能够得到精确,这就是大数据与数理统計相结合的优势。

在当今社会中,概率论与数理统计的应用越来越多,比如企业在经营过程中,经常会遇到审计问题,企业中的经营项目过多,应收账款的账目数据量过大,在审计的过程中,难以针对每一项的数据进行审计,这时就会应用概率论与数理统计的方法进行抽样调查,根据特定的抽样方式,对账目信息进行抽取,在对样本进行审查,能够有效的审计其账目的准确性。概率论与数理统计的应用能够解决生活的很多问题,因此该课题具有较高的研究价值。

总 结

总而言之,当今社会中有很多企业都能够利用大数据时代中的数据信息对企业活动作出分析,这种方式能够使企业的发展更加科学。我们在生活中经常会遇到一些难题,在解决难题时经常会十分纠结不知该如何选择,在大数据时代,通过概率论与数理统计能够帮助人们在大量数据中找到比较正确的解决方法,因此在当今时代中,概率论与数理统计是一种十分科学的方法。

参考文献

[1] 翟雪. 基于大数据下概率论与数理统计的研究与分析[J]. 神州, 2016(8):20-20.

[2] 张薇. 基于大数据下概率论与数理统计的研究与分析[J]. 科研:00032-00033.

[3] 葛明星, 苏永刚. 数据素养与数学概念相融合的课改研究——以概率论与数理统计为例[J]. 数学学习与研究, 2018(5).

[4] 张丽. 基于MATLAB平台的商学院校数学教育教学一体化改革探讨[J]. 电脑知识与技术, 2016, 12(19):140-142.

[5] 赵月莹. 从数学思维角度浅析传统数学运算在未来计算机科学与技术领域中人工智能方面的应用[J]. 中国战略新兴产业 2018(4).

作者简介:常锋强(1983.05 --),男,汉族,本科,中国人民大学中级,研究方向: 概率论与数理统计。

猜你喜欢
数理统计概率论大数据
大数据分析思维在数理统计教学中的应用
线上线下混合教学模式在概率论与数理统计课程中的应用
对一道教材习题的思考
概率论方法在高等数学解题中的应用
基于大数据背景下的智慧城市建设研究
关于概率论与数理统计课程改革的思考
概率统计教学中培养学生创新思维和实践能力的探索与实践