基于大数据背景下数学应用探析

2022-02-22 21:40肖引昌
科技信息·学术版 2022年7期
关键词:大数据背景数据处理数据挖掘

关键词:大数据背景;数学;数据处理;数据挖掘

一、数学发展现状及其与大数据的关系

众所周知,数学是理科类的一门基础学科,历来被各个高校高度重视,为此,清华和北大还专门设立了数学科学研究中心,对数学理论知识进行专门的探索。随着时代的发展,数学领域的研究成果越来越丰富,但是可供研究的领域越来越窄,从牛顿和莱布尼茨发明微积分直至今天,数学研究的方向已被一一攻克。因此,如果今天想在数学这块领域有所突破,已经困难重重。当前,数学在专业建设中处于非常被动的地位。但是随着大数据时代的到来,数据处理与分析需要数学知识提供更多的专业支持。

大数据(Bid Data)是指超过传统数据库处理能力的数据,是需要新的处理模式才能有更强的决策力、洞察力从而适应大量和多样化的信息资产[1]。由此可见,大数据作为一种新的信息资产源,需要具备特定的处理模式,也才能拥有独特的元素,它所具备的这种特定的处理模式,必须由数学这门学科作为基础。意思就是,如果缺乏数学知识,那么大数据也就不具备任何意义,不仅不具备特定的处理模式,更无从谈起对信息资产的应用。因此,对数学及其知识额运用,是大数据背景下的急切需要。

二、大数据背景下数学知识应用的重要意义

大数据背景下,数学知识的应用影响主要在大数据的处理及数学挖掘两个方面。IBM公司将大数据的特征概括为“3V”,Velocity(快速)、 Volume(规模)和 Variety(多样化),而如今人们又加上了Value(低价值密度)和Veracity(真实性)两个特性[2]。也就是人们今天提到的“5V”。这就说明,大数据不仅能容量大量、多样化、真实性的数据,而且具有快速的数据与处理能力。权威根据统计数字表明,权世界每年的数据增长都在50%以上,而且这一数值还在不断增加。这些不断增加膨胀的数据是需要专业的数学知识来进行统计与处理,才能在实践中不断得到应用。同时,在大数据背景下,数据挖掘也有很重要的意义,其诞生也与大数据背景密切相关。在数据挖掘刚刚产生之时,其被专家们解释为“从大量的、模糊的、不完整的、杂乱的数据当中提取潜在的有用的信息随机的实际应用数据中,提取隐藏在其中但又有潜在价值的信息”在大数据背景下,数据挖掘已经被应用于通信、教育、科研、机械制造等各个产业领域,并且数据挖掘在人工智能领域也发挥重要的作用[3]。在数据挖掘过程中,同样也少不了数学知识的运用,一旦脱离数学知识,它便无法提取数据中潜在的有价值的信息,获取的数据也将无任何意义。

三、大数据背景下数学的应用

(一) 数学在数据处理当中的运用

在大数据中,如果需要对数据进行正确有效的分析,首先要进行的就是收集与初步处理这些数据。同时,大数据在使用的过程中对于时效性有着很高的要求,因此,就必须对数据处理的时间进行严格的把控,也就意味着在数据处理的效率以及处理的结构上要求都及其严格。本身原始数据自身所具备的特质,也会很大程度上影响对数据的收集与处理。比如,在对一个大数据进行信息收集与处理的过程当中当,如果原始数据有很大的干扰因素,比如噪声,就会对我们进行数据处理带来很大的不便。这个时候,为了确保数据准确无误,大数据就会对数据进行早期的预处理。这时候,为了使处理效率得到提升,在运用大数据的过程中,数学知识当中大量的分析方法就会大显身手。通常情况下,大数据所运用的分析方法为统计分析法,描述性分析法如、相关性分析法等。举个例子,当一个数据需要对模型或参数进行判断或者检验时,就会运用回归分析法来对大数据进行估计,并建立起科学的数学模型。

(二)数学在数据挖掘当中的运用

在实践过程中,数据挖掘以其应用型、集合性和交叉性为主要特点,在数据挖掘过程中,一般所采用的方法为神经网络、关联分析法及聚类分析法等。而其中的聚类分析法,如今被广泛应用于医学、心理学及市场营销等各个方面,可以说聚类分析法是数据挖掘当中最为常用的一种数学分析方法[4]。聚类分析法在操作的过程中一般会采用目标函数模糊、灰色关联分析及区间值算法等数学学科知識:其一,目标函数模糊。这种方法首先要对数据进行标定和标准化,然后建立与其相对应的模糊矩阵,利用直接聚类、模糊等价矩阵等手段来对关键指标及数据集的聚集。同时,还能够通过编网法和最大数法等手段进行数据聚类,这种方法目前在时效性、维度的处理及伸缩性等方面都非常优越,在大部分的数据挖掘及老百姓的日常生活中都得到了广泛的使用。其二,灰色关联分析。这种分析方法的主要功能在于,它可以通过当前数据中的几何曲线主要作用,是其可以通过当前数据中几何曲线当中的几何图形来判断当前大数据中各个数据的相关性。若几何图形越接近,其关联性越大,反之,关联性则越小。在对数据挖掘当中,灰色关联分析法一般会被运用于样本数据不充足,同时样本也存在残缺性的一些特殊情况当中。其三,区间值算法。在数据挖掘过程中,区间值算法的特点在于其可以对“比较型”的数据进行转化,或是对固定取值范围的数据进行比较分析。这种分析方法目前也很受欢迎。在实际操作过程中,被广泛应用的区间值算法通常有以下三种,数与区间聚类法、矩阵与区间聚类法及区间与区间聚类法。这三种方法都能够高效、准确地统计与分析系统内的各类信息。

四、结语

由此可见,在大数据背景下中,数学这门学科与大数据有着千丝万缕的关联,并在大数据运用中担当者不可替代的角色,尤其是在数据处理与数据挖掘这两个重要方面,它的作用尤为重要。因此,在大数据时代,数学作为一门重要的学科,能有效确保大数据的实用性与有效性。

参考文献:

[1]孟小峰,慈祥.大数据管理:概念、技术与挑战[J].计算机研究与发展,2013,50(01):146-169.

[2]王渊.大数据时代下数据分析的主要变化[J].商,2016(30):201+200.

[3]孔钦,叶长青,孙赟.大数据下数据预处理方法研究[J].计算机技术与发展,2018,28(05):1-4.

[4]林潘能.浅谈大数据挖掘中数学的运用[J].现代交际,2018(09):253+252.

作者简介:肖引昌(1978-08),男,广西北海人,汉族,北海职业学院,讲师,研究生学历,研究方向:数学教育。

猜你喜欢
大数据背景数据处理数据挖掘
基于数据挖掘探讨慢性肾衰竭处方规律
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
基于ARCGIS 的三种数据处理方法的效率对比研究
高层建筑沉降监测数据处理中多元回归分析方法的应用研究
高层建筑沉降监测数据处理中多元回归分析方法的应用研究
数据挖掘综述
软件工程领域中的异常数据挖掘算法
视频大数据处理的设计与应用
大数据背景下企业绩效管理的探讨
大数据背景下石油科技翻译