大数据挖掘技术及数学学科的应用

嵇俊杰 雷霓

摘要：当今社会，人们无论在生活中，还是在学习中，都在不断地处理信息。如何从海量的数据信息中有效地提取出高质量的数据，一直是众多专家学者关心的问题。大数据挖掘不可能没有先进的数学知识和方法，在大数据挖掘与处理分析中有效地利用数学知识，可以有效地提高数据处理与分析的效率，帮助人们在最短的时间内获取有价值的数据信息。

关键词：大数据挖掘技术;数学;学科;应用

引言：

大数据是网络信息技术发展的一项重要科技成果。针对不同区域的海量数据，通过统计，进行数据整合，形成数据分析。本文首先从大数据挖掘中的数学知识及其处理入手，阐述了数学在大数据挖掘中的应用。大规模的数据挖掘技术能够有效地促进人们的研究与开发。数学知识与方法的应用是大数据挖掘的关键。数理统计是大量资料分析处理的基础，是从大量资料中提取有用资料的关键。为此，研究者应将数学专业知识纳入大数据的挖掘和处理之中，不断提高数据处理和分析的水平。

1大数据挖掘技术分析

伴随着计算机网络技术的普及与应用，产生于社会生活各个领域的海量数据越来越多。大量的数据在不同的领域有着不同的价值，需要人们去研究和利用，为社会企业做出科学的决策。"欧洲大数据"是指传统软件工具收集的数据，这些数据不能进行计算、处理、管理和使用。大数据要求高级处理，以提高决策、洞察和发现能力，以及流程优化。与传统数据仓库应用分析相比，大数据应用分析的最大特点是：数据量大、变化多、查询困难复杂。当前，在通信、制造、营销、网络信息等领域都有大量数据挖掘的工作。怎样利用数据挖掘来帮助人们解决实际问题已经成为人们关注的焦点。

2数据挖掘的概念和特征

2.1大数据概念

21世纪以来，由于传统的数据分析和分类工具不能对数据进行及时、全面、全面的分析和分类，信息资源的快速发展促进了信息技术的进步和大数据时代的到来。研究结果表明：大数据领域包括天文学、生物学、计算机、电子技术、自动化、信息管理等;它能根据用户浏览的内容和查找的信息，为用户提供准确、满意的服务，节省大量的人力、财力、物力。在互联网压力下，传统企业可以通过分析和整理大量数据，确保产品与时俱进。

2.2数据挖掘概念

数据采掘是大数据的核心领域，是时代发展的必然产物，也是独立发展的主题。研究发现，数据采掘与商业计划紧密相关。目前，数据挖掘技术已经在教育、科研、机械自动化、市场营销、互联网等诸多领域得到了广泛的应用，能够实现复杂的、大规模的数据采集和排序，推动了数据挖掘技术的发展和创新。获得巨大的经济效益，带动了很多行业的快速发展。

2.3数据挖掘的特征及方法

数据挖掘就是根据大量数据之间特定的关系，自动发现隐藏的信息。有价值的信息可以通过统计、联机分析、智能探索、机器学习和专家系统等方法来收集和分类。在人工智能知识发现过程中，数据获取是一个重要环节，知识获取包括准备、挖掘、执行和解释。在数据分析方面，计算机技术寻求大量数据规律，并将相关数据整合为新的数据源;包括关联分析、聚类、异常分析、特殊群体分析和进化分析。资料的获取和编辑不够全面。未来世界的发展属于大数据时代，数据挖掘将在未来社会发挥重要作用。深入研究信息采集方法、规范数据挖掘技术在经济领域中的应用、引入新的技术体系以适应社会发展是数据挖掘的主要趋势。

3数学学科在大数据挖掘中的应用

3.1数学在数据处理分析中的应用

对于资料处理与分析，数学家可采用多种分析方法。把回归分析和相关分析有机的结合起来。基于关联分析，通过对两个或多个相关变量间的定量相互作用进行有效观测。同时，研究人员还必须了解运用大量的数学理论来处理和分析数据，如数学测量学知识，即通过两种或多种单调测度的操作，来产生新的单调测度。研究者可以合理使用数据而减少数据维度。与传统的因素分析方法相比，定量的理论分析方法既能保证数据处理和分析的完整性，又能提高数据的科学准确性。

3.2目标函数模糊聚类法

目标函数模糊聚类方法在大数据挖掘中的数据分析和图像处理中得到了广泛的应用，而配置函数模糊聚类是大数据挖掘中的主流方法。利用模糊关系，客观事物的联系与相似，综合各因素，建立数据库，进行分析与研究。利用模糊聚类算法对所需数据进行聚类分析，再利用模糊聚类算法进行聚类分析，最后利用模糊聚类算法进行聚类分析，并结合网络编译法和极大值法对聚类结果进行排序。

3.3区间算法

区间算法是一种用数学方法分析、整理数据间关系，并利用中值锁定数据获得重要信息的聚类方法。大规模数据挖掘过程中，不完整的系统信息可以被整合、分解，大型数据挖掘技术人员通过区间算法将挖掘得到的数据转化为可比较的数据，并应用科学的方法对数据进行分类和分析。经过实证研究，研究者们提出的区间聚类算法主要有三种：矩阵和区间聚类、数和区间聚类。其中应用最多的是数值方法和区间聚类法，它可以帮助工作人员根据科学的算法快速、高效、准确地提取不完整的系统信息。运用最新的统计手段和方法，以一定的时间间隔进行科学检验。每一个环节都能进行一系列的分析整合工作，通过实际积累对评价信息进行分析。

3.4灰色关联分析法

本文以系统中各因素发展趋势的相似性和差异性为基础，以灰色关联分析为数学方法，对系统中各因素之间的相关性进行了度量。这种方法适用于动态开发过程中的数据分析。其具体形式为s=（x，R），其中x表示影响因子集合，而R点表示各因子之间的趋势相关性集合。灰度数字化是数据挖掘中常用的方法之一。通过对不同几何曲线几何形态的科学分析和比较，实现了数据分析和处理。在两个几何图形之间的几何曲线越靠近，表明数据链越大;相反，两个图形越窄表明数据链越小。在数据挖掘过程中运用数字灰色关联分析方法，可对数据不完整或数据量较少的样本数据进行分析和处理，以提取有价值的数据。

结語

数据处理技术是随着信息时代的到来而不断发展的。信息资源是任何生产和生活所必需的，随着国家对数据挖掘的重视，数据挖掘已成为数据挖掘技术的一大创新，越来越多的人开始有效地利用生产和生活中的数学知识，以支持大数据挖掘技术的发展，提高数据的处理和分析能力，更好地推动人们对大数据挖掘技术的深入研究。

参考文献

[1]卢秋羽，蒋薇，解文琦，等.大数据挖掘技术支持下抽油机井系统效率影响因素分析[J].数学的实践与认识，2020，50（19）：246-252.

[2]李思辰，张公社，纪国法.基于大数据挖掘技术的页岩气井压裂液产出规律分析[J].科学技术与工程，2019，19（25）：130-134.

[3]杨媛.大数据时代数据挖掘技术的应用[J].科技传播，2019，11（21）：83-84.

[4]刘佳禄.大数据挖掘技术及数学学科的应用[J].黑龙江科学，2019，10（8）：124-125.

（上海市立信会计金融学院 上海 200120）