大数据环境下数据挖掘技术的探析

甘小梅

摘 要：随着互联网高科技的飞速发展，数字化的时代已经来临，我们的生活和工作甚至是娱乐都离不开数据信息的支撑。大数据以其无以比拟的挖掘力、分析总结能力和优化能力成为我们的良师益友。而数据挖掘是大数据技术的重要构成，可以为我们在浩渺的数据海洋里找到各种计算方法，而且这些计算方法的科学性、简便性适合任何复杂的数据环境。本文将通过对对大数据特点的总结，对数据挖掘技术进行有效的分析。

关键词：大数据;数据挖掘技术;算法探析

高科技的发展让我们目不暇接，尤其是数据信息的飞速发展，让我们的生活和科技融合得更紧密。在大数据渗透各行各业的同时，一些传统科学领域也借助数据平台有了新的发展，与此同时，许多新的技术又雨后春笋一般诞生，把互联网行业推向信息时代的巅峰。但新技术的应用过程中也存在着诸多问题，比如现有的数据处理技术已经跟不上大数据迅速发展的脚步，因此发展数据挖据技术是我们要面对的课题。

一 大数据技术的概况和发展趋势

（一）大数据的概况

大数据技术顾名思义就是对数据的海乃百川，其强大功能是在庞杂的数据里获得有实用价值的信息，具体技术包括是采集数据、数据的输入输出、数据模型、数据处理、分析汇总、数据挖掘、数据预测和结论的产生等。在大数据技术的运行中，采集数据是第一个阶段，其中管理信息系统和Web 信息系统是主要的信息来源地。数据类型的不同，储存和输出的方式也不同，主要有三种存储和输出的方式：文件存储体系 GFS、 MapReduce 计算模型和满足更多需求的 MapReduce 。

（二）大数据的发展趋势

大数据时代，新科技像井喷一般的出现，如云计算、人工智能等。大数据技术是高科技却是服务广泛的技术，已经应用到国民经济的各行各业当中去，例如最新诞生的机器学习又受到民众的欢迎，机器学习是人工智能的分支，发展的宗旨是计算机在没有明确代码的情况下能够自主学习，支撑它的技术原理就是大数据技术。在当今的科学世界里，大数据的数据挖掘技术是支撑起总体优势的重要部分，大数据的计算功能是无比强大的，有很多不同的计算方法，对解决科学研究中的很多难题做出了巨大贡献。虽然大数据具备强大的数据优势，但在发展过程中也面临着挑战，庞大数据是无以比拟的优势，但在储存保护方面需要克服种种困难。尤其是信息泄露的难题得不到有效的解决，让企业和一些个人受到很大的损失。只有从根本上堵住漏洞才可以减少信息泄露的机会。

二 大数据下的数据挖掘技术

（一）数据挖掘技术和云计算

在信息化的时代，全球使用计算机和其他电子设备的人已经达到数十亿人，海量数据在互联网里储存，各行各业的生产生活都已经离不开数据，在这样的大背景下，数据挖掘技术越来越受到重视和应用。数据挖掘的手段有很多种，其中包括数据统计、线上分析、检索情报、机器学习、专家系統和模式辨别等手段。作为分布计算之一的云计算，其计算功能是异常强大的，最基本运算模式是通过互联网采集共享计算资源通过处理得出结果，云计算最大的优势就是以最低的管理成本获得精准的计算结果。云计算的运算流程是将繁杂庞大的数据处理程序拆分成N个小程序，然后利用多个服务器分头运算、处理和分析，最后把精准的结果反馈给用户。云计算的神奇之处就在于短时间内处理庞大的数据而且异常精准。

（二） 数据挖掘技术的发展现状

数据挖掘技术作为大数据的一个环节，是从最初级的数据库转化而来的，当下已经是非常娴熟的大数据技术的核心部分了，数据挖掘技术的要点就是实现信息数据的高效管理和有效利用。数据已经渗透到我们生活工作的每个环节，从而怎样采集数据已经不是难题，我们通常需要的是数据背后或者深处我们需要的信息，对深层次信息的挖掘才是数据挖掘的最大价值。在新的形势下，数据挖掘技术已经有了更深度的功能：首先是经过数据源采集数据，再把需要处理的数据整合为适用的模式，在特定的模式中分析整理出这些数据隐藏的有价值的信息。

（三）数据挖掘中的经典算法

第一种，C4.5 算法。这是对决策树算法进行改进后的一种新模式，其分类规则是依照目标变量产生效果的差异性解决措施，其原理是依照所选择的特征和分裂点进行目前节点的分类依据。C4.5算法完全具备决策树算法的所有优势，运算的过程清晰，操作浅显易懂，精准度极高，是目前最广泛应用的计算法。

第二种，K-Means 算法即 K 均值聚类算法。K 均值聚类算法从字面上理解也是一种聚类算法，将 n 个目标依照属性进行 k 个分割，计算出每个目标与不同种子聚类间的距离，然后最近的聚类中心接收各类目标，之后每个聚类中心反复进行以上的流程，直到满足某个可以终止的条件。这种运算法的优点是目标容易实现;缺点是在海量的数据运算里效率不高，这种算法适合数值型数据的运算。

三 数据挖掘技术的更新及其有效应用

（一）数据挖掘技术在金融行业的应用

在经济体量迅猛壮大的今天，金融行业的发展也是突飞猛进的，大数据的应用在金融领域是最为典型。随着互联网金融蓬勃发展，给传统的金融行业带来巨大的挑战。其中网络支付、P2P 模式的网贷，以至于股票期货也开始投身互联网金融的模式。大数据时代虽然给传统金融带来挑战，但也给金融行业带来了发展的新契机，例如，可以为金融用户对分类、风险评估等提供更高层次的参考价值。

（二）数据挖掘技术在教育行业的有效应用

教育也是大数据应用最广泛的领域，教育数据挖掘和多个大数据进行融合，其中与数理统计、机器学习、人工智能和数据挖掘等技术的结合最为典型。对教育行业的传统数据进行分析和整合，进行模型的构建，从而真正实现了对学习者学习趋势的有效预测。也为互联网教育提供发展的依据，实现互联网教育系统的普及和广泛应用。

结束语

总而言之，在信息技术日新月异的发展中，给我们生活带来翻天覆地的变化，其中都得益于大数据的应用。从最初的只是对大数据进行的单纯的分析，到现在的大数据的深度应用，成为包罗万象的世界数据库，大数据的优势已经成为世界科技的主流力量。但任何事情都尤其两面性，新技术也一样存在这一些问题，尤其是数据挖掘技术还不成熟，需要我们在应用的过程中探索解决的办法，让大数据更高效、更优质地为人类服务。

参考文献：

[1] 张珍 . 云计算环境下的数据挖掘算法探究[J]. 网络安全技术与应用 ，2019（05）：58-59.

[2] 夏春梅 . 大数据背景下数据挖掘技术在银行中的应用 [J]. 电子技术与软件工程 ，2019（10）：174.

[3] 胡 水 星 . 大 数 据 及 其 关 键 技 术 的 教育 应 用 实 证 分 析 [J]. 远 程 教 育 杂志 ，2015，33（05）：46-53.