大数据时代的数据挖掘技术分析

李静燕

摘要：计算机技术的飞速发展，带动社会各项事业共同进步，其中大数据时代的来临为更多的行业带来新的发展契机。不仅科研单位对数据的获取与挖掘提高了重视，企业发展对数据的内容和可靠性也产生较强的依赖性。在这种背景下，数据挖掘技术已经成为一种主流技术，在大数据的发展中发挥着重要的作用。

关键词：大数据时代；数据挖掘技术；分析

中图分类号：TP311 文献标识码：A 文章编号：1007-9416（2017）09-0230-01

数据挖掘技术是基于计算机技术和大数据的新型技术，通常也可以称之为数字处理技术。具体指的是对各大企业内部的数据进行整理、调整、挖掘实施以及评估等一系列操作，目的是实现全局数据的优化。大数据技术跟以往抽样方式有很大的不同，大数据技术通过对全局数据进行全面分析，保证分析的可靠性。大数据技术的优点主要体现在以下几个方面：高数量、高速度、多元化以及高价值。

1 大数据与数据挖掘技术概述

1.1 大数据技术的发展情况

在一定的时间范围内，有些数据不能通过常规的软件进行捕捉、管理和处理，我们将这些数据的集合称为大数据。海量的数据信息和高强度的数据处理能力是大数据技术的两个重要内容，这也是不同于传统数据处理系统的两个重要方面。大數据技术的主要用途在于完成对大型复杂数据模块的高效分析，具体工作包括对数据的收集、分析、共享以及传输等。超前性也是大数据分析的重要特点。不同于传统的数据处理方式，大数据分析技术具有一定的预测性，完成分析之后，能够及时对数据进行提取，保证数据分析的实际价值。在分析过程中还会发现数据之间新的联系以及新的信息，这对于多个领域的发展具有重要的作用。

1.2 数据挖掘技术

数据挖掘技术是基于计算机技术和大数据发展的新型学科，数据挖掘技术起源于上世纪80年代，当时的数据挖掘在本质上跟现在有较大的区别。科研工作者对大数据的研究最初只是为了推动人工智能技术的发展。数据挖掘技术本质上是一个对数据进行挖掘并创新的过程。因此挖掘过程中对目标数据也有一定的要求，目标数据应该具备以下特征：隐蔽性、具有挖掘价值以及挖掘潜力，从而保证数据挖掘工作的意义。数据挖掘者需要在随机、模糊、冗杂的数据库对目标数据完成挖掘，这也是最主要的工作方式。从商业经济层面来讲，数据挖掘技术还有一个重要的意义，就是通过分析完成对数据规律和价值信息的获取，这些数据规律对公司的重要决策确定具有重要的指导意义。

2 大数据中的算法分析

大数据技术处理的数据量庞大，并且呈现出来的是无规律的随机状态，通过挖掘技术获取数据的价值时，应该对算法有一定的要求。常用的大数据算法有神经网络算法和灰色关联度分析。

2.1 神经网络算法

神经网络算法主要是通过神经网络系统对神经元的控制处理形成最终的算法。整个神经网络系统包含大量的神经元，不同神经元之间通过具有调节性的连接权值完成，如图1所示。

大规模并行处理、分布式信息存储、良好的自组织自学习能力等是神经网络系统的主要特点。神经网络是处理神经元集合的一种计算方式，主要目的在于有效解决生物神经元的大集群问题，这些生物神经元之间通过轴突完成连接。另外，由于神经元之间相互连接，相互影响，因此单一神经元对与之连接的神经元的激活状态会产生不同程度的抑制作用。单一的神经元还有将输入值组合求和的功能。每个神经元本身还具有容纳阈值函数和限制函数的能力，因此信号在不同神经元之间传递时，需要冲破限制。这一功能已经被应用于编程的困难任务中。神经网络算法的特征体现在包含具有一些动力系统的认知模型参数中的知识，这对于高级人工智能的发展大有裨益。

2.2 灰色关联度分析

灰色关联度分析也是一种常用的大数据算法的分析方式，数据因素在发展趋势上会呈现一定的相同性和不同性，对这些相同和不同进行归纳分析的过程就是灰色关联度分析的过程。在数据信息上，可以定义两个理想状态，即没有信息的黑色情况和具有完美信息的白色情况。而实际中的状态就是介于两者之间的灰色状态。灰色状态的内容较多，即有部分是已知信息，也包含部分未知信息。而灰色情况的信息质量形成在于信息的绝对缺乏到信息完整存在的过渡。灰色情况具有一定的不确定性，因此灰色分析可以有效得出关于解决方案的相关内容。在实际应用上，灰色分析主要用于筛选最优方案，改善问题的解决方式。

2.3 大数据平台的设计

在计算机技术发展的衍生技术中，虚拟化技术在一定程度上促进了大数据技术的发展和云平台的搭建。虚拟化技术还可以实现数据资源的有效整合，并将数据资源中的高质量数据进行处理并存储。借助职能设备，将资源进行合理分配，进而不断优化自身系统。优化主要体现在以下三个层面：

（1）平台层。大数据本身的存储方式和管理技术，能够对数据进行高效处理，为科研活动的开展保驾护航。

（2）功能层。采用扩展法对目标数据进行挖掘，通过建立数据模型，可以有效完成云计算以及分布的处理能力，改善数据的处理效率。

（3）服务层。借助于WEB与Open API的大数据挖掘处理技术，可以在副I大数据的环境下完成数据的分析，优化端口管理方式和流程，改善端口智能配置，加强数据的交换，科学合理地实现大数据的共享。受到管理层次的影响，应该通过合理控制输入输出保证数据的高效交换。

3 结语

综上所述，尽管数据挖掘技术已经经历了一定的发展阶段，但新背景下的数据挖掘技术依然有较大的发展空间，尤其在特殊领域的应用中，这种前景更加明朗。因此研究这项技术，对于创造更大的经济效益和社会效益具有重要作用。

参考文献

[1]杨华昆.大数据时代数据挖掘技术[J].电脑编程技巧与维护，2015，（24）：22.

[2]孔志文.大数据时代的数据挖掘技术与应用[J].电子技术软件，2015，（23）：68.

[3]石静静.基于大数据的数据挖掘技术探讨[J].数字技术与应用，2016，（03）：92.

[4]孙勤红.大数据时代的数据挖掘及应用[J].电子技术，2016，（06）：72.endprint