大数据时代的数据挖掘技术探究

欧阳柏成

摘要：“大数据”（Big data）是继云计算、物联网之后又一颠覆性的信息技术革命，大数据技术是从各种各类型的巨量数据中快速获得有价值信息的技术。随着云时代的来临，大数据也吸引了越来越多的关注，在大数据时代，数据挖掘（Data Mining，DM）是最关键的工具。进入21世纪后，对于在大数据时代挖掘更丰富、更多元的信息课题的研究变得愈加迫切、艰巨，挖掘技术的探究依然成为一项社会型的研究课题；现今阶段，无论信息技术，还是数据挖掘技术，都在影响、改变着数据信息在日常信息管理、信息处理方面的影响与作用；它能够帮助信息依靠非常强的逻辑处理功能，消除信息资源的相互干扰及影响，及逻辑障碍和空间局限等问题，完成信息资源职能上的蜕变与发展。基于此，该文将结合大数据时代背景条件下，数据挖掘技术的发展现状及使用特征，解析数据挖掘技术的相关应用问题。

关键词：大数据；挖掘技术；数据信息；研究与应用

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2015）15-0003-02

2011年5月，全球多个发达国家达成了普遍共识，并意识到全球已经进入到大数据时代，且特别在全球研究会中明确强调了，以网络、工程系统为载体，形成的信息资源已经进入到各行各业，成为重要的生产管理元素。笔者阅读了《大数据信息》这篇著作后发现，大数据是数据集优、分派、管理发展的过程背景与平台，在操作和使用过程中，数据的潜在信息量不容易被准确的探寻得到，需要依靠数据挖掘技术进一步整理、优化才行。由此可见，数据挖掘技术之于大数据时代背景，有着举足轻重的发展地位，其技术的研发与应用，标志着一个国家对数据信息的编辑处理功能，发展意义及作用影响巨大。

1 大数据时代的发展历程及现状表现

2012年3月29日，美国政府在白宫网站上发布了《大数据研究和发展倡议》，表示将投资2亿美元启动“大数据研究和发展计划”，这一政策举动当即引起了众多发达国家的注意，侧面证明了，大数据平台的建立与研发，已经成为评价一个国家实力和资本能力的重要指标。据统计，从“大数据”概念被提出至今，大数据的信息容量和数据交流量就在不断的刷新纪录，由2011年的1.8ZB提高到14.2ZB，这个容量相当于每个人每天要消耗、应用200GB以上的数据信息。还不止如此，在美国国家统计局2014年的总结报告中，美国2012-2014年的大数据容量皆能够以50%左右的增幅增长，这种惊人的增长速度，是任何行业、领域都很难达到的。尤其是近期中国开始走进大数据环境，各行各领域的数据、信息的本质已悄然发生了变化，如：ERP系统，它可将所有业务信息集合在一起，形成一体化管理模式，最大限度降低业务操作行为所产生的损耗资源，如此一来，工作的效率和质量都会有所提高。从发展现状上看，我国企事业单位对大数据、互联网环境的包容能力很强，他们知道该怎样利用信息的集合优势，能够正确评价作业，使大数据充分发挥其影响作用。

2 数据挖掘技术简述及数据信息分析方法

2.1理论概述

作为一个新兴的技术科学，数据挖掘技术是伴随着网络数据应用的逐步推进而渐渐发展起来的，它不光被商业领域生产、管理工作所应用，还能够进入到各种无规则、无程序要求、复杂的数据信息使用环境中。数据挖掘的目的在于通过技术手段，把存留、积聚在网络上的数据信息抽离出来，编辑、处理成信息集合，供人们收录、查看，以及扑捉应用。

2.2基本分析方法

要想延展、推广数据挖掘技术的应用表现，需要从数据用途、分析方法入手，系统探究，因为只有这样才能发挥出数据真实、本质的应用影响及价值。对于任何一种特殊数据来讲，深挖其信息资源的具体内容都可以发现或多或少的规律、特点，甚至是相同的信息内容。常见的信息分析方法有：

2.2.1聚类分析法

把抽象、不确定、无指向的数据信息集中在一起，分类整理、编辑处理后，形成具有统一特征、表现的数据源，以供分析研究，给分析方法极为常见，可以适用于各种应用到数据信息的工作中。

2.2.2关联分析法

不同数据之间有关联性影响，但凭借人力很难发现这些信息的特征，需要预先围绕信息的关联表现，制定数据关联管理方案，以完成某种目的性的信息处理目的和任务，它适用于对信息处理要求高、任务复杂的信息管理工作。

2.2.3特征性数据分析法

随着数据资源应用范围的广泛，网络数据的特征性功能和性质被大量挖掘出来，如：人工神经网络神经网络通过复杂的大批量数据进行分析，实现对于计算机或人脑而言非常复杂的模式抽取及趋势分析；遗传算法经常被用作评估其他算法的适合度，围绕生物进化原理，假设、虚拟信息数据成长过程，组建半真实、半虚拟的信息资源；可视化技术可视化技术是数据挖掘中应用非常广泛的一种辅助技术.它借助图形、图像、动画等手段形象地指导操作、引导挖掘和表达结果等。

3 数据挖掘技术的具体应用问题

3.1数据挖掘的基本过程

对某公司采用的数据挖掘技术进行系统分析可知，数据的挖掘也需要依靠固定流程、顺序操作方才能完成信息资源的整合及处理，具体操作流程如下图1所示，本文把它分为三个步骤加以论述，具体内容为：一是数据准备，开始数据挖掘之初，要有明确、客观的“目标数据”，也就是说，在寻找数据、挖掘数据之前要首先知道需要哪些数据，方才不致盲目。数据准备的过程中，系统会根据具体操作和指示，在浩瀚无垠的数据库中检索符合条件、目标原则的信息资源，加以分类、清洗、编辑，甚至于预处理。二是数据挖掘，经过处理后的目标数据信息，需要经过“挖掘”处理后，才能被正确、高效引用到管理机制中，所以该操作环节是整个程序的关键过程。如：按照数据挖掘的目标要求，选择合适、科学的计算方法、分析方法，找寻、归纳数据信息的特征及应用价值表现；又如：根据程序的应用表现，选择固定的数据区域，对数据进行分类“挖掘”，以获取较为有深度、有内涵价值的数据信息资源，最后对挖掘过的数据结果进行解释、分析、提取有意义或有使用价值的规律，还原成人们能够理解的数据语言。三是巧妙的运用管理知识、计算知识，尽快的把数据挖掘技术提取、总结出来的数据信息以及评估结果，应用到现实工作当中，判断、影响某个决策行为、意识思想的正确与否、科学与否。这个步骤显然是数据挖掘技术应用价值最终极的体现，所以也应一丝不苟的完成。

3.2技术应用的延展方向

对大数据时代的数据挖掘技术的相关应用问题进行系统分析可知，在未来几年，数据挖掘技术的应用领域会被进一步拓宽，除了在市场营销领域、科学研究领域、生产制造业领域、电信领域、教育领域得到广泛应用外，还会逐渐向其他行业延伸，如：航空航天、生物制药、刑侦调查等领域，技术应用领域的发展，要求数据挖掘技术的功能性必须愈加丰富，才能迎合该项技术事业的拓展表现，主要延展方向有。

3.2.1 挖掘后数据信息资源的职能范围和表现形式

单一靠背景、环境来促进数据挖掘技术的转型是不科学的、不合理的，因此，当网络信息化环境形成时，便要考虑社会经济、科技、文化等环境要素的变化趋向，使其数据挖掘技术职能的发展能够最大限度的配合工作。职能作用更加丰富，在信息环境下，数据挖掘技术信息的限定条件变的不同了，以原始数据挖掘技术概念为框架，数据挖掘技术信息只被用于数据挖掘技术管理，而不参与决策管理，而现阶段信息化数据挖掘技术则不同，它可以解释企业经济活动中所有物质的性质和价值变化趋向，围绕数据变化特征及具体规律表现，找出信息的基本要素、信息质量特征、数据管理要求等多种信息源种类，进而丰富其表现形式。因此，经数据挖掘技术处理后的信息，其职能范围、表现形式的扩大与丰富，预示着网络拟定的目标服务是较为完整的，并具有特殊个体物品属性的，它承担着传统数据挖掘技术生产、工作的所有物质、信息资源管理责任，却不拘泥于此，能够充分满足大数据时代，数据化信息处理、编辑管理的各种工作要求，整合不同种类的业务，做到一体化业务数据挖掘技术服务。

3.2.2 充分利用大数据背景，防止数据挖掘技术信息失真

数据挖掘技术信息主要来源于社会、出自大数据，因此，包括各行各业在内的数据挖掘技术需求者应对社会、网络等自身需要的数据信息资源进行统筹规划，使之成为具有公共物品性质的产品，能够发挥个性化职能影响，主导、控制、管理数据挖掘技术管理工作。首先，数据挖掘技术职能如何充分发挥大数据背景，意味着技术信息化程度的较高，具备被挖掘、被记录、被管理的能力和平台，因此，要想推动数据挖掘技术信息资源转型与应用，必须充分利用大背景数据，使得业务与技术操作程序真正的一体化。业务与技术操作程序的一体化也就意味着数据挖掘技术可以把各项资源的消耗、变化，以及管理操作等行为有效、科学的记忆，只要技术操作者愿意，都可以获得发生在资源消耗源头的信息，那么这对于评价数据信息资源消耗的效益十分有意义，进一步有助于评价作业的价值，从而可以优化业务流程。围绕大数据背景，重新定义数据挖掘技术职能，针对数据挖掘技术信息有外部和内部服务的区别，合理控制企业内部各阶段、各类型的数据挖掘技术信息，并采用辅助管理机制，完善数据挖掘技术的相关职能。

4 结论

综上分析可知，大数据时代的到来，对数据挖掘技术职能转型、变迁有着积极的影响作用。目前，数据挖掘技术职能转型面临着许许多多的限制条件，信息资源丰富度不强；数据挖掘技术信息的社会性质差，无法说明其数据信息真正的价值取向；信息的核心价值欠缺等，所以，要在数据挖掘技术应用实践中充分发挥数据挖掘技术职能，研究信息化背景下数据挖掘技术职能发挥路径的变迁和改进是重要的问题。未来几年，我国数据挖掘技术应当依附于大数据背景，从现实角度出发，讨论数据挖掘技术职能转型、发展的相关问题。

参考文献：

[1] 李平荣.大数据时代的数据挖掘技术与应用[J].重庆三峡学院学报，2014，10（103）：145-147.

[2] 卢建昌，樊围国.大数据时代下数据挖掘技术在电力企业中的应用[J].广东电力，2014，22（109）：88-94.

[3] 张树森.大数据时代数据挖掘对管理数据挖掘技术职能的影响[A].中国数据挖掘技术学会数据挖掘技术信息化专业委员会.中国数据挖掘技术学会第十三届数据挖掘技术信息化年会报告论文集[C].中国数据挖掘技术学会数据挖掘技术信息化专业委员会，2014，22（12）：15-23.

[4] 宋志秋.大数据时代营销中的数据挖掘技术[J].数字技术与应用，2015，22（103）：209-211.

[5] 曹莉.刍议大数据时代的数据挖掘与精细管理[J].经营管理者，2013，10（118）：191-192.

[6] 韩英.浅析大数据时代的数据挖掘与精细管理[J].成都航空职业技术学院学报，2013，29（104）：63-71.

[7] 赵倩倩，程国建，冀乾宇，戎腾学.大数据崛起与数据挖掘刍议[J].电脑知识与技术，2014，10（133）：7831-7833.

[8] 马遥.计算机数据挖掘技术在CBA联赛中的应用理论研究[J].郑州大学学报（社会科学版），2014，29（23）：102-112.