数据挖掘技术及其应用分析

2014-09-24 00:07刘义
无线互联科技 2014年7期
关键词:海量数据挖掘领域

刘义

摘要:数据挖掘技术是一种新兴技术,由于该技术在大数据的处理方面具有很大的优势,因此许多行业,尤其是像科研、金融、教育等需要分析大量数据的领域都纷纷引进数据挖掘技术。本文介绍了数据挖掘技术的含义以及方法,并对数据挖掘技术的应用做了简要分析。

关键词:数据挖掘技术;知识发现;计算机随着计算机技术和信息技术的发展,互联网已经走进了普通人的生活,人们可以互联网上获得海量的信息,这些海量的信息都被储存在庞大的数据库中。但是由于技术手段的限制,真正得到有效利用的信息仅仅是冰山一角,这种情况造成了信息的浪费,因此需要研究出新的技术手段来挖掘数据库中有用信息,实现对数据库信息分析的自动化、智能化,以最快的速度实现对海量原始数据的分析整理。目前,一项新兴技术正方兴未艾,即数据挖掘技术,该技术能够快速分析大量数据,具有很大优势,目前,基于数据挖掘技術的研究越来越多,其应用范围已经扩展到电信、金融等行业,未来还具有巨大的发展潜力。

1数据挖掘与数据挖掘技术

1.1 含义

数据挖掘就是针对海量数据的有效利用而提出来的,由于社会生产生活过程中产生了数量惊人的数据,这些数据往往是混乱的、无序的。单凭人脑难以高效处理,往往造成大量信息的浪费。数据挖掘就是要从这些混乱的、无序的、模糊的、随机的、不完全的数据当中找出人们事先不知道但是具有潜在价值的信息和知识。从本质上说,数据挖掘是一种深层次的数据分析方法。数据挖掘技术就是针对数据挖掘的要求设计出来的实现数据挖掘的途径和方法。随着计算机技术和信息技术的发展,再加上人们对数据库研究的日益深入,使得人们对数据挖掘有了新的认识。人们根据数据挖掘任务的不同,把数据挖掘分为不同的类型,例如分类和预测模型发现,序列模式发现,数据归类、聚类、关联规则发现,依赖关系和依赖模型发现等等[1]。根据挖掘方法可以认为统计学方法、机器学方法、数据库方法以及神经网络方法。

1.2 数据挖掘的过程

数据挖掘有其自身特有的过程。一般来说,首先需要确定挖掘的对象,即选择数据源。其次就是要尽可能全面地收集数据。接下来就需要借助图表等工具对所收集到的数据进行直观化的描述,从而形象地反映出各种数据之间的联系。第四步需要根据数据情况选择合适算法,并建立预言模型。然后还需要对模型进行验证,从验证过程中找出模型的不足之处,并且及时加以完善,使模型更加合理实用。最后就是利用模型指导实践了。

2数据挖掘技术的应用

数据挖掘技术作为一项新兴技术,是时代发展的产物,顺应了信息时代的发展潮流,因此,该技术自诞生之日起就引起了极大的关注。由于数据挖掘技术在大数据的处理方面具有很大的优势,因此许多行业,尤其是像科研、金融、教育等需要分析大量数据的领域都纷纷引进数据挖掘技术。

2.1 数据挖掘技术在科研领域的应用

众所周知,科研是高精尖的行业,对数据的处理有非常高的要求,而且,科研过程当中经常需要处理各种纷繁复杂的观察数据和实验数据等,随着科研的不断发展,数据的数量已经呈现出技术增长的状态,传统的数据分析手段已经显现出力不从心的现象,不仅效率低下,而且精确性也难以满足科研要求。因此,面对海量的科研信息,引进数据挖掘技术成为必然选择。近年来,数据挖掘技术逐渐走进了科研领域。例如,实现加州理工学院喷气推进实验室开发的SKICAT就是基于数据挖掘技术而研发的,该系统已经发挥了作用,它帮助科学家发现了16个新的类星体[2]。除此之外,数据挖掘技术也被应用到了生物学领域,例如利用数据挖掘中的序列模式来进行基因图谱的绘制工作等。

2.2 数据挖掘技术在金融领域的应用

金融领域涉及面广泛,数据量也非常大,虽然银行和金融机构所产生的数据相对来说更加有序和完整,但是金融分析领域的投资评估和股票交易的预测等具有很大的风险性,投资者和决策者在海量的信息面前往往不知所措,多数情况下是凭借经验进行判断的,因此容易导致食失误。因此金融领域迫切需要通过对海量数据进行有效分析,为投资者、决策者提供最佳的预测,数据挖掘技术正好适应了这一需求。通过数据挖掘技术就可以从海量的信息当中找到各种信息之间的相互关系,识别各种风险,然后对形式作出合理的预测。目前已经存在的系统有HNC公司开发的FALCON,这是一种信用卡欺诈估测系统,目前已被许多的零售银行用于探测可疑的信用卡交易。

2.3 数据挖掘技术在教育领域的应用

随着教育信息化的发展,学校教育在时间和空间上越来越超越传统的教育,学生、教师和学校都面临着更为繁杂多样的信息交流,因此如何把海量的教育信息有效整合起来成为教育领域的一种重要命题。数据挖掘技术无疑为人们提供了一条新的思路。例如通过数据挖掘技术把互联网中海量的教育资源结构化,从而化解传统检索方法的困境。

[参考文献]

[1]舒正渝.浅谈数据挖掘技术及其应用[J].中国西部科技,2010,9(5):38-39.

[2]赖娟.数据挖掘技术及其应用分析[J].现代商贸工业,2009,(14):283-284.

猜你喜欢
海量数据挖掘领域
一种傅里叶域海量数据高速谱聚类方法
探讨人工智能与数据挖掘发展趋势
领域·对峙
海量快递垃圾正在“围城”——“绿色快递”势在必行
基于并行计算的大数据挖掘在电网中的应用
一个图形所蕴含的“海量”巧题
一种基于Hadoop的大数据挖掘云服务及应用
新常态下推动多层次多领域依法治理初探
基于GPGPU的离散数据挖掘研究
基于文件系统的分布式海量空间数据高效存储与组织研究