探究大数据下的智能数据分析技术

◆聂 珊 肖 炀

探究大数据下的智能数据分析技术

◆聂 珊1肖 炀2

（1.四川省计算机研究院 四川 610041；2.成都哈佛依曼科技有限公司 四川 610041）

随着科学技术的不断进步和发展，互联网技术已经逐渐的应用到社会的发展和人们的生活之中，将人类社会带入了一个大数据的信息时代。几乎每一个公民的生活中，我们都可以发现数据的身影，同时,也更加体现了人类的生活逐渐实现了信息化和网络化。随着社会整体信息量的急剧增加，导致了个人的和可获取信息数量也在与日俱增，这是大数据时代最主要的两个特点，从科技发展的角度来分析，社会数据化已经成为了一个社会发展的必然趋势，随着社会数据化进程的不断加深，我们的社会终将会实现全面的信息化和数字化，导致我们对大数据的需求也越来越迫切。因此，本文对大数据下的智能数据分析技术进行了深入的探究和分析，从国内大数据的发展现状入手，进一步探究了大数据的主要分析模式和分析技术，详细地阐述了在数据分析过程中应该注意到的事项，为日后研究数据分析工作提供了一定的理论基础。

大数据；数据分析；数据化

1 我国大数据发展的现状

对于数据处理来说，数据的分析是一个核心的内容，数据处理的价值体现也是由数据分析来完成的。而大数据的分析同以往的数据分析有着明显的区别，数据量之间发生了显著的差异，由于数据量的急剧增加，导致数据的储存和查询工作加深了一定的难度。因此，从实际的角度出发，要想实现大数据的分析，我们就必须根据原有的数据来探究一种新型的分析模式，寻找到实际的根源，从而建立一个合理的模型来对数据进行储存和查询，从而实现社会各个部门的协调与创新。

目前来看，虽然大数据已经逐渐渗透到社会的各个领域，然而，在我国大数据分析的发展仍然处于一个起步的阶段，从行业的操作方面来看，从事这一部分的企业只占据了一小部分，而且在这一些小部分企业中，只是能够对大数据进行基本的分析，然后将结果应用到最终的决策中。这些行业主要集中体现在银行业、电信业和电商业等等，以银行为主，目前在我国的大型国有银行中都已经引进了数据分析业务，发展但效果也较为理想，可是却没有涉及到过多的领域，运行管理等方面仍然处于一个数据缺失的状态，其他的中小银行无论是在运行管理方面，还是在主营业务方面都没有投入数据分析，数据分析的建设也仍然处于一个起步的阶段。除此之外，在我国的国民经济中占据主要力量的建筑业和外贸业，也没有从根本上引入数据化的发展，没有对数据进行一个合理的分析，从而导致我国整体的数据分析仍然处于一个起步的阶段。

从数据来源的角度来分析，数据化能够保障企业的稳定运行。目前来看，大部分的企业只是单纯地依靠企业本身所具有的数据，来解决已经出现的问题，或者是只有当发现问题的时候，才会对数据进行收集和整理。很少有企业从根本上认识到了数据对于企业发展和谐运行的重要性，因此，数据化所产生的巨大价值几乎很少地发挥在企业的运行和建设过程之中。除此之外，企业的内部和外部所产生的数据也没有得到一个合理的运用，通过企业内部、外部的数据分析，可以对企业即将面临的问题做出一个科学的预测，从而帮助企业针对企业自身的情况作出一个合理的决策。目前来看，以上提到的这些内容，我国在企业仍然存在着较大的进步空间，大数据化下的智能数据分析带动企业的运营发展也有待进一步的发展。

2 大数据的分析方式和分析技术

2.1大数据的分析方式

在大数据的时代，对数据进行分析的最显著的一个特征就是多源头、异结构。数据化的分析过程并不是一个具体而形象的概念，它具有一定的抽象性和降维性，同时也包含了较强的概括性。从数据收集的源头出发，可以将大数据分析的数据对象，分为以下几类。第一类，是根据网页中网民的浏览次数、点击率等内容实施数据的监控，所产生的互联网数据，或是对某一网站的变化和所搜索的关键词的数量，来实施数据监控。第二类，是根据用户的行为以及操作系统和系统运行的状态等日志数据的数据监控。第三类，是通过在通信领域中所产生的信号、信令数据，用户的个人信息以及通话的位置时长等数据的情况。第四类，是在国民经济的各个领域中，不同的行业之间所进行的数据统计。

对于以上这些大数量、多源头的数据，他们没有一个完整而统一的结构。因此，对于这些数据的分析应该采取以下几种模式。首先，对于互联网所产生的数据，我们采取的主要分析模式是建立搜索引擎，通过搜索引擎来对数据进行统一的搜索和处理。随着互联网技术的不断进步和发展，搜索引擎也得到了更好的提升，它的效能和工作效率都上升到了一定的高度，能够在海量的数据中对数据进行删选，从而获得更有价值的信息内容。其次，是对日志数据进行收集，可以通过用户的行为日志和系统运行的情况，对用户所产生的数据日志进行分析，从而导致系统能够根据日志的情况作出更加准确的判断。处理日志数据和网络数据的方法极为相似，都是通过引擎的方式对数据进行删选，筛选出有价值的数据，这种处理数据的模式，我们可以称之为离线批量处理。它不仅可以对网页中的数据进行删选和查询，同时也可以为决策人员提供有价值的数据信息，确保决策人员在最短的时间内获得价值量最高的信息，以此来保障用户获得一个最理想的体验感觉。除此之外，常用的数据分析模式还有查询式分析以及实时数据分析，实时数据分析可以被广泛地应用到国民经济中占据主导力量的行业之间的数据监控之中。

2.2大数据的分析技术

要想从数量如此庞大的信息中，筛选出最有价值的信息，就必须要具有先进的分析技术，在大数据分析的过程中，所使用的分析技术主要有以下几个特点：首先，大数据的分析技术必须要适应大数据的增长速度。其次，大数据的分析技术必须要可以面对数据的多变性和多样化，同时分析的技术应该以非结构化为主。第三是分析的技术，具有一定的快速性，也就是实时分析的过程。只有满足了这些技术特点，才可以适应大数据的发展和变化。为了满足，大数据进步所提出的要求和标准，目前所采取的主要数据分析技术有Qracle的Exadata 和EMC的GreenPlum。而目前分析处理大数据应用最广泛的核心技术为Hadoop。

3 数据分析过程中的要点

3.1明确数据的变量

在大数据的时代下，对数据进行统一的收集和处理，是为了要明确市场变化中的所有变量，这也就意味着在数据分析的过程中，应该要努力去寻找数据前后所产生的变量，也就是数据的变化，通过对数据变化的对比，我们可以分析出对于大数据变化所产生的影响因素，来判断数据的价值，从而来决定市场的走向，这样不仅可以对市场的发展提供有利的条件，还可以帮助决策者对市场的走向做出一个合理的判断。

3.2 统计中不再追求精确的数据

在大数据全面来临的情况之下，数据的不精确性不仅不会影响到数据整体信息的真实性和可靠性，同时，还会促进对整体信息、情况的了解和掌握。大数据时代之下，人们所掌握的信息也越来越复杂，在如此错综复杂的数据信息之下，数据之间的传递就会发生参次不齐的情况，如果对于每一个数据都要要求它的精准性，那么就会给整个统计工作增加不必要的难度。因此，在对大数据进行统计和分析的过程中，我们不需要再去追求数据的具体精准性，吹毛求疵，应该用样本的数量来反映总体的情况，样本的数量越多，样本的平均水平就会和总体的实际情况越接近，如此，就会大幅度的缩短总体和样本之间的差异，从而使样本所表示出来的数据能够更加真实地反映总体的实际情况。

[1]王惠.大数据时代下数据分析理念研究[J].中国市场，2015.

[2]朱建平，章贵军，刘晓葳.大数据时代下数据分析理念的辨析[J].统计研究，2014.

[3]邬贺铨.大数据时代的机遇与挑战[J].求是，2013.

[4]朱建平，章贵军，刘晓葳.大数据时代下数据分析理念的辨析[J].统计研究，2014.

[5]李金昌.大数据与统计新思维[J].统计研究，2014.

[6]俞立平.大数据与大数据经济学[J].中国软科学，2013.