基于人工智能技术的大数据分析方法研究进展

蔡敏

关键词：人工智能;大数据;分析方法

如今大数据在社会各个方面都发挥着非常重要的作用。而且，全球信息化的趋势也在昭示着大数据技术将会得到更加广泛地应用。在各种工业发展中，也开始逐渐应用大数据技术，我们已经走进了工业大数据时代，如果能够基于人工智能技术的基础上研究大数据分析方法，就可以从根本上优化大数据的使用范围。

一、基于人工智能技术的大数据分析方法概述

由于信息技术的飞速发展，大数据技术已经逐渐被应用到人们生活的方方面面，而人工智能的广泛使用，也为人工智能基础下大数据分析方法提供了有效的基础，未来对于人工智能和大数据分析技术的应用范围只会越来越广泛，而基于人工智能技术下大数据分析方法，主要可以分为三个部分。

（一）基于机器学习的大数据分析

在人工智能技术当中，机器学习是非常重要的一部分，也是在大数据分析当中最常用到的方法，不仅在国内，有学者着手开始研究基于机器学习的大数据分析，在国外已经有不少学者开始对这方面进行研究，而且，部分研究成果已经应用到了很多领域。基于机器学习的大数据分析可以主要分为四点。

1.大数据聚类

大数据聚类作为所有算法当中最难的部分，不仅需要跨学科，跨领域，而且还需要跨媒体，也就导致了这一部分的研究受到了越来越多的关注。

2.大数据关联分析

大数据关联分析的另一个名字叫作关联挖掘，它的主要作用就是在众多的数据中找到关于项目集合或者是对象之间的合适模式以及关联性和因果结构，是目前大数据技术当中主要发掘的技术之一。

3.大数据分类

大数据分类也是大数据挖掘中的一个重要方法，而且大数据分类广泛，存在于各种行业中，连网络入侵检测和医疗诊断当中，也有大数据分类的身影。

4.大数据预测

大数据预测是整个大数据分析技术中的核心内容，大数据预测可以在很多行业中发挥它的作用，最常见的就是价格预测元素分析以及电力负荷预测等，这都可以为行业后续的发展提供非常有利的数据支持。

（二）基于深度学习的大数据分析

深度学习是由加拿大一位教授在某期刊上所提出的。后来，基于深度学习的大数据分析，成为机器学习的一个非常瞩目的研究领域，而且深度学习也是机器学习方法之一，它通过对图像、语音以及语言等处理的应用，对人工智能的发展有着非常重要的作用。而且在人工智能当中，深度学习是需要经过训练的，它归属于计算密集型任务。

（三）基于计算智能的大数据分析

它是人工智能中一个非常受关注的分支，因為计算智能自身有着启发式和随机性这两个特点，可以更好地解决大规模问题。在我国的传统发展中，优化算法主要都采用集中式设计思想，在运算的过程中，需要顾及收敛性和收敛速度，但是如果面对一些大规模数据优化或者是处理问题，传统的集中式设计就无法进行处理或者处理起来非常耗时，但是如果应用计算智能来进行大数据分析，就可以很好地解决这种大规模的数据处理问题。

二、基于人工智能技术的大数据分析应用领域

（一）生态领域

基于人工智能技术的大数据分析技术在生态领域的作用主要可以分为三个方面：第一个方面是生态保护领域的应用，第二个方面是生态修复领域的应用，第三个方面是生态灾害防治领域的应用。近年来，我国的经济发展十分迅速，但也导致了相应的环境问题，党中央以及相关部门也加大了对生态环境保护的重视。例如，在针对森林生态系统的防护过程中，需要做到的就是确保森林资源不被酸雨所影响，还要尽量注意全球变暖对于森林资源的影响。在这种情况下，可以利用人工智能和卫星遥感技术与大数据分析相结合，针对未来的天气情况以及气候环境进行实时预测以及监控。利用人工智能对环境健康进行监测的同时，也可以利用大数据分析技术来调取森林近年来的生长数据，一旦发现有酸雨即将来临，相关负责人员就可以提前采取措施，通过分析森林的生长情况来确认森林是否会被酸雨所破坏，以及相关的防护措施要做到什么程度，这样就可以提前对森林资源进行保护。在生态修复领域的应用中，可以将人工智能技术下的大数据分析技术应用到种苗培育当中，在生态修复的过程中，不可避免地会涉及一系列的种苗，在培育时就可以利用人工智能和大数据分析技术来分析当地的生态环境，判断适合种植什么样的植物可以提高植物的存活率。将人工智能技术应用到生态灾害防治领域，可以防止发生大面积的森林火灾，利用热成像摄像机可以随时监测森林当中的情况，一旦发生任何病虫害，也可以及时发现。

（二）生活领域

人工智能技术在生活领域的应用主要是关于人们的生活习惯。近年来，由于大数据技术和人工智能技术的兴起，我们可以切身地体会到，我们的生活便捷性有了很大的提高，以最简单的购物为例，以前用户在网上购物的过程中，想要什么东西，可能会需要自行搜索，然后再去挑选，而且每次买东西都需要重复一样的步骤，但是现在只要用户对某一类别的产品感兴趣，计算机就会根据用户的喜好进行大数据搜索，然后再推荐相似类别的东西，这就大大提高了人们购物的便捷性。目前在国内大部分餐厅中也开始采用机器人送餐模式，这是人工智能技术和大数据分析结合的一个主要应用，机器人在上菜过程中既定的运动轨迹以及所能承受的菜品重量，都是结合了大数据才得出的。在人们日常的生活中，人工智能技术下的大数据技术也有很广泛地应用。例如，如果有身体不适需要就医，人们可以直接在网上进行挂号，挂号成功后直接到医院而无须等待，这就是人工智能技术下大数据分析技术的另一个应用，可以根据用户所描述的病情来推荐合适的门诊科目，再进行网上挂号.这样到了医院以后可以节省很多等待的时间，这也在一定程度上提高了医院的运行效率。

三、基于人工智能技术的大数据分析发展进度及方向

（一）聚类研究进度及方向

目前，在我国大数据分析当中，采用的都是最传统的聚类算法，但是大数据聚类由于其复杂度和困难度较高，传统的聚类算法根本不能直接应用到大数据聚类当中，因此引用了Mapreduce和K-means两种算法。以Mapreduce为基础的大数据聚类算法，可以通过分布式来实现，并且应用这种算法，可以从根本上减少大数据聚类的复杂程度，并在使用的过程中，可以更好地增加数据的延展性，而且在计算时也可以将计算时间最小化，同时对计算机硬件也没有太大的要求。而K-means作為比较经典的一种算法，有着非常广泛的应用范围，可以在一定程度上提高数据的处理速度。

（二）关联研究进度及方向

前文已经介绍过大数据关联分析，也被称为关联挖掘，它是大数据挖掘当中主要的一项发展任务。目前，我国对大数据关联的研究进度主要着重在Apriori关联规则和频繁模式增长上，而且关联规则挖掘在我国有着非常广泛的应用领域，像我们日常生活中的数值分析以及日志分析和智能交通等，都可以运用到关联规则挖掘，例如，在对于出租车轨迹研究上，利用关联规则挖掘可以对汽车的故障进行实时诊断，并且还能够在一定程度上避免因为模式数过大而导致的计算速度过慢的问题。在未来，关联挖掘算法在我国会有更加广泛的应用，因为它主要的作用是对已经存在了的算法进行并行化处理，这就更能符合我国未来大数据的发展趋势。

（三）预测研究进度及方向

大数据预测是我国目前针对人工智能技术下大数据技术的主要研究内容，它可以应用到很多行业当中，但是目前我国的大数据预测研究还面临着两个非常困难的挑战：第一就是如何能够在预测过程中快速获得一个趋势轮廓，而且还需要保证数据的精确性;第二就是有越来越多的数据呈几何倍数增长，很难在其中找到有价值的信息。和我们日常生活中关联性最紧密的例子就是对于监控视频中有用价值的寻找。在几个小时甚至是几天内的监控视频中，能够为我们所用的数据，可能只有几秒，那么该如何在这样庞大的信息数据中找到我们所需要的价值，这就是我国大数据预测当中存在的主要挑战。

（四）分类研究进度及方向

大数据分类是挖掘信息技术当中一项非常重要的方法，无论是何种数据，它的分类问题一直都是人们所关注的一个重点，而大数据分类也被应用在社会各个方面，近年来，我国的大数据分类研究开始逐渐由简单的数据过渡到分布式数据集里，各种各样的算法都需要跟随大数据整体环境的改变而改变，所以在分类算法中，也面临着非常严峻的挑战。在这样的时代背景下，一些传统的分类方法已经跟不上大数据的发展，以机器学习为基础的大数据分类是我国目前研究的主要方面。在未来，有关数据分类的应用会越来越显著，因此，大数据分类在各个领域中都面临着非常严峻的挑战。

四、基于人工智能技术的大数据分析发展需解决的问题

（一）需不断完善各类算法

在我国，基于人工智能技术的大数据分析发展中，所需要解决的一个问题，就是需要不断完善各类算法。因为我们的时代在发展，每天所面临的数据量越来越大，想要从中挑选出符合我们需求的信息以及该如何确保信息的准确性，都成了大数据技术发展当中所要面临的主要问题。如果想要解决这一问题，那么就需要应用到各类算法，但是目前针对信息提取这方面还没有一个可以短时间内查找我们所需要数据的算法，相关负责人员必须对这个问题重视起来，不断地完善各类算法。目前在大数据分类以及预测中已经有了很多合适的算法，但是这些算法的应用范围有限，在部分细节上也需要完善。算法是基于人工智能技术的大数据分析发展所需要的基础，如果没有一套完善的算法，那么大数据分析也发挥不出自身应有的作用，例如，前文中所提到的两种算法，虽然能够解决各类的数据分析事件，但是从细节上来看，它的应用范围还受到一定的限制，只有研发出新式算法，或者是在原来的算法基础上进行优化，才能更符合未来的大数据技术发展趋势。

（二）需不断降低时间成本

大数据分析需要降低时间成本。诚然，在各种信息当中，利用一些算法确实可以查找到我们所需要的数据，但是花费的时间也很多，如果这些数据不是急需的，那么我们确实可以利用这些算法慢慢地找出我们所需要的数据。但是如果这些数据需要加急，那么在短时间内我们根本就没有办法获得有效的数据，例如，在警察侦破一系列的案件过程中，需要运用到监控录像来作为证据和断案线索，但是该如何在长达几天甚至是几个星期的监控视频中找到所需要的线索，只能需要人力去一点一点观察识别，这就会浪费大量的时间。因此，必须尽量降低大数据分析过程中所需要的时间，人工智能技术虽然在一定程度上优化了大数据分析，但是对于时间成本问题，一直以来都没有太大的突破。只有真正地突破了时间成本问题，才能够让大数据技术在社会各行各业有更加广泛应用。因此，在人工智能技术和大数据分析结合的过程中，除了算法问题之外，对于降低时间成本问题，也必须要重视起来。

结语

在当下必须要对人工智能技术基础上的大数据分析方法提高重视，并且充分理解人工智能技术下大数据分析的应用领域，大数据分析、聚类关联以及预测和分类都会朝着更加智能、更加前景化的方向发展。虽然目前还需要不断完善各类算法以及降低时间和成本等，但是只要能够真正地提高对这一方面的重视程度，并且充分认识到人工智能技术基础上的大数据分析方法的主要作用，就能够更好地将二者结合起来。