警务通信网络大数据挖掘智能加速算法探讨

王国威

摘要：对于警务通信网络来讲，大数据的数据类型多样，形成具有多种属性的数据流。众所周知，基于批处理方式的数据源分类尽管可以提升查询速度但仍无法满足实时查询的需求。为此在数据挖掘建模过程中通常引入特征选取机制以减轻其负荷。而本文将要重点叙述加速算法为什么能提升智能电网大数据挖掘的效率。

关键词：大数据；智能；算法

中图分类号：TN929 文献标识码：A 文章编号：1007-9416（2018）08-0109-01

1 大数据面临的挑战

在以前的开发中，大数据带来的冲击来远远超过I T界的其他的产品，它通过特有的算法和分析把大量的数据进行整合和分类再显示出来，放在几年前可能还带不来这么大的风浪，而在全球化的今天，数据同质化，数据大量化，都让这个技术的产生显得如此的有意义而且紧迫，之前大数据之所以不能发挥其重要原因就是因为数据基数小，随着使用互联网的人数的增加，现代技术的提升，硬件产品价格的下降，人民生活水平也在不断提高于是这个问题也得到了一定的解决，现在有越来越多的人使用上了电子设备，而大数据又迎来了新的挑战，面对如此大量的数据，如何提高数据的查询速度就成了现在急需解决的问题，还有就是格式的问题，因为这些数据的来源并不是有事先的规定，数据来源范围广，也正是因为数据来源不一，也就造成了数据的存储的困难。而这些问题现在都严重限制着大数据产业的进一步发展，而基于传统的数据查询算法已经不能够满足现在的需求，这就需要一种新的算法，而算法的问题并不是说解决就能解决的，受限于于当前的硬件条件，普通算法上已经不能够进行新的突破了，传统的查询机制需要实现全局数据的载入，然后将全局数据依照一些分类规则进行切割，再分类回退。而每一次运算都要重新的建模和运算，而问题的解决总会有一些新的方法，随着人工智能的进一步发展，现在也就有了智能加速算法，根据不同类型的数据然后分配不同的计算资源，这也是当前问题的一大解決方案。

2 智能加速算法

因为数据的来源不同，而数据在计算上的分配不公平是当前发展的一项最要问题，以为只用能算法就能把数据分流处理，而数据流方法就不会受制于数据量过大或者数据采集速度过快，就如一个水缸一样，有进水口就有出水口，而如果进水口的进水量大于出水口的出水量就会造成拥堵，但如果基于原来的多个不同的进水口在出水的时候 采取不同排量的出水口分不同段出水就可以解决这样的拥堵现象，而自动调节的关节就是智能加速，新载入的数据会触发模型的自我更新而无需重新载入已经载入的数据完成这一更新过程，这种方式理论上就可以处理无限多的数据，基于这个技术现在的大数据就实现了大量分析数据，更大能力的满足现在的运算情况。

在现在的智能加速算法中，存在一个关键的选择部件，这个部件就是分类器，分类器不光在智能加速上有作用，在人工智能方面也有很大的作用，它起到预测决策的作用，而在监管的预测机制中，分类器者通常用于预测数据的属性和历史数据的分析，根据历史数据来进行整体的预测，通过这些预算就能在不获取新的数据的前提下提前准备相应的运算，分类器对于获取和查询也有着很大的作用，这方面已经有了一定的研究和验证。

在以前的软件发展上，面临着许多的计算速度问题，当时一部分原因是当时硬件的限制，cpu速度慢，另一方面是算法上的问题，而当时硬件的技术跟不上软件的更新，所以以前更多的优化算法上的问题，现在硬件技术得到了大幅度的提升，普通算法上不能再提升了，但关键的技术总是在关键的时候出现，智能加速技术算不上是新的技术，这个技术的产生原因不是针对于大数据的分析，而是人工智能技术的衍生，在人工智能技术的发展阶段，人们局限于让计算构建网络神经，这一方面的主要研究方向就是分类器的研究，随着A l技术给生活带来的诸多好处也就让人工智能技术得到了空前的发展，伴随着大数据的发展，分类器的使用范围也得到了相应的扩展，所以大数据的发展和智能是的发展是相互推动的的，大数据的分析也给了人工智能带来了更多的数据流，丰富了人工智能的网络神经，通过分类器能够预测这两个行业在未来的发展一定是相伴的。

从传统的算法中也能够看到分类器的产生是必然的，例如传统的算法中的决策树是根据不同分支上的数据的先后来决定运算的节点，这种算法是一种比较低级的算法，时代的发展一定会摒弃这样的陈旧算法，更高级的算法就是形成选择，而选择在陈旧的方法中是随机选择，在高级的方法中应该是自主选择最优选择，即通过“算法选择算法”。

3 结语

本文提出了新的算法，给大数据的发展提供了新的发展动力，这种查询加速算法更像是一种学习，不断的处理数据不断的学习不断的巩固现在的能力，让数据流实现精确的查找。而在2011年，还在中科院软件所做助理研究员的张先轶，就已经开始做OpenBLAS。这个当时在X86平台、龙芯、ARM平台上的优化库，因为机器学习的普及、人工智能的火爆，已经成为了目前市面上软件加速主流的选择，当前CPU在设计上就已经考虑到了智能加速，而大数据作为未来的发展方向，借助了智能算法一定能够发挥更大的作用。

参考文献

[1]付华峥，陈翀，向勇，刘春.分布式大数据采集关键技术研究与实现[J].广东通信技术，2015，（10）：7-10.

[2]邓仲华，刘伟伟，陆颖隽.基于云计算的大数据挖掘内涵及解决方案研究[J].情报理论与实践，2015，（07）：103-108.

[3]张文燚，项连志，王小芳.支持高效查询检索的大数据资源描述模型[J].哈尔滨工程大学学报，2014，（05）：594-601.

[4]吴雪琴，舒晓苓.基于云计算的大数据信息检索技术研究[J].电脑知识与技术，2014，（10）：2388-2390.

[5]李春江.大数据环境下的数据挖掘课程教学探索[J].黑龙江教育（理论与实践），2016，（04）：54-55.

[6]叶立武，吴倩，王玮，王东.数据挖掘方法在保险领域的应用前景[J].保险职业学院学报，2018，（02）：01.