Python在大数据挖掘和分析中的应用研究

方骥 谢慧敏

摘要：本文探讨了数据挖掘技术简述，分析了Python的功能与特点，研究了Python在大数据挖掘、分析中的实际应用情况。

关键词：Python;大数据;挖掘;分析

中图分类号：TP311.13 文献标识码：A 文章编号：1007-9416（2020）09-0075-02

0 引言

近年来，我国政府对于大数据的挖掘、分析工作的重视程度不断上升，并为这一情况安排了相应的部署工作，在现有基础上，进一步完善相关工作的业务流程，全力完善相关工作年的体制结构，实现数据共享、数据深度开发。Python近年来在数据统计这一方面得到了广泛应用。相较于传统数据统计中应用的SAS、SPSS等统计工具，Python是一种基于现代化、信息化、网络化、科学化背景下的新型统计工具，相较于传统统计工作，该工具具有简单易学，操作便利，可深入挖掘数据的相关信息等优点。因此，在大数据的挖掘、分析中应用Python是非常有必要的。

1 数据挖掘技术简述

数据挖掘技术其实是一门新兴交叉学科，涉及人工智能、数理统计、知识工程等多个领域的相关技术与相关知识，也囊括一套完成、连续的过程。简单的说，数据挖掘技术其实是利用多种复杂计算方法，在多种未加工的数据中，发现并挖掘有效知识以及数据间的潜在关系。通过挖掘出来的有效数据，从而完成相应的数据统计工作，并通过统计结果完成相应领域的工作。因为数据挖掘技术能够真实、准确的反映某一领域、某一方向的相关信息，因此近年来数据挖掘技术在金融业、医疗业、电信业以及零售业等行业中广泛应用，并获得了相对显著的成果。

2 Python的功能与特点

Python近年来在游戏开发、图形用户界面开发、数据开发以及网路开发等多个领域中广泛应用。从实际应用情况可以看出，Python具有功能强大、可满足不同工作需求等特点。详细功能与特点如下[1]：

（1）网络开发：从实际应用可以看出，Python内部中有很多常见网络协议库，因此可作为网络编程工具参与相应的网络开发工作中。（2）网络爬虫：Python本身自带框架，这个框架能够获取相应的网站信息以及网页内容，可利用正则表达式达到分析、提取所需数据的目的。（3）游戏开发：Python本身自带编程方式，用于游戏开发工作，可有效提高其开发便捷性。再者，在游戏开发工作中，游戏会员的登录注册系统、交换游戏装备系统以及战斗攻防系统等等都可以利用Python，实现进一步优化，进一步提高游戏开发工作的效率与质量。（4）GUI：Python能够在短时间内迅速完成创建GIU应用程序的工作，而且能够和Java形成相应的Jython数据库。（5）人工智能：人工智能是近年来的新发展方向，在实际社会实践过程中，有很多类型不同的智能项目在设计、开发过程中需要Python的参与，譬如谷歌的无人驾驶以及百度大脑、微软的小冰等等。（6）物联网终端：Python本身的功能还可在多个不同方面体现出来，譬如阿里巴巴、脸书、新浪等等方面中。可以说，在现今物联网中，Python是无处不在的，各个领域均有Python的应用。这种情况进一步体现了Python的实际应用价值，并且能够进一步推动物联网终端升级发展。

3 Python在大数据挖掘、分析中的实际应用情况

从Python的实际应用情况可以看出，Python本身具有强大的适应性功能与普及性功能，可在大数据的挖掘、分析等工作中广泛应用。在大数据背景下利用Python完成数据分析功能，能够获取很多具有一定真实性、准确性优点的信息，可充分发挥大数据本身的应用价值，也能够为相关工作的研究、进展提供更多具有显著应用价值的参考信息。总的来说，Python在大数据挖掘、分析中应用，具有显著的应用价值，实际价值如下[2]：

3.1 数据分析库

Python本身具有数据分析库的作用。现在是一个大数据时代，只有相对功能全面、简单好操作、数据分析速度快的数据编程工具，才能够满足大数据背景下的数据分析需求。因此，Python本身具备的数据分析库功在实际数据分析中应用，可在保证数据分析的基本效率基础上，进一步提高数据分析的效率与质量。Python中有应用频率较高的数据分析库，如Pandas以及Numpy，第一个数据分析库具有DataFrame以及Series两类数据框，在数据框中，囊括很多标准数据模型，操作者可根据实际需求，数据模型的应用价值，使用所需的数据模型完成大型数据的分析工作。比如，如果操作者须在短时间内完成千万行CVS数据处理，可利用传统数据分析工具字典进行处理，只需要2分钟，然后转变为Python处理，则只需要10秒不到的时间。第二个数据分析库更适合在数组以及矩阵的数据分析中应用，操作十分方便，可在科学领域中进行有效计算。也就是说，采用Python完成数据分析处理工作，可有效缩短工作时间的同时，还可有效提升工作效率，并且能够保证数据分析结果本身的有效性。若能充分掌握Python的数据分析库应用方法，Python便会成为当下最适合在大数据分析中应用的方法。除去以上简单讲解的Python数据库分析功能，Python还具有人工智能以及神经网络等多种资源方式。同时，利用一些服务器平台，实施Python数据库分析，也能够达到C语言的目的。从实际应用情况可以看出，不同的数据库具有不同的应用价值，在不同方面的应用价值也存在新竹差异。因此，想要充分发挥Python数据库分析的价值，操作者必须深入了解Python，掌握Python数据库分析的相应功能。

3.2 数据挖掘能力

相较于R语言（传统数据处理、计算、制图软件），Python本身含有多项产品建构功能。对于操作人员而言，学习Python，难度较小，更容易上手。但学习R语言，学习难度较高，不容易上手。再者，随着Python的不断更新换代，Python本身的编程语言排名顺序不断升高。比如，在统计分析工作中，现在Python的排名已经比R语言更高。从临床实践调查结果可以看出，在2016年时，实际应用R语言的人数远远高于应用Python的人数。但是从2017年的统计数据可以看出，应用Python的人数明显高于应用R语言的人数。也就是说，随着Python的应用，越来越多的人认识到Python本身的应用价值，因此应用Python的人数越来越多。

应用Python人数的持续增多，为数据挖掘工作人员带来了新的发展方向。主要是因为Python编程语言本身的数据挖掘能力比较高，能够在自动化方式以及智能技术基础上，有效减少工作人员的数据挖掘工作实际工作量。这一特点导致操作人员在应用Python编程语言后，可用更短的时间完成更多的数据挖掘工作，可进一步提升数据挖掘的全面性，可结合实际工作需求，完成相应的数据挖掘工作。再者，在完成数据挖掘工作后，还可在无需切换Python的基础上，进一步对所挖掘的数据进行有效分析，可充分发挥大数据时代背景下的实效性特点，可更好的适应时代发展。

3.3 程序包和平台

Python本身具有PyPI技术支持，含有Python模块与脚本资源库。Python本身内部资源丰富，可直接被程序调用。再者，在大数据挖掘、分析工作中应用Python，可通过丰富的数据交流区，达到使用数据、使用文档等功能的目的。Python其实属于开源性质，必须通过长时间设计、开发、完善，才能在平台应用Python的过程中，保证平台能够稳定运行，跨平台运行稳定。为满足Python在大数据挖掘、分析中的有效应用，市场必须不断提高Python人员的专业性，才能保证Python的应用价值被充分挖掘出來，才能降低大数据的挖掘、分析成本，才能让获取的数据可视化。再者，Python能够促进2D图表、3D突变更为便利快捷的创作。只要在Python专属库基础上，完成最初简单的Python代码编写，可及时输出可视化结果，可辅助操作人员更快发现数据的实际应用按机制，才能优化相应工作，满足实践过程中挖掘、分析大数据的目的。

4 结语

综上所述，在大数据挖掘、分析工作中应用Python，可有效提高相关工作的效率与质量，具有显著的应用价值。

参考文献

[1] 肖乐.基于python的Web大数据采集和数据分析[J].电脑知识与技术，2018（22）：9-11.

[2] 龚莎.基于Python的可配置自动化爬虫系统的设计与实现[J].电脑迷，2018（10）：203.