大数据挖掘与分析在项目管理中的机遇与应用

曾涛 阮彬

[摘    要] 针对当前大数据爆发的环境对包括项目管理在内的很多传统工作造成的冲击和带来的机遇现状，文章通过案例分析，以当下流行编程语言Python 为例，选择相应的分析工具，尝试探讨在大数据时代数据挖掘与分析如何在项目管理中的应用，希望能够为企业在项目管理中提供更好的实施工具。

[关键词] 大数据挖掘与分析;项目管理;Python技术

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2020. 23. 048

[中图分类号] F270.7    [文献标识码]  A      [文章编号]  1673 - 0194（2020）23- 0115- 03

0      引    言

项目管理作为管理学的分支学科，其与管理学所研究的本质一样，都是在有限资源条件的约束下，科学运用系统的观点、方法和理论，对项目中所涉及的工作内容进行优化管理。当今的社会正在经历着信息革命，其特征之一便是数据信息的爆炸式增长，项目管理也不例外。一个项目从提出到实施往往会伴随着大量数据的产生。大数据顾名思义是指数据量大、类别多的数据集合，而且无法用传统的数据库工具对其数据集内容进行抓取、处理和管理。大数据挖掘与分析是一种新的数据处理模式，其对数据的获取与分析具有极强的决策力、洞察力和优化能力。

伴随着大数据时代的来临，大数据挖掘与分析在全球成为一个热门话题。大数据挖掘与分析就是通过算法计算，然后从大量的数据中搜索隐藏于其中的有用信息，同时基于机器学习、人工智能、数据库、统计学、可视化技术等分析工具，高度自动化地对企业的数据进行分析，并进行归纳推理，从中挖掘出潜在的有价值的信息，帮助决策者更好、更快地调整市场策略，减少风险以及作出正确的经营决策。大数据时代，大数据对包括项目管理在内的很多传统工作既造成了一定的冲击，同时也带来了机遇。如果能够将大数据挖掘与分析的理念与方法引入到项目管理中，可以更准确更有效率地对项目管理进行规划和实施，降低项目风险，从而精准地实现在项目管理中实施的目标。

文章以当下流行的编程语言Python 为例，选择相应的分析工具，就大数据挖掘和分析对项目管理所造成的冲击和带来的机遇，探讨大数据挖掘与分析在项目管理中的应用，希望能够为项目管理实施提供更好的分析工具。

1      数据挖掘与分析对项目管理造成的冲击和带来的机遇

项目管理指在实际工作中，管理者为了更高效地实现活动目标，结合一系列专业理论方法经验，在有限的外在约束条件下，采取相关的活动措施，对项目所涉及的所有工作进行全面系统的有效管理，进而实现或超额完成目标。即项目管理贯穿一项目标活动开始前的规划、投资决策、实施落地到项目终止的整个过程，通过系统化、全面协调指挥把控，推进实现项目活动的最终目标。项目管理涉及体量庞大的信息数据，如果不能对这些海量数据进行恰当的处理，使之转化成有效的信息，项目管理工作将会严重滞后，无法保证项目管理的效率和质量。因此，面临越来越庞大冗杂的信息数据，传统的纯人工项目管理方式是远无法应对的，这要求项目人员必须重视构建、优化完善的项目数据体系，不断提升其数据分析处理能力，并学会善于用大数据技术指导项目工程的进度计划。

1.1   大数据挖掘与分析对项目管理造成的冲击

数据海量、种类繁多是大数据时代的典型特征，这些特点给项目管理带来了一定的冲击。海量数据使得获取数据的难度增加，而数据种类繁多导致通过分析而获得有价值信息的难度加大，双重因素叠加，使得传统上用来支持项目管理的信息系统难以应对新的形势，项目管理者难以在较短的时间内获得有效的数据和信息，从而导致相关的决策面临着更多的不确定性和风险，项目管理的效率和效果都受到影响。

上述问题在中小型企业更加明显，大多数中小企业在海量数据的冲击下，其数据挖掘和分析能力却十分有限，这势必会造成数据利用程度和分析质量达不到项目管理的要求。大数据时代谁先把握住先机谁就掌握了主动权，所以在项目管理中重视大数据的应用刻不容缓。

1.2   大数据挖掘与分析给项目管理带来的机遇

大数据环境下，数据信息的挖掘和分析都发生了很大的变革，新的数据挖掘技术主要利用算法搜索隐藏于海量数据中的规律，进而更高效、便利地获取有价值的信息，将无用繁杂的信息转化成极高效的推动项目管理进程的利器。近年来，大数据挖掘分析受到各行各业的极大关注，这主要是随着全球化和信息化时代的到来，如何将纷乱杂多的海量数据转化为有价值的信息和知识是当下人民最迫切的需求，因而数据挖掘与分析工具也不断丰富起来，比如常见的有：

SAS Data Mining：SAS被称为“决策支持的最佳工具之一”，它是集数据采集、数据管理、数据分析和信息展现为一体的多功能分析工具。

Python：Python作为大众语言，是一种免费的开源语言，且简单易学，容易入门，具有较强的可移植性和可扩展性。与其他数据分析工具相比，Python具有较高的兼容性，能夠很好地应用于其他语言，如用户可以将其他语言（如C或C++）编写的部分程序应用到Python程序中执行。

IBMSPSS：SPSS是全球领先的数据挖掘和统计分析产品，包括统计学分析和报告、数据挖掘和预测建模、决策管理和部署、大数据分析等。

R语言：与Python相似，R语言也是一种免费的开源语言，且R语言在很多平台上都能得到运用，比如常用的MacOS、Linux和Windows等。R语言可以从系统软件、数据库管理系统、文本文件、统计软件以及专门的数据仓库等各种类型的数据源中轻松的导入数据。

Rapid Miner：Rapid Miner是以Java为基础，用Java编程语言编写的一个集成环境，用于研究和进行实际的数据挖掘任务。可与Python、R语言整合，且可以连接Stata、SAS、Excel、Access、CSV等在内的多种资料档案来源以及Oracle、IBM、SQL Server、My SQL等多种类型的资料库。

在这些常见的数据挖掘和分析技术中不乏有既实用又易学的技术。接下来，我们以Python技术为例，来探究其在项目管理中的应用。

2      Python在项目管理中的应用

2.1   Python语言简介

Python是一种免费的、开源的动态类型语言，是一个结合了互动性、编译性、解释性和面向对象的高层次脚本语言，可以应用于众多领域。由于Python在使用设计上一贯坚持清晰划一的风格，这使它具有易读易维护的特点，得到了用户的广泛欢迎。在数据挖掘与分析方面，Python更是比其他语言具有优势，易上手、高度的封装性以及丰富的第三方库资源和代码开源，使Python逐渐得到了业内的热捧。

2.2   如何利用Python应对大数据挖掘与分析对项目管理造成的冲击

2.2.1   利用爬虫进行数据挖掘

在面对互联网大数据时代，对外部数据的获取可以借助Python爬虫技术（遵守robots协议），根据项目管理者的需求，通过设置关键字段信息，在网络上对相关的数据进行抓取。Python爬虫技术具有速度快、准确性高、可操作性强等特点，能够有效提升数据采集和分析的效率，提高信息质量，与传统的人工搜寻相比，它在避免数据错误和遗漏方面优势明显，针对数据爬取过程中产生的问题，用户可以通过对代码错误进行筛选排查、或者调整代码的方式予以解决，而不需要重新编写代码。

在进行数据分析前，Python还可以对获取到的数据进行清洗、筛选、填充、预处理等，把一些不符合要求、非结构化的、错误的数据去掉，使之能更好地为数据分析服务。另外Python也可以借助多元线性回归、贝叶斯、神经网络、聚类分析等技术方法，对数据进行挖掘处理。

例如图1，房地产公司在规划房产投资项目时，首先要考虑到当地相关的收入水平和房价等方面的信息，此时可以利用爬虫技术在网页上抓取相关的信息。例如我们对某房产平台发布的信息进行爬取，首先导入requests、bs4、re、openpyxl库，然后定义函数以获取代码和网页信息，最后通过执行程序，就可以将获取的信息以Excel文件的形式存放在指定的路径下并完成对数据的爬取工作，抓取到的内容如图1所示。

2.2.2   利用Python数据分析

数据分析是指利用统计学、数学和计算机语言等，对收集来的数据进行适当的处理和开发，从而发现数据之间规律的过程。数据分析的工具众多，比如Excel、Java、R语言、Python、SQL、Matlab等数据分析工具都能对获取的数据进行合理有效挖掘与分析。但Python在数据分析方面具有很大的优势：首先Python拥有较为全面的数据分析库支持，例如pandas、numpy、matplotlib、seaborn、bs4以及基于web构建可视化的plotly等数据分析库;其次Python有着方便快捷实现数据可视化的能力，matpoltlib库和seaborn库能够很方便地对数据分析创建2D和一些简单的3D图表。

比如项目管理过程中常用的甘特图，也可以通过Python中plotpy库来实现，先导入需要的库，接着导入项目、数据以便对其进行定义，就可以创建项目进度的甘特图，如图2。

在项目管理工作中，引入Python语言进行大数据挖掘与分析，而所获取的数据信息为项目管理提供了精准决策和科学管理的依据，有效地提高了决策工作的效率和质量，增强了决策的科学性和抗风险能力，有利于节约项目成本，减少资源的浪费。

3      Python给项目管理带来的机遇

3.1   管理路径优化

随着大数据时代的到来，项目管理的工作模式也变得更有深度和难度，传统的项目管理方式很多都已经无法适应信息时代的需要，效率低、差错率高，成效不明显等一系列问题时有发生。通过Python构建相关数据分析库，对数据进行行之有效的挖掘与分析，可以洞察数据背后的规律性，从而有效提高数据信息处理和使用效率，保障信息质量，让项目管理更具规范性和系统性，节约时间成本，起到管理路径优化的作用。

3.2   数据收集和分析过程创新

与传统的数据收集相比，Python爬虫进行相关数据收集更为便捷。内部数据可以直接从企业数据库获取;外部数据可以通过建立爬虫对数据进行获取，然后进行分析。就获取的数据可能存在非结构化或半结构化的情况，可对其先进行预处理，将其转化为结构化数据再进行分析，极大地提升项目管理所需信息的获取效率和质量。另外，使用数据分析还能发现项目管理中存在的不足，对项目做出科学分析，找出问题根源及时提出解决方案，从而有效地降低项目风险。由于Python所具有的接合性特点，因此它也常被称为“胶水”语言，它能很自然地与其他编程语言对接，这使得Python处理数据起来更为强大，范围应用更加广泛，使得项目管理能够利用的资源有所增加，也将为项目管理工作创造更多的机会，使得项目管理者在同行中拥有一定的主动性，同时也给项目管理创新创造带来保障支撑。

3.3   项目管理工作方法创新，增强抗风险能力

在傳统的项目管理中，可以发现因人工自带的不稳定性而导致的工作失误情况屡见不鲜。例如，工程造价计算错误、成本分析错误等问题时有发生，而这将严重影响企业的项目管理质量和项目经济效益。虽说企业也针对这些现象建立了相应的管理制度，但是在传统的项目管理模式下，还是无法避免出现人为的操作失误和故意为之的现象。针对这种情况，项目管理方可以通过运用Python技术结合数据存储的数据库，对企业项目运营管理过程中出现的各种数据进行储存管理，在项目管理的任何时间节点都可以通过Python调用数据库中的数据，进而对各项数据进行对比分析、审核等，能系统性地和高效地避免出现数据错误和人为错误。