大数据项目工具选择

引言： 数据已成为单位的重要元素，市面上有多种不同的软件模式，，现在开展大数据分析项目时，开发者、架构师及数据科学家要在众多软件中进行选型，寻找合适的工具对提高项目成功率及避免落入常见陷阱至关重要。本文为在大数据分析项目中进行产品选型的五个建议。

从简单的小规模起步

企业构建数据分析项目常见的最大错误往往是贪大求全。特别是如果项目是从上往下推，执行团队很有可能会被要求构建一套既没有明确成效却又十分复杂的解决方案，造成项目成本高昂且工期很长。企业不如从规模较小的项目起步，让决策者很快可以看到成效，提升他们对同类项目的信心。利用现代化开源技术，企业不但不用作大量的前期投资，更可以让开发者迅速投入工作，在几天或几周内就能构建出所需的应用程序或是原型。

及早考虑可扩展性

即使只是构建一个框架，也应尽早测试其可扩展性。很多项目之所以失败，全因应用程序在构建时并没有测试其扩展性，也可能是因为其所选技术并不是为处理大数据而设计的。确保性能测试不是事后的事。先预计在这段时间内将会产生多少数据，并进行测试和评估，构建合适的架构，同时确保当数据量增加并需要横向扩展时，也不会影响业务。

数据的实时性很重要

时至今日，任何不能实时响应的事情我们都不能接受。企业要确保所用的软件不但能处理大量数据，还要有能力实时响应这些请求。建议使用具备聚和与地理位置分析功能且能与实时搜索相结合的数据分析软件。

采用灵活的数据模式

现今的系统主要包括结构化和非结构化数据。但不要被那些为结构化图表及数据而设计的关系型数据库所限制。这类数据库很难被加上索引，解析、搜索及分析这些日积月累的大量数据往往很难。企业应采用具备通用数据结构的软件。很多用于数据分析的软件包括NoSQL数据库及Elasticsearch等均采用JSON作为数据格式，支持文字、数字、字符串、布尔值、数组和哈希等结构化和非结构化数据类型。

挑选开发者易于使用的工具

现今数据流量之多让企业或开发者在应对大数据分析项目时，很难去使用不包含开放API接口的软件。API接口被用作数据录入、索引及数据分析，这些数据一般来自不同的数据源。企业应提供给开发者一套拥有丰富、开放及资料完整的应用程序API接口，让他们更快速有效地解决问题。久而久之，当项目壮大时，开发者亦能不断创新及改进这套应用程序。