大数据系统的评测方法研究

◆罗 芬



大数据系统的评测方法研究

◆罗 芬

（上海市软件评测中心有限公司 上海 200233）

随着大数据时代的来临，大数据越来越受到关注。大数据系统架构设计的复杂性使得系统测试也非常复杂，本文将简要介绍大数据系统的特点，其测试的挑战和关键技术，并通过介绍测试方法，以期提高大数据系统的稳定性和安全性。

大数据；大数据分析；Hadoop技术架构；大数据测试

0 引言

大数据已经毫无争议成为当下信息技术发展趋势和热点，其系统具有高性能、高扩展、高可用、高效能、易使用、易管理等特点，其架构设计的复杂性使得系统测试也非常复杂，本文将在通用的系统与软件要求和评价规范标准[1]的基础上，基于大数据的核心数据特征和Hadoop技术架构特点提出大数据测试方法、关键技术，对大数据系统软件的评测方法做尝试性研究。

1 大数据系统的定义、特点及其测试关键点

大数据系统是指存储、分析处理大数据的软硬件系统，主要包括大数据的存储系统和大数据分析处理系统。大数据系统具有高性能、高扩展、高可用、高效能、易用、易管理等特点，结合系统与软件工程中系统与软件质量要求和评价，其测试关键点有：

( 1 ) 数据的读、写、删等测试，一般将对照需求规格书对所有的基本功能(接口)进行测试，保证系统基本功能的正确性。

( 2 ) 高可扩展性测试，大数据系统一般是分布式的，分布式系统支持服务热插拔，其测试需要根据本身系统的特性设计相应的扩展功能或者容灾用例，如增加或者删除节点，此时需要考虑数据的完整性和一致性，不能影响数据正常操作[2]。

( 3 ) 高可用性也叫高稳定性，大数据系统的测试需要增加稳定性压力测试，保证各种情况下服务的正常。增加异常的容灾用例，如不同节点的异常以及服务的关起等测试[3]，在一定约束条件下测试系统所能承受的最大并发用户量、运行时间、数据量，以确定系统在给定约束条件下的服务能力，并最终确定在什么负载条件下系统性能处于失效状态，并以此来获得系统能提供的最大服务级别的测试。

( 4 ) 易用性测试，主要从可辨识性（功能的易理解性、描述的完整性和软件出错消息的易理解性）、易学性（用户接口、帮助功能或用户文档集的有效性）、易操作性、用户差错防御性、用户界面舒适性（用户界面的易定制性）、易访问性等维度判别该大数据系统的易用性。

2 大数据系统评测的挑战

首先由IBM提出的大数据系统本身具有5V特性，即：大规模（Volume）、多种数据类型（Variety）、多维度（Multi-Dimension）、数据价值密度低（Value）和可控的数据质量（Qualify），设计大数据系统的测试用例同时需要满足5V特性；其次，大数据系统架构一般采用Master-Slave或者Peer to Peer等分布式架构，其架构复杂，其网络环境、硬件配置、系统的配置参数、虚拟化等因素都将影响大数据系统的性能；第三，来自测试方法的挑战，传统的测试工具并不适用大数据测试系统，缺乏自动化测试手段，系统的不同模块需要不同的测试技术等；第四，缺乏专业的测试人员，大数据系统的特点对测试人员的测试技术和知识面要求比较高，但是目前具备专业的大数据系统测试评测人员并不多。

3 大数据系统的评测方法

大数据系统评测一般分为4个步骤，分别是评测计划（需求分析、评测环境准备）、测评规程（对于给定测试用例的设置、执行和结果评价的详细说明）、评测过程（评测数据加载）、系统评测与结果分析。

3.1 大数据系统评测计划

大数据系统评测计划主要关注两个阶段，一是需求分析阶段，一是评测环境准备阶段。

评测需求分析阶段主要关注的是大数据系统的性能和可靠性，例如吞吐量、任务完工时间、内存利用率等多个指标，可以反映大数据分析平台的处理能力、资源利用能力性能等等。

大数据系统对行业背景有一定的依赖性，很难进行客观、有效地测试，因此在大数据系统测试之前应做好关于业务背景、测试平台设计的前期准备工作（如图1所示）。大数据系统评测环境搭建通常需要准备一个具有分布式数据存储与分布式数据计算的集群，具有足够的存储与处理大规模数据集。存储空间包括离线的磁盘空间和内存空间。同时要确保集群中没有运行其他的应用，集群中CPU和内存利用率处于最低开销。

图1 大数据测试的前期准备

3.2 评测规程

大数据系统评测规程中测试用例设计主要来源于两大类。一类来源于实际的业务数据，一类来源于大数据基准测试工具生成的模拟数据，我们根据系统评测的需要，设定合适的数据量、数据类型和数据逻辑。

3.3 评测过程

在大数据系统评价过程中重点在评测用例加载阶段，我们需要重点验证数据是否已正确地加载到了分布式存储系统，例如源数据和HDFS上大数据目录、数据大小是否匹配，数据是否加载到了正确的HDFS存储目录等。如果数据需要被加载到分布式数据库系统的话，我们需要重点验证数据是否能正确地加载到数据表中。

3.4 大数据系统评测与分析

大数据系统评测将从功能性、性能效率、兼容性、易用性、可靠性、信息安全性、维护性、可移植性、有效性、效率、满意度、抗风险、周境覆盖等特性，重点评测系统的功能性、性能效率、兼容性、信息安全性。

3.4.1功能性测试

大数据系统的功能性测试主要考虑功能完备性、功能正确性、功能适合性以及功能性的依从性，并以书面形式展示可验证的依从性证据。一般大数据系统的功能测试主要采用基于用户文档集的黑盒测试方法，通过用户界面与用户程序的交互，对交互的输出或者结果进行分析，以此验证系统功能是否符合产品说明中的要求及功能是否正确实现。

功能测试主要从以下角度来进行考虑：

( 1 ) 系统基本功能的正确性、准确性；

( 2 ) 系统功能实现的完整性，是否实现了需求相关文档中的规定；

( 3 ) 系统内部接口功能是否正确实现；

( 4 ) 系统的每个特性至少被一个正确测试用例所覆盖；

( 5 ) 测试用例的输入包括有效等价类、无效等价类和边界值数据；

( 6 ) 逐项测试系统/子系统设计说明规定系统功能特性；

( 7 ) 测试系统的输出及格式。

Hadoop是目前最热门的大数据处理架构[4]。其数据处理架构及其测试要点如图2所示。

图2 Hadoop数据处理架构及其测试要点

3.4.2性能测试

性能是评估一个大数据系统的最为关键的维度，大数据系统性能主要包括吞吐量、任务完工时间、内存利用率等多个指标，可以反映大数据系统的处理能力、资源利用能力等性能。可以通过Hadoop性能监控器来监测运行状态性能指标和瓶颈问题，性能测试采用自动化方式进行，测试系统在不同负载情况下的性能[5]。

3.4.3容错性测试

容错性测试主要是为了避免死机，在测试过程中，大数据系统引起整个运行环境死机的情况，系统部分失效后如何在不会严重地影响整体性能下自动恢复的能力。当故障发生时，大数据系统应该在进行恢复的同时继续以可接受的方式进行操作，在发生错误时某种程度上可以继续操作。此时，需要根据应用场景来设计解决方案和具体部署，然后手动进行测试。

3.4.4信息安全性测试

大数据系统信息安全性主要考虑保密性，一方面是访问的可控制性，可控制不同用户对系统进行访问的权限，系统能够屏蔽非法操作；另一方面是病毒检查，采用杀毒软件对被测软件进行扫描，检测软件是否含有已知的病毒。

4 小结

在当今信息化潮流下，大数据系统产业正快速发展，与此同时，大数据系统的特殊性和复杂性决定了对其测试的艰巨性。实现对大数据系统的有效测试，才能最大限度提高大数据系统产品质量，更好地服务于各个领域。

[1]GB/T 25000.51-2016 系统与软件工程系统与软件质量要求与评价(SQuaRE)第51部分：就绪可用软件产品（RUSP）的质量要求和测试细则[s].

[2]TRAN N，SKHIRI S，LESUISSE A，et al.AROM：p-rocessing big data with data flow graphs and functional pro-gramming [C]// Proc of the 4th IEEE International Conferen-ce on Cloud Computing Technology and Science 2012，875-882.

[3]MAGNUSSON J，KVERNVIK T.Subscriber classificat-ion within telecom networks utilizing big data technologies and machine learning [C]//Proc of the 1st International Conf--erence on Big Data，Streams and Heterogeneous Source Mi-ning.New York：ACM Press，2012：77-84.

[4]HOFSTEE.H.P，CHEN.G.C，GEBARA.F.H，etal，Un--derstanding system design for big data workloads[J].IBM Jo-urnal of Research and Development，2013，5793/40：1-10.

[5]代亮，陈婷，许宏科，大数据测试技术研究[J].计算机应用研究，2014，31(6)：1607-1608.