移动APP测试方法综述

钟叶

摘 要：随着移动互联网的迅猛发展，移动APP应用逐渐深入。其大多采用迭代开发模式，版本更新速度快，留给测试人员的时间非常有限，使其难以在短时间内对APP进行全面测试。对移动APP测试方法进行梳理与总结，重点从图形用户界面测试、系统性测试、基模测试等方面介绍移动APP的测试方法。

关键词：移动平台；软件测试；移动APP

DOIDOI：10.11907/rjdk.171344

中图分类号：TP301

文献标识码：A 文章编号文章编号：1672-7800（2017）008-0211-03

0 引言

移动通信技术的不断完善进一步推动了移动设备的迅速发展，其灵活、方便、易携带的特点，使人们对移动设备依赖程度日益提高。中国互联网络信息中心（CNNIC）近期发布的第39次《中国互联网络发展状况统计报告》显示，截至2016年12月，我国手机网民规模达6.95亿人，较2015年底增加7 550万人[1]。

庞大的用户数量吸引着越来越多的IT企业涉足移动APP领域，市场所投放的APP数量也与日俱增，选择范围的扩大使用户的要求也随之提高。但现实情况是很多APP的质量并不过关、运行不流畅、响应速度慢，甚至于经常崩溃闪退，让用户体验大打折扣。种种问题的出现使开发者对于APP测试给予了越来越多的重视，而APP的测试和传统测试相比，无论是技术层面还是理论层面也都将面临更多挑战。本文通过文献分析法，对近年来移动APP测试方法进行梳理总结。

1 图形用户界面测试

图形用户界面测试，又称为GUI测试。目前，国内外移动APP测试过程主要是模拟用户通过图形用户界面（GUI）对移动设备的使用过程，比如模拟用户的误操作、模拟用户同时使用手机中多个应用程序时对手机性能的影响等[2]。用户界面的不断改进使得用户操作更为方便，但也使得GUI软件变得更加复杂，大大增加了测试难度。图形用户界面测试日益受到学术界和工业界的重视。然而，目前关于GUI软件测试的研究还处于初级阶段，各种标准和规范也在不断完善中。GUI测试如表1所示。

D.Amalfitano等[3]于2012年提出了一种使用GUI Ripping的测试方式——AndroidRipper。AndroidRipper基于一种叫作Ripper的用户界面驱动，该驱动能够自动地搜索应用程序的图形界面，其最终目标在于以一种结构化的方式去训练这些应用程序。不久之后，C S Jensen等[4]于2013年提出了一种双相的测试技术，它能够有效地在应用程序中自动地找到事件序列并且达到测试之前所给定的目标。测试步骤为：首先建立一个应用程序中独立事件处理程序的索引信息；然后根据该索引信息并借助该应用程序的一个UI模型建立事件序列。

很多安卓GUI测试在产生一些随机或是一般的测试用例方面是有效果的，但是GUI测试始终面临着一个严峻的挑战：就是如何去发现一个测试用例，它在测试中很难被覆盖但是又有很大可能出现问题路径。针对这一挑战，Ting Su[5]于2016年提出了FSMdroid，这是一种基于模型的安卓GUI测试方法。特别是FSMdroid采用了“马尔可夫链蒙特卡洛（MCMC）取样算法”迭代地改变随機模型，最终产生高代码覆盖率的多样化测试用例。

随着自动化GUI测试要求的不断提高，尽管人们可以通过枚举方式列出所有可能进行组合测试。但通常是不可行的，因为这必将导致测试用例的数目快速膨胀。为了解决该问题，Nariman Mirzaei等[6]于同年开发了TrimDroid这一测试工具，这是一种安卓应用的GUI测试框架，能够以组合化可扩展方式产生测试用例，同时可以进行自动化程序分析。

2 系统性测试

系统性地分析、测试一个应用程序是其在推出前必须经历的阶段，如果一个应用没有进行较全面的系统测试，一些潜在问题就很有可能导致应用程序运行故障。大部分测试也要求批量地采用实际设备而非模拟设备进行测试，以确保功能的完善性。

之前很多研究主要集中在对安卓应用程序的单元测试上，并没有从一个体系的角度出发，对其进行端对端的系统测试。由此，R·Mahmood等[7]开发了EvoDroid，它是一种采用演化式测试方法对Android应用程序进行系统性测试的工具。演化测试（Evolutionary Testing）是搜索式测试的一种形式，其核心在于将测试用例的生成过程转化为一个利用遗传算法进行启发式搜索的数值优化问题[8]。但是其局限性在于是本地测试或是单元测试。而EvoDroid很好地克服了此问题，最终取得了较好的测试效果。

当采用实际设备进行测试时，一些非确定性的不标准的控制流、可升缩性以及开销限制通常使得测试过程十分艰难。并且有的测试人员并不能接触到所有源码，以及测试用例的覆盖率并不高。为了解决这些问题，Tanzirul Azim等[9]开发了一种叫作A3E的测试工具，该工具可以进行强目标性的深度优先搜索测试。这种测试的亮点在于它们在应用程序的字节码层，采用了一种平稳的、感染性的数据流分析，以此来构建一个高标准的、能够捕捉活动切换过程中正确转换的控制流图，再根据该控制流图制定出一种能够快速地、直接地找到各种活动的策略；同时，还制定了一种深度优先探索策略（Depth-first Exploration）以提高测试用例的覆盖率。

3 基于模型的移动APP测试

一般而言，应用程序主要依靠手动测试，这些测试通常依赖于手工创建和执行测试用例来模拟应用程序的实际使用情况。根据每种情况，测试人员必须手动输入数据，手动滑动屏幕，点击按钮，手动比较实际结果和预期行为。这些都带来巨大的时间和人工成本，从而促使研究者们开始提出自动化测试的概念，因为种种技术难点，并没有真正地实现“自动化”。有学者提出一种“基于模型的应用测试”的观点，正是因为基于模型的测试（MBT）在非移动端的测试取得了良好效果，因此很多学者认为其在移动端可能也具有独特优势。endprint

在基模測试的流程里，主要步骤不再是测试设计，而是如何设计一个高效合理的测试模型。因为最终基模测试工具将从一个由用户指定的测试模型中生成测试用例[10]。如果要得到测试覆盖率高的测试用例，就必须在测试模型的设计上进行更为全面的考量。基模测试主要流程如图1所示，首先根据需求设计建立模型，这需要花费较长时间，之后模型将自动生成测试用例，包括测试序列和期望输出，然后用这些测试用例去检测和核实待测系统，每次尝试都及时予以反馈，这里也体现了基模测试的优势，即只需要将失败的结果反馈给模型或是需求，再对模型进行修正即可，降低了维护成本。

Vignir Gudmundsson等[11]也就此方面也做了一些研究佐证，他们挑选了一个最具代表性的Android应用程序QuizUp进行测试，最终结果显示，基模测试也能很好地适应于移动端，并且能够发现一些用传统测试方法很难发现的问题。Guilherme de Cleva Farto等[12]在2015年提出了结合ESG（Event Sequence Graph）建模技术的基模测试方法，他们采用ESG设计测试模型很好地表现了手机应用在被测试时所体现的特性。Janne Merilinna等[13]利用基模测试方法对手机应用产生测试用例的可能性进行了深入研究，他们开发了一种特定领域的建模语言以及一个咖啡机代码生成器的实例，并应用基模测试为其产生测试用例，最终结果显示这种可能性是存在的。

4 其它测试方法

除了上文所提及的测试方法，还有许多学者就移动APP测试提出了自己的观点。Joseph Chan Joo Keng等[14]提出了MAMBA，即一种检查Android应用隐私的测试手段。MAMBA根据程序字节码的静态分析，执行路径搜索用户事件回调函数生成的控制流图。基于已经发现的路径，它可以生成由触发应用执行的用户事件所组成的测试用例，并迅速转换应用程序的活动，揭示应用程序中潜在的隐私数据访问。

当前，Android设备的型号众多，如何从庞大的设备型号中选出适合特定应用程序的设备，常让开发者们为难。针对这一问题，Xuan Lu等[15]提出了PRADA，它是一种能够为每个应用程序选择适合它的安卓设备，并采用优先排序方法，该方法主要是基于大规模用户数据的挖掘。PRADA采用协同过滤技术去预测一个应用程序在不同设备上的使用情况，尽管此应用程序可能还没有真正地投入市场使用。

Android设备硬件资源有限，过度消费资源可能会导致系统崩溃、响应性差、电池消耗过度以及消极的用户体验等问题。由此，Hailong Zhang等[16]提出了一种自动探测安卓应用资源缺陷的方法。

5 结语

移动平台用户基数的不断扩大和市场准入规则的参差不齐，导致大量具有质量问题，乃至于安全隐患的移动应用产品涌入市场，将对用户的隐私、财产造成威胁。这时，对移动应用的质量把控就被提升到了一个举足轻重的地位。有别于PC端应用，移动APP对网络条件、适配、用户体验等方面提出了更高的要求。总结现有文献发现，移动APP测试未来的发展趋势可能是：①为了解决需求更新速度快、各种软件版本管难度大的问题，敏捷测试的方式将更为合适；②目前的移动APP测试尚未实现完全自动化，为了节约资源成本，实现全面自动化测试需要提上日程；③当前很多应用在不同网络环境、设备型号上运行所产生的差异性也是测试的一个难点。本文主要对图形用户界面测试、系统性测试、基模测试等方面的测试方法进行了分析总结，以期为之后的移动引用测试提供理论基础和新的思考方向。

参考文献：

[1] 中国互联网络信息中心.中国互联网络发展状况统计报告[EB/OL].[2017-1].http：//www.cnnic.net.cn/hlwfzyj/hlwxzbg/hlwtjbg/201701/P020170123364672657408.pdf.

[2] 叶强.基于无缝移动引擎（SME）的手机自动测试接口技术的研究与实现[D].北京：北京交通大学，2007.

[3] AMALFITANO D，FASOLINO A R，TRAMONTANA P，et al.Using gui ripping for automated testing of android APPlications[J].Ase，2012，43（9）：258-261.

[4] JENSEN C S，PRASAD M R.Automated testing with targeted event sequence generation[C].Proceedings of the 2013 International Symposium on Software Testing and Analysis International Symposium on Software Testing and Analysis，2013：67-77.

[5] SU T.FSM droid：guided gui testing of android APPs[C].Proceedings of the 38th International Conference on Software Engineering Companion，2016：689-691.

[6] MIRZAEI N，GARCIA J，BAGHERI H，et al.Reducing combinatorics in gui testing of android APPlications[C].Proceedings of the 38th International Conference on Software Engineering，2016：559-570.endprint

[7] MAHMOOD R，MIRZAEI N，MALEK S.Evodroid：segmented evolutionary testing of android APPs[C].Proceedings of the 22nd ACM SIGSOFT International Symposium on Foundations of Software Engineering，2014：599-609.

[8] 謝晓园，许蕾，徐宝文.演化测试技术的研究[J].计算机科学与探索，2008，2（5）：449-466.

[9] AZIM T，NEAMTIU I.Targeted and depth-first exploration for systematic testing of android APPs[J].Acm Sigplan Notices，2013，48（10）：641-660.

[10] 马云云，王金波，张弢，等.基于模型的方法在软件测试领域的应用与发展[J].计算机系统应用，2016，25（6）：274-278.

[11] GUDMUNDSSON V，LINDVALL M，ACETO L，et al.Model-based testing of mobile systems[Z].an empirical study on quizup android APP，2016：16-30.

[12] FARTO G D C，ENDO A T.Evaluating the model-based testing approach in the context of mobile applications[J].Electronic Notes in Theoretical Computer Science，2015，314（C）：3-21.

[13] MERILINNA J，PUOLITAIVAL O P.Using model-based testing for testing application models in the context of domain-specific modelling[J].Oopsla Workshop on Domain，2009.

[14] KENG J C J，JIANG L，WEE T K，et al.Graph-aided directed testing of android applications for checking runtime privacy behaviours[C].Proceedings of the 11th International Workshop on Automation of Software Test，2016：57-63.

[15] LU X，LIU X，LI H，et al.Prada：prioritizing android devices for APPs by mining large-scale usage data[C].Proceedings of the 38th International Conference on Software Engineering，2016：3-13.

[16] ZHANG H，WU H，ROUNTEV A.Automated test generation for detection of leaks in android applications[C].Proceedings of the 11th International Workshop on Automation of Software Test，2016：64-70.endprint