APP软件客观评价方法

李振 姜瑛

摘  要： 为了帮助用户选择适当的APP软件，提高APP软件开发质量和用户使用体验，基于用户使用APP软件的情况及反馈，选取7个针对APP软件的评价指标，提出APP软件客观评价指标体系。首先对APP软件评价指标值进行数据标准化;然后采用标准离差法、熵权法、CRITIC法三种客观赋权法组合计算，得出相应指标权重和APP软件的客观综合评价值。针对音乐类APP软件，应用以上方法计算APP软件综合评价值，并与应用商店APP软件排名进行对比。实验结果表明提出的APP软件客观评价方法是有效的，该评价体系可以为APP软件的设计和开发提供一定参考。

关键词： APP软件; 客观评价; 评价指标体系; 客观赋权; 综合评价; 软件排名

中图分类号： TN911.1?34; TP311                   文献标识码： A                    文章编号： 1004?373X（2020）23?0094?05

Abstract： In order to help users to select appropriate APP software， and improve the quality of APP software development and user experience， 7 evaluation indicators for APP software are selected on the basis of the usage and user feedback of APP software， and then an objective evaluation indicator system for APP software is proposed. The evaluation indicator values of APP software are standardized. And then， the corresponding indicator weight and objective comprehensive evaluation value of the APP software are obtained by combinatorial calculation of 3 objective methods named as the standard deviation method， the entropy weight method and the CRITIC method. For the music APP software， the comprehensive evaluation value of the APP software is calculated with the above methods and compared with the APP software ranked in the application stores. The experimental results show that the proposed objective evaluation method for the APP software is effective， and the proposed evaluation system can provide a certain reference for the design and development of APP software.

Keywords： APP software; objective evaluation; evaluation indicator system; objective weight; comprehensive evaluation; software ranking

0  引  言

近年来，随着智能终端的普及，人们对APP软件的需求不断增高，APP软件市场也呈现出十分迅猛的增长势头。各种APP软件数量越来越多，截至2018年12月底，我国市场上的APP软件大约为449万款，虽然大量的APP软件已经在人们的生活及工作中都占据了重要位置，但是随之也出现了APP软件种类繁多、良莠不齐的现象，因此，APP软件的合理评价将有助于用户判断该APP软件的情况，从而能从大量的APP软件中选择其所需要的软件。

针对APP软件的评价分为主观评价和客观评价。主观评价一般是决策者未经过分析推算，以决策者的经验或偏好对APP软件做出的主观评价;而客观评价需要获取APP软件的相关数据，并利用数据反映APP软件的本质。相对于主观评价，客观评价减少了人为主观随意性的影响，因此对APP软件做出合理客观的评价是亟待解决的问题。

在针对软件的客观评价研究中，文献[1]针对用户对软件的使用情况，从软件下载、引用、多路复用三个维度构建了开源软件评价指标体系，并对开源社区学术软件的影响进行了评价，其评价结果对相关软件的设计与开发提供了参考。文献[2]以用户使用开源软件的反馈信息为基础，提出了一种基于用户对软件使用的偏爱程度对软件进行排序的方法，该排序方法最终显示了基于群体智慧指导软件开发人员寻找优秀的可重用软件的潜力。针对APP软件的客观评价，文献[3]以APP软件的市场需求量为评价指标，对APP软件做出相应的排名，并对APP软件做出客观评价。

因为客观评价可以消除用户对APP软件的主观性，还可以提供给用户作为使用APP软件的参考依据，而且用户对APP软件进行有效的选择和利用对其进行的反馈是直接反映APP软件的优劣情况。所以本文基于用户使用APP软件的情况及反馈，和已提出的客观评价指标进行补充和总结，并建立相应的APP软件客观评价指标体系，进一步展开对APP软件客观评价的研究工作。

1  APP软件客观评价体系

在对APP软件进行客观评价的过程中，首先要确定APP软件客观评价的内容，其次要构建APP软件客观评价指标体系。本文认为，从用户角度来说，结合已提出的客观评价指标，进一步地发现和获取用户使用APP软件的情况和反馈信息进行具体分析和总结，从中选取合理的APP软件客观评价指标。

1.1  基于用户使用APP软件的情况评价指标选取

用户在使用APP软件时一般会考虑到该APP软件在应用平台的下载量和安装APP软件时的文件大小两种情况。

由于应用设备不同，APP软件安装文件大小会影响不同用户的使用体验。通过对APP软件安装文件大小进行定量分析，可以体现用户对APP软件使用部分的反馈。所以本文选取APP软件安装文件大小作为用户使用APP软件情况的评价指标之一。

下载量在一定程度上反映了用户使用APP软件的情况。APP软件在应用商店中下载的数量是决定APP软件在应用商店中排名的重要因素。因此，下载量可以作为衡量用户对APP软件使用情况的指标。

1.2  基于用户使用APP软件的反馈评价指标选取

除了了解用户使用APP软件的情况之外，用户使用反馈也是客观评价APP软件的重要内容。用户在使用APP软件后，一般会对该APP软件做出相关评论，包括是否给与好评、评分多少、级别高低。

将参与用户评论量作为用户使用APP软件的反馈，是因为用户在应用商店中对APP软件使用之后做出相应的评论，其评论是用户主观做出使用APP软件优劣情况的反馈。所以本文选取参与用户评论量作为用户使用APP软件反馈的评价指标。

好评量也是作为用户使用APP软件的反馈，它在目前主流的应用商店中，对用户评论的展示是不可或缺的。用户评论中优质和正反馈的积极评论的数量，可以反映出用户在使用APP软件后拥有良好体验的程度，所以本文有必要选取好评量作为客观评价指标。

同样作为用户使用APP软件的反馈，差评量可以更加直观的体现APP软件目前存在的部分问题。用户对APP软件的差评可以反映出用户使用APP软件时产生的负面体验，所以将差评量作为APP软件评价的客观评价指标之一。

评分值作为用户使用APP软件的反馈也是目前主流应用商店对APP软件进行排名的重要依据，用户通过获取APP软件的评分值对APP软件做出主观性的判断，反映出该APP软件的优劣。所以本文选取评分值作为客观评价指标之一。

应用评级作为用户使用APP软件的反馈，使用户在应用商店中可以直观的看到对APP软件的评级情况（一般以星为单位），如果评级越高则表示APP软件的质量越好，因此应用评级是衡量APP软件质量的重要因素。所以本文选取应用评级作为客观评价指标，可以更全面地对APP软件的质量做出客观的评价。

综上所述，本文选取文件大小、下载量、参与用户评论量、好评量、差评量、评分值、应用评级作为客观评价指标，并构建了APP软件客观评价指标体系，如图1所示。

2  客观评价方法

在构建APP软件客观评价指标体系之后，要确定APP软件评价方法。客观评价方法是由实际的数据出发，利用客观评价指标体系所反映的客观信息确定权重，最后进行综合评价的一种方法。评价指标权重确定可分为主观赋权和客观赋权。主观赋权反映决策者意向、评价结果主观性的表达;客观赋权法则是根据一定的计算规则进行赋权的方法。本文通过具体的实验和相应的客观权重赋权法进行权重计算，通过已获取评价指标的权重结果计算出综合评价值，对APP软件进行客观评价。

2.1  数据标准化

由于各评价指标的性质不同，通常具有不同的量纲和数量级。为了保证结果的可靠性并使得指标之间处于同一数量级，本文首先对原始指标数据进行标准化处理，然后进行客观赋权和客观综合评价值的相关计算。

min?max标准化方法[4]可以保留评价指标原始数据之间的关系，本文选用该方法将各指标的客观数据进行标准化处理，最终利用式（1）或式（2）将每一个指标的结果映射到[0，1]区间。

[dij=fij-min fijmax fij-min fij（适用于指标越大越好）] （1）

[dij=max fij-fijmax fij-min fij（适用于指标越小越好）] （2）

式中：指标[fj]（[j=]1，2，…，[n]，[n]为评价指标数量）的相关值为[{fiji=1，2，…，][m]，[m]为评价对象数量}，则[fij]表示第[i]个被评价对象在第[j]个指标上的值;[dij]为把实际数据进行标准化后的数据。

2.2  客观赋权法

APP软件客观评价中指标赋权需要依赖相应的样本数据即指标值，当样本数据变化时，权重也会发生变化。客观赋权方法都具有各自的优点，选取多个赋权方法进行综合赋权则会减少数据信息的损失。由于标准离差法是根据指标本身数据的活跃程度进行权重的赋值;熵权法可以体现不同评价指標信息量的程度;CRITIC法不仅考虑了评价指标在变异大小方面对权重的影响[5]，而且还考虑了每个指标之间的冲突性。可以得知上述三种方法能反映评价指标客观权重赋值，所以选取其作为本文对APP软件客观评价的赋权方法并进行综合赋权。

2.2.1  标准离差法

一般如果某个指标的标准差越大，表明其指标值的变异程度越大，提供的信息量越大，在评价中所起的作用越大，其权重也应越大[6]。

2.3  客观综合评价值确定

由于最终获取的三种客观赋权结果存在差异性，为了能够更加精确地反映权重结果，需要将多个指标权重转化为一个能够反映综合情况的指标权重进行评价，并将多个实验对象按一定意义进行排序，从中挑出最优或最劣对象，而对于每一个评价对象通过综合评价和比较可以找到自身的差距，也便于及时采取措施进行改进。所以在本文确定指标权重后进行了客观综合评价值的确定。

通过以上三种客观赋权方法的计算和验证，得到各指标的权重，同时将三种客观赋权法的权重取算术均值，获取指标的综合权重[Wj]，最后计算综合评价值[Vi]，公式如下所示：

[Vi=j=1nWjdij，   i=1，2，…，m]  （8）

式中：[m]为评价对象数量;[n]为评价指标数量。

3  实  验

3.1  综合权重的计算

由于应用商店是当今最流行的向用户提供内容的方式之一。在应用商店中，用户需要对APP软件查找、下载和反馈时，其提供了可反映APP软件客观评价指标体系中相应指标的具体数据信息和活动日志[9]。

360手机助手作为中国最大、最安全的Android手机应用市场，本文从中选取音乐类的10款主流APP软件作为本文的评价对象，并获取相应的7个指标值。其中音乐类APP软件指标值如表1所示。[M1]：下载大小，单位为MB;[M2]：下载量，单位为亿次;[M3]：参与评论用户量，单位为条;[M4]：好评量，单位为条;[M5]：差评量，单位为条;[M6]：评分值，取值为0～10分;[M7]：应用评级，范围为0～5星。

根据第2节中提出的三种客观赋权方法与综合权重计算方法，对选取的评价对象进行相应的客观评价指标赋权。音乐类APP软件三种方法赋权及综合权重结果如表2所示。其中本文利用标准离差法计算获取得到的指标权重见“[W1]”列;利用熵权法计算获取得到的指标权重见“[W2]”列;利用CRITIC法计算得到的指标权重见“[W3]”列;通过计算获取到的综合评价指标权重见“[W]综合”列。

从表2可以看出，评分值、应用评级、下载量权重是最高的三个评价指标。评分值是用户在应用平台下载APP软件之前考虑到的最重要的一个依据，是判断所要下载的APP软件质量和体验状况的一个重要来源。其次，差评量、好评量也是用户在使用APP软件时做出相应优劣评价比较关注的内容;虽然安装文件大小和参与评论用户量两个指标的权重相对于其他客观评价指标权重较小，但是两者也相应地反映了用户对APP软件的客观评价，在APP软件指标体系中是不可或缺的。

3.2  客观综合评价值确定

根据2.3节的综合评价值计算方法，分别计算得出音乐类10款APP软件相对应的综合评价值，最后对结果进行排序，并将360手机助手中音乐类APP软件排名与其进行对比分析。其中，利用本文方法获取到的音乐类APP软件综合评价值及排名如表3所示。

文献[10]利用熵权法对相应指标进行了权重计算和客观评价。基于1.2节中的APP软件客观评价指标体系，应用文献[10]中客观评价方法和本文的综合评价值计算方法，计算得到相应的音乐类APP软件综合评价值及排名。

3.3  实验分析

本文依据APP软件综合评价值进行相应排名，360手机助手排行榜信息主要依据APP软件的下载次数、评分进行相应排名。同样，评分值与下载次数也是本文客观评价指标体系中权重较高的重要指标。

由于本文所用的指标体系与360手机助手中进行排名的指标并不完全一致，音乐类10款APP软件客观综合评价值大小排名和360手机助手中相应排名的对比结果存在差异。此外，应用商店数据提供的时效性等问题也会影响评价结果。使用1.2节的APP软件客观评价指标体系，本文方法得到的APP软件排名与应用商店排名的一致率达到60%以上，高于应用文献[10]方法得到的排名一致率，因此本文的方法是有效的。

4  结  语

本文基于用户使用APP软件的情况及反馈，提出了APP软件客观评价指标体系，并采用标准离差法、熵权法、CRITIC法三种客观赋权法计算得出相应指标权重，然后计算得出APP软件的客观综合评价值。实验结果表明本文提出的APP软件客观评价方法是有效的。

之后的研究工作中需要更加全面地选取相应评价指标，并增加评价对象和改进评价方法。此外，现有应用商店中所提供的数据一般具有时效性，下一步工作需要提出对该问题的解决方案。

参考文献

[1] ZHAO Rongying， WEI Mingkun. Impact evaluation of open source software： an altmetrics perspective [J]. Scientometrics， 2017， 110（2）： 1017?1033.

[2] FAN Qiang， WANG Huaimin， YIN Gang， et al. Ranking open source software based on crowd wisdom [C]// IEEE International Conference on Software Engineering and Service Science. Beijing： IEEE， 2015： 966?972.

[3] LIU Bingxun， YIN Gang， WANG Tao， et al. Software ranking based on mining market requirements [C]// 2015 6th IEEE International Conference on Software Engineering and Service Science. Beijing： IEEE， 2015： 962?965.

[4] SUN Hongwei， LV Chunyan. Research on the principle of data standardization in comprehensive evaluation [J]. Chinese journal of health statistics， 2015， 32（2）： 342?344.

[5] HAN Erdong， GUO Peng， ZHAO Jing. Method for multiple attribute group decision making based on subjective?objective weight integrated and extended VIKOR [J]. Computer engineering and applications， 2015， 51（11）： 1?5.

[6] 霍妍.产学研合作评价指标体系构建及评价方法研究[J].科技进步与对策，2009，26（10）：125?128.

[7] 张秋余，张燕，袁占亭.基于熵权与灰色关联度的隐写分析算法评估[J].计算机工程，2011，37（7）：148?150.

[8] KAZAN H， ?ZDEMIR ?. Financial performance assessment of large scale conglomerates via topsis and critic methods [J]. International journal of management & sustainability， 2014， 3（4）： 203?224.

[9] YANG Y?H， TENG Y?C. Quantitative study of music listening behavior in a smartphone context [J]. ACM transactions on interactive intelligent systems， 2015， 5（3）： 1?30.

[10] 岳毅蒙，李江涛.基于改进熵权法的智能手机评价模型[J].计算机系统应用，2017，26（4）：203?206.

[11] 文小冬，裴以建，王群立，等.基于APP操控平台的手势识别机械臂控制系统[J].现代电子技术，2018，41（22）：72?74.