网络游戏评价模型及指标权重研究*

周 颖，江绍祥，张大林

(1.北京师范大学 教育信息技术协同创新中心，北京 100875；2.香港教育学院 数学与资讯科技学系，香港 999077；3.北京交通大学 国家轨道交通安全评估研究中心，北京 100044)

网络游戏评价模型及指标权重研究*

周 颖1，江绍祥2，张大林3

(1.北京师范大学 教育信息技术协同创新中心，北京 100875；2.香港教育学院 数学与资讯科技学系，香港 999077；3.北京交通大学 国家轨道交通安全评估研究中心，北京 100044)

如何帮助青少年在网络游戏中既快乐成长又免受伤害，是互联网时代摆在社会各界面前的一个难题。本研究通过参考和拓展现有研究，提出包含两层评价指标的网络游戏评价模型，通过引入AHP方法确定评价指标权重，从32项指标中提取出15项重要指标，其总权重达到0.81。研究结果表明：评价网络游戏应该把负面作用和积极影响同等看待，评价网络游戏的指标并非同等重要。研究结果对于网络游戏的社会评测、网络游戏的开发及家长指导青少年健康上网均具有重要的参考价值。

网络游戏；网络应用；评价系统；青少年健康上网教育；AHP方法

一、引言

伴随互联网技术的迅速发展，网络已逐渐渗透到社会各类群体的日常生活和工作中。调查显示，青少年网民既是网民中最大的群体，也是使用网络较活跃的群体[1]。对于正处在成长期的青少年而言，网络游戏成为许多青少年主要的娱乐方式。另一项调查显示，网络游戏在未成年人群体中使用率高达81.5%，而网络上众多的网络游戏排行或推荐网站因视角不同，并不能推荐既让青少年爱玩又对其成长有利、让家长放心的游戏[2]。许多青少年因接触了不适合其使用的网络游戏，出现了过度沉迷、价值观扭曲、阻碍其健康成长的现象，令家长担忧；但家长在帮助孩子选择和获取网络游戏的过程中又往往无所适从，不知道为孩子选择网络游戏应该重点关注哪些方面，故而花费大量的时间却无法取得理想的结果。

本研究参考和拓展现有研究，提出包含两层评价指标的网络游戏评价模型，通过引入AHP方法，采集专家建议，确定评价指标权重，提取出重要指标，帮助青少年及其家长选择适合的网络游戏，对网络游戏的社会评测、网络游戏的开发也具有重要的参考价值。

二、网络游戏评价综述

针对网络游戏评价，美国、欧盟、日本、韩国等国家实施游戏分级制度。其中美国的游戏分级制度实施最早也最具有代表性。美国娱乐软件分级委员会[3](Entertainment Software Rating Board，简称“ESRB”)负责游戏及娱乐软件的分级，目标是让消费者了解游戏的内容，并且购买适合自己的游戏。目前ESRB游戏的分级标志会加在包装外面和网站中，它的分级标准总共有6个等级， 30种项目，如暴力、血腥、色情、裸露、粗话、赌博、酒精、药品、烟草制品等，由此玩家既可以了解年龄分级，又可以针对内容进行筛选。2004年中国青少年网络协会推出以游戏推广为目的的游戏分级制度《中国绿色游戏评测与推荐制度》[4]，该方案静态指标包括社会道德度、文化内涵度、及与ESRB指标类似的暴力度、色情度和恐怖度，动态指标包括PK行为、非法程序(外挂)、聊天系统的文明度、游戏内部社会体系的秩序、游戏形象宣传、预防青少年过度沉迷游戏的游戏时间限制及社会责任感。上述网络游戏分级分类制度虽然明确了年龄的限制，为青少年选择网络游戏提供了一定的帮助，但是没有较全面的将网络游戏的内容及其价值呈献出来，如中美的游戏分级制度均从暴力、色情等负性方面评价网络游戏，如此只能排除不好的，却不能选出好的游戏。

2009年12月南京师范大学教育游戏研究中心推出教育视角下的《游戏分级分类标准试用版》[5]，该研究从知识、能力、情感三方面提出了分级分类标准，是基于学校教育的角度制定的。Eric Zhi Feng Liu and Chun Hung Lin对197款教育游戏，通过内容分析和Delphi Technique研究方法，形成针对教育网络游戏的5个类别43个题目的评价指标，这5个类别是游戏信息、多媒体、界面设计和结构、内容和反馈[6]。这43个指标给出了对教育游戏的常规描述，并突出评估游戏的教育效果，如“游戏中的图片和动画与学习内容相关吗？”是43个指标之一。教育游戏的评价仅从正向因素展开评估，且往往比较偏重于评估游戏是否利于教或利于学[7]，但教育游戏也需要考虑吸引玩家的问题，即教育性和游戏性并存，从而也需要评估它的负面影响。郁晓华、祝智庭主张游戏评价应将对青少年成长的“弊”和“利”都告知社会，并以游戏性为基准，提出基于多元智能的电子游戏教育评价的设计框架以及评价量规的设计思路[8]。这一设计思路已开始考虑从正、负两个方面评价游戏，但目前仅含评价框架和思路，偏重于定性研究。

总之，从指导青少年健康使用互联网的角度来看，网络游戏的评价指标不能仅考虑某一方面因素，应当从正、负两方面进行综合评价。过多的评价指标并重也是缺乏科学性、特别是缺乏可操作性和实用性的。在众多因素中，需要给出哪些是重要因素，其权重如何，如此才能适用于各种实际的评价场合，特别是方便青少年及其家长清晰了解一款网络游戏，做出适合自身的正确选择。

三、网络游戏评价指标体系构建的依据和方法

网络游戏的评价的核心问题是确定评价标准和构建指标体系，评价的客观性与置信度是评价成功与否的关键。全面、客观、科学地对网络游戏开展评价，要求评价人对评价对象本身的特点具有客观充分的理解和认识，设计的若干指标之间应该保持相互独立，避免交叉重叠和指标的疏漏；要求指标体系不可过于繁琐，以致为实际应用带来负担；要求指标体系层次合理、逻辑清楚、表达准确、言简意赅。更重要的是，要求评价体系的构建要有强有力的理论指导和科学合理的评价方法。

本研究首先充分分析、梳理已有网络游戏评价研究成果、辩证地借鉴教育游戏评价研究，从“利”和“弊”两个方面补充完善现有指标，由此对指标的完备性给予保障。提出这些指标的不同视角有：(1)参考已有评价标准(如是否有暴力情节？)；(2)从青少年自身对网络游戏的使用体验和需求出发(如界面是否友好？)；(3)从家长引导孩子健康成长的需求出发(如是否有易沉迷规则？)；(4)以对网络游戏的相关研究为基础(如本研究团队经过前期的相关研究得知网络游戏有致人情感投入的特点)；(5)站在多年研究该问题的研究者所具有的广泛的视角上(如是否鼓励合作与竞争精神？)。接下来，采用由上至下的思维方法，以两层树形结构对评价指标进行可视化表达，使得指标间的关系清楚、明了，即表现了指标间的内在逻辑，也利于专家对其进行内容效度的评估。

本研究与其他研究类似地得出了比较多的评价指标，采用层次分析法(The Analytic Hierarchy Process，简称AHP法)[9]解决评价指标过多、重要性不清的问题。运用AHP方法需要首先给出人为的定性评价。本研究聘请了4名专家，他们是具有教育技术、媒介素养教育、计算机和网络的专业背景的教授和副教授，并且均是家长，在引导青少年健康使用互联网这一领域有多年工作经验，其中一位教授长年参与中国网络游戏的审查和评测工作。参与评价的人员还有具有多年经验的网络游戏玩家3人，其中大学生2人、研究生1人。在这位研究生的协调之下，所有人对研究中需要的判断矩阵达成一致意见，从而使研究顺利进行到利用AHP方法计算指标权重的研究步骤中。本文中网络游戏的评价是更广范围的网络应用评价[10][11]的一个分支研究。网络应用是指互联网技术在某一特定领域的具体应用形式。本文将网络应用评价指标划分为两个层次。

四、网络游戏评价指标体系的第一层

由于数量、种类和版本繁多，网络应用具有高度离散性、实用性和层次性，第一层为适用于评价所有网络应用的通用指标，反映网络应用的一般特征，如健康性、易用性等，它们也就是网络游戏评价的第一层指标。在第一层评价体系的构建过程中，力求客观、准确、充分反映网络应用的核心价值和真实信息。第一层包含6个评价指标：

(1)健康维度：将健康指标列在第一层次，目的是为了评价优选健康网络应用，以防网络应用为追求高回报以“降低格调”为途径提高用户使用率的做法。同时，健康性本身也是人类任何优秀科技成果应有的共同属性，无论对于青少年还是其他用户，健康性都是基本需求。网络应用也应该首先要满足健康原则，为网络用户提供优质服务。

(2)教育维度：虽然谈论网络应用的教育作用可能会被一些人认为不合时宜，但网络应用的教育作用是客观存在的。“端出”的是营养丰富的“精神食粮”，还是食而无益的“垃圾食品”，甚至是有害身体的“毒品”，直接影响到包括青少年在内的“食客”的健康，不可不慎。

(3)内容维度：内容维度主要包括内容的准确性、针对性、原创性、创新性、完整性等等。根据不同类别网络应用，内容维度的评价指标可以适当调整。

(4)设计维度：设计维度主要针对网络应用的结构、外观、多媒体效果、兼容性、互动性等方面评价网络应用的设计效果。具有良好设计的网络应用可以为用户提供更好的使用体验。

(5)易用维度：易用维度也是衡量一个网络应用的重要指标。网络应用的界面友好、支持导航呈现、速度、稳定性、系统要求、安全机制等都直接影响网络应用的用户使用效果。

(6)其他维度：除了上述5个维度，第一层评价指标还加入了补充维度，目的是补充上述指标体系所未尽之处。例如网络应用的使用费用及使用人数等等。

以上(3)-(6)中部分内容，如内容维度的针对性、完整性等在相关文献中有所涉及。上述文献中也有一些评价指标针对的是更微观的网络应用，如网络应用中的教育类游戏，故而其中一些更细节的评价指标不在本文提出的体系中。

上述6个一级评价维度基本涵盖了一款网络应用的不同侧面信息，基本能够将一款网络应用的信息客观全面地呈现出来。更重要的是上述6个一级指标基本满足了青少年家长对一款网络应用的认知需求，可以帮助他们更加有效的监督和指导子女健康使用互联网。

五、网络游戏评价指标体系的第二层

第二层指标针对具体的网络应用，如网络游戏。在首层基本评价指标的基础上构建适用于特定领域、满足特定群体需求的评价指标体系。参考已有评价标准，通过对家长和游戏玩家的访谈，结合大教育背景及网络游戏的游戏属性，网络游戏的评价模型如下页图所示。

限于篇幅，以下仅通过几例，介绍二级指标内涵。

B11：歧视情境。它是指含有对民族、性别、信仰、职业等歧视性的言语描述和场景。

B19：易沉迷规则。它是指网络游戏中含有故意设置并使用户导致沉迷的游戏规则，以及鼓励用户通过时间消耗来获得升级等内容情境，同时也应考察游戏对长时间在线用户有无时间使用限制等等。

B21：历史与文化背景。一款具有一定的历史与文化知识背景的网络游戏，可以使用户在使用过程中能够体验历史文化的源远流长及博大精深，网络游戏中精彩的情境描绘和故事，可以带给玩家丰富的情感体验。

B22：自由与规则氛围。一款优秀的网络游戏应该具有良好的游戏规则设计，同时又兼顾游戏中的玩家自由，具有自由与规则并存的氛围。网络游戏中的规则，可以使玩家养成了解事物结构的方法和技巧，培养玩家把握事物运行规律的能力。

B31：准确性。它是指网络游戏中包含的内容是否有前后矛盾之处，是否经得起玩家推敲和验证，游戏中的故事背景、语言及使用的地名是否符合国家相关规定等。

B41：结构。它是指游戏各个功能模块具体的组织层次。良好的游戏结构设计，可以使用户操作更加方便快捷。

B56：安全机制。它指的是游戏系统应该保障用户账号、信息、虚拟财产的安全性以及在使用过程中不会对用户自身计算机造成影响。

B62：情感投入。游戏过程中，玩家需要与游戏场景及其他玩家频繁交流互动，不可避免会有情感投入。如果玩家在网络游戏的虚拟世界投入情感过多，必然会影响到其正常的现实生活。尤其是对于身心还处于成长发育阶段的未成年人，沉溺于网络游戏并从中得到情感满足而远离现实世界必然会造成不良影响。

六、网络游戏评价指标权重研究

网络游戏评价本身也是一个价值判断过程，这一过程不能脱离人的主观判断。目前针对网络游戏的评价，大多都侧重于定性评价，即领域专家或相关人士(ESRB评估员是由校长、家长、玩家等组成)通过评价标准对评价对象大致评定，给出评价结果。定性评价简单直观，但是过于依赖评价者的评价素质和评价水平，评价过程常常凭经验，靠主观判断进行，缺乏应有的科学性，因而往往造成失误。此外，过多的评价指标，且不分主次也不利于评价指标的应用，上述网络游戏评价指标需要科学、合理地进行精炼。本研究采用层次分析法(AHP方法)[12]，确定上述评价指标的权重。在比较多的指标中，站在利于青少年健康使用网络游戏的角度，推荐重要指标，供青少年和家长选择游戏时参考使用，供游戏开发者参考。

针对本文进行的研究，首先将指标体系分为3个层次：目标层，即网络游戏评价指标重要性评定；准则层，即评价网络游戏的第一层指标体系(健康维度、教育维度、内容维度、设计维度、易用维度和其它维度)；指标层即第二层指标体系，共32项。

网络游戏评价模型图

经过使用AHP提供的一系列公式的计算，总排序权重计算结果如下表所示，总判断一致性检验可得CI=0.05363，RI=1.26434，CR=0.04242＜0.1，由此可知上述所有判断具有整体满意的一致性。

总排序权重表

通过网络游戏评价指标体系的总排序权重表可以看出：对于网络游戏而言，游戏的健康性(A1)是最重要的，其次是教育指标(A2)和内容指标(A3)。

从网络游戏二级评价指标体系来看，以下15项二级指标权重排在前列，权重之和为0.81，决定着网络游戏的总体评价值，它们分别是：B21历史与文化背景(0.105)、B19易沉迷规则(0.1)、B12毒品情境(0.081)、B14性情境(0.078)、B18法律、犯罪情境(0,059)、B31内容准确性(0.055)、B25创造力和想象力的培养(0.043)、B41游戏中设计的结构(0.04)、B26抉择和判断能力的培养(0.039)、B15暴力情境(0.038)、B16赌博情境(0.038)、B22自由与规则氛围(0.036)、B23合作与竞争精神(0.034)、B32针对性(0.032)、B13恐怖情境(0.03)。它们构成了网络游戏评价中的核心内容，由此避免了题项过多造成的评价复杂度过高的问题。筛选出来的这15项指标充分说明，一方面评价网络游戏应该把负面作用和积极影响同等看待，另一方面评价网络游戏的指标并非同等重要。

分析此结果可以发现，在各评价标准都非常关注的健康维度中，歧视情境(是指含有对民族、性别、信仰、职业等歧视性的言语描述和场景)确实在我国文化中并不多见，其未被列为重要指标具有一定的合理性；而毒品、性、暴力、赌博、酗酒、吸烟、违法、犯罪，特别是游戏中是否含有易沉迷规则，是与孩子健康成长密切相关的指标，并且“B19易沉迷规则”是许多家长并未意识到这种过度“妖魔化”的网络游戏特征，其权重位列第二提醒家长要格外重视；在教育维度上，未包括“学科知识的普及”，但格外重视“历史与文化背景”也是合理的，前者是仅为部分教育游戏关注之内容，在娱乐为主的网络游戏中谈不上普及学科知识，而后者常常是网络游戏(因为具有了内涵和深度)使玩家“赏心悦目”的主要条件之一，甚至是具长久生命力的游戏的必备条件。另外，被选中的“内容准确性”“针对性”“游戏中的结构”相对其他指标稍有凸显，也与笔者与玩家接触所留下的印象相符。重要的是，通过AHP方法，重要的指标被筛选出来，而且其重要程度也因为具有了指标权重而清晰地被标识了出来，有利于后续应用的进一步开展。

七、总结与展望

本研究在充分借鉴已有研究的基础之上，以严格遵守相应原则为前提，以分层的形式得出网络应用及网络游戏的评价指标体系，然后基于专家组协商得出判断矩阵，运用AHP方法得到32个网络游戏评价指标的总排序权重，根据权重确定了15个指标为网络游戏评价中应重点考虑的评价指标，这15项二级指标权重之和达到0.81。

本研究可以为青少年及其家长在挑选网络游戏时作为参考，还可以应用在如下几个方面：(1)基于这15个指标，通过网络收集大众针对热门网络游戏的评价数据，经后台处理可以向用户呈现多款网络游戏的总价值排序、15项指标的分别排序，供用户挑选网络游戏时参考；(2)许多国家和地区均有网络游戏的年度排行榜，本研究的15项重要指标和指标权重可以支持科学地量化评价网络游戏，还可以用于权威组织推荐绿色网络游戏之用；(3)网络游戏公司在设计和制作网络游戏时可以参考该研究结果，着重在排名靠前的指标上投入比较大的精力，能产生事半功倍的效果；(4)使用同样的研究方法，可以用在教育游戏、科普游戏、教育APP的评价上，得到重要的指标及其权重，用于教育APP大赛等情境中进行科学评价；(5)开展游戏开发大赛时，专家组可以依据本文的方法得到评价指标及权重，依据该特有的指标和权重给作品打分将更加合理和科学。

[1] 中国互联网络信息中心(CNNIC).第三十四次中国互联网络发展状况统计报告[R].北京:中国互联网络信息中心,2014.

[2] 中国互联网络信息中心(CNNIC). 2009年中国青少年上网行为调查报告[R].北京:中国互联网络信息中心,2010.

[3] ESRB. ESRB Ratings Guide[EB/OL].http://www.esrb.org/ratings/ratings_guide.jsp, 2014-12-28.

[4] 中国青少年网络协会.中国绿色游戏评测与推荐制度[EB/OL].http://www.zqwx.youth.cn,2014-12-28.

[5] 任秀平,李艺.电子游戏的分级与分类问题的教育视角论证[J].远程教育杂志,2009,(2):66-67.

[6] Eric Zhi Feng Liu, Chun Hung Lin. Developing evaluative indicators for educational computer games[J]. British Journal of Educational Technology,2009,40(1):174-178.

[7] 沈娟,章苏静.教育游戏评价方法研究述评[J].远程教育杂志,2014,(3):105-112.

[8] 郁晓华,祝智庭.电子游戏教育评价的新视角:基于多元智能的设计[J].中国电化教育,2011,(11):10-13.

[9] Lee Sangjae, Kim Wanki, et al. Using AHP to determine intangible priority factors for technology transfer adoption[J].Expert Systems With Applications, 2012,39(7): 6388-6395.

[10] Lewiecki & L. A. Rudolph, et al. Assessment of osteoporosis-website quality[J]. Osteoporosis International, 2006,17(5) :741-752.

[11] Wiley Jennifer, Goldman Susan, et al. Source Evaluation,Comprehension, and Learning in Internet Science Inquiry Tasks [J].American Educational Research Journal, 2009,46(4):1060-1106.

[12] Ho Elaine, Lin Chun Yueh. Evaluating the Entry Mode for Taiwan Insurance Companies by Using AHP Sensitivity [J]. Journal of Testing and Evaluation, 2012,40(3):476-484.

周颖：副教授，硕士生导师，研究方向为网络素养教育(yzh@bnu.edu.cn)。

江绍祥：教授，博士生导师，研究方向为网络学习、教师教育(sckong@ied.edu.hk)。

张大林：讲师，研究方向为程序分析与验证、软件安全、软件可靠性(zdl830714@sohu.com)。

2014年11月25日

责任编辑：赵兴龙

A Study of an Internet Game Evaluation Model UsingWeighed Index

Zhou Ying1, Kong Siu Cheung2, Zhang Dalin3
(1.Collaborative & Innovative Center for Educational Technology, Beijing Normal University, Beijing 100875;2.Department of Mathematics and Information Technology, The Hong Kong Institute of Education, Hong Kong 999077;3.National Research Center of Railway Safety Assessment, Beijing Jiaotong University, Beijing 100044)

How to guide young people to take advantages and avoid disadvantages in playing Internet game is a challenging problem that our society has to face. This study attempts to propose an Internet game evaluation model using two layers of indexes. Fifteen indexes are extracted from 32 using the AHP method to determine the weights of the 32 evaluation indexes. The total weight of the 15 indexes is 0.81. The result shows that both the positive and negative sides and the importance of theeach indexshould be taken into considerationin evaluating Internet game. The indexes can be used to guide young people to play Internet game in a healthy manner,inform developer in developing Internet game and inform the society to evaluate Internet game.

Internet Game; Internet Application; Evaluation System; Online Health and Education; AHP Method

G434

A

1006—9860(2015)05—0062—05

* 本文受北京市教育科学“十二五”规划2012年度重点课题“基于多方协作的中学生网络依赖转化实用模式研究及在北京市的选样实验”(课题编号：AGA12098)资助。