BDS导航终端用户主观体验量化评价方法

许　培，董晶晶

(北京卫星导航中心，北京　100094)



BDS导航终端用户主观体验量化评价方法

许培，董晶晶

(北京卫星导航中心，北京100094)

摘要：本文针对BDS导航终端的用户主观体验质量难以量化评价的问题，基于长期在BDS导航终端应用保障过程中积累的经验，通过针对性的设计并实施用户访谈、问卷调查等方式，获得了部队用户对BDS导航终端使用感受的真实反馈。以层次分析法为主要基础方法，提出了一种能够将用户的主观使用感受进行量化评价的BDS导航终端用户体验评价指标体系。文中对该体系的指标项目与评判标准做出了详细说明，并设计了一套与之配套的测试方法，实现了BDS用户终端在用户主观感受方面的量化评价。

关键词：北斗系统；导航终端；用户体验质量；评价指标体系；测试方法

0引言

北斗卫星导航系统(BeiDou navigation satellite system，BDS)已经广泛应用于航空、航海、车辆、渔业、应急救援等众多领域和行业，BDS导航终端的质量水平不仅关系着BDS应用的开展和产业的壮大，也与人民大众生命安全和生活质量密切相关[1]。在BDS研制建设阶段，对BDS用户终端的质量需求，重点在其是否具备主要功能和满足重要设计指标，而随着BDS应用的快速发展，各界用户对BDS终端的质量提出了更高的需求，对QoE更加关注。

用户体验质量(quality of experience，QoE)，指明确用户在使用一个产品或服务的过程中所建立起来的纯主观的心理感受的综合质量水平。

由于用户体验的主观性，准确定义用户体验非常困难[2-3]。当然，用户体验概念本身虽然是主观的、模糊的、综合的，但从评估学角度来看，其体验系统是具体、可分化的，由多个不同评价指标要素组成，因此将用户体验量化的基本思想是将一个复杂系统分化为多个指标来反映综合情况[4]。但是对于具体评估方法，尤其是量化技术的研究仍处于摸索阶段[5]，研究难度主要在于“体验”这个概念本身作为个人心理感受的不稳定性、主观性、差异性、复杂性，存在着较难实时获取，以及准确度不高等问题[6]。

目前，对BDS终端的质量评定主要是通过试验室测试，对具体功能与指标进行定量检验，从而确定终端的制造质量，但还没有针对用户使用质量的明确标准与检验方式。

本文的目的即是从用户体验的角度来反映BDS导航终端的使用质量，通过设计有效的评定和衡量方法发现导航终端存在的使用问题，并将QoE结果以量化的形式视觉化、直观化，得到用户对BDS导航终端的使用体验的客观评价，并督促研制、生产方提高终端的使用质量，提升BDS用户满意度。

出于业务关注方向，本文的研究对象限定于部队用户，评价主体以BDS手持双模型用户机为例。文章内容描述了如何设计一套BDS导航终端用户使用感受评价指标体系，及如何实施实际测评验证，从而获得部队用户对BDS导航终端在实际使用环境下和实际使用过程中的整体可接受度与主观满意度的量化评价。

1评价指标体系的设计

经过对多种QoE评价方法[7]的分析比较，本文对BDS导航终端用户使用感受评价指标体系的构建，主要采取层次分析法确定参与评价的指标及其权重。

1.1评价指标来源

用户访谈由于其实用有效而成为实际研究调查中被广泛运用的定性研究手段[8]。通过对一定数量的BDS终端用户调查，了解其对于导航终端的功能认知、交互过程具体行为模式与交互体验质量的影响因素、综合主观满意度等方面的信息，从而指导后续量化评价方法的设计。

在2008年～2012年间，结合大量BDS导航终端在部队的装备配发和保障工作进行用户访谈。访谈对象为具有代表性的部队用户。具体选择标准[9]为：来自不同地域的基层部队，年龄在18岁～30岁，拥有2 a以上BDS终端使用经验，经常使用不同厂家的各型号BDS终端，同时会使用其他导航终端或智能手机。

访谈主要内容包括以下几点：

①对BDS用户终端的整体评价、态度、期望等；

②影响操作使用的原因、因素等；

③基本使用情况：使用频率较高的功能、使用场景、时间段等；

④使用过程中的体验影响因素，最关注应用的哪些方面；

⑤挑选其中最常用的功能，现场操作演示，并评价其优缺点；

⑥对于综合满意度较高的机型，会有哪些相应的心理感受、具体行为等。

对用户访谈结果的数据分析表明，其选取的用户具有典型代表性，总体上能够反映部队用户对BDS终端的体验情况，主要访谈结论包括：

①用户主要使用的功能是定位、导航、报文短信等；

②希望BDS终端进行功能改进和质量提升；

③较为满意的是开机锁定信号快，架设简便等；

④较不满意的是使用环境差、输入法落后、目标点查找不方便、按键不灵敏，屏幕触控功能较差等。

1.2指标权重确定

为了量化区分影响用户对BDS导航终端做出使用感受评价的因素的重要程度，在确定了评价指标之后，就需要对这些评价指标进行权值分配，也就是对每项评价指标在最终评价中的重要性进行划分。

这项工作主要通过问卷调查来实现。问卷调查是一种数据收集手段，目的是搜集、累积某一目标族群对待事物的看法、观点等事实现况[10]。调查问卷根据用户访谈的结果设计题项，主要针对BDS终端用户体验的影响因素进行定量研究，从而明确体验评估指标要素，并构建层次结构模型。

调查问卷共包括三部分，第一部分为接受调查的用户基本资料，第二部分为用户对各影响因素的反应及程度、第三部分为用户主观意见、建议及综合满意度。发放形式为各部队抽样发放。本次问卷调查共计发放350份，回收326份，其中有效问卷为324份，问卷有效回收率为92.3%。

在回收问卷的分析中，首先对有效问卷的数据进行可信度分析；在剔除明显不可信数据后，再对问卷提及的各影响因素的反馈数量进行统计；之后结合第三部分的反馈意见进行相关性分析；最后结合终端研制、验收等方面专家的意见，通过专家打分法最终确定各影响因素的权重[11]。

2评价指标体系的构成

2.1评价指标体系

通过以上方法，构建出一套BDS导航终端用户体验评价指标体系(由于各型号终端的软硬件设计存在差异，不可一概而论，此处以BDS二号手持双模型用户机为例，详见表1)，主要考察终端的外观设计、软件设计、主要功能实现和导航效果4大项内容，其下划分二级指标，及更详细的评价标准。

表1　BDS导航终端用户体验评价指标体系

最终评价得分的计算为

(1)

式(1)中，S为被测终端的最终得分；λi为一级指标的权重，i=1、2、3…m(m为一级指标的总个数)；λij为二级指标的权重，j=1、2、3…n(n为某一级指标中二级指标的总个数)；Sij为二级指标的得分。

2.2评价指标说明

操作指导材料易读性：操作指导材料指终端的随机说明材料，是指导用户使用BDS导航终端的重要辅助手段，包括但不限于说明书、操作维护手册等，评价标准为内容完整，语言简洁易懂，语义正确无歧义，索引方便，用户能快速准确的找到所需内容。

整机外观设计：由于各型号终端的硬件结构不同，评价项目稍有区别，主要包括工艺水平、安全性、耐用性与操控性；评价标准基本与本例一致：主机及外接口平滑无毛刺，主机外壳及外接口耐磨损，无掉漆、磕角、断裂等现象，电池盖装卸方便、安装牢固；指示灯醒目；各组件有防水设计且防水有效；主机各接口与外接线的连接牢固、方便。

携行具设计：手持型终端一般用于单兵背负，因此手持型终端的携行具要求能方便装卸、携行具装入主机后方便携带，携行具对主机的保护效果明显。

电池及充电器设计：专用锂电池是用户机主要易损易耗部件，虽然电池性能在试验室指标测试中能够得到充分体现，但其设计细节只有在用户使用评价中才能得到反映。评价标准包括：充电方式多样，座式充电器连线方便、牢固，充电器安装电池方便、牢固，有防反插设计，插簧片不易发生虚接、短路。

可选配件设计：导航终端的可选配件很多，不同厂家针对不同机型、不同用户需求可自行选择、设计配件。在用户使用过程中，配件应能够对用户体验产生积极的影响。当然，如果配件的选择没有起到辅助用户使用的作用，或设计不合理，在使用过程中令用户不快，则会对用户满意度起到负面影响，甚至失去选配此配件的作用。鉴于目前主流配件比较集中，评价集中在手写笔和外接天线两种配件。手写笔的评价标准是：形状、长度、粗细设计合理，抓握舒适，放置位置合理，安装牢固，取用方便，防掉落遗失设计合理，戴手套使用手写笔方便；外接天线评价标准是：体积小、重量轻，接插主机方便，车外(室外)安装方便、牢固，接插口接线稳固，线缆结实耐用，不易损坏。

界面风格、显示要素可读性：软件界面评价标准在业界已有丰富研究，鉴于BDS导航终端的用户群体与作战训练的使用环境场景，我们主要考察界面色调、图案形状、色差设计、图案在无文字辅助情况下的易懂程度、界面功能区域划分明显、合理。

人机交互便捷性：主要分按键、触摸屏、声音、亮度及输入法等几个方面进行评价。主要评价标准为按键灵敏度适中，牢固不易脱落；触摸屏灵敏度适中、触点准确；音量可调节且调节范围大；屏幕可调节到合适亮度、显示清晰；输入法切换方便，输入方便、准确，手写输入反应速度适中、识别度良好。

警告、提示信息设计：用户在使用时有可能实施误操作，终端在发生异常时应及时以各种方式提醒用户，评价标准为告警与提示信息显示明显、醒目，描述清晰，文字简洁易懂，无歧义，处理建议准确可行。

状态信息菜单与界面设计：评价标准为状态信息项目丰富、内容准确、显示方式直观、易懂，新信息刷新迅速。

定位功能菜单与界面设计：评价标准为各类数据完整、正确、刷新迅速、界面可读性强，关联数据显示区域设置合理、切换、调取方便。

通信功能菜单与界面设计：评价标准为内容书写方便、显示清晰，存储、编辑与调用方便，存储信息量大。

地图界面设计：评价标准为地图数据类型丰富，地图打开、切换迅速，显示清晰准确，放大、缩小、漫游流畅，图上标注方便、准确，点位信息显示明显易读。

导航设置：评价标准为导航设置项目丰富、设置方便，数据容量大。

导航线路规划：评价标准为导航线路计算速度快、线路设计准确、符合设置要求、重新规划路径及时准确，模拟导航路线清晰、易观看。

导航过程：评价标准为导航过程中图形、文字显示清晰易懂、语音告警与提示简洁易懂、无歧义、准确及时。

轨迹显示：评价标准为实际行进轨迹显示清晰、刷新及时、与地图数据吻合度高。

与现有BDS用户终端在研制、生产中所需遵循的功能、性能指标不同，以上用户体验评价指标给出了影响用户使用感受的主要因素。前者是用户终端实现基本功能、达到应用目的的必要条件，首先为用户解决终端“能用”的基本要求；后者则替用户描述了终端如何才能“好用”的进一步要求。用户体验评价指标所涉及的内容虽然隐含在现有用户终端的功能要求中，与各项技术指标不冲突、不重合，且本文讨论的内容必须是在用户终端已实现所有功能、性能指标要求的前提下开展，但这些具体的功能、性能指标并非本文研究内容，故对此不予讨论。

3评价指标体系的实际应用与验证

由于使用体验是用户的一种主观反应，因此无论如何提高评价指标和测试方法的量化程度和精细度，都无法获得一个绝对评价结论，而只能在控制条件下得到横向或纵向比较的相对结论。也因此，本用户体验评价指标体系的实际应用只适合以比较测试的方式实现。通过多次试验，设计了一套BDS导航终端用户使用体验横向比测方案。

3.1测试人员选择

在测试人员的选择上，一般产品测评均以具备充分理论知识和科研经验的专业技术人员担任为佳，而本测试为充分体现普通用户立场，却特意避免专业人士或熟练测试人员。针对目标用户群，从不同工作条件下、对设备具有不同使用需求的实际用户群体中随机抽取(随机抽样或典型抽样)。即使不具备大范围抽取测试人员的条件，至少也要在能够代表用户特征的小范围内选取用户个体(方便抽样)，力求使被选取的测试员团队具有代表性和普遍性。

3.2前期培训

依此原则选出的测试员，很可能尚未接触过BDS导航设备，甚至不熟悉导航产品，因此不会有固定的思维定势和操作习惯，能够真实反映普通用户在使用中的感受，并能从其使用需求与环境角度出发，发现并反映被测设备在设计上的优缺点。但同时，由于缺乏测试经验，在执行测试用例和评分、描述故障过程中容易发生偏离。为了规避这些负面因素，需要对选出的测试员进行必要的基本培训。培训仅限于使测试员建立对被测对象的产品功能、结构组成等基本认识，以及了解测试过程，掌握测试方法、评分标准与现场记录方法等。

在测试员培训阶段，着重培养测试员建立公平一致的评价风格，即独立个人对所有同型号被测设备的打分标准要保持前后一致；为此，还可以在测试开始前专门给测试员留出充分的试用比较时间，在测试顺序上采取随机排序的方式，尽量削弱测试顺序和个人体力、注意力等身体条件波动对评价结果的影响。

3.3测试环节设计

为了避免测试陷入主观评价标准难确立、实施难规范的误区，需要对测试全程各个环节进行针对性的设计，从而尽量通过有限人员的主观评价获得被测设备的真实、客观情况。

为确保测试记录能够真实反映测试过程，测试记录表格应尽可能细化，以既有选项等方式固化测试结果，简化评价方式。对出现的故障现象辅以文字备注描述；为避免缺乏信息量的文字备注，在培训阶段需着重规范测试员的记录方式，如训练其使用规定句式、学习各种要素信息的描述语言。

为避免测试员个体差异、主观偏好和测试期间偶然因素对测试结果的影响，可组织多名测试员对同批设备同步轮流测试。通过这种轮流方式，每台被测设备将在整体相同的条件下被反复测试，能有效剔除偶然因素对测试结果的影响。

测试人员在单次测试过程中，依次对被测用户终端的各项测试内容进行单项打分。需要注意的是，实际测试打分表在二级指标下还以分项形式列出细节评价标准，由测试人员逐一打分，但其得分不再设三级权重，而是以平均分作为二级指标得分。原始分值按照本文式(1)所述算法进行计算，最终得分S即为该被测用户终端本单次测试的成绩，满分为5分。

3.4测试用例选择

本文的目的，仅针对用户在使用终端后的主观评价。受测试条件所限，在有限的空间、时间内，仅通过有限人次的简单试用，初步得出同批被测终端之间的横向比较。因此，在测试用例选择上没有必要追求功能覆盖性，而是选取几项主要功能，如真实导航、短信通信等，测试人员通过执行测试用例，即能对操作过程中感受到的便捷性、反应速度、界面要素可读性等方面的表现进行横向比较。

3.5评分规则

测试评分采用五分制，评分等级分为1、2、3、4、5五个等级，最小分值单位为1。

1分表示非常糟糕；2分表示比较糟糕；3分表示一般；4分表示比较好；5分表示非常好。

3.6测试数据综合与汇总

在形成测试结论之前，可酌情考虑是否需要甄别测试员个体差异所带来的影响。当测试员选择采取随机抽样或典型抽样方案时，则测试员团队即可代表用户全体，个体差异可忽略不计；而当采取方便抽样时，比较保险的方法是事先对测试员进行风格偏好测试，事先剔除不负责任和表达混乱的个体；另一种简单易行的方式则是在测试结束后对每个测试员的所有评价结果进行统计，以其整体测试数据的统计特性体现该测试员实施测试评价的风格，作为最终测试结果的打分背景参考。由于这两种方法都会加重测试数据处理工作量和难度，建议仅在受条件所限而测试员数量很少的测试中使用。

4结束语

本文提出的BDS导航终端用户体验评价指标体系与测试方法是以一线用户的使用感受为基础，在设计中力求将用户对终端的满意程度关注点转化为客观的评价标准。这种方法已经多次在BDS系列导航终端的各类测试中得到应用，从实测结果看，能够直观反应被测设备的QoE，得到同型号导航终端横向比较结果。同时量化的比测数据还能够客观反映设备人性化设计的优劣，有助于发现一些常规测试发现不了的潜在设备性能问题，当这些信息闭环反馈到终端研制、生产方时，能够有效促进终端整体质量的提升。

参考文献

[1]杨元喜.北斗卫星导航系统的发展、贡献与挑战[J].测绘学报，2010，39(1)：1-6.

[2]邓胜利.国外用户体验研究进展[J].图书情报工作，2008，52(3)：43-45.

[3]向剑勤.国内用户体验研究前沿与热点的知识图谱分析[J].信息资源管理学报，2013(4)：84-90.

[4]李程.如何量化用户体验[J].中国传媒科技，2011(3)：88-89.

[5]尹志博，杨颖.用户体验的量化研究方法[C]//中国计算机学会多媒体技术专业委员会.第四届和谐人机环境联合学术会议论文集.武汉：中国计算机学会多媒体技术专业委员会，2008：299-305.

[6]周磊.用户体验和用户心理模型[J].程序员，2009(6)：80-81.

[7]林闯，胡杰，孔祥震.用户体验质量(QoE)的模型与评价方法综述[J].计算机学报，2012，35(1)：1-15.

[8]胡岷.用户行为研究常用调查方法述略[J].成都理工大学学报(社会科学版)，2005，13(3)：54-57.

[9]王雪聪，唐晓青.质量管理中的顾客满意度研究[J].计算机集成制造系统，2001，7(10)：61-64.

[10]戢钧.信息用户调查方法比较分析[J].图书馆论坛，2006，26(1)：64-65，100.

[11]贺桂和.电子商务网站可用性国内外研究现状述评[J].商场现代化，2008(11)：148-149.

The Method of Quantitative Evaluation of BDS Navigation Terminal User’s Subjective Experience

XUPei，DONGJingjing

(Beijing Satellite Navigation Center，Beijing 100094，China)

Abstract：In order to resolve the difficulty of quantitative evaluation of the user’s subjective experience quality of BDS navigation terminal，this paper got the users’ feedback in army for the using feeling of BDS navigation terminal，through the methods such as design and implementation of the user interviews and questionnaire survey，which were based on the experience accumulated in the process of BDS navigation terminal application security.In a hierarchical analysis method as the basic method，the paper puts forward a user’s subjective experience of quantitative evaluation of the BDS navigation terminal user experience evaluation index system.The system index and evaluation criteria are made in detail in the paper，and it also designs a set of test methods matched with the system，So that to achieve the quantitative evaluation of the user’s subjective feeling of BDS navigation terminal.

Key words：BDS；navigation terminal；user’s subjective experience quality；evaluation index system；test methods

中图分类号：P228

文献标识码：A

文章编号：2095-4999(2016)-01-0005-05

作者简介：许培(1977—)，女，北京人，工程师，学士，现主要从事北斗卫星导航应用方面工作。

收稿日期：2015-06-15

引文格式：许培，董晶晶.BDS导航终端用户主观体验量化评价方法[J].导航定位学报，2016，4(1)：5-9.(XU Pei，DONG Jingjing.The Method of Quantitative Evaluation of BDS Navigation Terminal User’s Subjective Experience[J].Journal of Navigation and Positioning，2016，4(1)：5-9.)DOI：10.16547/j.cnki.10-1096.20160102.