基于属性重要性的手势改善方向决策算法

娄泽华　殷继彬

摘要：为了更有效地改善手势以延长其生命周期，采用量化指标指导手势改善方向的决策。基于属性重要度，给出了复杂人因条件下手势改善方向的决策算法。根据模糊层次分析法计算指定手势每个属性的全局权重，并根据用户反馈计算指定手势每个属性的局部权重，全局权重与局部权重调和得到综合权值向量。依据用户对指定手势的综合印象，将各属性评分分为两类分别进行处理。根据各属性的正向与负向影响力，得到权值向量中各属性权值分布。对各属性评分分别计算标准化评分偏置，各属性改善需求程度排序通过权值分布与标准化评分偏置进行计算。实验结果表明，基于该算法比基于问卷调查决策制定的手势，支持率平均提高了25%，从而得出结论：手势优化过程中各属性的权值排序是稳定的。

关键词：属性重要性；手势优化；决策算法；人机交互；权值分布

DOIDOI：10.11907/rjdk.181208

中图分类号：TP301.6

文献标识码：A文章编号文章编号：16727800（2018）009001309

英文标题Attribute Importancebased Decision Algorithm for Gesture Direction Improvement

--副标题

英文作者LOU Zehua， YIN Jibin

英文作者单位（Department of Information Engineering and Automation，Kunming University of Science and Technology，Kunming 650500，China）

英文摘要Abstract： In order to improve the gestures more effectively to prolong their life cycle，a quantitative indicator is used to guide the gesture to improve the direction of the decision.Based on attribute importance，an algorithm is proposed to make decision on gesture improvement direction under complex human condition. The global weight for each attribute of the specified gesture is calculated according to the FAHP （Fuzzy Analytic Hierarchy Process） algorithm.The local weight for each attribute of the specified gesture is calculated according to the user feedback.The global weights and the local weights are harmonized into comprehensive weights vector.According to the user's comprehensive impression on the specified gestures，each attribute's score is divided into two classes and processed separately.According to the positive and negative influence degree of each attribute，the weight distribution of each attribute in the weight vector is obtained.Each score of the attributes is calculated by the standardized score bias respectively.The rank of improvement necessity on each attribute is calculated by the weight distribution and the standardized score bias.Experiments show that the support rate of improved gestures achieved through decisionmaking based on this algorithm is 25% higher on average than based on questionnaire.The conclusion is that the weight ranking of each attribute is stable during the process of gesture optimization.

英文關键词Key Words：attribute importance；gesture optimization；decisionmaking algorithm；humancomputer interaction；weight distribution

0引言

手势是以人因（人为因素）为导向的，其优劣程度并没有精确的评判标准。当前人机交互类产品最具代表性的客观和主观评价标准分别是产品可用性与用户体验（通常缩写为UX）。很多从业者从以下几方面考虑产品可用性：灵活性[1]、可学习性、可记忆性与安全性。产品可用性在ISO9241 Ergonomics of Human System Interaction标准（1998年第11部分）[2]中被定义为：指定用户在指定情境中使用指定产品（服务或环境）实现指定目标时的有效性、效率与满意程度。该定义表明，产品可用性没有精确定义，而是相对于特定用户、特定目标与特定使用情境的适用性。UX则是评估标准中的新术语[3]，使用相关娱乐设备时，用户不仅要求实现任务，而且要求具有娱乐性。Hassenzahl[4]和Tractinsky[5]描述了UX的3个突出特点：①整体性：UX采取更全面的观点，旨在平衡面向任务和非任务导向方面（通常称为享乐方面）的关系；②主观性：UX更关心用户主观反应、用户对系统的看法及用户与系统的互动；③积极性：UX更关心用户使用过程中的积极方面，以及如何最大限度地利用它们，这些积极方面可以是快乐、幸福或参与。UX同样没有给出精确的评判标准。

基于不稳定的评判标准，在已有研究中不断设计出新手势。当手势使用群体达到一定规模，重新设计手势可能导致失去部分用户。对于不断扩大的用户群体，对手势的持续改善显得越来越重要。然而，设计出的手势很少得到有效改进，导致这些手势的生命周期非常短。

为了有效延长手势生命周期，需要对手势的改善方向进行决策。目前手势改善方向可由观察身边的可优化案例决定，即按需求自适应定制。如梁荣荣[6]对教学场景中引起用户体验降低的部分手势进行改进，改进后的手势往往能获得更好的体验，但优化迭代速度慢，且随着用户群体扩大，过于个性化的手势不利于问题交流与后期维护。此外，随着UX对交互趋势的影响越来越大，手势下一步的改善方向通常使用調查问卷（含反馈收集）形式确定。其中用户直接反馈改进意见的形式虽然比较直接，但易出现用户意见不一致、手势语义冲突与手势集系统性降低的问题，用户使用目的、用户对类似手势的使用经验以及用户对手势设计与自身需求间的偏差等因素皆会对评分造成较大影响。调查问卷形式中依据属性重要性直接决策是一种比较稳定的方法，然而该方法虽然能有效指导手势的初期设计，却不能很好地指导手势改善。手势改善不仅与某个属性的重要程度有关，还与当前手势在该属性方面表现出的优劣程度有关，而且改进手势时可能会在一定程度上牺牲其它属性的优势，如何取舍需要一定指导。因此，需要建立新的评价模型指导手势改善。

为了保证手势改善方向的稳定性，需要一个量化的评判标准。目前国内外专家学者针对手势评估进行的研究主要分为3类：①根据ISO9241易用性定义中的某一标准对使用过程中收集的数据进行评估。如徐礼爽、程铁刚、田丰等[7]通过对比记忆实验进行手势可用性评估，以被试者是否更容易学习和记忆作为标准，比较3组手势中哪一组的易学性和易记忆性更高；郑海彬等[8]在进行无人机手势动作定义时预先定义了符合直观感觉的语义列表，以识别准确率为标准，判定手势识别系统的性能；Panwar M、Mehra P S等[9]为基于形状特征的手势检测设计了一套包含字母A-Z以及数字1-9的符号手势，以用户输入手势的识别成功率与操作效率为标准，判定手势的易用性；②专家评估。如Landay J、Myers 等[10]设计一个交互式用户界面设计工具，参数评估过程涉及6名UI设计师与6名担任工程师的计算机科学、机器人或语言技术方向研究生；③以调查问卷等主观形式进行评估。钱堃等[11]设计6组常用手势，用户多次使用后以调查问卷形式进行评价，根据评价数据分析手势效果；吴金铎等[12]则分别设计2D层面、3D层面的手势进行实验，以用户对手势的主观满意度得分为标准，比较同一交互层面（2D或3D层面）下，不同组手势集之间的满意度得分，得出可用性最高的手势集。此外还有混合评估，如Farzin Farhadi-Niaki、S Ali Etemad等[13]设计了手臂、手指两个手势集，每个用户依次使用两个手势集执行两个不同难度级别（简单和复杂）的任务。依据调查问卷得到的结果与对耗费时间、正确率等数据分析得到的结果相互印证，得到手势在某方面的重要程度。

以上3种评价标准各有优点，但对于指导手势的改善仍有不足之处：①依据某一标准的数据评估得到的结果是片面的。不同场景下的评估标准注重的任务或享乐方面指标不同，使手势改善方向的决策易产生片面性；②依据专家评估无法有效处理分歧状况。手势改善方向的决策不是衡量手势某一属性是否重要，而是衡量哪些属性更加重要，由于专家之间易出现分歧，可能造成决策困难；③依据用户调查问卷进行决策受主观因素影响较大。混合评估方式是通过调查问卷结果与其它方式得到的结果相互印证进行决策，缺点是一旦出现结果不一致的情况则无法决策。

1手势改善方向评价模型理论依据

本文的解决思路围绕手势改善中的评判标准与评价模型展开。

（1）评判标准确立：UX的评判标准虽然不稳定，但间接说明了主观性不完全是随机的。使用用户调查问卷方法时可以适当地处理主观性造成的影响，从中得到需要的稳定信息。邓聚龙[14]在提出灰色关联分析法（GRA）算法时指出，因素间的关系不可能是一个定值，只可能是某种背景条件下因素间关系的相对主次顺序。根据该思想，将手势属性之间的相对重要性看作属性间的一种关系，则属性相对重要性得分不是一个定值，但其排序是稳定的。因此，最终的量化值旨在表征各属性改善性的排序情况。

（2）评价模型建立：本文以调查问卷为主要评估形式，再对评估数据进行处理，得到引入主观性的稳定排序信息。首先确立属性（即评价指标）种类，采用专家评估的形式确保全面性，其次通过用户调查问卷得到手势的各属性评分以及综合评价，最后处理用户主观性。本文对主观性引起的问题作以下处理：①属性重要性权值在样本数据稀疏时受主观因素影响较大。调和指定手势每个属性的全局权重与局部权重得到综合权值向量，其中指定手势每个属性的局部权重根据用户反馈计算得到，全局权重根据模糊层次分析法（Fuzzy Analytic Hierarchy Process，简称FAHP）[15]计算得到，以避免评价过少造成的不稳定，且一定程度上保留了手势自身细节特性；②属性评分易受指定用户对手势的不同印象影响导致指定手势的所有属性评分过高或过低。因此，根据S Das[16]在模糊系统中的分类处理思想，按手势获得综合好评与综合差评的反馈分为两类分别进行分析；③即使同一手势的两个不同属性评价分数相同，两个评分对该手势的影响并不相同。属性间的差异通过各属性的综合权值向量表征，以表示某一属性对指定手势综合评分的综合影响程度；属性内差异（多个用户评分的统计性差异）通过奖励系数（Reward Coefficient）与惩罚系数（Penalty Coefficient）表征，即某一属性得到正倾向、负倾向的评分时，该属性两种倾向评分分别对指定手势综合评分的影响程度占该属性对指定手势综合评分的综合影响程度比例。这里正倾向指用户对该属性持积极态度或评分较高，通过奖励系数表征，负倾向指用户对该属性持消极态度或评分较低，通过惩罚系数表征。

2手势改善方向评价模型构建

如何在复杂人因环境下，根据用户评价数据得到较为客观的手势改善方向？本文旨在找出各属性的改进必要程度排序（即属性的可改善性排序），以指导手势改善。算法流程如图1所示。

2.1评价指标种类确立

以“触控+非接触手势”的混合手势设计为例，经过评估，从人机交互定义出发，根据研究对象不同确立分层手势设计原则表，如表1所示，其中手势属性为x1—x12。

2.3属性综合权值向量计算

2.3.1属性局部权重

统计属性在追加问题“评价手势为偏好/差的主要原因在于属性？”中被提及的次数，以计算属性局部权重。countj包含所有好评和差评中属性xj被提及的次数，表征用户认为该手势在此属性上相对于他们所认知的手势差异程度大小。属性xj被提及次数越多，表示该属性对于手势改进越重要。因此，将属性xj被提及的次数countj占所有属性被提及总次数的比例，视为属性xj的重要程度，称为属性xj的局部权重，记作locweightj。则属性xj的局部权重locweightj= countj∑nk=1countk，属性的局部权重向量locweightn×1=（locweight1，locweight2，...， locweightn）T。

2.3.2属性全局权重

属性的全局权重通过FAHP算法进行计算。将属性xj的全局权重记作gloweightj，属性全局权重向量gloweightn×1=（gloweight1，gloweight2，…，gloweightn）T可按FAHP算法步骤进行计算，建立层次结构模型，构造成对比较矩阵，并得到能通过一致性检验的权值向量gloweightn×1。

（1）建立如图2所示层次结构模型。

（2）建立成对比较矩阵，即模糊互补判断矩阵（Fuzzy Complementary Judgment Matrix，FCJM）。对于准则层中的每个属性，用成对比较法与0.1-0.9比较尺度建立模糊判断矩阵。使用量化的判断aij描述比较第i个属性与第j个属性相对上一层（即目标层）的重要性。第j个属性相对于第i个属性的重要性判断记作aji。假设共有n个属性参与比较，若A=（aij）n×n具有性质：

aii=0.5aij+aji=1，i，j=1，2，…，n

则称该判断矩阵为FCJM矩阵。AHP算法（层次分析法，Analytic Hierarchy Process）中T L Saaty[17]提出的经典0-9比较尺度不利于计算权值。文献[18]提出的FAHP算法[18]改进了矩阵中aij的取值，采用0.1-0.9比较尺度[1819]，按照表2中的标度进行赋值，提高了决策可靠性。

2.4属性综合权值分布矩阵计算

本文借鉴S Das对模糊系统中可观察随机变量y的分类处理思想，依据综合评分分别考虑好评和差评的评分。

分析属性模型，依据各属性评分对最终综合体验的影响，将属性评分划分为以下4种：①某属性评分突出，用户强烈地趋于接受手势集，甚至忽略其它属性的缺陷，评分低下，用户强烈地趋于拒绝该手势集，甚至忽略其它属性的优势；②某属性评分突出，用户并不强烈地趋于接受该手势集，评分低下，用户也不强烈地趋于拒绝该手势集；③某属性评分突出，用户强烈地趋于接受该手势集，甚至忽略其它属性的缺陷，评分低下，用户并不强烈地趋于拒绝该手势集；④某属性评分突出，用户并不强烈地趋于接受该手势集，评分低下，用户强烈地趋于拒绝该手势集，甚至忽略其它属性的优势。

一个属性xj被评价为偏好或偏差时，对用户决策造成的影响程度是不同的。好评情况下表示正向影响的倾向，差评情况下表示负向影响的倾向，这两种情况下该属性对决策的影响力贡献分别可以由奖励系数（Reward Coefficient）与惩罚系数（Penalty Coefficient）两个向量表征，依次记作rewcoej与pencoej，且rewcoej∈[0，1]， pencoej∈[-1，0]，j=1，2，...，n。假设有n=4个属性依次分别属于以上列举的4个类别，这n个属性在不同情况下对决策的影响力分布如图3所示。

3实验与分析

针对“触控+非接触”混合手势进行设计与改进，实验分为3个部分：专家评估FAHP算法中的FCJM矩阵、用户使用指定手势的问卷调查、用户使用优化后手势的问卷调查。

实验环境：触控设备为索尼VAIO TAP 20；型号为LM-C01-US 的Leap Motion Controller；型号为5DT Data Glove 14 Ultra 的5DT（Fifth Dimension Technologies）数据手套；软件环境版本为Unity3D 5.4.3，代码环境为C#。

首先，专家评估FCJM矩阵，根据FAHP算法得到属性全局权重；其次，用户使用指定手势后反馈对各属性的满意度评分、对该手势的综合评价，并指出导致好评或差评的主要属性，根据算法求出手势属性的可改善性排序；根据算法得到的改善性排序对手勢进行优化，得到一组新手势，并根据用户反馈中直接建议的属性改善性排序优化手势，得到另一组新手势；最后，将两组手势进行对比投票，以验证算法的有效性。

3.1专家评估FCJM矩阵

参与评估的涉及4名研究经验达到2年或以上，来自计算机科学专业且研究方向为人机交互的硕士研究生。将其两两分组，每组评估出一个判断矩阵，得到FCJM矩阵A1和A2：

实验组在手势G1、G3、G4的优化中有较高支持率；在手势G2的优化评价中，实验组略占优势；对于手势G5和G6，两组都建议保留原手势。综合以上结果可以看出，实验组在手势改善方向的预测上更有优势。

以G1平移手势为例进行说明：原始手势为“左手移动，目标跟随移动”，根据实验2中实验组的分析，改善后的手势主要加强了属性x10的优势：“右手2指长按触屏，左手握拳移动，目标跟随移动，左手张开，目标撤销移动复位，右手取消选定则固定为当前位置”，牺牲了组合简单的属性x12，换取功能的明确性；根据实验2对照组的分析，得到改善后的手势：“右手2指长按触屏，左手握拳移动，目标跟随移动”。

实验3中为實验组与对照组设计了一组相同的指定任务，指定任务中包括3个不同难度的任务，以降低某组手势对特殊任务适用性差异的影响。实验组比对照组支持率高出了36%，平均支持率高出25%，表明改善决策算法对手势G1有效。用户提出方案不合适的原因主要在于对手势设计过程了解不足，导致设计出的手势与其期望有偏差。

得到改进手势G1-G6如图9所示（其中G5、G6由于综合评价的好评比例高于90%，因而未作优化）。

4结语

本文基于属性排序的评判标准，提出一种复杂人因系统中的评价模型以指导手势改善，并提出一种基于属性重要度的手势改善方向决策算法。首先调谐指定手势每个属性的全局权重与局部权重，得到指定手势每个属性的综合权值向量。其中，根据FAHP算法的计算保留了稳定特性的全局权重，根据用户对指定手势的评分计算保留了手势特性的局部权重；其次，分别计算某一属性的奖励和惩罚系数，与手势属性的综合权值向量结合，得出各属性的综合权值分布矩阵，并根据用户对指定手势每个属性的评分计算出标准化评分偏置；最后，由综合权值分布矩阵和标准化评分偏置计算各属性的改善需求程度得分，并依据得分的高低排序进行优化决策。

实验结果证明，基于该算法比基于问卷调查决策制定的手势，支持率平均提高了25%，因而得出结论：手势优化过程中各属性的权值排序是稳定的。此外，权值高的属性虽然不是必须优先改善，但与相对不重要的属性相比，它们常常仍需要首先优化。这与本文预期一致，比调查问卷得到的结论更趋于稳定。根据属性的全局权重向量可以看出，在手势最初设计时需要着重考虑属性x3、x10、x11和x8：首先，新手势要对主流手势保留兼容性；其次，从对“触控+非接触手势”的混合手势优化过程中可以看出，对于引入了非接触手势的情景，取代误操作情况的是操作手势语义精确度降低与操作疲劳度加大，而x3、x10优化时出现的频率远大于x8，说明该情景中手势语义精确度的影响远大于操作疲劳度，因此引入触控操作到非接触手势中可以有效改善用户体验；最后，由于当前阶段非接触手势精度相对较差，可以预测目前基于混合交互的提供综合编辑类功能的应用中，非接触手势的占比最好不要超过50%。

参考文献参考文献：

[1]GOULD J D，LEWIS C.Designing for usability：key principles and what designers think[J].Communications of the Acm，1985，28（3）：300311.

[2]International Standards Organization.ISO 924111：Ergonomic requirements for office work with visual display terminals （VDTs）.Part 11：guidance on usability.geneva：international standards organization [EB/OL].http：//www.iso.org.

[3]PETRIE H，BEVAN N.The evaluation of accessibility，usability and user experience[J].The Universal Access Handbook，2009 （6）：116.

[4]HASSENZAHL M.Hedonic，emotional，and experiential perspectives on product quality[J].Encyclopedia of human computer interaction，2006.

[5]M HASSENZAHL，LC LAW，ET HVANNBERG.User experiencetowards a unified view[C].Proceedings of the 2nd COST294MAUSE International Open Workshop，2006：13.

[6]梁荣荣.教学环境中多点触控手写场景下编辑手势设计与识别[D].武汉：华中师范大学，2016.

[7]徐礼爽，程铁刚，田丰，等.意义性笔手势的分类及其实验评估[J].软件学报，2006，17（zk）：4656.

[8]郑海彬.手势识别及其应用研究[D].南京：南京航空航天大学，2016.

[9]PANWAR M，MEHRA P S.Hand gesture recognition for human computer interaction[C].International Conference on Image Information Processing.IEEE，2011：17.

[10]LANDAY J，MYERS B.Sketching interfaces：toward more human interface design[J].Computer，2001，34（3）：5664.

[11]钱堃.基于智能手机的3D运动手势设计方法的研究[D].天津：南开大学，2014.

[12]吴金铎.2D和3D交互手势的可用性研究[D].杭州：浙江理工大学，2016.

[13]FARHADINIAKI F，ETEMAD S A，ARYA A.Design and usability analysis of gesturebased control for common desktop tasks[C].International Conference on HumanComputer Interaction.Springer Berlin Heidelberg，2013：215224.

[14]谭学瑞，邓聚龙.灰色关联分析：多因素统计分析新方法[J].统计研究，1995，12（3）：4648.

[15]MON D L.Evaluating weapon system using fuzzy analytic hierarchy process based on entropy weight[C].International Joint Conference of the Fourth IEEE International Conference on Fuzzy Systems and The Second International Fuzzy Engineering Symposium，2002：127134.

[16]DAS S.Quantifying fuzziness due to the scale of measurement in response systems[J].Fuzzy Sets & Systems，2002，132（3）：317333.

[17]SAATY T L，HU G.Ranking by eigenvector versus other methods in the analytic hierarchy process[J].Applied Mathematics Letters，1998，11（4）：121125.

[18]张吉军.模糊层次分析法（FAHP）[J].模糊系统与数学，2000，14（2）：8088.

[19]姚敏，黄燕君.模糊决策方法研究[J].系统工程理论与实践，1999，19（11）：6164.

[20]徐泽水.模糊互補判断矩阵排序的一种算法[J].系统工程学报，2001，16（4）：311314.

[21]陈华友，赵佳宝.模糊判断矩阵的相容性研究[J].运筹与管理，2004，13（1）：4447.

责任编辑（责任编辑：黄健）