利用问题求解理论来研究交互式复杂信息的可视分析行为

张慧军，陈俊杰，张小龙

利用问题求解理论来研究交互式复杂信息的可视分析行为

张慧军1,2，陈俊杰1，张小龙3

(1. 太原理工大学信息与计算机学院，山西 晋中 030600；2.山西传媒学院融媒技术学院，山西 晋中 030600；3. 宾夕法尼亚州立大学信息科学与技术学院，美国 宾夕法尼亚州 16802)

面对大数据的挑战，力图将人的推理能力和计算系统的数据处理能力相结合的交互式可视分析研究变得愈发重要。然而目前仍缺乏有效的认知理论来指导面向复杂信息的可视分析系统的设计，诸如意义构建等现有的理论框架通常着眼于分析行为的外在特征，未能对此类行为的内在认知机理进行深入研究。因此提出将问题求解作为一种理论框架来解释交互可视分析行为的基本认知活动，并建议从非良构问题的角度来描述可视分析过程中用户所面临的主要挑战，还从问题表征及问题求解策略等角度分析了可视分析系统对分析行为的影响。本研究在理论上，将认知心理学领域的问题求解理论引入到交互可视分析行为的研究中，该方法对设计面向复杂信息分析的其他类型交互系统也有启示作用；在实践层面上，从问题求解的支持角度探索了可视分析系统的设计和评估问题。

问题求解；可视分析；意义构建；问题表征；问题求解策略

人与复杂信息交互的过程中，面临承载任务复杂、呈现信息量大、信息结构多样等诸多挑战，这些挑战成为准确、快速、有效决策的巨大障碍。大数据的出现，更加剧了这方面的挑战。为了应对这些挑战并帮助人们有效地分析和处理纷繁复杂的数据，近年来学术界和工业界都逐渐开始重视面向复杂数据的交互可视分析系统的作用[1-2]。

如何更好地设计交互可视分析系统来支持人类复杂的信息分析行为是一个重要课题。ENDERT等[3]指出系统的设计思想需要从“人在分析环路”转变为“人就是分析环路”，这一转变更加强调人类分析推理能力在数据分析中的主导作用，而设计支持人类分析推理的可视分析系统，需要打开复杂认知活动的黑盒[4-6]。

交互式可视分析过程包含多种复杂认知活动，如意义构建、问题求解、学习等[7]。一些研究已经逐渐认识到复杂认知活动的研究在该领域中的重要性，如PIROLLI和CARD[8]针对情报分析场景提出的意义构建瀑布模型，以及KLEIN等[9]提出的数据/帧意义构建模型，但其仅着眼于数据分析的外在行为特征，对底层的认知过程以及这些认知过程如何影响信息的操作和产生还缺乏深刻的分析。因此，利用这些模型指导相关系统的设计时，设计人员会面临诸多困难，比如如何使设计的系统具有更好的可拓展性进而应用到更广泛的领域中，如何有效地评估系统对复杂信息分析行为的影响等等。

人机交互研究的发展历史告诉人们，可用性良好的交互系统其设计是建立在对用户相关认知行为有深入了解的基础之上。如得到广泛应用的图形用户界面的成功，很大程度上得益于人类信息处理器(model human processor，MHP)[10]模型，其描述了人类在处理外部信息时的认知机制并给出了相关的参数范围。

交互可视分析系统的设计也需要相应的基本认知理论。基于这一出发点，本研究探索能帮助解释交互可视分析中复杂行为的基本认知理论框架。综合认知心理学、人机交互、教育学等多学科的文献调查，本文提出将问题求解作为一个理论框架来支持对可视分析复杂行为的研究。

引入问题求解理论框架对指导可视分析行为的研究具有诸多好处。首先在基本理论层面，与问题求解相关的丰富文献可以更好地解释复杂信息分析行为的组件和过程。即问题求解是问题求解者从问题的初始状态出发，在问题求解策略的指导下，通过操纵一系列的算子最终到达目标状态的过程。交互可视分析行为则是用户从数据出发，根据一定的分析策略，通过使用可视化及数据处理工具等手段获得新知识的过程。交互可视分析行为中涉及到的数据、可视化和数据处理工具、分析策略、新知识等主要组件可以分别映射到问题求解中的初始状态、算子、求解策略、目标状态等部件。在此基础上，可以借鉴已有的相关问题求解理论来支持可视分析行为的研究。如分析人员在分析过程中面临的很多困难(如数据不完备、分析目标不明确、分析工具不熟悉等)，都可以利用问题求解中的非良构问题理论进行建模。其次，问题求解理论既可以指导交互系统的设计实践，也为交互系统的评估提供了一条新的思路。

1 相关研究

近年来，意义构建逐渐成为了一种解释、支持可视分析系统设计的认知理论模型。本文提出问题求解可以超越意义构建，作为一种研究可视分析复杂行为的理论框架，研究主要包括意义构建和问题求解两部分。

1.1 意义构建

文献[8]提出的意义构建瀑布模型描述了用户将原始数据转化为数据洞察的分析过程。该模型将分析过程分为：信息觅食环路和意义构建环路2部分。同样，文献[9]的数据/帧模型也将焦点聚集在数据的意义构建上，将用户对数据的理解描述为“帧”，通过与新的信息和发现进行不断地比较来增强、修改或重建这些帧。与此不同，LEE等[11]使用“帧”来表示用户对可视化工具的理解，并提出了新手用户对可视化工具的意义构建过程。这些模型都在一定程度上解释了用户对复杂信息进行可视分析的过程。

意义构建对交互可视分析的指导作用表现在一些交互系统的设计和研究上。STASKO等[12]系统体现了对文献[8]的意义构建模型中的主要分析环节的支持，而KODAGODA等[13]使用数据/帧模型[9]来研究用户使用INVISQUE软件的心理过程。WU等[14]基于意义构建理论，提出了移动式交互系统的设计指南以帮助用户进行环境感知。SocialNetSense[15]通过自底向上的数据驱动和自顶向下的表示驱动来支持社交网络的意义构建过程。

1.2 问题求解

1.2.1 问题及其分类

DUNKER和LEES[16]提出“当一个人有目标但不知道如何从当前状态到达这个目标时便会产生问题。”由此可知，问题包括初始状态、目标状态和障碍。障碍指中间状态，是从问题的初始状态到目标状态的每个步骤。状态的转变必须依靠算子的使用。初始状态、目标状态和算子称为问题的三要素。NEWELL和SIMON[17]使用术语“问题空间”来描述问题的一系列状态(初始状态、目标状态、中间状态)，一系列算子及求解路径(经历一些状态)的局部信息。问题求解是求解者从初始状态出发，通过选择和应用算子，克服障碍到达目标状态的过程[18-19]。

问题根据特征差异，可分为良构问题和非良构问题。在良构问题中，初始状态、目标状态和允许的算子对问题求解者而言都是清楚明确的[20-21]，而非良构问题指问题的某些方面仅仅被含糊地表达出来，对问题求解者来说不是特别清楚[22-23]。

1.2.2 问题求解过程

问题求解过程包含问题表征、解决方案的形成和执行等子过程。问题表征是问题求解者基于对问题的理解持续构建问题空间的过程。问题表征分为内部表征和外部表征。内部表征指心智模型[24]，如图式[25]、帧[9]、语义网络等。外部表征包含口头表征、命题表征、图表和图形等，可视化便是一种外部表征形式。外部表征和内部表征共同作用促进了问题求解过程[26-27]，有研究表明外部的图表表征在一定程度上指导、约束、甚至决定着问题求解的过程[28-29]。对于良构问题，问题表征的关键认知活动包括确定问题的初始状态和目标状态，确定问题的关键信息以及与现有图式建立联系；对于非良构问题，问题表征包括定义问题，搜索和选择信息，以及形成正确的选择。相关研究表明问题表征的质量直接决定了问题求解的效果[30]，所以从问题表征的支持角度研究交互可视分析系统有很强的指导意义。

用户求解问题时，需要找到一条从初始状态到目标状态的路径，即解决方案。解决方案的形成通常需要采用一定的求解策略。当用户在表征问题时，有图式可以激活，则可采用类比策略来求解。当在表征问题阶段没有激活特定图式时，则需要一些其他问题求解策略。文献[17]认为求解问题时，在所有状态组成的巨大问题空间内寻找正确的解决方案需要大量的时间和精力。启发式策略的使用使问题求解变得更简单、高效。REISBERG[31]描述了2种最常使用的启发式策略：爬山法和手段-目标分析法。爬山法指问题求解者总是试图接近其目标，在必要时退后一步以实现目标，这可能是低效的。手段-目标分析是相对更有效的策略，该策略将目标或子目标与当前状态进行比较，评估其间的差异，并选择一种动作以减少差异，逐渐弥合信息状态之间的差距。在这个过程中，问题会被分解成多个子问题。

综上所述，意义构建模型在解释可视分析过程及指导系统的设计和研究上取得了一定进展，但只解释了用户做什么，而对用户活动背后的认知机理及原因缺乏必要的解释，如用户为什么这么做，是什么促使了用户进一步分析，为什么用户在算法和可视化之间来回切换等。针对以上不足，本文提出将问题求解作为研究交互可视分析行为的理论框架。问题求解从全局系统的角度来看待可视分析行为。总之，问题求解可以从问题的定义、表征、求解策略等方面对交互可视分析组件及过程进行全面的关注。此外，问题求解框架下的每一个子活动都具有明确的目的性，这使其适合为交互可视分析行为建立更为精准的理论框架。

2 问题求解框架为交互可视分析行为建模

问题求解理论框架可以为交互可视分析过程建模，在该框架下，交互可视分析过程被视为问题求解的过程，同时可视分析过程中存在的诸多挑战也可以使用问题求解框架下的非良构问题来解释。

2.1 交互可视分析过程是问题求解的过程

交互可视分析的过程可以看成是用户使用可视分析系统进行问题求解的过程。从问题求解的角度看待交互可视分析行为，首先需要将问题的各个要素与交互可视分析中的相关组件进行对应。交互可视分析的初始状态是原始数据，目标状态是获得知识或建立关于数据的模型[32]。原始数据和知识(或模型)之间有一定的差距，其很难直接通过用户思维来弥补。交互可视分析系统致力于利用外部信息工具(external artifacts)来帮助用户求解问题[33]。可视分析中的交互式可视化和数据处理算法都是有效地分析数据的外部化手段。从问题求解的角度来看，这2种不同的算子，可帮助用户从问题的初始状态(数据)逐步操作经过一系列中间状态最终到达目标状态(获得知识或建立模型)。

2.2 非良构问题解释交互可视分析行为中的挑战

问题可以分为良构问题和非良构问题，而可视分析所解决的问题通常是非良构的。可视分析中的一些挑战均可从非良构问题的角度进行解释。交互可视分析的挑战来自以下方面：

(1) 数据。数据经常面临数据量大、有冗余、多源异构、不完整、不一致和不确定性等多方面的挑战，这是问题的初始状态不明确。

(2) 分析工具。用户由于对可视化工具不熟悉，对数据处理算法相关的基本概念、工作原理和规则比较模糊，不能灵活运用其求解相关问题，不知道如何选择和启动算法，不知道该如何设置和评估算法的结果，也不知道分析要经过哪些步骤，这些是用户对算子缺乏先验知识、对算子的限制条件不熟悉以及对问题求解路径不明确所致。

(3) 分析任务。有时任务表述比较含糊，如“找出数据之间的关系”这个任务，用户不知道最后找出的关系应该是什么样的，这是对问题的目标状态定义不明确。

针对上述挑战，设计师应该考虑：哪种设计能够更好地帮助用户了解问题的各个状态；如何为用户提供求解问题的线索；算法和可视化如何结合才能够应对用户对算子不熟悉的挑战。

3 问题求解框架与可视分析系统的设计及评估

交互可视分析的过程实质是问题求解的过程。设计支持问题求解的交互系统可以更有效地促进复杂的可视分析行为。同时，这也提供了一条从问题求解的支持角度来评估交互系统的新思路。

3.1 可视分析系统可以支持问题求解的理论基础

分布式认知[34]和心智模型[24]是可视分析系统支持问题求解过程的理论基础。传统的认知研究认为认知存在于人的大脑中，而分布式认知在用户和外部信息工具(artifact)之间分配，可以将知识委托给外部信息工具，从而减少存储在记忆中信息量，进而减少认知负担。交互可视分析系统便是一种外部认知工具[35]，其致力于外部认知[33]，利用可视化外部表征和交互设计来增强大脑的认知能力。用户在使用交互可视分析系统进行数据分析时，大脑内部的心智模型和外部的可视分析系统相互作用。LIU和STASKO[36]指出可视分析场景下心智模型的含义以及与外部可视化之间的关系。

3.2 问题求解理论对系统设计的指导意义

合理的交互系统设计应该支持问题求解的过程。本节从问题表征和求解策略的支持角度来讨论交互可视分析系统的设计工作。从问题表征支持角度，设计师可以确定需要显示哪些信息及信息之间的关系。从问题策略支持角度，设计师可以确定需要设计哪些任务及任务之间的关系。这里需要说明的是：用户表征问题和使用问题求解策略并不是简单的顺序过程。通常用户在分析问题之初，对问题的理解并不深刻，用户能够建立的问题空间也是粗粒度的，随着问题求解过程的执行，用户内在的问题空间逐渐变得更为精确。同理，交互可视分析系统的设计也可以遵循该过程，先设计一个粗略的、初始的系统原型，帮助用户建立粗粒度的问题空间，在问题求解策略的支持阶段逐渐完善该设计。

3.2.1 问题表征与系统原型设计

用户在使用交互可视分析系统进行复杂信息分析时，问题表征是指用户对数据(初始状态)、需要获得的知识或构建的模型(目标状态)、交互式可视化和数据处理算法(算子)以及问题求解过程中各个中间状态的理解。交互可视分析系统是一种问题的外部表征形式，用户不仅需要通过使用交互系统对问题的每个单独的要素进行意义构建，而且需要理清其之间的关系，形成一个整体的、结构化的心智模型。

设计师针对一个问题，可以先确定问题的每一个状态，然后通过可视化表征外化这些状态，以帮助用户理解和识别。一些交互的设计(如视图链接和联动等)更是驱动了问题求解过程中问题状态的变化，帮助用户理解各个状态之间的关系。如在关联规则可视分析中，系统可以为用户提供原始数据(初始状态)、频繁项集(中间状态)以及关联规则(目标状态)的可视化视图，并通过这些视图之间的链接和联动等，帮助用户理解这些状态之间的关系，方便用户进一步分析。

设计师在原型设计中，还应结合问题本身的特点和用户的先验知识，为用户提供合适的算子。可视分析问题中有2类算子：交互式可视化和数据处理算法。这2类算子以不同的方法来促进问题状态的改变，但两者各有优缺点。可视化中的交互工具相对容易理解，用户通过短时间的熟悉或简单的培训能够获得操纵算子的知识，促进问题状态的变化，可视化表征更是将每一步的问题状态表示成容易理解的图形，但其缺乏强大的计算能力。数据处理算法通过数据预处理、数据参数设置、数据模型建立、数据模型评估等算子实现了问题状态的变化，拥有强大的计算能力，但是由于黑盒性质，普通用户对算子的陈述性知识(算法涉及的相关概念和中间状态等)和程序性知识(如何启动算法、算法的运行原理等)都比较缺乏。面向复杂数据的可视分析将交互式可视化和数据处理算法两者有机结合起来实现更高效的分析[37]。在设计系统时，交互式可视化和数据处理算法的结合，既要考虑问题本身的特点，还要考虑怎样结合才能更方便用户对算子的理解和使用。

3.2.2 问题求解策略与系统的进一步完善

对于复杂的问题，特别是非良构问题，用户很难直接找到合适的问题求解方案，交互可视分析系统应该支持和引导用户使用启发式的策略来求解问题[38]。

问题本身的性质影响求解策略的使用。对于非良构问题，问题的初始状态、目标状态、算子的限制表述比较模糊，用户很大程度上采用低效的试错策略来求解问题。设计人员在设计交互系统时，应该考虑如何帮助用户定义问题，使问题更加明晰，以减少试错策略的使用。如在交互系统的设计中对关键线索和信息进行突出显示。

交互可视分析系统的内部逻辑实质上反映了一种内在的问题求解策略。这种问题求解策略与设计师组织任务的方式相关。如果系统对任务的组织是从目标自顶而下逐层分解的，该系统多是引导用户采用了手段-目标分析策略来求解问题。如在交通事故数据分析中，系统可以通过任务组织将整个问题分解为分别调查不同因素和致命事故之间的关系，进而引导用户采用手段-目标分析策略求解。如果系统对任务的组织是循环迭代的，那么系统在引导用户采用爬山策略解决问题。如很多系统对算法参数调整的支持，需要用户比较每次调整后的效果。对于复杂的问题，系统需要引导用户采用多种策略来求解问题。除此之外，交互可视分析系统还可以通过合理的设计将复杂的任务转换为容易完成的视觉模式识别任务。

综上所述，设计人员在进一步设计系统时，可以结合问题的特点，通过合理地设计和组织任务，来引导用户使用有效的策略求解问题。

3.3 问题求解理论为系统评估提供新思路

认知心理学使用实验的方法来研究问题求解的活动[39-42]，基于实验方法，本文从可视分析系统对问题表征和求解策略的支持角度来探讨系统的评估技术。

3.3.1 问题表征视角的评估

成功求解问题的前提是合适的问题表征，通过衡量交互可视分析系统对问题表征的支持程度可以评估系统的作用。用户在与可视分析系统交互时，对问题表征的过程实质上是不断地构建与操纵心智模型的过程。评估心智模型的状态和构建过程，可以让研究人员深入了解用户如何构建关于工具、数据、算法和任务的知识，这为交互可视分析系统的评估带来了新的视角。

心智模型与问题求解方案的质量密切相关[30]。如果对于一个问题只产生一些零碎的、没有整合所有可用信息的心智模型，或是对问题只停留到浅层的理解，通常难以解决问题。具有正确性、完整性、连贯性的问题表征才能帮助用户正确有效地解决问题。这也是专家处理复杂问题时比新手速度快而且准确的原因。LARKIN等[43]将问题表征分为低层次和高层次表征。低层次表征主要是指对问题的字面理解、对问题表面特征的提取与加工，其容易受表面的误导信息的影响，使问题求解过程发生错误。高层次表征以问题的内部结构特征为主，求解问题的过程更高效。问题表征的层次与用户的知识量和知识结构直接相关，所以对可视分析系统的评估可以从系统对用户知识变化影响的角度来衡量。知识的变化可以从7个维度来刻画：更大的容量、更密集的联系、增长的一致性、表征的精炼、更大的复杂性、更高层次的抽象性及转变的视角[44]。MAYR等[45]提出了在交互可视化中用于评估心智模型的相关属性，包含内容(content)、结构(structure)、一致性(coherence)、视角(perspectivity)、一般性(generalizability)和实用性(utility)等，这些属性可以更全面地衡量问题表征的质量。

交互可视分析系统的评估既可以关注用户使用系统前后的心智模型的差异，也可以关注心智模型构建和变化的动态过程。文献[45]总结了在可视分析上下文中评估心智模型的多种技术，有些是评估心智模型现状的(如访谈法、排序技术、推理流技术、成对比较法、凯利方格法、草图技术、概念图)，有些是衡量心智模型构建和变化过程的(如非反应方法、有声思维)，评估者可以针对上述准则选用不同的评估技术。

3.3.2 问题求解策略视角的评估

交互可视分析系统对问题求解策略的支持作用可以看成是系统评估的另一个重要标准。当前对交互可视分析系统的评估主要集中在对结果的评估(例如记录和量化用户获得的洞察)或者是通过案例分析来展示系统的功能。用户与可视分析系统的复杂交互过程实质上反映了用户形成和执行求解方案的过程，其过程会使用一些问题求解策略，如：手段-目的分析法、爬山法和类比法。文献[45]指出问题求解策略的研究可以为改进交互可视分析系统提供有用的见解。研究人员逐渐开始关注用户使用交互可视分析系统求解问题的过程，如一些研究通过记录和分析用户的交互事件来构建用户与系统的交互模型[46-47]。这种分析交互日志的方法只能从分析用户行为上逆推用户内在的求解策略，并不能直接反应交互背后的思维过程。在心理学和人机交互领域，有声思维(think aloud)方法的使用可以很大程度上获得用户的复杂认知活动。在有声思维研究中，被试在完成实验任务的过程中，尽可能将大脑中的思维活动用言语表达出来，而研究人员使用录像及录音设备进行记录，并将被试所说的话誊写为书面文本进行分析。然而，用户内在的求解策略和外在的交互事件，这两者之间的转换发生在什么地方，依然是评估的一个难点。REDA等[48]认识到该问题的重要性，使用心理状态和交互状态之间的转换图来表示用户在可视化探索过程中的求解策略及转换。为了捕捉和分析用户的求解策略，可以采用以下2个步骤：①从言语报告(verbal protocol)中识别和编码相关的认知过程，并从日志文件和视频记录中找到用户发起的交互。②使用转换图(state transition diagram)分析心理状态和交互状态之间的流动。在这个过程中可以从言语报告中的心理过程和来自于视频记录和日志的交互事件组合成一个序列。从中分析交互状态和心理状态之间的转换模式。这种评估方法不仅可以探索不同的系统设计对求解策略的影响，还可探索不同层次的用户在使用同一系统时的差别。

4 可视分析系统设计案例

本节以交通事故数据关联可视分析系统为例介绍问题求解理论对系统设计的指导作用。

4.1 背景

该系统目标是将交互式可视化与动态关联规则算法结合起来分析致命交通事故与各因素之间的关联关系。本案例数据来自于美国公路安全管理局事故分析报告系统[49]，为2011年发生的72 591起车祸事故记录，每条记录都包含：驾驶员的年龄、性别、酒精测试结果、道路状况、碰撞日期、伤害程度等多个属性。

4.2 设计过程

问题求解理论指导下的可视分析系统设计过程包括问题定义、问题表征与系统原型设计、问题求解策略与系统的进一步完善等3个步骤。需要说明的是问题求解理论的指导作用更多地体现在了高层次的设计过程上，所以本节对视图的选择、布局等具体细节不做过多讨论。

4.2.1 问题定义

在问题定义中，首先需要确定问题3要素。问题的初始状态为交通事故数据；目标状态是建立致命交通事故数据与其他因素之间的动态关联关系模型；算子包括交互式可视化和动态关联规则算法2种。

为了设计出与用户先验知识及问题相匹配的系统，需调查用户对数据(初始状态)、动态关联规则算法(算子)以及分析目标(目标状态)的了解程度。系统的目标用户是交通领域的专家，调查结果表明用户对数据比较熟悉，但是对动态关联规则算法缺乏了解，不理解算法的相关概念、运行原理等。同时，也不知道分析结果，分析应该从哪里开始，要经过那些步骤。由此可知，这是一个非良构问题，需要通过合理的可视化设计将非良构问题转化为良构问题。

4.2.2 问题表征与系统原型设计

问题表征是用户构建问题空间的过程，可视分析系统通过问题求解状态以及状态之间的可视化来帮助用户表征问题。如图1所示，左侧的算子为数据处理算法，原始数据(初始状态)经过频繁项集挖掘算子生成频繁项集(中间状态)。频繁项集通过规则生成算子生成了动态关联规则(目标状态)。右侧的算子为交互式可视化，其中点图帮助用户理解动态关联规则，柱状图帮助用户理解频繁项集，日历热图帮助用户理解规则数据。3个视图之间的链接和交互，可帮助用户理解3种状态之间的关系。点图(图2(b))被设计为表格形式，每行都表示一条动态规则，最左列的文本描述了规则的含义，其他列用于显示时间区域。每条规则被可视化为一个圆点。点的大小和颜色饱和度分别表示规则的支持度和置信度值。柱状图(图2(c))用于分析规则对应的频繁项集，蓝色柱表示数据项，紫色柱表现项集，柱的高度由其表示的数据项或项集的支持度来确定。日历热图(图2(d))可帮助用户查看与规则相关的数据是如何分布的。

图1 可视分析系统的原型设计

4.2.3 问题求解策略与系统的进一步完善

可视分析系统通过任务的设计与组织引导用户使用一定的策略来求解问题。本系统根据用户及问题的特点支持手段-目标求解策略。手段-目标策略需要将问题的目标进行分解，通过子目标的实现逐渐减少当前状态与总目标的差距，最后问题得以解决。

图2 可视分析系统的主界面((a) 规则概览图显示所有的规则以及其包含的数据项；(b) 动态规则视图支持规则探索； (c) 项集视图用于分析规则对应的数据项及频繁项集；(d) 规则数据视图用于查看规则数据分布；(e) 规则收集视图用于保存有用的规则)

本系统的总目标是建立致命交通事故与各因素之间的关联关系模型，如图3所示，本文采用自顶向下目标分解的方法，将总目标划分为调查酒精、性别及年龄因素等多个任务。用户在实现每个任务的过程中，需要完成子任务。如调查酒精因素需要分别检查包含数据项Alc1(酒精测试结果为阳性)和Alc0 (酒精测试结果为阴性)的规则，接着用户需要查找感兴趣的模式，但由于用户对算法的先验知识缺乏，难以理解规则，这些任务还需要继续向下分解为理解和检测规则对应的项集和数据分布等任务。

可视分析系统对目标分解空间的支持，可以促进用户采用手段-目标策略来求解问题。规则概览图中矩阵视图(图2(a))引导用户将总目标分解为分别调查各个因素的任务。执行图3所示的每个任务会产生了新的问题状态，并将中间状态进行可视化，以帮助用户建立更细粒度的问题空间。目标分解空间内的任务是相互依赖的，这种依赖关系在可视化设计中可以通过多视图协调关系来体现，如理解规则、支持度和置信度等含义，理解规则对应的项集，检测规则对应的数据分布，这3个任务是相互依赖的，在可视设计中实质就是点图、柱状图和日历热图这3个视图之间的链接和刷新。此外，通过可视化设计还可以将子任务的结果整合起来，方便用户对分析进度进行把控和跟踪，如规则收集视图可以保存感兴趣的规则。

图3 目标分解空间

5 讨 论

5.1 问题求解框架与现有的可视分析模型的关系

研究问题求解框架与现有模型之间的关系，有助于进一步明确本文的研究工作在可视分析理论中的位置和作用。

CARD等[50]用信息可视化参考模型描述了将原始数据映射为视图的过程。从问题求解的角度来看，这是从问题的初始状态(原始数据)经过可视化相关的算子(转换/映射)来获得问题外部表征(视图)的过程。模型中的原始数据、数据表、可视化结构与视图，这些组件都是问题的状态。

知识发现模型[51]描述了数据通过数据挖掘的技术转换为知识或模型的过程。从问题求解的角度来看，这是从问题的初始状态(数据)经过操作一系列与算法相关的算子到达问题目标状态(获得知识或建立模型)的过程。

文献[5]提出的人类认知模型专注于人与计算机在信息发现和知识创造与扩展方面的任务分配与合作。从问题求解的角度看，这正是2种类型的算子(交互式可视化和算法)在用户求解问题的过程中来回切换的原因。

文献[52]提出的过程模型包括4个组件：数据、模型、可视化和知识。在问题求解框架中其分别对应于初始状态、算子和目标状态。该模型中，可视化数据探索通路(从数据通过可视化转变成知识)和自动数据分析通路(从数据通过模型转化为知识)是使用2种不同算子求解问题的途径。这2种算子还可以通过模型的可视化来进行关联和切换。

SACHA等[53]提出了可视分析的知识产生模型。该模型包含计算机和人两部分。计算机部分包含数据、可视化、模型组件，可帮助用户进行问题表征(构建问题空间)。人的部分包含探索环路、验证环路和知识产生环路。这3层环路实质上描述了用户使用可视分析系统进行问题求解的过程。探索环路中的动作是执行问题求解方案的过程。验证环路中产生的猜测帮助用户形成问题求解方案。在知识循环中，已被验证的猜测总结为知识，问题得以解决。

综上，问题求解框架不仅能够很好地解释和兼容可视分析中一些常用模型，而且从整体性和系统性的角度对可视分析的组件及相关过程进行了更精确地描述。

5.2 问题求解框架的局限性

问题求解框架虽然在解释交互可视分析行为、指导交互系统的设计与评估上具有优势，但其仍存在局限性。首先，问题求解框架从高层次的设计过程上考虑交互系统的设计问题，其并不关注于颜色选择、组件空间布局等设计细节。此外，问题求解理论框架如何更好地支持和指导人类复杂的信息分析行为仍然需要更多的理论和实证研究。

6 结束语

本文提出了将问题求解作为解释交互可视分析行为的理论框架，力图从分析行为的基本认知机理层面来探索针对不同任务的分析行为的基本特征，并探讨了其对交互可视分析系统设计的指导意义，同时也为交互系统的评估提供了新的视角和思路。

本文工作后续可以从2个方面进行扩展。①开展更多的应用研究，以便更详细地验证问题求解理论在交互可视分析系统以及其他交互系统中的效用。②从问题表征和策略支持的角度对交互可视分析系统进行实证评估。

[1] ELLIS G, MANSMANN F. Mastering the information age solving problems with visual analytics[M]. Goslar: Eurographics Association, 2010: 5.

[2] KOHLHAMMER J, KEIM D, POHL M, et al. Solving problems with visual analytics[J]. Procedia Computer Science, 2011, 7: 117-120.

[3] ENDERT A, HOSSAIN M S, RAMAKRISHNAN N, et al. The human is the loop: new directions for visual analytics[J]. Journal of Intelligent Information Systems, 2014, 43(3): 411-435.

[4] GREEN T M, RIBARSKY W, FISHER B. Visual analytics for complex concepts using a human cognition model[C]//IEEE Symposium on Visual Analytics Science and Technology.New York: IEEE Press, 2008: 91-98.

[5] GREEN T M, RIBARSKY W, FISHER B. Building and applying a human cognition model for visual analytics[J]. Information Visualization, 2009, 8(1): 1-13.

[6] 张慧军, 张小龙. 可视分析中的复杂认知活动研究[J]. 计算机辅助设计与图形学学报, 2018, 30(1): 57-67. ZHANG H J, ZHANG X L. Complex cognitive activity in visual analytic[J]. Journal of Computer-aided Design and Computer Graphics, 2018, 30(1): 57-67 (in Chinese).

[7] SEDIG K, UNIVERSITY W, PARSONS P, et al. Interaction design for complex cognitive activities with visual representations: a pattern-based approach[J]. AIS Transactions on Human-Computer Interaction, 2013, 5(2): 84-133.

[8] PIROLLI P, CARD S. The sensemaking process and leverage points for analyst technology as identified through cognitive task analysis[J]. Proceedings of International Conference on Intelligence Analysis, 2005, 2005: 2-4.

[9] KLEIN G, MOON B, HOFFMAN R R. Making sense of sensemaking 2: a macrocognitive model[J]. IEEE Intelligent Systems, 2006, 21(5): 88-92.

[10] CARD S K. The psychology of human-computer interaction[M]. Hillsdale: CRC Press, 2018: 220-225.

[11] LEE S, KIM S H, HUNG Y H, et al. How do people make sense of unfamiliar visualizations?: a grounded model of novice’s information visualization sensemaking[J]. IEEE Transactions on Visualization and Computer Graphics, 2016, 22(1): 499-508.

[12] STASKO J, GÖRG C, LIU Z C. Jigsaw: supporting investigative analysis through interactive visualization[J]. Information Visualization, 2008, 7(2): 118-132.

[13] KODAGODA N, ATTFIELD S, WONG B L W, et al. Using interactive visual reasoning to support sense-making: implications for design[J]. IEEE Transactions on Visualization and Computer Graphics, 2013, 19(12): 2217-2226.

[14] WU A N, ZHANG X, CAI G. An interactive sensemaking framework for mobile visual analytics[C]//Proceedings of the 3rd International Symposium on Visual Information Communication - VINCE’10. New York: ACM Press, 2010: 22.

[15] GOU L, ZHANG X L, LUO A R, et al. SocialNetSense: supporting sensemaking of social and structural features in networks with interactive visualization[C]// 2012 IEEE Conference on Visual Analytics Science and Technology (VAST). New York: IEEE Press, 2012: 133-142.

[16] DUNCKER K, LEES L S. On problem-solving[J]. Psychological Monographs, 1945, 58(5): 1.

[17] NEWELL A, SIMON H A. Human problem solving[M]. New Jersey: Prentice-Hall, 1972: 56.

[18] ANDERSON J R. Problem solving and learning[J]. American Psychologist, 1993, 48(1): 35.

[19] MAYER R E, WITTROCK M C. Handbook of educational psychology[M]. London: Prentice Hall International, 1996: 47-62.

[20] GREENO J G. Natures of problem-solving abilities[J]. Human Information Processing, 2014, 5: 239.

[21] SIMON H A. Information-processing theory of human problem solving[J]. Handbook of Learning and Cognitive Processes, 1978, 5: 271-295.

[22] WOOD P K. Inquiring systems and problem structure: implications for cognitive development[J]. Human Development, 1983, 26(5): 249-265.

[23] HONG N S. The relationship between well-structured and ill-structured problem solving in multimedia simulation[D].State College: Pennsylvania State University, 1998.

[24] NORMAN D A. Some observations on mental models[M]. New Jersey: Lawrence Erlbaum Associates, 2014: 15-22.

[25] ERICSSON K A, LEHMANN A C. EXPERT AND EXCEPTIONAL PERFORMANCE: evidence of maximal adaptation to task constraints[J]. Annual Review of Psychology, 1996, 47(1): 273-305.

[26] KIRSH D. Thinking with external representations[J]. Ai & Society, 2010, 25(4): 441-454.

[27] HEGARTY M. The cognitive science of visual-spatial displays: implications for design[J]. Topics in Cognitive Science, 2011, 3(3): 446-474.

[28] CHAMBERS D, REISBERG D. Can mental images be ambiguous?[J]. Journal of Experimental Psychology: Human Perception and Performance, 1985, 11(3): 317-328.

[29] SUWA M, TVERSKY B. External representations contribute to the dynamic construction of ideas[M]// Diagrammatic Representation and Inference. Heidelberg: Springer, 2002: 341-343.

[30] MUMFORD M, HESTER K S, ROBLEDO I, et al. Mental models and creative problem-solving: the relationship of objective and subjective model attributes[J]. Creativity Research Journal, 2012, 24(4): 311-330.

[31] REISBERG D. Cognition: exploring the science of the mind[M]. New York: W. W. Norton & Company, 2010: 101-110.

[32] ANDRIENKO N, LAMMARSCH T, ANDRIENKO G, et al. Viewing visual analytics as model building[J]. Computer Graphics Forum, 2018, 37(6): 275-299.

[33] WARE C. Information visualization: perception for design[M]. Amsterdam: Elsevier, 2012: 222-233.

[34] HUTCHINS E. Cognition in the wild[M]. Cambridge: MIT Press, 1995: 98.

[35] LIU Z C, NERSESSIAN N, STASKO J. Distributed cognition as a theoretical framework for information visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2008, 14(6): 1173-1180.

[36] LIU Z C, STASKO J T. Mental models, visual reasoning and interaction in information visualization: a top-down perspective[J]. IEEE Transactions on Visualization and Computer Graphics, 2010, 16(6): 999-1008.

[37] ENDERT A, RIBARSKY W, TURKAY C, et al. The state of the art in integrating machine learning into visual analytics[J]. Computer Graphics Forum, 2017, 36(8): 458-486.

[38] MAYR E, SMUC M, RISKU H. Many roads lead to Rome: mapping users’ problem-solving strategies[J]. Information Visualization, 2011, 10(3): 232-247.

[39] SIMON H A, HAYES J R. The understanding process: problem isomorphs[J]. Cognitive Psychology, 1976, 8(2): 165-190.

[40] HEGARTY-HAZEL E, PROSSER M. Relationship between students’ conceptual knowledge and study strategies-part 1: student learning in physics[J]. International Journal of Science Education, 1991, 13(3): 303-312.

[41] GICK M L, HOLYOAK K J. Analogical problem solving[J]. Cognitive Psychology, 1980, 12(3): 306-355.

[42] ERICSSON K A, SIMON H A. Thinking-aloud protocols as data[M]. Pittsburgh：Carnegie-Mellon University, Department of Psychology, 1979: 3-5.

[43] LARKIN J, MCDERMOTT J, SIMON D P, et al. Expert and novice performance in solving physics problems[J]. Science, 1980, 208(4450): 1335-1342.

[44] CHI M T H, OHLSSON S，The Cambridge handbook of thinking and reasoning[M]. New York: Cambridge University Press, 2005: 371-399.

[45] MAYR E, SCHREDER G, SMUC M, et al. Looking at the representations in our mind: measuring mental models of information visualizations[C]//Proceedings of the Beyond Time and Errors on Novel Evaluation Methods for Visualization - BELIV’16. New York: ACM Press, 2016: 96-103.

[46] LIU Z C, KERR B, DONTCHEVA M, et al. CoreFlow: extracting and visualizing branching patterns from event sequences[J]. Computer Graphics Forum, 2017, 36(3): 527-538.

[47] LIU Z C, WANG Y, DONTCHEVA M, et al. Patterns and sequences: interactive exploration of clickstreams to understand common visitor paths[J]. IEEE Transactions on Visualization and Computer Graphics, 2017, 23(1): 321-330.

[48] REDA K, JOHNSON A E, LEIGH J, et al. Evaluating user behavior and strategy during visual exploration[C]//Proceedings of the 5th Workshop on Beyond Time and Errors Novel Evaluation Methods for Visualization - BELIV’14. New York: ACM Press, 2014: 41-45.

[49] NHTSA. Fatality analysis reporting system[EB/OL]. (2019-06-20) [2020-01-14]. http://www.nhtsa.gov/FARS.

[50] CARD S K, MACKINLAY J D, SHNEIDERMAN B. Readings in information visualization: using vision to think[M]. San Francisco: Morgan Kaufmann, 1999: 189-193.

[51] FAYYAD U, PIATETSKY-SHAPIRO G, SMYTH P. From data mining to knowledge discovery in databases[J]. AI Magazine, 1996, 17(3): 37.

[52] KEIM D A, MANSMANN F, SCHNEIDEWIND J, et al. Visual analytics: scope and challenges[M]. Heidelberg: Springer Press, 2008: 76-90.

[53] SACHA D, STOFFEL A, STOFFEL F, et al. Knowledge generation model for visual analytics[J]. IEEE Transactions on Visualization and Computer Graphics, 2014, 20(12): 1604-1613.

Using problem-solving theories to investigate user behaviors in interactive visual analytics of complex information

ZHANG Hui-jun1,2, CHEN Jun-jie1, ZHANG Xiao-long3

(1. College of Information and Computer Science, Taiyuan University of Technology, Jinzhong Shanxi 030600, China; 2. College of Media Technology, Communication University of Shanxi, Jinzhong Shanxi 030600, China; 3. College of Information Sciences and Technology, Pennsylvania State University, University Park 16802, USA)

Recently, to address the challenges imposed by big data, research on interactive visualization and visual analytics, which is aimed at combining human intelligence and machine computational powers in data analysis, has become increasingly important. However, the design of complex-information-oriented interactive visualization and visual analytics systems still lacks effective cognitive foundations as a guidance. Existing frameworks or design guidelines, such as sense-making, focus largely on the external characteristics of analytical activities and offer little insight into fundamental cognition that underpins analytical behaviors. In this paper, we proposed a theoretical framework based on problem-solving theories to help explain the essential cognitive activities in interactive visual analytics, advocated an approach to understanding the visual analytics process as a process to solve ill-defined problems, and explored the impacts of problem representations and problem-solving strategies on visual analytics behaviors. We see our contribution as two-folded. Theoretically, we borrowed problem-solving theories from cognitive science to study complex interactive activities in visual analytics, and this approach may offer insight into the design of interactive systems involving complex information-analytical behaviors. Practically, we discussed the design and evaluation of visual analytics tools from the perspective of supporting problem-solving.

problem-solving; visual analytics; sense-making; problem representation; problem-solving strategy

TP 391

10.11996/JG.j.2095-302X.2020030325

A

2095-302X(2020)03-0325-10

2019-11-03；

2020-01-12

国家自然科学基金项目(61572344)

张慧军(1985-)，女，山西太原人，讲师，博士研究生。主要研究方向为可视分析。E-mail：zhanghuijun1985@126.com

张小龙(1969-)，男，山西太原人，教授，博士。主要研究方向为人机交互、可视分析等。E-mail：zxl_psu@foxmail.com