面向可视化设计的虚拟实验对象指称模型与交互模型研究

党李成

（河南省疾病预防控制中心，河南　郑州　450000）



面向可视化设计的虚拟实验对象指称模型与交互模型研究

党李成

（河南省疾病预防控制中心，河南郑州450000）

摘要：本文主要研究面向可视化设计的虚拟实验教学对象指称模型与交互模型，并将其应用于虚拟实验教学可视化集成环境中的各软件工具中。

关键词：虚拟实验；指称模型；交互模型

在虚拟实验教学的可视化设计与应用示范过程中，用户与虚拟实验可视化环境的交互一般采用键盘、鼠标、麦克风和音响等输入/输出设备实现，虚拟实验可视化环境通过人机交互界面来接受输入设备的信号输入，并向用户输出图形/图像及声音等；多种方式的人机交互，以“以人为中心”的交互准则，增强了虚拟实验的逼真性和沉浸感，使交互更加高效、灵活和自然。创建虚拟实验教学的可视化，其实验对象一定要明确。下面将从两个方面介绍虚拟实验对象的指称模型和交互模型。

1　面向可视化设计的虚拟实验对象指称模型

指称归结是理解用户意图的关键，为界定不同指称对所指对象的认知度，明尼苏达大学的Gundel等提出已知性等级（the Givenness Hierarchy）模式，划分了6个认知级别，由高到低等级顺序如下：in focus（聚焦）＞activated（激活）＞familiar>uniquely identifiable＞referential＞type identifiable。认知级别之间的关系为单向蕴含关系，彼此并不相互排斥。也就是说，某一特定形式所表示的认知状态蕴含了所有（在右的）低等级状态，一旦达到这一认知状态，就意味着其他更低等级的认知状态也得以达到［1］。

根据Gundel的理论给出了交互对象的四种状态：指点、聚焦、激活和沉寂，按照认知状态等级分阶段进行指称的归结。“指点”（point）状态定义为在指点区域内，“聚焦”（in focus）状态定义为已选中，“激活”（activated）状态定义为可见但非选中，“沉寂”（extinct）状态定义为不可见且非选中（虚拟实验构件超出场景的显示范围）。其状态等级顺序为：指点＞聚焦＞激活＞沉寂。指称归结即为对各种指称对象的选择过程，按照状态等级进行，指点对象＞聚焦对象＞激活对象＞沉寂对象［2］。

在虚拟实验可视化设计的场景构建工具中，定义虚拟实验构件的包围盒为将该构件包围的最小矩形区域。向虚拟实验场景中添加新的实验构件或加载已有场景时，通过分析实验构件的可视化信息，取得每个实验构件所在的位置及包围盒，在后台管理和维护这些位置和区域信息，当虚拟实验构件发生位置移动或外观变化（放大、缩小、旋转等）及时更新相应的信息。

在虚拟实验构件位置和区域信息的基础上，可设计对象指称算法。该算法首先通过用户鼠标事件取得用户所指点的位置，再逐一与虚拟实验场景中的各实验构件进行匹配，判断所指点位置是否包含在虚拟实验构件的包围盒中，然后逐级进行聚焦对象、激活对象、沉浸对象的匹配，直至所有指称都得到解析。具体算法流程如图1所示。

图1　对象指称算法描述

2　面向可视化设计的虚拟实验对象交互模型

在虚拟实验教学的可视化设计与应用示范过程中，使用者经常需要根据虚拟实验教学可视化设计的典型任务，利用工具软件进行建模和可视化操作，如可选构件搜索、场景构件添加、连接关系编辑等。因此，虚拟实验设计工具软件必须具有友好的人机交互方式。

虚拟实验场景设计工具考虑以构件设计者角色、实验设计者角色为主要用户群体，以快捷、易用的虚拟实验设计的实际需求为出发点，力求做到用户交互的友好、人性化。用户交互模型主要可以分为交互方式与交互界面两部分内容。交互界面以简洁、美观、清晰为准则，交互方式则以符合用户使用习惯、简单易用、友好为准则［3］。

根据虚拟实验场景运行工具交互方式的需求，鉴于鼠标操作方便快捷的特点，交互方式主要以鼠标为主，辅以键盘控制。鼠标交互中，包括工具软件中的各组件，如虚拟实验台设计区、按钮、菜单和列表等的交互行为。为实现交互的人性化和友好性，设计了一些交互方式。

2.1根据虚拟实验对象指称模型交互

当鼠标左键点击工具软件时，根据指称的对象，工具软件动态的给予与对象相符的辅助操作响应。

指称对象为虚拟实验场景时，消息提示框中动态显示当前鼠标指针位置，同时工具软件在后台动态刷新编辑列表，提供与实验场景相关选项，如场景背景色彩选择、场景视图缩放、还原、辅助设计网格显示/关闭等场景辅助设计功能。

指称对象为构件对象时，工具软件动态的显示构件编辑框，突出显示，提示给用户当前构件的选定状态，提供快速的构件缩放编辑功能与构件拖拽移动功能。工具在后台动态刷新鼠标右键菜单与键盘事件响应方法：将右键菜单的响应内容与键盘事件更改为与构件可视化编辑相关选项，如构件删除，构件缩放、还原、旋转等构件编辑行为。同时，后台将鼠标的双击响应设置为构件属性编辑，刷新属性列表，方便用户进行构件属性修改。

指称对象为可选构件对象时，工具软件动态的显示可选构件可视化预览，并将后台状态置为场景构件添加，自动生成唯一标识的新的场景构件名称与场景构件索引，将场景构件数据加入索引表，并在虚拟实验区域的鼠标位置处快速绘制所以加入的场景构件，然后将指称对象指为该场景对象。

指称对象为构件连接点时，该连接点可视化加粗以突出显示，提示设计者已选择该构件连接点；指称对象为连接关系时，将改变连接的颜色，并对连接可视化加粗以突出显示，提示给用户当前连接的选定状态。

工具软件突出显示连接关系中的所有中间连接点，以方便设计者对连接关系位置的识别。同时，工具在后台动态刷新鼠标右键菜单与键盘事件响应方法，将右键菜单的响应内容与键盘事件更改为与连接关系编辑相关选项，如连接关系删除，连接关系颜色修改等。通过设计不同的连接关系颜色，用户可以在场景比较繁复的情况下更直观地观察构件间连接关系状态；在信息栏中，实时地输出鼠标拾取的指称对象名称。

支持可选构件列表面板与场景构件及属性面板的交互式隐藏与显示，实验设计者选择面积较大的虚拟实验设计区域，或是直观地观察到所有构件详细信息的实验设计区域方式。

2.2标记图像前/背景点的人机交互

用户接口设计为用户使用鼠标在图像上滑动划线来完成采样过程。这样的人机交互过程比较直观、清晰，用户只需要通过简单移动鼠标操作就能完成前景和背景的标记。用户通过菜单栏选择需要划分前景还是背景后，然后单击右键滑动鼠标，鼠标经过的图像中像素点即为采样点，系统将采样点进行标记存储。同时，将前景对象和背景的标记赋以不同颜色：红色线条表示前景的标记，蓝色线条表示背景的标记。工具将划线的轨迹即时显示在图像上，使得用户能够对下一次的画线位置做出调整，或者对错误的标记进行删除。

这一过程并不需要用户进行非常精确地操作，用户只需要在图像上随意分前景和背景即可，一般标记的地方都远离对象的边界不易出错。即使用户在划线标记时出现错误，还可以选择擦除标记错误的部分，当出现重大失误时可以选择清除所有标记，然后对图像进行重新标记。

在进行对象提取以后，用户可以在现有的对象提取结果基础上，进一步输入新的对象、背景的采样点，为分割提取过程增加更多的约束条件，然后再次进行对象的分割提取，可以取得更好的对象提取结果。图2显示了用户对图像前/背景点的标记。

图2　标记前景与背景

2.3对象边界精确调整的人机交互

在完成了对象轮廓的快速提取后，已经得到了一个大致的对象提取结果。提取出的对象大致轮廓通过一个可编辑的多边形展示给用户，供用户进行进一步的精确调整。用户接口设计为用户通过点击拖动多边形的顶点调整多边形的形状，调整的目的是让多边形的轮廓更趋近于需要提取的对象轮廓。

在调整的过程中，用户可以通过在多边形边界上双击左键增加新的多边形顶点，也可以对多边形顶点进行删除。这个过程同样也比较直观简洁，用户只需要简单点击拖动操作就能完成对象轮廓的调整。

这一过程相对于标记过程就需要用户比较精确的操作了。虽然对象快速提取步骤已经提取出了比较准确的结果，但对于模糊区域及对比度较低的区域，仍然需要用户较为细心的操作。图3是用户对对象轮廓的精确调整。

在调整完对象轮廓以后，用户点击对象提取按钮以后，分割提取出精确的对象，同时将背景置为半透明，和提取出的对象构件区别出来。此后用户还可以进一步对分割提取的边界地方进行调整，再次进行对象提取，得到更好的对象提取结果。

用户控制命令接口：在虚拟实验构件的建模过程中，用户会输入各种控制命令，控制程序的运行过程。因此，用户控制命令接口能够对用户输入的控制命令做出相应的动作，用户交互的具体流程如图4所示。

图3　对象边缘精确调整

图4　用户交互模块流程设计

3　结语

指称模型是通过分析实验构件的可视化信息，取得每个实验构件所在的位置及包围盒，再由对象指称算法判断所指点位置是否包含在虚拟实验构件的所在区域，以便聚焦、激活和沉浸对象的匹配，将所有指称进行解析。

建立交互模型则是确定交互行为的方式，本文阐述指称模型交互、标记图像前/背景点的人机交互及对象边界精确调整等3种人机交互形式，使人机交互过程直观、清晰操作简易。

参考文献：

［1］徐向东.模型、指称和实在［J］.云南大学学报，2003（7）：21-22.

［2］许宁云.指称突兀的情景模型解析［J］.外语学刊，2006 （5）：77-78.

［3］陆枫，陈传波，卢正鼎.基于交互模型的可视化建构方法研究与实现［J］.计算机工程与科学，2003（12）：11-12.

中图分类号：TP391

文献标识码：A

文章编号：1003-5168（2016）01-0070-03

收稿日期：2015-12-28

作者简介：党李成（1986-），男，硕士，助理工程师，研究方向：计算机应用技术。

Research on Virtual Experiment Object Reference Model and InteractionModel for Visual Design

Dang Licheng
（Center for Disease Control and Prevention of Henan Province，Zhengzhou Henan 450000）

Abstract:In this paper,we mainly study the reference model and interaction model of virtual experiment teaching ob⁃ject oriented to visual design,and apply it to the software tools in the visual integrated environment of virtual experi⁃ment teaching.

Keywords:Virtual experiment；Reference model；Interaction model