基于用户体验的智能装备人机交互界面设计

马超民，赵丹华,辛 灏

(湖南大学 设计艺术学院，湖南 长沙 410082)

1 问题的提出

机器视觉、深度学习与大数据、云计算、物联网等技术的深度融合使当代的信息通信技术和人工智能(Artificial Intelligence, AI)技术取得的长足进步，推动了新的产业革命到来。德国率先提出工业4.0的全新概念，美国提出了工业互联网的概念，我国在2015年5月正式印发《中国制造2025》，推动智能制造强国战略。在工业制造领域的全面信息化基础上,“互联网+”和“人工智能+”是这次产业革命的主题,也是制造业转型升级的发展方向，前者推动了网络化制造概念形成，而后者则在网络化制造的概念的基础上，进一步形成了智能制造的理念[1]。智能制造是工业化生产整体模式升级的新阶段，智能制造的架构包含状态感知、实时分析、自主决策、精准执行等环节(如图1)，这既需要先进技术提供软硬件支撑，同时也需要对用户参与的人机交互过程以及使用体验进行优化。新的环境给制造领域的相关装备设计研发提出了全新的要求和挑战，本文将对专业制造领域中智能化产品的人机交互系统界面设计方法展开研究和探讨。

2 复杂系统与人机交互

2.1 复杂系统的人机交互界面

复杂系统是指具有来自不同标度层次变量的结构，或者指相互之间有差别的单元构成的动态系统[2]。普通民用领域和军用领域的大量装备都需要通过复杂系统来实现控制。特殊军用复杂系统主要有航天、航海、航空及现代化战场指挥监控等系统；普通民用复杂系统主要指交通工具、核电控制、生产制造、特种装备等方面的操控系统。复杂系统的人机操作一般要求用户具备较好的专业技术能力，熟练操作系统通常需要经过专业的培训和丰富的技术经验，否则极易造成工作失误、系统故障或系统崩溃，甚至导致严重事故。复杂系统的人机交互研究始于二战时期航空领域中人们对飞机操作安全性和正确性等相关问题研究，研究主要目的是期望通过减少飞行器操控方面存在的设计缺陷，保障飞行安全。Scott等[3]总结了差错产生的机理；Shappell等[4]对人为错误导致的事故进行了分析；Sellala等[5]提出了人为错误的预防方法模型。以上研究成果促进了复杂系统的基本设计准则的形成。与消费类产品的人机交互不同的是，复杂系统的人机交互通常交互形式单一，注重功能、流程、规则的贯彻以及可用性和安全性；而消费类产品丰富多样的用户体验，赏心悦目的界面视觉效果则不被重视。因此，复杂系统的用户综合体验与评价往往不佳。随着生产模式不断的发展和进步，复杂系统与消费产品系统之间的边界和差异正在逐渐消弭，复杂系统的人机交互设计也开始注重对于用户体验的塑造，主要体现在多通道交互方式的引入，对用户背景知识水平要求降低、操作步骤的简单化、关键信息的可视化以及界面元素的艺术化。可以说，智能时代的复杂系统人机交互设计趋势开始向消费类产品的交互设计靠拢。这种趋势既是技术发展的外在因素使然，也是以人为中心的交互设计思路向专业应用领域拓展的内因结果。

2.2 智能化背景下的复杂系统人机交互发展现状

信息化、互联网化、智能化是当代社会文明发展的主要时代特征。人机界面随着信息来源渠道的不断增多，界面信息结构复杂性也不断增强[6]。随着社会化企业、云制造、信息物理生产系统泛在制造[7]等概念不断涌现，全球制造业已经进入了个性化定制生产的新阶段，互联网企业也开始标榜用户体验的重要性[8]。这对制造业相关的复杂系统的功能提出了更高的要求，也使复杂系统的人机交互发展出新的形式和内涵，如3D打印技术，是信息物理系统(Cyber-Physical Systems)的典型代表[9]。作为智能制造的代表性技术，3D打印技术与信息物理系统的普及被认为是“智能制造”在人类社会逐渐成型的标志[10]。由于3D打印技术允许用户直接参与到产品设计制造的过程中，用户参与的3D打印制造方式完全区别于产品只由专业的工人在专业的生产线上制造出来的方式。智能制造在过程和流程上的差异使与其相关的复杂系统的人机交互必然与传统的人机交互形式存在较大差异。数据的结构化形成信息，信息的意义化形成知识，这个进化过程对应了从数字化制造时代到信息化制造时代再到智能制造时代的进化过程。复杂系统界面也随着这个进化关系逐步演化出对应阶段的特征(如图2)：早期的工业界面(UI1.0)是强控制形式，界面复杂而晦涩，只是罗列系统全部的功能和工具，操作困难，学习成本极高；信息化制造时代的工业界面(UI2.0)，信息被结构化，并以科学的方式呈现给用户，可以为用户提供更多的知识推理依据，直观地了解系统工况，并快速做出决策；智能制造时代的界面(UI3.0)会借智能技术的支撑，由强控制特点，转向“强决策”、“弱控制”的方式。用户只需进行简单的操作，大部分工作都能由系统代替用户决策完成。

专业领域的复杂系统界面的发展阶段同时也可与互联网的各个发展阶段对应起来。随着互联网从Web 1.0向Web 3.0逐步进化，用户对技术发展的影响越来越大，用户参与创造的成分越来越多，复杂系统界面也须遵循以用户为中心的思维来进行设计。传统人机交互方式从“输入—反馈”的循环向“推荐—选择”的循环过渡，人机交互关系由“单向从属”向“双向训练”过渡，这种转变重写了交互设计的设计思维、架构、形式、流程、规范[11]。

智能化时代背景下复杂系统人机交互的发展，可以总结为以下4个显著的变化趋势：

(1)系统操作自适应性(adaptive)不断增强，使其具备对不同用户的通用性[12]，用户群体从专业人士向非专业人士转化。

(2)从对系统的强控制到弱控制，用户角色从操作者向观察者转变，系统具备自主决策能力。

(3)交互形式从单通道向多通道转变，语音、手势等交互形式逐渐出现。

(4)信息展示形式从抽象向直观转变，甚至出现工业可穿戴设备，采用虚拟现实(Virtual Reality, VR)、混合现实(Mixed Reality, MR)或增强现实(Augmented Reality, AR)来辅助工业制造，对环境和工件进行逼真的模拟。

传统工业领域的交互设计是效率驱动的，侧重通过人对界面具体内容的认知过程进行研究，以此来提高界面友好性及操作安全性，而消费类产品的人机交互则将用户作为最为重要的考虑因素，重视人的习惯和需求及其在系统中所处的位置。智能化复杂系统的设计准则趋向于在传统设计准则的基础上与消费类产品的设计准则合并，不断增强系统的自适应性以适应更广阔的用户群体，并形成优势相容互补。基于Rasmussen已经提出的生态界面原则，智能化复杂系统的人机交互界面的主要设计原则体现在安全、高效、易学、和谐、统一、美观[13]6个方面。安全性原则要求系统界面具有容错和恢复机制、交互操作支持指令回滚、突发问题和错误即时提醒、用户操作系统功能应具有较高的准确率；高效性原则要求交互任务流程便捷高效、系统精简合理、用户操作系统完成相关任务应具有较高的效率[14]；易学性原则要求界面的复杂信息传达可利用抽象或隐喻的手段利用简单的形式进行可视化表达[15]，即设计意图与用户意图达成统一[16]；对应性原则要求界面设计避免环境条件对用户的交互行为和心理状态产生影响，使系统、用户、环境达到和谐运行的状态；统一性原则要求系统的界面信息的子系统、表达方式、界面结构、层级关系都需要在形式上形成统一，让用户使用同一种方式思考和操作系统[17]；美观性原则要求界面的整体视觉效果符合基本审美法则，使界面的风格、元素、颜色、背景、比例、布局、形状等方面在视觉上达到相对平衡的状态,符合用户的心理和视觉感受。

3 智能化复杂系统的人机交互设计方法研究

复杂系统人机界面设计的难点主要源于其复杂性，这是由于大量与制造过程相关的数据汇集而导致了的界面信息结构复杂。因此，在已有技术条件基础上，需要总结一种科学合理的交互设计方法尽可能地消解这种复杂性。随着传统制造业向智能制造业的转型升级，数控机床、3D打印机等专业设备的购买和使用门槛大大降低使大量的非专业人士进入到制造业的关键环节中，专业装备的操作与控制方式从原来自上而下、由专业人士集中控制的形式，逐渐朝着自下而上，由广大用户集体智慧、行为偏好主导的分布式控制形式转变。传统的复杂系统人机交互设计方法，也应当顺应这种变化进行改进和升级。

3.1 智能化复杂系统的人机交互界面的特征

智能化复杂系统由于其信息规模和结构相较于传统复杂系统更为庞大和复杂，智能化复杂系统的复杂性可以总结为如下3点：①系统界面呈现的信息内容较多，包括多维度、流程、功能、对象和任务；②信息呈现形式由多个子系统组成，子系统与子系统之间的组合方式形成的新结构具有不可预测性；③信息交互的视觉编码、接收、解码具有复杂性[18]。

智能化复杂系统的专业性特点对使用者的专业技术背景知识依赖性很高，是传统复杂系统难学难用的主要原因之一。因此，去专业化以降低系统操作对专业技术背景知识的依赖性，是智能化复杂系统的人机界面应当具备的特性。

传统复杂系统的人机界面具有极强的功能导向性，并非以用户需求为导向，而智能化复杂系统从功能实现导向转为用户需求导向。在智能视觉领域，科学和信息可视化等技术越来越多地被使用[19]，由此可以推断其用户数量的不断上升。智能化复杂系统的界面设计应当充分考虑用户的使用需求以帮助用户快速实现操作目的为导向，因此呈现的特点不仅体现在视觉的美观性，更体现在信息的有序性和简洁性，实现智能数字界面操作与呈现的直观化和人性化，以提高用户获取信息的效率[14]，还体现在采用添加预设和引导式交互流程的方式简化系统操作。

3.2 智能化复杂系统的人机交互界面设计模型

(1)系统功能逻辑解构

专业化装备的价值是功能驱动的，因此设备的系统功能逻辑关系是人机交互设计的基础。制造装备主要在工业制造体系中承担某一关键环节对应的任务，装备的人机交互框架基于任务系统的层级关系构建，系统信息、操作指令布局都遵循任务层级关系的逻辑。任务层级关系一般具备阶段性和并行性两个特点。一方面，操作可能对应系统任务中子系统的各个阶段和步骤；另一方面，各个步骤直接可能存在并行和协调的逻辑关系。目前，智能制造装备的功能架构同样具备这样的特性，与传统的系统层级关系并无太多区别。

(2)定义人机关系

人机系统是由人—机—环境组成的闭环系统(如图3)，三者的关系是交互设计讨论的核心问题。由图3可以看出，人通过感知来自设备和环境的相关信息对其进行加工处理，形成决策，对机器进行操作、对环境产生相应影响。机器接收来自人的输入信息，并按照指令执行工作任务，将结果呈现出来，完成特定任务。智能制造装备的人机关系，会依据人与机器在系统中的分工不同而具有一定的差异。传统的机器系统的自动化程度不高，人是主要控制者，机器是被动执行者。而智能制造装备具备一定的自动控制、自我学习和自行决策的能力，承担了一部分原本需要由人来操作的工作任务，使人在系统中的劳动强度大大降低，只需要承担设定、输入、监督、维护系统运行的任务。如图4所示，在智能系统模式下，用户和机器呈现协同处理、协同进行的状态。人机交互关系表现为用户—机器的“双向训练”状态。

(3)定义界面交互流程

在交互流程的架构层，根据系统任务和各子系统的层级关系，从任务背景出发，明确具体任务下的人机交互路径，归纳界面内容的布置，建立完善的交互反馈闭环回路。在交互流程的表达层，根据系统任务的具体内容，建立符合用户知识背景、认知习惯、操作逻辑的界面元素和界面结构。

对智能化复杂系统界面的设计而言，任务与用户同等重要。任务与系统模型是界面构成的基础，而以用户为中心的设计原则将贯穿整个设计过程。不同系统的具体开发过程可能存在一定共性。针对智能制造装备这类产品的复杂系统界面设计，是一个依次循环迭代的过程：1.生成任务与系统模型;2.用户研究、3.设计原型;4.评估;5.界面小样;6.设计实现;7.测试维护。如图5所示为一个较为完整的界面设计模型。

4 焊缝扫描重构模块的交互界面设计实例

本文的实践目标是基于所提出的智能装备的人机交互界面设计模型，以及智能装备产品的交互设计原则，完成焊缝扫描重构模块的人机交互界面设计实践任务。自动焊缝重构模块是某企业基于激光线扫功能开发的智能化焊接机器人手眼补偿系统，其主要功能是通过激光线扫、工件重建、焊缝识别、工艺匹配等功能，自动比对标准件与来料实际工件之间的形态和位置差异，修正机械臂焊接路径的偏差，并根据焊缝识别结果自动判断焊缝形态，自动匹配最优的焊接工艺完成焊接。

4.1 焊缝扫描重构模块的界面功能逻辑解构

该公司的焊缝扫描重构模块是焊接机器人整体系统的子系统之一，采用后装激光线扫视觉模块的方式对焊接机械臂进行功能升级，使之具有识别工件形状和位置的能力。由于采用后装模式，因此重构模块的配置管理和操作使用一套相对独立设计的控制系统，与机器人原生的控制系统是并列的两个不同系统(如图6)，其中重构模块的所有操作在激光视觉系统端完成。功能架构主要包括身份认证，通讯配置、示教与执行，工件管理、任务管理几个次级功能。重构模块先对工件进行扫描，完成误差采集，然后再将误差数据交给机器人控制端，实现对机器人焊接轨迹的修正。

4.2 焊缝扫描重构模块的人机交互关系定义

用户在焊缝重构模块中扮演导师和监理的角色，用户输入标准工件的相关信息，对系统进行示教，对工件和焊缝完成任务建档的工作之后，余下的工作则由系统自行决策完成，并将结果输出给机器人控制器，当工作台自动上料之后，系统重复工件比对的工作环节，并输出新的纠偏信息给机器人控制器。如此循环往复，配合焊接机器人完成对批量工件的加工。此时，用户只需担任监督者的角色，无需参与任何系统交互，只单方面从系统界面获取实时的工况信息，具体关系如图7所示。

4.3 焊缝扫描重构模块的交互界面定义

基于面向用户的复杂系统人机界面设计模型，根据既定的界面功能逻辑以及人机交互关系定义，焊缝扫描重构模块的交互界面被定义为3个主要的运行模式(如图8)，即控制模式、监控面板和自动模式。其中控制模式和自动模式主要涉及系统的控制操作、自动与非自动状态之间来回切换；监控面板主要涉及对系统运行状态信息的监控观察相关的操作。

参考前文所述的智能复杂系统的交互设计原则，对焊缝扫描重构模块的人机交互流程进行了有针对性的优化。基于高效性原则，特别对系统界面各个功能的交互流程进行了简化，通过减少冗长的交互步骤，增加成体系的用户配置预设来实现对操作效率的提升；基于易学性原则，为首次使用系统的用户设置引导式、步进式的界面操作流程，以帮助新用户快速实现系统功能配置和工件示教，降低用户的学习成本；基于主动性原则，去掉许多没有必要让用户决策和修改的默认设置选项，并将系统可自动完成的操作运行于后台，不提供过多的可配置参数项，使系统的自动化程度尽可能地获得提升。

4.4 焊缝扫描重构模块的界面呈现

在系统的交互界面呈现方面(如图9)，通过对限制操作的界面按钮进行灰度显示处理，防止用户在使用过程中出现误触的操作，以保证基本的操作安全，如图9所示；考虑系统运行的外部环境光照需求，界面采用深色背景界面设置，能够为用户提供更清晰、对比度合适的扫描结果显示效果，以提升系统的环境适应性；界面可操作的元素均采用图标与文字相结合的表现形式，图标的表现是从按钮的功能含义中抽取出意象原型，将原型内容用简单图案表现出来，并对界面、对按钮形式、对字体和字体尺寸、对数据列表的形式、对弹窗的形式等方面进行了规范和统一，以确保各个界面交互形式的一致性。整体界面设计的风格和色彩搭配，也符合智能化科技类装备产品的行业特征。以上设计手段使界面尽可能满足设计原则的目标，使用系统的用户体验获得整体提升。

4.5 测试评估

4.5.1 实验方法

因为该界面尚处于试验阶段，并未完全投入使用，且在广泛的人口抽样中无法做到数据的全面完整性，也不能做到各种人群的假设，所以采用固定人群的预选择以控制实验的指向性。本实验中，每位参与者将对改进前后的两个不同界面进行操作，并以本文总结的6项交互设计原则以及整体满意度为基础要求用户对操作过程进行评分，通过对比前后评分的分差进行结果评估，获得实验最终结果。

4.5.2 实验材料

本实验的材料为改进前后的两个不同焊缝纠偏模块的交互界面，如图10所示。

4.5.3 实验参与者、实验环境、实验设备

本研究实验共邀请15名参与者，其中7名女性8名男性，参与者年龄在20～30岁之间。15位参与者分为3组，第1组为专业人选(完全懂的如何操作智能机器)，第2组为交互专业学生，第3组为完全没有接触过智能机器的人群。本研究的实验环境为实验室环境，实验的主要设备包括安装了焊缝识别模块的焊接机器人本体及测试用的工件，如图11所示。

4.5.4 实验过程及结果分析

实验之前，首先告知15名参与者实验是要从7项原则中进行评分，使参与者可以有针对性地进行实验操作学习。实验设置了4个主要的界面操作任务，分别为系统管理、工件管理、任务管理、工件扫描。实验开始阶段，首先请参与者使用旧版界面系统进行操作学习并依次完成4个界面操作任务，并对该操作过程进行评分，分数区间为1～10分，1为感受最差，10为感受最好(如表1)。

表1 旧版四项任务综合平均评分

评分完成之后，再邀请参与者使用新版界面系统进行操作学习，并进行相同的操作任务。通过与上一轮流程相同的评分并统计两次的得分，计算分差进行比较。分差计算方式为使用新版界面执行完成所有任务后的平均得分数减去使用旧版界面执行完成所有任务后的平均得分数。根据分差的计算可以得知分数差应当分为正数、零、负数3种，若改进后的分数高于改进前的分数，则为正数，即结果为正向，表明新版界面设计用户体验有所提升;若改进后的分数低于改进前的分数，则结果为负数，即表明设计结果较差;若两次分数相等，则设计效果视为无(如表2和表3)。在整个实验的过程中，对界面改进前后每个参与者的操作时长进行记录，并在最后进行时间统计。通过计算时间差，检验新版界面在增强用户体验的同时是否牺牲效率(如表4)。

表2 新版4项任务综合平均评分

表3 新旧版界面得分分差

表4 新旧版界面操作用时统计

4.6 实验分析

被实验者依据几种不同的评分标准进行了打分，并由实验者进行最后的平均分计算，结果如表2所示。在整个实验中，新版在一致性方面获得了最高的分数(8.75)，在美观性与效率中分别得到较高的分数为8.12与8.27，而反观对比分差中，适应性0.93与一致性0.77得分最低。

在不同得分标准中，新版平均得分获得最高的分数一致性主要是因为在原本的操作界面设计中，层级架构与逻辑关系已经做到足够严密且合理，在新版的改进中对于已经拥有良好基础的界面层级架构只需要对于其外部表现手段进行改造即可，而对于架构等内在的因素，实验者更倾向于对其进行小范围改进而不是彻底推翻。新版在美观性方面获得较高的分数主要是因为旧版的界面美观程度较低，不管对于交互专业人员或者是普通被实验者来说，界面的美观程度会影响被实验者使用时的心态，继而降低效率。改进过后的界面更加美观，相对于原版来说更加符合被实验者的心理预期，因此得分高。效率与易学性两项得分分差最高，由于这两者之间本身存在关联性，可以一起解读。旧版的效率与易学性得分低是因为该机器受众面积较窄，对专业要求度高，即便在被实验者受过训练之后，普通大众与学生仍然不能很好地操控此机器。在实验中，尤其是专业度要求较高的任务管理操作中，可以看到新手与学生的平均操作时间均高于专业用户。而到了新版本的界面之后，其设备不是单纯需要全程人为干预矫正的设备，而是智能设备，其内在架构使得该设备操作中操作者不需要全程参与，进而使得操作难度显著降低，且使用者的操作门槛降低，故易学性提升巨大，分差变大，而且效率伴随着易学性的提高也相应提升。时间上，任务管理提升最小，原因是即便设备的改变使得易学性提高，但其中的专业性并没有完全消失，在任务管理操作中，涉及到修改缝宽以及找到最低点等仍然需要专业知识技能，故该时间并不能有效缩短。

值得一提的是，在计算平均时间时发现，旧版本的被实验者所需时间(如表5～表7)中，学生、新手与专业用户的差值明显高于新版本的时间差值(如表8)，这说明设计改变后，普通大众使用智能设备所消耗的时间与精力可以在界面不断改进中逐渐追赶上专业用户，智能设备在实际的操作中使大众与专家的距离不断缩进，操作门槛降低。

以上数据多数反映出智能制造背景下复杂系统的人机交互界面发展趋势：操作难度的降低，用户人群由由专业人士到非专业人士的转变逐渐转变，用户角色从实际干预者转换成旁观者或者微干预者。而在智能装备交互界面大量涌现的当下，其设计趋势也将逐渐向非专业人士靠拢，由专一的指向型人员操作向普罗大众逐渐接管靠拢。

表5 新手用户的旧版界面任务归档操作用时统计

表6 学生用户的旧版界面任务归档操作用时统计

表7 专业用户的旧版界面任务归档操作用时统计

表8 各类用户的界面任务归档操作平均用时对比

对实验结果评分的整理和总结,从实验结果得分来看，基于智能复杂系统人机交互界面设计模型产出的新版焊缝扫描模块的界面设计相较于旧的版本，在准确率、效率、易学性、适应性、一致性、美观性、满意度等方面均具有一定的提升。系统界面设计的总体满意度达到了预期的要求，并且通过对实验操作用时的统计与对比，可以确定新版系统界面的用户体验的提升并没有以牺牲软件操作效率为前提。使用新版系统界面，反而能够不同程度地缩短系统地操作用时，提升操作效率。因此，焊缝扫描模块地新版系统界面设计带来的改变是正向的、积极的，也基本可以确定设计方法的有效性。目前，界面的完善和改进工作正在进行中。

5 结束语

本文根据智能制造背景下相关设备的特点和发展趋势，对装备类专业领域产品的系统交互界面设计思路进行了梳理和更新。根据复杂系统交互界面从“单向从属”向“双向训练”过渡的特点，将注重系统功能实现和任务管理的传统复杂系统界面设计框架与以人为中心的产品交互设计框架的优点相结合，构建了专业领域智能化产品的交互界面设计模型。这类产品的功能具有专业性，系统具有复杂性，并且所面向的用户类型正在逐步变得多样化。在界面设计过程中，需要在遵循复杂系统的基本架构、功能、任务等模块之间逻辑关系和保障完整性的前提下再融入充分的用户研究。因此，界面设计思路不同于单纯的消费类交互界面设计，也不同于传统的复杂系统界面设计，是以保证专业性为基础，融合以用户为中心的设计理念形成的一种折衷的设计方法。本文的研究和实践应能对智能制造相关的系统以及其他同类型系统的人机交互界面设计工作提供一定的参考。下一步，将主要关注智能制造领域中人机界面交互体验的获取与评估的研究。