基于情景感知技术的笔画书写交互设计

刘佳

（陕西理工大学，陕西 汉中 723001）

老年用户作为一个特殊群体，他们同样渴望拥有科技所带来的便利，期望方便且自然地与他人交流和沟通。他们更习惯书写，根据老年用户的书写认知过程建立情景模型。情景感知技术与应用研究涉及到人工智能、认知心理学与计算机应用等领域的研究内容。在同济大学孙效华的《人工智能产品与服务体系研究综述》[1]中总结出人工智能产品的关键特征包括情境感知等。Bellotti 等[2]从人的角度提出了具有情境感知特征的产品或系统的设计框架。认知模型又称3M 认知模型，是人类对真实世界进行认知的过程模型。每一种推理过程都将涉及三个实体：Rule（规则）、Case（情况）和Result（结果）。他们对输入信息的理解推理过程基于经验、事件与确认[3-4]。在计算机应用领域提出了TBTF 算法[5]，是一种用于处理上下文感知推演的精准算法。根据以上研究基础，本文将情景感知技术应用到老年用户笔画书写的交互设计研究中去。

根据认知模型分析老年用户信息输入过程的情景，在情景中发现用户行为逻辑，这种行为逻辑是否可以以钢笔书写为参照，便捷地输入文本来交流信息。那么输入设备的逻辑是否可以符合行为逻辑。以此为目标设计出满足用户用“书写”来通信要求的智能交互设备[6-7]。主要目的在于设计书写信息终端设备，能够方便、自然、准确地实现移动通信终端的文字输入功能。主要手段从问题出发设计出一种基于笔画手写输入的操作方法，能够便捷、准确地实现通信终端文字输入功能。利用上述终端进行正常通信，建立合理的人机交互方式。

1 情景感知技术

情景感知技术也就是上下文感知与推理，主要由信息感知、获取、处理和反馈4 个过程组成。其目标是建立用户行为与设备运行之间的逻辑关系，即从手势输入到机器理解之间的任务流，并且可以将机器操作的结果及时给反馈用户[8]。

对于老人用户而言，在使用情景中，为了获得更加流畅的用户体验，输入设备也应该具有优化的信息感知逻辑，从而机器可以感知用户书写笔画输入的轨迹，获取笔画输入的意向形式，分析处理判断用户的意图，输出所判断的文字、字符和数字等；将结果性的信息反馈给用户，再与用户意向做出比对，进一步确定输入的结果，形成交互闭合链。

1.1 用户感知方式的行为逻辑探讨

在需求场景中，将老年用户输入情景进行抽象，建立用户需求特征场景，用户可以直接表达思维流的方式就是书写，例如用笔在纸上写，用笔在手心写、画，或者在任何界面上写、画等等[9]。

以50～80 岁的经验用户与非经验用户作为目标用户群，对手机、电脑、IPAD 等LED 屏（OLED 屏）手写输入交互方式进行调查，安排了本科三年级工业设计专业学生分组进行调查，获取一手数据。将交互事件定义为U，U1-U5 分别为，开启、关闭、书写轨迹、设备反馈与用户确认。以上交互行为分别进行二分式成功判断任务可执行与否，由此可将用户分成经验用户与非经验用户，再用5 级SD 访谈与观察法针对非经验用户收集任务列表。5 个级别分别为，多次尝试可以完成并理解，简单帮助可以完成并理解，中等帮助可以完成并理解，在帮助下可完成不能理解，失败并且不愿意尝试。用5 个级别判断用户对手机或者Ipad 的笔画输入的用户体验程度，并进行信度分析，得出简单帮助可以完成并理解的用户较多，但是用户会提出字体不够大，看不清楚。中等帮助可以完成并理解其次，接下来是多次尝试可以完成并理解的用户，失败并且不愿意尝试的用户比较少。由此说明大部分老年用户愿意接受现代科技的衍生品，同时又存在交互障碍。

1.2 任务流分析

为了使用户可以获取合理的信息，比较多种手势、符号，判断出优化设计。用户是否可以理解设备的逻辑过程，是通过节点判断来完成的。

在书写输入任务过程中存在一系列交互节点：开启与进入系统，关闭与退出系统；书写压力与界面产生反作用力；用户书写过程的轨迹滑动、设备识别轨迹、反馈运算结果；轨迹的连贯、用户确认文字输入等[10]。

1.3 设备信息反馈分析

设备反馈是用户完成每一个单元操作，设备所给予的确认，是完成一个闭合交互过程必不可少的步骤。一般情况下，可以通过“完成”按键来进行提示。但是，目前需要替代“完成”的方式来达到反馈的目的。因此从手势设计入手，结合以上提出的问题，经过分析比较，得出反馈节点以笔画滑动来代替常规的视觉识别，“确认”用“”的符号来替代，完成由“画圈”来替代。系统对用户的功能执行指令和功能撤消指令也是通过感测特殊笔画信息来实现的。比如，可以通过笔画输入“”来表示执行，相当于常用的确认指令；通过笔画输入“”来表示撤消，相当于常用的撤销指令，通常用户“完成”和“取消”按键。设备在用户完成操作之后的几毫秒内读出“完成”或“取消”反馈用户执行操作成功。

1.4 上下文推理模型与交互逻辑分析

上下文推理模型（CDL-DFCM）是理解用户操作行为与用户意图模型的工具，基本思路与方法是从普适计算研究衍生来的，能够让书写设备通过一种合理的传感器采集到用户书写情景的数据。可以在采集运算过程中，分析操作路径和操作的反馈过程。

交互节点的概念集合由C 来表示，C=(U,S,E,A)，其中U 代表用户手势，S 代表设备状态，E 代表交互事件节点，A 代表用户意向[8]，具体内容见表1。

根据表1 的交点集合列表与现有的手写输入笔的交互方式进行专家比对，同时结合竞品分析法、观察用户的使用状态等方法发现，在交互节点E 中，感测输入信息的介质通常是固定的设备，比如手机、电脑、IPAD 等载体设备的LED 屏（OLED 屏）、数位屏、数位板、手写板，为信息输入介质，专用手写笔为用户将信息输入的工具。E 中产生出不同设备的节点信息，这一类型的产品，对老年用户来讲，存在使用不便的问题，同时结合以上手势U 分析，在产生轨迹的过程中，从用户意向A 的评断结果来看，对视觉与反应能力下降的老年用户[3]来讲，需要根据他（她）们的用户体验与适应能力设计适合的交互方式与终端产品。接下来根据神经网络与逻辑判断，进一步推演物逻辑，即为载体平台的人机界面要素的合理传递步骤。

表1 交互节点的概念集合Tab.1 Concept set list of interaction nodes

人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的[11]。

从节点流变换走向、易于操作与设备简化的原则出发，根据卷积神经网络的推演迭代，运算出本次设计的任务流。使用户的手势意图达到逻辑一致，并且推演设备交互逻辑与运行逻辑，并且模拟用户神经网络，通过机器学习的方式运行设备。

逻辑推理，运用推理演绎的原理对交互节点（E）、用户意向（A）、手势（U）、设备状态（S）4 个要素进行“合取”“折取”运算。根据同一原理，进行有效论证。

用户与设备交互的任务流为：根据逻辑演绎推理的法则判断，由用户逻辑推理演绎出设备交互逻辑，并判断该逻辑是否成立。推理过程的表达式为：∵（E ∨ U）•（A ∨ S），∴（U·A）⊃（S•E）。由以上逻辑式判断真或是假，从而判断用户思维逻辑演绎推理出智能设备的行为逻辑。由此判断产品是否具有真实有效的学习能力。判断产品是否具有良好的可用性[12]。

从表1 中所列举的行为串来演绎设备运行逻辑。

1）用户执行（E1-1∨E1- 2∨ E1- 3∨ E1-m）⊃U1，说明设备开启，并且进入工作状态，笔画书写状态；A1 ⊃S1，设备的开启状态与用户知觉认为设备处于开启状态一致；同时满足（U1·A1）⊃（S1•E1-m）；代表用户行为逻辑与设备逻辑联系属于真。

2）开始书写笔画，（E3- 1∨ E3- ∨2 E3- ∨3 E3-n）⊃U3，识别模块对用户所书写的笔画信息进行采集和识别；A3⊃S3，开始书写状态与用户认知书写开始具有一致性；同时满足（U3•A3）⊃（S3•E3-n)；代表用户行为逻辑与设备逻辑联系属于真。

3）根据文字或符号识别模块将所获取的笔画信息、笔画的衔接组合信息转换出相对应的文字或符号信息，（E4- 1∨ E4- 2∨ E4- 3∨ E4-p）⊃U4；（A4- 1∨A4- 2∨ A4- 3∨ A4-q）⊃S3-2，笔画所组合的信息与用户认知具有一致性；同时满足[U4•（A4- 1∨ A4- 2∨A4- 3∨ A4-q）]⊃（S3-2•E4-p）；代表用户行为逻辑与设备逻辑联系属于真。

4）根据普适计算的原理将所识别的文字或符号信息以语音信号 输 出；E5 ⊃（U5- 1∨ U5-2•U5-3•U5- 4∨ U5-r）；A5⊃S3-2。用户确定自己的输入信息被设备识别，[（U5-2•U5-3•U5-4）•A5]⊃（S4•E5）；反馈关系为真。

5）用户从被动认知的交互过程转向用户主动命令设备执行任务。根据语音提示信息，通过选择模块进行文字或符号信息的切换或删除，用户主动意向切换输入信息，推断设备保持切换信息状态。

6）以特殊的笔画形式完成完整信息或指令的确认或撤消。

根据“古典逻辑”理论中的三段论规则和三段论谬误的第五则所解释：“如果有一个前提是否定的，那么结论必须是否定的。如果结论是肯定，也就是说，如果它断言两个类中的一个完全或部分包含在另一个之中，那么，前提必须断定这样的第三个类存在才能推出结论，即第三个类必须包含第一个且被第二个包含，而类之间的这种包含关系只能由肯定命题表示。所以，肯定的结论只能由两个肯定的前提得到。违反这条规则的错误称为从否定推肯定谬误”[12]。用户选择的逻辑表达关系为三段论流程见图2。

图2 用户判断选择的三段论流程Fig.2 Syllogism flow chart of user judgment and selection

以笔画输入的用户逻辑判断为前提，根据用户意向A 所判断确认的信息“”，可以进行肯定判断，随之交互设备的逻辑关系也可正常顺序执行。属于第一类，肯定命题。如果出现否定判断“”就需要进行用户干预，进行选择判断，或者返回前一或前几任务。属于第二类，否定命题。

通过以上推理关系得出用户认知识别的神经网络指导智能产品的运行逻辑过程，可根据用户行为逻辑来设置终端产品的运行功能树，进而确定产品的力流关系和能量流，形成产品的设计原理。

2 交互原型的物逻辑推理演绎

根据以上的用户认知逻辑建立上下文推理模型，通过神经网络演绎推理出交互终端设备的物逻辑，根据物逻辑需求技术突破点，形成产品功能原理，而功能原理的建立可用力流关系或能量流关系表示，从而建立交互原型。

2.1 交互终端的原理

交互终端模块的组成结构包括采集模块、笔画识别模块、存储模块、文字或符号识别模块。其中，采集模块，用于对手写笔画时书写方向和书写时间的信息采集，并输出给笔画识别模块。

书写方向和书写时间的信息可以通过360°压力和时间传感器的信息采集来获取：书写头部与书写界面的摩擦力信息经书写头部传递给书写笔内部的压力传感器，压力作用方向和时间的信息可以感测获得。传感器所测到的压力方位和时间便是笔画书写的方向和时间。

360°压力和时间传感器采集数据的工作原理见图3。该传感器以360°内侧均布感测点来测出书写头部带给其的作用力方位和作用时间。

图3 设备原理Fig.3 Principle of equipment

根据图1—3 中所提出的书写笔画的情景感知技术交互流程和神经网络运行逻辑，以及设备原理演绎出以下几种优选方案。形成设备交互的任务流，从而推断出设备运行的物逻辑。

图1 交互逻辑神经网络Fig.1 Interactive logic neural network

优选技术方案1 包括以下步骤。

1）通过360°压力传感器获取笔画的书写方向和书写时间的信息；

2）通过笔画识别模块将笔画的书写方向和书写时间的信息与存储模块中存储的对应关系获取相应的笔画信息。

优选技术方案2 包括以下步骤。

1）将笔画信息代入存储模块中的特征库查询，根据笔画的衔接、组合顺序寻找最匹配的文字或符号信息；

2）取得该笔画或笔画串所对应的含义，并传递给数据库分析模块。

优选技术方案3 包括以下步骤。

1）如果语音输入输出模块给出的语音信息正确且是用户所需的文字或符号，则用户继续进行笔画手写输入。

2）如果语音输入输出模块给出的语音信息不正确，不是用户所需文字或符号，则通过选择模块进行文字或符号信息的切换或删除操作。

优选技术方案4 包括以下步骤。

1）通过360°压力和时间传感器获取特殊笔画的书写方向和书写时间信息。

2）通过笔画识别模块将特殊笔画的书写方向和书写时间信息与存储模块中存储的对应关系获取相应的笔画信息。

3）将笔画或笔画串信息代入存储模块中的特征库查询，寻找最匹配的符号信息。

4）取得该特殊笔画对应的符号含义，转换成相应的操作指令信号。

根据任务流所表达的状态，笔画识别模块，用于根据存储模块中存储的对应关系，获取采集到的与上述作用力方位和时间相对应的笔画信息[13-15]。

2.2 交互终端的物逻辑

作用力方位和时间信息是通过360°压力和时间传感器感测并合成的作用力在感测平面内的方位和时间分布信息，见图3。存储模块用于存储书写方向和书写时间信息与笔画信息的相对应关系；该作用力的方位就是书写时终端移动方向，该作用时间就是书写时终端自身移动相应距离所经过的时间。通过对作用力的方位和时间的感测便可以合成与书写相应的笔画，作用力在感测平面内的方位和时间分布信息见图4—图9。

图4 横的物逻辑Fig.4 Material logic of horizontal

图6 撇的物逻辑Fig.6 Material logic of left-falling stroke

图7 捺的物逻辑Fig.7 Material logic of right-falling stroke

图8 横折的物逻辑Fig.8 Material logic of Horizontal and turning

图9 撇折的物逻辑Fig.9 Material logic of left-falling and turning stroke

书写横笔时，采集模块采集到书写方向和时间的信息示意图；由于书写横笔时，书写界面给书写头部的摩擦力通过书写头部传递给传感器，形成书写头部给传感器的压力（设为F′），该作用力F′与书写方向一致，作用时间与书写时间一致。所述作用力F'位于感测平面内X 轴正向区域内，并持续一段时间。图4 中背离圆心的径向360°为时间轴，同一方向的作用力F'离开圆心越远说明该方向书写的时间越长；相同半径圆周上的点表示力在同一时间内可以被感测到。

书写竖笔时，传感器感测到的作用力F'应该在感测平面内Y 轴负向区域内，并经过一段时间，见图5。

图5 竖的物逻辑Fig.5 Material logic of vertical

一些复杂的笔画，如横折、撇折，其所呈现的书写方向和时间的信息示意图原理同上。

笔画信息的获取是通过比对采集到的书写头部传感器的作用力的方位和时间分布信息，与预先存储的某一笔画在书写时其作用力在感测平面内的方位和时间分布信息的对应匹配关系确立。同时，设备物逻辑生成依据于用户的操作意向。对“横竖”为基本笔画的对应关系很好理解，对“撇折”来说，书写意向和对应的物逻辑曲线见图9，根据卷积神经网络的显著性识别原理，一次识别出首尾意向，二次迭代中，识别间断的作用力信息，完成识别，获取笔画信息。

通过获取的笔画信息和笔画串的衔接、组合，可对文字或符号信息进行识别。步骤主要由文字或符号的识别模块来实现。例如文字或符号识别模块所得到的笔画串信息为“竖”+“横折”+“横”+“横”+“竖”，比对存储模块中所存储的相关信息后给出其所识别的结果为：甲、申、叶、叮。最后由语音信息提示用户确认、切换或删除。

文字或符号识别模块用于根据笔画识别模块所得到的笔画信息及笔画的衔接、组合信息转换成相对应的文字或符号信息。

文字或符号识别模块用于文字识别时，所述存储模块还用于存储笔画衔接、组合所对应的文字或符号信息。比如，笔画串按照“︱”“—”“︱”衔接组合，其所对应的文字应该有“土”“工”2 种。文字或符号识别模块将所有对应的文字或符号信息传递给智能模块，最后通过语音信息传递给用户选择。

识别模块负责将用户笔画手写的书写笔画进行采集、识别并转换为数字信号由智能模块中的中央处理控制模块处理，最终通过语音输入输出模块进行语音输出供用户选择。

选择模块负责将用户的切换或删除的控制指令信息进行采集、识别并转换为数字信号由普适计算模块中的中央处理控制模块处理，最终通过语音输入输出模块进行语音输出反馈用户。

笔画手写识别模块会根据相同的笔画组合识别出不同的文字或符号信息，用户需要根据由普适计算模块传递出的语音信息，提示切换或删除操作。所述选择模块可以为一种按键，通过按压时间的长短来实现切换或删除所对应的控制操作指令。

3 交互原型设计

通过上述模块的相互作用，用户便可实现以笔画手写输入为基础的功能操作。而手心、桌面、墙面等常见的书写界面为用户带来极佳的操作体验，极大地摆脱了操作空间的束缚。也可拓展使用在具有隔空书写功能的输入产品上。从而设计出交互界面的基本结构原型见图10。反应了交互过程的物逻辑[16-18]，展示了交互原型与交互原型生成的上下文逻辑关系。

图10 输入设备的交互原型Fig.10 Interactive prototype of input device

4 结语

在交互情景中，老年用户基于经验、感知、信息加工处理与确认信息。根据情景感知技术，推理演绎用户与设备功能原理之间的交互逻辑，从而设计出相应终端设备的交互逻辑。在推理演绎过程中，借助神经网络和逻辑学的方法推断设备交互逻辑，从而设计出简便实用的产品结构原型。结合笔画书写终端设计的案例，从书写的情景过程入手，比对交互节点的概念分析手势、用户意向、交互设备和事件节点，建立任务流，通过上下文推理的方式衍生出交互终端的物逻辑，从而建立符合用户习惯的书写笔画输入终端的结构原型。通过案例验证了此设计方法的可行性。