基于手势交互的儿童认知开发学习产品设计研究——以“童伴”应用为例

毛晓悦

南京艺术学院，江苏，南京，210013

0 引言

我国国家统计局年度数据显示：少儿图书馆累计发放的有效借书证、图书馆图书流通人次、书刊文献外借册次仅2020年受疫情影响下有小幅回跌，整体在2011年至2019年呈逐年稳步上升趋势[1]。儿童对于学习的需求不断增加居民的教育类消费水平也不断提高，2016～2020年每年平均攀升2.2～3.1个指数，处于高水平稳定增长型。相较于同期的居民消费价格指数涨幅为0.9～2.9，教育类消费增长高于整体消费水平增长[1]，能够反映出教育消费支出在整体消费结构中的比重变大，结构的转变使得儿童学习智能产品有更广阔的前景。

1 手势交互技术应用研究

1.1 自然交互技术和手势交互技术介绍

自然交互强调交互的自然性、非侵入性，包括视觉、触觉、听觉、深度感知以及其他多感官的交互方式，如手势识别、人脸识别、眼动跟踪、脑电图、肌电图等都属于自然交互的范畴。动作的捕捉识别分为两个大方向：通过可穿戴传感器捕捉、通过视觉传感器捕捉。手势交互即使用手势进行人与机器间的信息交流，通过持续的跟踪手部手势，将其转换成计算机语言形成指令，完成一系列的机器操作。而从追踪到转换的过程，称为手势识别[2]。手势交互相较于我们常见的WIMP的交互范式，拥有更生活化、更情感化、易理解等优势。WIMP的交互范式在交互理解上已经优于最基础的指令型交互，但是依然存在交互触点小、对理解能力及操作专注度的较高要求、受二维操作空间的局限等问题，降低了部分人群和场景的交互体验。随着手势识别技术的发展，无外接设备的加持也能达到精确追踪22个关节点动作的效果。用户能自然地利用手部动作表达其交互意图，主要包括握拳、挥手、点、手掌转动等[3]。

1.2 手势交互技术国内外应用现状

目前，手势交互技术仍在研究与发展阶段，如基于视觉传感器捕捉精准度等问题还仍待改善。随着基于计算机视觉、肌电识别等技术的发展，手势交互技术已走向实际应用，在虚拟现实、汽车用户界面、生物医学、教育等领域中得到广泛应用，如在虚拟现实中使用手势进行装配，提高交互的自然性、体验感；在汽车用户界面，使用手势操作音响、温度等车载信息，扩大了驾驶员的操作范围，降低其部分操作负担和专注度要求，提高驾驶安全性；生物医学方面，可为手运动功能康复完善治疗方案[5]；教育领域内Nainggolan设计开发了虚拟人体骨骼实验系统，学习者可以点击骨骼学习，还可以用左手的手势控制摄像机的移动、缩放，利用交互的自然性、直观性和沉浸感的特点，提高学生的学习效果[4]。以上各例都能反映出手势交互的自然性、非侵入性、体验感、沉浸感、直观化的特点在实际中的运用。

2 用户与产品调研

2.1 用户研究

2.1.1 儿童的定义与特征

《儿童权利公约》（联合国）对儿童年龄的界定为18岁以下的任何人，中国少年先锋队的队龄规定为6～14岁，《儿科学》（高等医药院教材）以0～14岁儿童为研究对象。

生理特征：在视觉尺度特征方面，儿童的视感机能对高饱和度的红、黄、绿、蓝四色感知度最高；在行为特征方面，行为举止具有明显的随意性和情绪性；在认知方面，儿童对事物的感官认知是浅层的、表象的。但儿童对世界充满好奇心并且不断地进行探索，他们喜欢通过肢体直接去感知事物，建立认知体系[6]。

心理特征：幼儿期（0～4岁）儿童，行为来源于自然反射和人类本能，有极强的好奇心，在语言和行为上是以模仿他人为主。觉醒期（4～9岁）儿童，通过对周围事物的观察、模仿和学习，大致建立了对外界环境的认知，产生了相应的应变能力。受到身边物质环境和社会环境的影响，儿童会积累生活经验，从而发展为生存技能。成熟期（9～14岁）儿童，拥有强烈的自主意识，渴望得到他人的关注和认可，情感复杂，因此对个人空间十分注重。

2.1.2 用户需求调研

通过问卷，对目标用户群体（儿童）以及消费群体（家长）进行调研，依据调研得到以下结论：（1）对家长的调研结果显示，家长在孩子儿童阶段最重视其认识世界的能力，对儿童使用电子设备的允许度较高，但赞成度较低。同时调研显示，大量儿童都使用过智能学习产品，而增强思维能力、学习课本知识是家长最注重的功能点，对于智能识字产品大部分家长持有使用意向。（2）在对儿童的调研中，3/4儿童平时会阅读，他们在生活中对生字词好奇的比例较多，但进行查阅的频率较少，因受父母和儿童环境多重因素影响，大多儿童询问父母的频次较低，并且对大自然的接触并不多。（3）关于手势方面，完全不认识手势的儿童比例较少。

2.1.3 基于KANO模型的用户需要层次模型

通过用户对功能需求调查问卷的作答以及线下访谈，绘制KANO模型图，将功能分为以下四种：（1）必备型需求，如识字功能；（2）期望型需求，如流畅的操作体验、时间功能、手势拍摄功能；（3）魅力型需求，如手势交互功能、植物识别与植物交谈功能、视频通话；（4）反向型需求，如娱乐游戏。

根据查阅儿童群体特征方面的文献，将研究人群定为4～9岁的觉醒期儿童。4～9岁儿童为第一研究对象，他们开始有认识文字的需要，且通过观察、模仿、学习建立对世界的认知，已进入前期运算阶段，并通过事物的表象对其进行思考。第二研究对象即为25～50岁间的监护人。

2.2 儿童学习产品调研

通过利用关键词对文献进行检索，发现近五年内随着交互设计的发展与应用，研究成果呈上升趋势。通过归纳分析发现，现有学习产品存在的问题主要集中在（表1）：（1）设备上，可穿戴的设备较少；（2）场景上，部分产品使用场景局限于家中，通过游戏甚至是枯燥的文字介绍知识，与生活的关联性弱；（3）内容上，部分软件内容难度与儿童现有认知不匹配，内容不适合儿童现阶段能力；（4）交互上，存在功能步骤繁琐、交互操作复杂、交互接触点小，界面图形抽象等问题。

表1 现有儿童学习产品调研

3 基于手势交互的儿童学习产品设计实践

3.1 产品设计策略

3.1.1 解决策略

（1）自然手势交互技术的使用。儿童认知开发产品在恰当的交互设计原则指导下对儿童的学习有促进作用。手势交互不仅能在用户使用层面降低儿童的学习成本，也能在思维逻辑方面引导儿童建立正确的人机交互理念。交互设计不应一味地适应机器，应坚持“以人为中心”“以用户为导向”的设计原则，交互方式应符合人在现实世界中的自然操作认知。

（2）情感化设计。在众多的儿童益智开发中，多为直接地对儿童进行图画学习指导，甚至是单一的搜索、知识输出工具。对此，可在产品中充分利用儿童好奇心和好探索的性格特点，引导儿童用手势交互对周围各种事物进行观察、思考和探究，培养其兴趣以及对自然世界的归属感。

（3）生活化设计。研究发现，儿童在行为过程中的大脑运转速度是最积极的，所以在行为过程中对其认知进行开发，能达到效果的最大化[7]。儿童的行为目的性较弱，所以儿童的学习应贯穿于生活中。StrommenE以及AlexanderK曾通过调研发现，大多数儿童教育产品都强调教育目标，而现实情况是儿童会对强学习目标产生逆反心理[8]。所以儿童认知应源于生活、用于生活，而非“填鸭”式学习。采用OMO的模式将线上与生活紧密结合，保证儿童能在生活中正确地调用认知。

3.1.2 用户体验蓝图

以《童伴》产品设计为主题，将儿童使用产品的具体使用流程和交互操作为关注点，设计图1为用户服务蓝图。

图1 用户体验蓝图

3.2 产品设计方案

3.2.1 产品支持设备与功能信息架构

（1）在设备方面，使用MR科技眼镜设备，以儿童日常生活为目标场景。设计目的是希望儿童在自然与玩乐中学习，与自然互动，良性成长。

（2）在产品具体功能方面：①指认文字，产品以停顿时间作为约束条件，设备通过手势捕捉、角度与距离测算，捕捉所指认的文字，对文字做出卡通解释与知识拓展；②同上述方法，对植物进行识别学习，并建立指认记录，形成儿童自己的知识库，对重点标注植物、设备会在日常生活中搜寻并指示目标物品；③手势触发拍摄、录像，查看相册。

3.2.2 产品手势设计

“童伴”以MR眼镜为设备载体，经过设计、调研、用户反馈，我们设计了八个交互动作，如图2所示，依次为点选、捏合拍照、取景框录像、打开相册、滑动翻页、多图观看、关闭相册。

图2 产品手势设计图（图片来源于作者自绘）

3.2.3 产品界面设计

图形用户界面交互以高简洁度以及画面的直观可读性作为主要的设计思路。视觉界面是用户最为直接的接触到的显性交互，作为一款智能儿童产品，根据调研以及儿童视觉尺度特征，采用主色调为明亮黄，具体界面如图3所示。

图3 产品界面设计图

4 设计评价

4.1 用户满意度评价

目标人群从GUI、交互操作、功能三个维度对其进行满意度评价。每项问题平均分超过7分则视为满意（绿色），最后利用有效用户（A～X）满意度算出平均值则为最后的满意度。结果显示，儿童操作手掌翻动类的手势需进一步优化，植物交流为最满意的功能点。产品整体都在7分以上，满意度较高。具体结果如图4所示。

图4 用户满意度评价（图片来源于作者自绘）

4.2 用户反馈

采用半结构化访谈的研究方法，获取目标（消费）用户对设计的反馈，验证了用户手势交互形式的喜爱度。但对于个别手势如打开相册功能，发现误操作和双手操作困难的问题。消费用户的问题点集中在儿童的学习热度问题，可以再做探讨。

5 结语

随着信息社会的发展，儿童认知开发类产品的交互方式的设计更具人文价值，其不仅与儿童的认知开发有着强正相关性，也可以帮助儿童在智能机器时代建立起更自然的人机交互关系。这里我们从自然手势交互出发，通过对现有产品的归纳分析以及文献查阅法了解儿童的心理发育特征，提出新的儿童产品交互设计理念：自然手势交互技术可以提升儿童学习产品的易用性和情感化，建立更人性化的人机交互习惯。本文对“童伴”儿童认知开发类MR应用进行设计实践，并完成设计评价。

交互的人性化、情感化、自然性等必然是未来儿童电子产品的发展趋势。自然手势交互技术仍在不断地发展与完善，在设备上向更加轻量化[9]、低能耗、高灵敏性、低延迟等方向的发展，以及在交互设计上如何形成良好的交互反馈等研究的突破，都能助推自然手势交互技术在儿童产品应用中用户体验等方面的发展。