基于多模态感官体验的儿童音画交互设计研究

李晓英，余亚平

基于多模态感官体验的儿童音画交互设计研究

李晓英，余亚平

(湖北工业大学工业设计学院，湖北 武汉 430068)

为解决儿童图画教育的单一灌输形式和传统图画绘制方式引起的儿童思维受限、互动不足等问题，构建基于多模态感官体验的儿童音画交互系统。该系统基于儿童感官行为能力特征，融合视听感官属性并根据交互设计中人与物的关系匹配儿童音画交互的设计需求，构建儿童音画交互行为；应用可视化技术方法，建立声音与图画的映射和儿童音画交互平台。通过创新绘画体验，使儿童音画创作方式更加丰富、多元，扩展儿童认知能力边界。运用模糊德尔菲法收集和筛选影响儿童绘画的指标因素并确定发声绘画体验指标模型，模糊层次分析法计算各项指标要素权重，采用访谈形式结合模糊综合评价进行儿童用户相关实验，验证平台的可行性。以儿童发声作为图画创作的介质，改变传统图画手、脑、眼并用的绘制方式，从而优化儿童的绘画互动体验与提高图画创作兴趣。

多模态感官体验；视听交互；儿童音画交互平台；声音可视化；音画映射

随着社会及家庭对儿童教育问题的重视，儿童教育培养理念逐渐向创造力培养方向转变[1]。传统的儿童绘画启蒙教育以临摹为主导，绘画工具、材料、空间条件等外部因素一定程度上束缚了儿童的绘画思维与创作天性。儿童易从有趣的互动形式中产生积极的情绪[2]，随着交互技术的发展，交互形式变得丰富、多元[3]，针对如何使儿童在寓教于乐中获得教育的启蒙，程宽[4]提出基于视听联觉教育的儿童智能玩具设计研究，建立色彩与音乐音符之间的交互方式，达到增进儿童想象力与创造力的目的；周晔星[5]基于有形用户界面的儿童音乐智能玩具设计研究，运用视听联觉效应建立音符、音符节奏变化和音符的长短与灯光指示信号、不同小灯的亮暗切换及亮灯持续时间的映射，实现了儿童感受音乐魅力的同时增强视觉感知能力的目标。声音可视化的研究方法不断向科学化和系统化转变[6-7]，为设计研究提供了多种应用可能性。胡雨琦[8]将声波频率与色调、振幅与颜色的明度、饱和度建立映射，利用声音可视化技术开发了一款以变换灯效的形式实时交换彼此环境声音的情感交流氛围灯。许媛[9]采用声音可视化技术，借助水墨符号和抽象几何图形，运用形式构成法为观者搭建体验桥梁，传达声音信息的视觉化呈现方式。张成义[10]则利用数字手段制作的交互式音乐数字可视化，音乐的潜在心理诉求反映到计算机界面与图形图像元素之上，以强化多动症儿童的注意力方式。在相关研究的基础上，本文构建基于多模态感官体验的儿童音画交互系统、儿童音画交互行为与可视化技术，建立声音与图画变量的映射，改变传统的手、脑、眼并用的图画绘制方式。以发声作为图画创作的介质，从而创新儿童的绘画互动体验与提高图画创作兴趣。

1 儿童音画交互系统设计研究

儿童体验周围的世界以及与他人进行互动的方式根植于其应对物理环境的感官，即：视觉、听觉、触觉、味觉或嗅觉。模态可以被广义地定义为“一个依赖于感官的传播媒介的系统”[11]。多模态感官体验结合了来自2个或多个感官系统并且通过人机交互向用户传达有效信息。视觉和听觉感官相结合在人与产品交互和体验中发挥着不同的作用[12]。儿童音画交互设计系统基于儿童音画交互行为与多模态感官体验模型，音画交互系统建立的交互机制指导儿童的多感官体验，多模态感官体验模型完成声音与图画的转化。

1.1 儿童音画交互系统

儿童的认知与智力的发展主要以感官系统的发展为基础[13]。不同时期的儿童感官认知水平、心理动机和行为特征会有所不同。3～5岁年龄段是儿童接受绘画启蒙教育的关键时期，视听感官认知、心理动机及视听感官行为特征(表1)。在听觉上，对音乐接受能力及识别能力的增强、对歌曲所蕴含情绪理解能力的提升，使儿童的音乐认知能力逐渐改善，触发儿童积极参与有趣的行为模式的心理，诱发其无意识哼唱行为，辨别音乐所表达情绪的行为及通过改变频率或振幅有意识改变歌曲特点的行为。在视觉上，因对颜色、形状、大小、位置及移动快、慢等辨识能力逐渐增强，能明白图画或视频表达的意义，促使儿童产生通过使用玩具作为道具来表达不断发展的身份感的心理动机，诱发儿童进行形状绘制、自主涂鸦与个性化绘画的行为。

儿童音画交互系统以3～5岁的儿童为研究对象，提取并分析该阶段儿童的视听感官行为能力特征，设计符合儿童心理认知和自然行为的音画互动方式。儿童音画交互系统(图1)统一以儿童视觉与听觉感官行为能力为基础，感官行为能力特征引导儿童音画交互行为。通过提取儿童行为能力特征关键词并分析感官行为属性来建立视听行为，根据交互设计中人与物的关系匹配其需求要素，建立音画交互行为。听觉感官上，音乐有情绪属性、固有属性及物理参数；视觉感官上，图画有情绪属性、组成元素、生成方式及状态。将音乐的情绪属性和物理参数与图画的情绪表现和组成元素建立关联，构建视听感官的音画交互行为。在绘画过程中，儿童由绘画娱乐需求到图画创造需求，上升至情感体验的需求。根据儿童的视听感官行为能力特征和绘画需求，引发儿童无意识哼唱歌曲行为，有意识用节拍、旋律、力度、速度等方式表达歌曲情绪的行为及改变歌曲固有属性的发声行为，以歌唱形式与他人进行互动的行为。实现儿童信息互动的实时接收与反馈，达到提高儿童创造力与想象力的目标。

表1 3～5岁儿童感官认知、心理动机及行为特征提取

图1 儿童音画交互系统

1.2 多模态感官体验模型

图2为基于视听感官的多模态体验模型，分为信息获取阶段的声音域、声音与图画映射阶段的映射域、创意表达阶段的可视化域3个部分。声音域为模型的输入端口，基于儿童感官行为能力，体现于视听感官体验过程中声音的输入形式及用户声音信息样本库。映射域为模型的创意映射部分，运用可视化技术，构建声音与图画的映射。可视化域为模型的输出端口，基于Bertin[14]的视觉变量，建立图画库，通过动画机制与约束机制呈现图画输出和创意表达，体现于视听感官体验过程中图画库和图画的输出形式。

2 儿童音画交互平台设计

儿童音画交互平台包括声音、图画映射及输入与输出的2个分支系统。音画映射是声学与视觉变量的映射分析过程；输入与输出系统分为2个部分。输入系统为声音的输入形式及声音样本库，输出系统为图画样本库及图画的输出形式。基于Touch Designer编程的声音可视化技术，应用音画映射获取创意表达及输入与输出系统来构建声音与画面交互的平台。

2.1 声音图画映射分析

思维映射分析过程主要分为声音属性分析、图画属性分析与映射3个环节。其中映射是该流程中的关键环节，主要是声音信息经过处理后获得物理参数，建立波形、振幅、频率与颜色、形状的色彩饱和度、形状的尺寸及形状出现的速度间的映射。

图2 多模态感官体验模型

在以声音为主题的设计研究中，主要围绕可视化技术实现声音数据的可视化[15]。本文以基于Python语言的Touch Designer作为声音数据主要的开发环境，对声音可视化平台的数据进行呈现。该软件拥有强大地编程能力和多样的功能元件，其元件库可以实现对声音播放的控制、数据处理与分析，完成对波长、频率、振幅等关键性声音参数的值域分析和可视化呈现。作为一种基于节点模块的分布式声音处理软件，可以在交互研究和设计开发中提供更加方便的数据接口。利用Touch Designer编码程序进行声音信息的获取与处理，将其分为音频管理与播放及音频分析2个环节。音频管理与播放模块主要控制声音源的播放与切换，获得左右声道的波形图。音频分析模块为音频的处理、分析与数据获取过程，左右声道声波经过去噪、挑选、合并、数学、延后或频谱分析等处理后获得关于频率与振幅的波形图。

将颜色、形状、尺寸、位置构成图画的视觉变量。颜色固有属性为色相、明度与饱和度；形状为基本图形的表现形式；尺寸为基本图形的面积大小；位置为基本图形的空间分布。

声音与图画映射分析，如图3所示。声音信息经过处理后获得物理参数，建立波形、振幅、频率与颜色、形状的色彩饱和度、形状的尺寸与出现的速度间的映射。波形映射颜色，调整R，G和B值设置基本图像的颜色，振幅值域映射基本图形颜色的饱和度，频率值域映射基本图形出现的速度及尺寸变化。随着声音信息实时输入，物理参数值发生变化，视觉元素做出相应的反馈。

2.2 输入与输出系统建立

图4为儿童音画交互平台。输入系统分为声音的输入形式与声音样本库。声音输入主要分为单人模式和多人模式2种。儿童交互过程中的无意识行为、有意识行为构成单人模式；多人互动行为构成多人模式。声音样本库包含连续生成的声音与间歇生成的声音。

输出系统分为图画库与图画的输出形式。图画库包含：颜色、形状、尺寸与位置4个库。颜色库中，单人模式时，色彩的设置是以心理学颜色[16]为参考，颜色匹配情绪；互动模式时，颜色与波形匹配，暖色对应女孩发声波形，冷色对应男孩发声波形。形状库为点、线、面等表现形态。尺寸库为面积大小库。位置变量因考虑三维空间，即水平方向(轴)、垂直方向(轴)、垂直平面指向观察者方向(轴)。图画的生成采用动画与约束机制。动画机制主要为随机或规律的图画生成方式，包含波动、折线、填充、旋转、扭曲、重叠、分割、裂变、放射等。约束机制为图画中基本图形的生成受到轮廓的束缚，外形轮廓库由卡通人物、动物、植物、交通工具等的外形轮廓组成[17]。图画为静态图画与动态视频2种输出形式。基本图形的形状、尺寸、颜色、位置及速度随着声音的实时播放并受其纹案轮廓外形的约束逐渐生成。

图3 声音与图画映射

图4 儿童音画交互平台

2.3 基于声音可视化的儿童音画交互平台流程设计

图4为儿童音画交互平台流程。包括：①声音信息采集。儿童自然发声，利用计算机内置的麦克风进行声音音流的实时输入。②声音数据的处理与转化。使用Touch Designer 编码程序建立音频管理与播放系统，控制儿童声音与预设音频文件的实时播放与切换。音频分析模块进行声音有效信息的处理及数据的呈现。通过音频分析模块将左右声道的波形图转化为可被利用的波形图，进行波形图、振幅及频率的值域分析及量化呈现，通过程序编码及节点连接并应用声音图画创意映射将波形图、振幅及频率等量化值与图画变量建立映射。③可视化的表达。通过对声音与图画进行实时同步控制，图画效果在屏幕终端呈现。音画交互平台是基于声音与图画的映射思维，声画样本库的多项选择，经过编程平台的整合完善，实时声控和图像控制等复杂功能的集成平台。

儿童音画交互平台，以可视化技术为载体，建立声音与图画的映射分析，使声音与图画产生关联。声音输入与图画输出系统的多样选择，使平台拥有多样和丰富的内容形式。音画交互平台的设计流程引导儿童完成声音信息的实时输入与视觉效果的动态反馈。

3 儿童音画交互案例展示

图5以单人模式为例，进行3～5岁儿童音画交互案例展示。儿童以单人模式，根据自己的喜好与情绪进行画面元素的选择，输入声音后基本图形以填充生成方式进行画面视觉效果展示。随着儿童发声，小鱼逐渐长大，如图5(a)～(e)所示。系统提示后，儿童可保存画面并结束创作；也可选择继续创作，出现相同的鱼儿轮廓，界面显示如图5(f)和(g)所示；也可重新进行画面元素的选择，输入声音后界面显示如图5(h)～(j)所示。此后可继续创作或重新选择画面元素，也可保存画面并结束创作。

在儿童音画交互平台上，儿童根据自己的喜好选择图画元素进行创作，如图6所示。

4 用户实验验证

参考文献[18]构建的设计评价方法，利用主客分析相结合来进行儿童对发声创作作品接受程度的实验，将儿童的主观判断进行量化。①通过模糊德尔菲法(fuzzy Delphi method，FDM)收集影响儿童绘画的指标因素，由专家确定层级指标因素，并确定儿童发声绘画体验指标模型；②确定儿童发声绘画体验指标权重，利用模糊层次分析(fuzzy analytic hierarchy process，FAHP)计算准则层与二级准则层所占权重比值[19]；③儿童在音画交互平台上进行图画创作，以访谈的形式记录儿童对发声创作作品的评价；④结合权重进行模糊综合评价[20]。

将3～5岁年龄段儿童的发声绘画体验作为评价指标要素。记录儿童绘画过程中的行为，儿童音画交互系统，挖掘儿童发声绘画的影响因素。运用FDM经专家讨论后确定儿童发声绘图体验的一级和二级准则层的评价指标。采用双三角模糊数法对儿童发声绘画体验的二级评价指标进行问卷统计分析，利用“灰色地带定检法”检验收敛性，得出门槛值=6.93，优选出其二级评价指标。最终确定14个二级准则指标为11颜色、12大小、13形状、14图案、15反馈、21声音识别、22元素选择、23互动表现、24动态展示、31趣味、32益智、33专注、34娱乐、35安全。儿童发声绘画体验层级指标模型，如图7所示。

儿童发声绘画体验的层级指标因素权重见表2。以儿童发声绘画体验层级指标模型为基础，运用FAHP对层级指标权重进行计算。对10位专家(儿童绘画玩具设计专家5人、儿童心理学专家3人及技术专家2人)进行层次分析问卷调研，运用采用SAATY提出的1～9数值判断尺度表，对各层、各评价指标重要性比较评分的问卷汇总后分别构建判断矩阵。利用Yaahp软件计算所有专家对于各评价指标的权重值，采用几何加权平均处理权重值求得最终结果，并通过一致性检验。

图5 儿童音画交互案例展示流程((a)鱼儿轮廓图；(b)鱼儿绘制过程图；(c)鱼儿填充图；(d)鱼儿长大图；(e)鱼儿最终生成图；(f)继续创作鱼儿轮廓图；(g)继续创作鱼儿最终生成图；(h)选择图画元素后猫咪轮廓图；(i)选择图画元素后猫咪绘制过程图；(j)猫咪和鱼作品图)

访问当地某幼儿园，对30名儿童进行测试说明，儿童选择元素在音画交互平台上进行图画创作。作品完成后，以访谈形式记录儿童对发声创作作品的评价内容。

图6 儿童音画作品展示((a)猫咪和鱼作品图；(b)猴子与桃作品图；(c)果蔬作品图)

图7 儿童发声绘画体验层级指标模型

Fig. 7 Hierarchical index model of children’s vocal painting experience

表2 儿童发声绘画体验的层级指标因素权重表

将得到的模糊综合评价矩阵与AHP得到的层级指标权重进行结合运算。安全下的层级权重为

进而得到可视化1评价权重向量为

同理得出体验2，发展3评价权重向量。

将二级准则层的评价权重向量进行组合建立综合矩阵，并用一级准则层的权重与之相乘，得出总评价权重向量

将总评价权重向量与评价分值加权计算，最终得到儿童对发声创作作品的评价总得分值为81.91。根据模糊评价等级及评价标准，发声创作作品的评价达到良好的等级，表明儿童对自己发声创作的作品在一定程度上是认可的。

5 结束语

以儿童视听感官行为能力为基础构建儿童音画交互系统，基于声音可视化技术，建立声音与图画变量的映射及儿童音画交互创作平台。在儿童音画交互系统中，后续将继续完善多人模式下的音画联合创作，继续优化音画创作过程中声音情绪属性的表达。通过创新儿童绘画体验，使儿童音画创作方式更加丰富与多元，提升儿童的绘画兴趣，扩展儿童的认知能力边界。

[1] 杜梦泽. 基于德培(DAP)教育理念下的学龄前儿童玩具设计[D]. 大连: 大连工业大学, 2018.

DU M Z. Preschool children’s toy design based on DAP education concept[D]. Dalian: Dalian Polytechnic University, 2018 (in Chinese).

[2] WANG L Y. The influence of picture book interaction design on preschool children’s reading experience[M]//HCI International 2020 – Late Breaking Papers: Cognition, Learning and Games. Cham: Springer International Publishing, 2020: 485-503.

[3] 申兆伟. 基于交互体验的创意灯具设计[D]. 青岛: 青岛大学, 2020.

SHEN Z W. Creative lighting design based on interactive experience[D]. Qingdao: Qingdao University, 2020 (in Chinese).

[4] 程宽. 基于视听联觉教育的智能玩具设计研究[D]. 杭州: 浙江大学, 2016.

CHENG K. Design research of an intelligent toy based on synesthesia education[D]. Hangzhou: Zhejiang University, 2016 (in Chinese).

[5] 周晔星. 基于有形用户界面的儿童音乐智能玩具设计研究[D]. 杭州: 浙江大学, 2017.

ZHOU Y X. Design research of children’s music smart toy based on tangible user interfaces[D]. Hangzhou: Zhejiang University, 2017 (in Chinese).

[6] 徐百鸣. 声音可视化中“音流学”的研究与探索[D]. 杭州: 中国美术学院, 2018.

XU B M. Research and exploration on cymatics in sound visualization[D]. Hangzhou: China Academy of Art, 2018 (in Chinese).

[7] 李雨蒙. 交互类声音视觉化的设计表现方法研究[D]. 大连: 大连理工大学, 2019.

LI Y M. Research on design presentation methods of interactive sound visualization[D]. Dalian: Dalian University of Technology, 2019 (in Chinese).

[8] 胡雨琦. 基于视听通感的情感交流产品创新设计[D]. 杭州: 浙江大学, 2020.

HU Y Q. Innovative design of phatic product based on audio-visual synaesthesia[D]. Hangzhou: Zhejiang University, 2020 (in Chinese).

[9] 许媛. 基于通感效应的声音视觉化研究: 以雨声为例[D]. 杭州: 浙江理工大学, 2019.

XU Y. A study of sound visualization based on synesthesia effect—A case study of rain sound[D]. Hangzhou: Zhejiang Sci-Tech University, 2019 (in Chinese).

[10] 张成义. 音乐数字可视化在多动症儿童治疗中的设计与实现[D]. 北京: 北京工业大学, 2015.

ZHANG C Y. Music visualization working on adhd’s treatment[D]. Beijing: Beijing University of Technology, 2015 (in Chinese).

[11] 怀高. 基于多模态感官用户体验的移动性能扬声器需求洞察[M]. 武汉:中国电力出版社, 2021: 774-783.

HUAI G. Insight into the needs of mobile performance speakers based on multimodal sensory user experience[M]. Wuhan: China Electric Power Press, 2021: 774-783 (in Chinese).

[12] 林霜, 黄若涵. 基于多模态感官用户体验的产品声音感知研究[J]. 装饰, 2019(8): 102-105.

LIN S, HUANG R H. Research on product sound perception based on multimodal sensory user experience[J]. Art & Design, 2019(8): 102-105 (in Chinese).

[13] 高月梅, 张泓. 幼儿心理学[M]. 杭州: 浙江教育出版社, 1993: 59-60.

GAO Y M, ZHANG H. Preschool psychology[M]. Hangzhou: Zhejiang Education Publishing House, 1993: 59-60 (in Chinese).

[14] KOSCHMIDER A, FIGL K, SCHOKNECHT A. A comprehensive overview of visual design of process model element labels[M]//Business Process Management Workshops. Cham: Springer International Publishing, 2016: 571-582.

[15] 赵玉婉, 张丙辰, 王艳群, 等. 基于视觉认知的自闭症儿童干预图卡角色造型设计研究[J]. 图学学报, 2020, 41(3): 461-468.

ZHAO Y W, ZHANG B C, WANG Y Q, et al. Research on role modeling design of intervention card for autistic children based on visual cognition[J]. Journal of Graphics, 2020, 41(3): 461-468 (in Chinese).

[16] 杨俊杰. 色彩心理学在儿童福利空间设计中的应用研究[D]. 苏州: 苏州大学, 2018.

YANG J J. The application research of color psychology in the design of children’s welfare space[D]. Suzhou: Soochow University, 2018 (in Chinese).

[17] 赵耀, 王祥. 基于声学可视化技术的交互式空间数字设计研究[J]. 装饰, 2020(4): 96-99.

ZHAO Y, WANG X. Research on digital spatial interactive design based on acoustic visualization technology[J]. Art & Design, 2020(4): 96-99 (in Chinese).

[18] 王志愿, 戴志鹏. 基于FDM与FAHP的儿童滑板车设计评价与改进[J]. 图学学报, 2021, 42(5): 849-855.

WANG Z Y, DAI Z P. Design evaluation and improvement of Children’s scooter based on FDM and FAHP[J]. Journal of Graphics, 2021, 42(5): 849-855 (in Chinese).

[19] 王媚雪, 翟洪磊. 基于AHP与TOPSIS法的自闭症儿童康复训练产品设计评价方法及应用[J]. 图学学报, 2020, 41(3): 453-460.

WANG M X, ZHAI H L. Evaluation method and application of rehabilitation training products for autistic children based on AHP and TOPSIS[J]. Journal of Graphics, 2020, 41(3): 453-460 (in Chinese).

[20] 李静, 祖江颖, 王依晨, 等. 基于AHP和模糊综合评价方法的儿童早教机设计[J]. 包装工程, 2021, 42(2): 118-122, 142.

LI J, ZU J Y, WANG Y C, et al. Design of early childhood instructor based on AHP and fuzzy comprehensive evaluation method[J]. Packaging Engineering, 2021, 42(2): 118-122, 142 (in Chinese).

Research on interactive design of children’s sound and painting based on multimodal sensory experience

LI Xiao-ying, YU Ya-ping

(School of Industrial Design, Hubei University of Technology, Wuhan Hubei 430068, China)

In order to solve the problems of children’s limited thinking and insufficient interaction caused by the one-sided inculcation of children’s picture education and the traditional way of drawing, the audio-visual interactive system for children based on multi-modal sensory experience was constructed. Based on the characteristics of children’s sensory capacity, the system integrated the audio-visual sensory attributes and matched the design requirements of children’s audio-visual interaction according to the relationship between human and objects in interaction design, and constructed children’s audio-visual interactive behaviors. The visualization technology was applied to the establishment of the mapping of sound and picture and the audio-visual interactive platform for children. Through the innovated painting experience, children’s sound and painting creation were made richer and more diversified, and the boundary of their cognitive ability was expanded. The fuzzy Delphi method was utilized to collect and screen the index factors affecting children’s painting and to determine the index model of vocal painting experience. The fuzzy analytic hierarchy process (AHP) was employed to calculate the weight of each index element. The feasibility of the platform was verified by experiments regarding children users, which were a combination of interviews and fuzzy comprehensive evaluation. Children’s vocalization served as the medium of painting creation, which could change the traditional drawing method using hands, brain, and eyes, thereby optimizing their interactive painting experience and heighten their interest in painting creation.

multimodal sensory experience; audio-visual interaction; children’s audio and painting interactive platform; sound visualization; sound and picture mapping

29 November，2021；

Special Program for Postgraduates of Hubei University of Technology (2020048); Industry-University Cooperative Education Fund of Ministry of Education (202002255007)

TP 391

10.11996/JG.j.2095-302X.2022040736

A

2095-302X(2022)04-0736-09

2021-11-29；

2022-04-17

17 April，2022

湖北工业大学研究生专项(2020048)；教育部产学合作协同育人基金项目(202002255007)

李晓英(1973-)，女，教授，硕士。主要研究方向为产品设计、用户体验及交互设计等。E-mail：2239909513@qq.com

LI Xiao-ying (1973-), professor, master. Her main research interests cover product design and user experience, etc. E-mail：2239909513@qq.com