多模态幼儿英语电子绘本开发与应用的实证研究

宋占美，孙倪明，屈 燕

绘本阅读能够促进幼儿的语言发展，幼儿能够通过语气语调的变化感知语言韵律，通过看图片猜测某一单词或句子的意思，从而形成概念与图片的对应，还可在教师的支持下通过参与故事表演共同构建一些特定的语言环境、语言形式和意义过程。英语绘本是目前国内双语幼儿园普遍采用的重要教学媒介，以其丰富的故事性、趣味性影响幼儿的英语学习。但由于传统的纸质绘本质量、设计以及教师的阅读水平不高，导致双语教学整体互动性弱、教师容易忽略幼儿的情感情绪体验和阅读兴趣培养等问题；[1]且国内双语幼儿园的英语教师多为本土老师，专业化水平不高，存在“传统教育经验模式、线性思维”倾向。[2]因此很多双语幼儿园都存在教学形式化、小学化的倾向。针对以上问题，本研究以“让幼儿在快乐游戏化过程中体验英语绘本学习的有趣”为目的，探究英语绘本学习的新手段——多模态英语电子绘本。

一、多模态电子交互式绘本的开发

(一)理论与实践基础

“儿童需要借助转喻认识事物之间的邻近关系，形成形象思维能力，由此实现认知发展。好的绘本应善于使用文字与图像等多模态转喻，用儿童熟悉的认知域来突显新的认知域，以此引导儿童关注和理解绘本内容”[3]。Neuman(1997)在她的协同理论中提出，通过多媒体增强语言信息实际上可能有助于儿童学习新内容，为他们提供处理新信息的新工具。[4]多模态电子交互式绘本则是利用视频、图谱、真人语音、操作引导按钮组成的儿童可触摸电子绘本，融合了听觉、视觉、触觉三大模态，基于维果斯基社会文化理论和多模态文本理论(Jewitt &Kress，2003;Kress，2010)而诞生的一种运用于幼儿绘本领域的教学辅助工具。[5]

国外已有研究通过大量实验证明基于电子设备的交互式绘本可以让3—6岁幼儿使用，并且可以在一定程度上促进幼儿的双语学习和提升幼儿语言思维能力，尤其在3—6岁这个语言发展的关键期，采用多模态电子绘本可以促进幼儿有效阅读。Cristine.W是目前多模态电子交互式绘本使用领域的专业研究者，她根据多个实验研究，得出了关于多模态绘本的如下特点：(1)有动画作为辅助可吸引孩子注意；(2)多模态绘本声画同步，通过丰富的按键可以让孩子点读、跟读、听读文本；(3)绘本操作过程中及时弹跳出来的单词解释可以巩固孩子的单词记忆；(4)多种功能模式阅读，尤其是孩子利用集成模式(听读、使用不同功能的按键、评论文本)和伙伴一起阅读，可以促进社会互动能力发展。[6]美国、土耳其等国家的幼儿园目前已经开始投入多模态电子绘本作为促进幼儿双语学习的重要辅助工具。2018年4月，亚马逊推出了一款儿童版智能音箱Echo Dot Kids Ediyion，该系统属于多模态人机交互，研究者目前将这套系统运用于儿童早期阅读领域，通过儿童自由点击、传输语言，只需轻点电子屏幕上的图文，视觉交互终端就能通过摄像头采集，并对内容进行定位、提取和识别，实时解决孩子在阅读中遇到的难题。[7]国内研究者孙平(2016)也提出通过构建儿童绘本跨媒体阅读新模式，促进新时期儿童绘本阅读的良性健康发展；[8]刘晓婷(2016)通过版式风格、构图、角色造型、文字特征和色彩特征五个方面，设计儿童绘本APP，让儿童在观看电子绘本时通过视觉、听觉、触觉与电子绘本产生互动。[9]但国内的幼儿园目前很少有利用多模态电子交互式绘本进行双语教学的案例。

事实上，“诸如变焦镜头和音效等多媒体增强功能可以使动作更加突出，并将孩子们的注意力吸引到相关细节上”[10]。多模态电子交互式绘本通常有动画视频、功能按键、导航菜单和其他(返回、数据保留)这几个部分，[11]每个部分的设置也是构成电子绘本特点的重要因素，如“动画”，不同的绘本有不同动画部分，包括听读无动画、自动连播动画、手动点播动画和可自动可手动模式；再如“功能按键”，有无按键绘本，也有与故事线保持一致的按键，这些不一样的设置能告诉教育者怎样的模式才是最适合幼儿的，并反馈到下一轮研发中，将功能按钮、绘本排版、动画、测试等模块都调整到适合幼儿使用的方式。

(二)开发过程

1.开发理念与目标

多模态电子交互式绘本是对传统纸质绘本的补充，可以在幼儿欣赏静态绘本之余，通过自主听、看、玩游戏等方式，丰富整个英语学习过程，让幼儿在涂画和玩乐中潜移默化地接受英语语言的熏陶。设计该类型绘本的初衷是想要解答“怎样实现孩子与绘本之间的联系”“如何让绘本‘自己说话’”“如何让幼儿在游戏中学英语”“怎样帮助孩子养成良好的阅读习惯”以及“如何让孩子在玩乐中感知原汁原味的英语”这几个问题。因此，开发目标是：(1)通过巧妙的软件设计，让孩子自己在绘本里找寻答案；(2)在此基础上，通过原绘本的内容，让孩子更好地理解单词句子和情境；(3)通过让孩子自主点读，让教师从“全方位干预”中解脱出来，教师不再是幼儿绘本阅读的指导者和监督者，而是幼儿阅读过程中的陪伴者；(4)通过丰富的内容拓展，让孩子不仅学习英语，也了解相关百科知识，更有体验感，从而建立音、意、形之间的连接。

2.开发工具

本研究所使用的多模态电子交互式绘本为研究者本人所在团队共同研发，使用来自中国台湾的Hama Star科技软件“Simmagic互动式电子书编辑软件”，经授权，研究团队可以登录永久使用。Simmagic互动式电子书编辑软件操作简便易上手，研究者需要将视频、音频、图片、游戏代码等素材提前准备好，之后一一导入该系统的“电子书母版”，在母版中直接编辑素材即可。该软件的主要功能有弹跳视窗、另开附件、幻灯片播放、插入视频、边框截取、动作轨迹、测试板块等。以“幻灯片播放”为例，研究者将一个魔方的前后左右上下6个面全部拍照导入系统中后，利用幻灯片播放功能，可以实现该魔方的“360度旋转”，使用者通过拖拉图片，即可看到该物体的3D呈现方式，这一功能对于幼儿学习简单图形和方位有很大帮助。

3.“蓝本”选取

为了配套目标幼儿园正在使用的绘本，研究团队根据幼儿年龄特点和身心发展规律，在纸质双语绘本Babylovesspring、Countingkisses、BrownbearBrownbearwhatdoyousee、Whoneedsadrink的基础上，制作出多模态电子绘本，在原有绘本的基础上，令静态绘本图片“发声”“动起来”，并增加了百科知识和游戏。这4本纸质绘本围绕春天、数字、颜色、盥洗这些与幼儿日常相关的内容展开，以故事的形式叙述与幼儿活动相关的英语单词句子，既能够让幼儿对英语语言产生兴趣，也能够让幼儿在故事中学习到与自己相关的简单日常英语。

4.开发思路

(1)游戏化。多模态电子交互式绘本要结合具体园所的具体教学目标，如主题目标、课程目标，结合幼儿现有操作水平，在幼儿“最近发展区”[12]内进行；结合课程游戏化的理念，将游戏融入学习过程中，如我们设计的测试题采用游戏“刮刮乐”“连连看”“贪吃蛇”“打地鼠”等幼儿比较熟悉的操作方式，将英语单词、句型、对话融入游戏中，让幼儿在涂画和玩乐中学习；结合绘本内容，创造出更多价值。

(2)集成化。基于Simmagic软件设计的多模态电子交互式绘本集成了六大功能：一是点读功能。幼儿通过手指点击屏幕上的按钮，实现单词、句型点读，研究团队设计了“喇叭”“蓝色小手”提示图标来引导幼儿点击目标单词和句子。二是听说功能。幼儿点击后可重复多次，也可以将自己的声音录下来听听自己的读音等。三是写画功能。幼儿可以点击电子屏幕最下面一栏的“画笔”按键，随时随地涂涂写写，也可以做标记，如画圈、打星号等。四是体验功能。研究团队编辑的音效全部来自真人真声，视频动画也是采用幼儿熟悉的动画，让幼儿感受到自然、真实的声音和熟悉的动画人物，从而喜欢探索多模态电子绘本。五是游戏功能。这里的游戏主要是上文提到的“刮刮乐”“连连看”“打地鼠”等幼儿喜爱且熟悉的游戏，研究团队不只是为了让幼儿玩乐，也是将重点词句、概念融入游戏中，让孩子在游戏中学习。六是测试功能。研究团队设计的测试题针对目标幼儿的年龄段，设计了适合但高于幼儿目前水平的测试题，如单词点选题、图片单词连线题等，这些测试题的作用体现在，可以帮助教育者掌握幼儿学习程度。部分电子书操作画面如图1所示。

图1 电子书操作画面图

二、多模态电子交互式绘本的应用

(一)对象选取

研究对象均来自温州市某教育集团园旗下的4所幼儿园，研究团队将本次研究的对象确定在小班下学期这一时段。这个年龄段的孩子有着“强烈的好奇心和探究欲望”，并且他们已经接受过一学期的英语绘本教学了，因此本次研究综合考虑幼儿的年龄特点和幼儿园教学的现实因素，将研究对象的范围确定在了小班下学期这一时段。由于实施多模态绘本需要大量的平板电脑，而且需要拍摄幼儿的操作过程，以便后续观察分析所用，因此多模态绘本应用的第一步，研究团队就对所选择的所有小班幼儿家长进行了问卷调查，了解家长对于多模态电子交互式绘本的认识程度及态度看法等，以便综合考虑筛选符合条件的目标幼儿。研究者用问卷星编制问卷，涉及的问题包括家长对多模态绘本的了解程度、是否同意幼儿接触电子设备、平时给幼儿使用什么类型的电子设备等，最后共收集到122份小班幼儿的家长问卷。在其中筛选符合“家里有iPad”“同意幼儿接触多模态绘本”“同意幼儿在操作过程中被拍摄”条件的幼儿，最后共获得36名目标幼儿，男孩21名，女孩15名，年龄集中在4—4.5周岁。

(二)研究时间

整个研究为期13周，第1周对样本幼儿进行英语水平前测，第13周进行后测，幼儿有11周接触多模态绘本的时间；每周进行1次多模态绘本活动，每次30分钟，前10分钟为研究者和幼儿共同阅读纸质绘本，后20分钟为幼儿自主操作多模态电子绘本；每进行完1次多模态绘本的操作，由幼儿园主班老师带领幼儿到户外场地运动、远眺片刻，目的是保护幼儿的视力。在整个实施过程中，研究团队和幼儿园的老师会不断提醒幼儿保持正确的坐姿，且眼睛与平板电脑保持一定距离。

(三)具体实施

1.目标幼儿的操作方式

首先是幼儿的操作。以纸质绘本为基础，通过遮罩单词、隐藏部分内容、点读语句、设置测试题等，让幼儿通过手指点击操作，自主阅读一本多模态电子绘本，幼儿在提示按钮的引导下点击学习英语单词、跟读句子以及理解绘本内容。其次是幼儿的分组。研究者安排4个幼儿为一桌，由1位教师负责观察和介绍电子绘本用法，另1位研究助手负责拍摄和记录。操作良好的幼儿单独使用自己带来的平板电脑，操作水平较弱的幼儿则和另一位水平高一些的幼儿一组，进行同伴共读。所有平板电脑均由幼儿自带，研究者提前准备5台平板电脑作为备用，研究团队会将制作好的绘本提前一天下载到幼儿的平板电脑上，第二天幼儿直接打开即可操作。

2.目标幼儿的评价工具

36名幼儿接触多模态电子绘本11周后，研究者使用COR学前儿童观察评价系统量表对他们的英语等级进行评定。该工具由高瞻教育研究基金会和高瞻早期教育评价中心开发，开发者包括：安·爱泼斯坦(Ann S.Epstein)、吉尔·克拉克斯顿(Jill Claxton)、贝丝·哈丁(Beth Hardin)、丽贝卡·詹姆斯(Rebecca James)、莫莉·乔丹(Molly Jourden)等。COR Advantage(学前儿童观察评价系统)是高瞻课程模式的最新儿童观察评价系统，具有发展适宜性、高信度、高效度等特点。[13]它包括学习品质、社会性和情感发展、身体发展和健康、语言读写和交流、数学、创造性艺术、科学和技术、社会学习、英语语言学习(针对母语非英语的儿童)九大领域。研究者将采用九大领域之一的英语语言学习这一维度，与幼儿园教师一同观察幼儿，给幼儿较为客观的英语水平等级分数。

(四)研究结果

研究者对目标幼儿进行了2周的行为观察，与主班副班老师及同行的研究伙伴一同给目标幼儿评定打分，多模态绘本投入前的前测等级得分和后测得分如下表格所示(以随机2人为例)：

表1 多模态绘本投入前后的幼儿英语语言COR等级水平

表2 COR IX.II维度上的前后测t检验结果

表3 COR IX.JJ维度上的前后测t检验结果

将36名幼儿的数据结果输入SPSS中运用配对样本t检验分析前后测数据的显著性，经过多模态电子交互式绘本学习后的第2次COR IX.II即英语听力与理解(M=4.38，SD=0.779)显著高于未使用多模态电子交互式绘本的第1次COR IX.II(M=3.86，SD=0.593)，t(36)=-4.14，P<0.05，d=0.69。

经过多模态电子交互式绘本学习后的第2次COR IX.JJ即英语口语(M=4.17，SD=0.971)显著高于未使用多模态电子交互式绘本的第1次COR IX.JJ(M=3.14，SD=0.351)，t(36)=-7.025，P<0.05。

根据t检验的结果，经过多模态电子交互式绘本学习，36名目标幼儿无论是英语听力与理解还是英语口语的等级分数与使用前有着显著区别，第一次的均值均小于第二次的均值，足以证明研究者制作出来的多模态电子绘本的有效性。

研究者通过拍摄照片、视频等，记录幼儿对多模态电子交互式绘本的使用情况，发现大部分幼儿非常喜欢使用多模态电子交互式绘本，在操作过程中幼儿的情绪普遍较高，他们喜欢点击可以弹跳出来的图片，也喜欢跟唱绘本中的儿歌，对多模态绘本中文字的关注度明显高于纸质绘本。

三、小结与建议

在多模态电子绘本的开发上，研究者发现：(1)幼儿更喜爱偏向拟人化的、具有很强故事性的绘本；(2)对于大量重复性画面的绘本，幼儿目光停留的时间会很短；(3)幼儿在游戏模块、画笔涂色模块停留的时间较长。因此，在之后的多模态绘本开发制作中，研究者需要注重对不同模态版面设计的调整，避免大量重复的画面，此外绘本蓝本的选取也要充分考虑故事性、拟人性这些特点。

在多模态电子绘本的应用上，实验中目标幼儿对多模态电子绘本的兴趣和关注度都显著高于纸质绘本，并显著提升了自己的英语水平。因此让幼儿在“玩乐”中感受语言学习的过程才是基于幼儿视角开展的适宜性教学活动，这也再次证明了语言的学习是需要基于幼儿的兴趣进行的，且语言的学习是一个潜移默化、浸润式的过程。因此教师的角色尤为重要，教师需适时采用自上而下的“师者角色式”显性指导和平行关系的“伙伴角色”隐性指导，[14]将语言渗透到幼儿园一日流程中。

由于多模态绘本的操作是以幼儿自主活动为主，这就要求幼儿有“内隐认知”[15]的需求。美国心理学家Reber于1967年提出了“内隐学习”，它是指无意识、自动化地获得规则的认知加工过程。[16]在多模态绘本制作与运用的过程中，幼儿接受多模态绘本这个工具是无意识的，他们并不知道多模态绘本是什么，在他们的概念里，这是一个可以让他们“玩乐”的工具。但是随着研究者在多模态绘本里加入语言、认知、游戏等元素，幼儿的“自动化”便形成了，他们会根据绘本按键中的提示逐渐找到方法，熟练之后甚至不需要提示，可完全自动操作一本绘本。这其中的关键便在于多模态绘本给幼儿的呈现方式，是以幼儿的视角来设计并制作的，一定程度上激发了幼儿内隐认知的需求。

在今后的多模态绘本实验中，还应在以下方面逐步完善：(1)要在设备上争取全方位调试，能够让多模态电子交互式绘本在各个电子设备以及相关平台上使用，以便让更多孩子参与进来；(2)教育者应该充分做好家长工作，让家长了解多模态电子交互式绘本的具体操作，并观察记录好每一位幼儿的使用情况和成长情况，及时上报开发者，做到开发与教育一致；(3)在家园合作方面，可以通过密切的家长会、小组讨论会、家长委员交流会等，让家长了解孩子的操作使用情况，以便及时与教师联系，还可以通过家庭亲子阅读，让多模态电子绘本走进千万家庭生活中，做到家园一致，保障幼儿身心健康成长。