电子绘本中的数字叙事研究

徐志武

[摘 要] 论述电子绘本中数字叙事的步骤、内容、形式以及互动模式。首先，借鉴乔·兰伯特（Joe Lambert）的观点，将数字叙事归纳为确定故事主题、情感、转折点，设计画面、声音并将其组合，分享给读者7个步骤。其次，探究数字叙事内容（图片、音频、声画融合）和叙事形式（动态叙事）及其开发方法。最后，从环境、数据驱动和语言3方面分析电子绘本叙事中的互动模式。

[关键词] 电子绘本 数字叙事 互动叙事 数字出版物

[中图分类号] G237[文献标识码] A[文章编号] 1009-5853 （2018） 06-0094-05

Digital Storytelling in Electronic Picture Books

Xu Zhiwu

（School of Literature， South China Normal University， Guangzhou， 510006）

[Abstract] Mainly discusses digital storytelling of electronic picture books from the perspectives of digital narrative steps， content and forms， interactive modes. Firstly， according to Joe Lamberts viewpoint， digital narrative can be divided into seven main steps， which include determining the theme， emotion and narrative turning point， designing the picture， sound and their combination， and then sharing them with readers. Secondly， explores the development methods of digital narrative content （picture， audio， the combination of sound and picture） and narrative forms （dynamic narrative）. Finally， discusses the interactive modes of electronic picture books from three aspects： environment， data driven and language interaction.

[Key words] Electronic picture books Digital Storytelling Interactive narrative Digital publication

数字叙事（Digital Storytelling，DS）指叙事者改变线性和平面叙事方式，运用数字工具将静态和动态的图像、音频、视频、文本等要素结合起来，以非线性或互动形式讲述故事的新实践[1]。电子绘本是帮助儿童培养学识、构建价值观的重要工具，是一种重要的数字出版物形式。电子绘本中的叙事方式较传统绘本发生了很大变化。但是，目前学界对此关注不多。因此，本文主要从电子绘本的叙事步骤、叙事内容和形式、叙事中的互动模式3方面展开探讨。

1 叙事步骤

2012年，美国故事中心（Story Center）执行主任乔·兰伯特（Joe Lambert）提出数字叙事的7步骤[2]。电子绘本叙事亦可借鉴。

1.1 在叙事前期，确定故事主题、情感和转折点

电子绘本叙事的前期包含3个步骤。首先，确定主题是电子绘本叙事的基础。绘本主题应具有广泛（Extensive）、独特（Unique）、有力（Powerful）等特点[3]。具体而言，故事主题应来自生活的方方面面，以帮助儿童读者了解和认识世界。同时，故事应让小读者见证故事角色在面对矛盾或困难时内心经历的挣扎及挣扎后的变化，从而实现儿童读者价值观引导及情商培养等功能。其次，构建故事的整体情感基调。为此，叙事者需挑出最令自己感動的故事情节，将故事角色融入其中进行情感加工，并识别儿童读者在阅读故事时及阅读后可能产生的情感体验。叙事者需重点考虑角色面对不同情境时的情感反应，并将其与自我的情感分开。应细腻地描绘情感，如交待故事角色感到快乐的原因以及当时的表情等，并将情感与环境因素相结合，如用灰暗暗示悲伤、阳光表示欢快，等等。这样儿童读者更容易体会叙事者所要传达的感情[4]。再次，厘清叙事转折，使其承载故事主旨。为厘清叙事转折，叙事者需要思考故事情节或故事角色发生变化的时刻。角色在何时及何种情况下意识到自我改变？如果有多个转折，其分别传递何种含义[5]？ 例如，电子绘本《小刺猬亨利》（Henry the Hedgehog）设置了两个转折：一是兔子、蝴蝶、蜜蜂对刺猬由嫌弃转为喜欢;二是刺猬由孤独到幸福。转折发生在刺猬帮兔子赶走狐狸，从蜘蛛网上解救蝴蝶，以及帮蜜蜂传播花种之后。其中分别折射出善待朋友与乐于助人的价值观[6]。

1.2 在叙事中后期，确定、组织画面和声音并分享给读者

在电子绘本叙事的中后期，需确定、组织画面和声音，并将之传达给读者。叙事过程中，为确定叙事画面，叙事者需思考当儿童读者在阅读故事时出现在脑海中的第一画面是什么？从而决定该使用什么画面？为什么是该画面？它传递的情感是什么？它的寓意是明确还是具体？它表达单层还是多层含义？如果是多层含义，具体含义又是哪些[7]？其次，电子绘本需确定故事中的声音。为此，叙事者要构建满足叙事目标且条理分明的叙事计划和结构，并明确音频在叙事中承担的功能。一般来说，声音在电子绘本中主要承担两大功能：一是叙事功能，包括直接叙事和潜意识叙事。前者多通过对话或叙述方式讲述故事内容;后者则潜在地为故事服务，如敲门声、电话声等。二是语法功能，即声音叙事风格在页面切换过程中保持不变，作为内容衔接要素[8]。依据叙事功能，可确定所需音频内容，并做好收集声音和音乐的准备[9]。当故事素材准备好后，需要将故事组合起来。在组织结构上，可以采用跳脱时间顺序或直接因果模式等非线性结构。在组织视角上，可将洞悉全局的“他”者视角和限知局部的“我”者视角结合起来[10]。在叙事节奏上，由于儿童读者的认知水平不高，一开始不可释放太多信息，而是保持张力，缓慢释放信息，以利于读者理解。同时，可将故事的部分转折或高潮放在开头，激起他们的阅读兴趣[11]。

最后，要将故事分享给读者。在分享前，叙事者需反复审核叙事内容，消除其中的错误并确定故事内容是否偏离当初设想。分享后，叙事者可通过调查法、观察法等多种方法收集读者（包括父母和儿童）对电子绘本主题、内容以及互动的反馈，以便改进。

2 叙事内容与形式

在叙事内容与形式上，电子绘本倚重图片和音频叙事，也强调声画融合叙事，同时更倾向于动态叙事。

2.1 具有情感交流功能的叙事图片

由于儿童阅读能力有限，加之注意力持续的时间较短，所以图片无疑需发挥情感交流功能以吸引读者[12]。借鉴克莱尔·佩因特（Clare Painter）等人提出的阅读社交关系理论，电子绘本图片可通过视觉聚焦（Focalisation）叙事、情感（Affection）画像叙事以及场景（Ambience）叙事发挥情感交流功能[13]。

第一，视觉聚焦叙事指依靠图像中人、动物或人格化客体的眼神吸引儿童参与叙事。它有两种类型：一是接触（Contact）叙事，即故事角色直接凝视读者。它多营造较严肃的氛围，传递故事角色内心失望、迷茫、无助等复杂情感。二是观察（Observe）叙事，即故事角色目光不直接接触读者，而是通过广而远的画面视角将读者独立于故事外，使其自主观察[14]。它传递的情感较少，主要靠环境烘托情感。从吸引效果看，接触叙事用眼神的压迫感招徕读者，吸引效果优于观察叙事。

第二，情感画像叙事指通过不同风格的人物画像吸引读者并传递情感。它可以分为3种：一是简约风格（minimalist style）。即图像的线条、色彩和构图都较简单，如用圆或椭圆表示头部，用点或小圈代替眼睛等，如图1。这种风格往往可最大限度描绘角色的情绪，也可用于发挥幽默的感觉。二是普通风格（generic style）。即重点描绘角色的嘴部表情，如撅嘴或抿嘴等，如图2。其具有倡导儿童读者向画面角色学习的潜在含义。三是自然风格（naturalistic style）。即重点描绘实体人物的眼睛、皮肤和表情等细节，如图3。它可突出角色内心微妙的情感，更适用于培养儿童面对棘手问题时的价值观，如理解死亡等[15][16][17]。从吸引效果看，自然风格有视觉压迫感和强制意味，最具吸引力。普通风格突出描绘脸部和嘴部表情，也有一定的视觉冲击力，效果次之。简约风格由于表情和整体较简单，吸引效果最弱。

第三，场景氛围叙事指利用画面中色彩的色相、纯度和明度等要素吸引读者。一般来说，电子绘本整体场景氛围应是欢快积极的，以便向儿童传达活跃、温暖和熟悉的感觉。为达到这种效果，在色相上，电子绘本应使用橙色、红色、黄色及其组合形成的暖色调;同时，如配上蓝、绿、淡紫色等冷色调，则可以起到镇静和舒缓的效果[18]。在色彩纯度上，电子绘本应使用中高纯度。因为纯度高的色彩明亮艳丽，更容易引起视觉兴奋;而中纯度色彩基调丰满柔和，能使读者保持长时间注视[19]。在色彩明度上，电子绘本应多采用红色、绿色这些中间明度色相，以保护视力。

2.2 简单生动的叙事音频

在电子绘本的音频叙事过程中，考虑到儿童读者的理解和接受能力不强、注意力持续时间短等特点，音频的叙事文本应简短精练，少长句、多短句。叙事者要表达清晰、语速缓慢、音调自然，而且还需具有独自分饰或者与他人配合饰演一种或多种角色的能力。叙事者应尊重小读者，在叙述他人的故事时，仿佛自己是故事的亲历者，能富有情感地表达。此外，可在故事中添加生活中的真实音效，如汽车鸣笛、鸟鸣、飞机轰鸣等。这些可帮助读者建立空间位置感和现场感。如《古堡鬼鼠》第一节嵌入寒风呼啸声，就生动地衬托出故事发生当晚的恐怖情形。此外，应注重使用音乐，尤其是器乐，以改变叙事的情感基调并激起情感共鸣[20][21]。

2.3 自然真实的声画融合叙事

声画融合叙事是指电子绘本中的声音和画面协调统一，共同凸显故事主题。它不仅可以增强阅读的趣味性，还可以将儿童读者从枯燥的“听书”中解放出来并助益理解[22]。电子绘本的声画融合叙事可通过声画同步叙事和声画对位叙事实现[23]。前者指声音与画面中的动作、情感以及节奏等要素相一致，画面真实、自然。如电子绘本《回家》中，故事角色对白时，画面就配以故事角色嘴开合、点头等动效，以增强真实感[24]。后者指电子绘本中声音和画面分别表达不同内容，且各自以其特有的节奏独立发展，但它们的最终目标是从不同方面说明故事主题[25]。声画对位叙事包括两种类型：一种是声画彼此独立，在两条线上并行发展[26]。如在《小刺猬亨利》中，画面展示小刺猬亨利正在睡觉的场景，而画外音却讲述亨利因为身上的刺而难以交到朋友的事实以及它渴望交到朋友的心理。虽然画面和声音各行其是，但其共同传递出小刺猬因没有朋友而产生的孤独、难过之情。二是声画对立，即声音和画面在情绪、氛围、节奏等方面是完全相反的，通过对比叙事凸显和深化故事主旨。如某个画面中角色在思念它逝去的孩子，表情伤心落寞;这时画面外传来孩子欢乐的笑声，那是它曾经最幸福的时光。如此一喜一悲，凸显出故事强烈的伤感情绪[27][28]。

2.4 生动活泼的动态叙事

动态叙事主要指电子绘本中的人物、动物或物体在读者阅读过程中出现简单的变化或位移效果。它可以變抽样为形象，化静态为动态，易于儿童读者理解和接受[29]。电子绘本的动态叙事主要由动态的故事角色和动态的故事场景构成。

首先，对于动态故事角色，叙事者通常会运用一些夸张但遵循真实生活的动作形态来渲染故事角色眼睛、表情、头部及四肢的变化，以创造出一种流畅且真实的视觉效果[30]。如《拔萝卜》中，老婆婆、老爷爷和小孙女3人拉着叶子一起有节奏地往后移动，生动地体现出他们吃力的样子。其次，动态故事场景（指画面背景）在叙事过程中也非常重要。动态场景一般通过3种方式增强绘本的叙事效果。一是依靠色彩的动态变化烘托叙事环境。如《我喜欢做我自己》中，通过灯光闪烁带来的明暗对比，烘托出森林的神秘感和角色冒险的紧张感 [31]。二是拓展叙事空间。在画面中引入运动元素，打破书页边框和静态画面对叙事的限制，极大地拓展了绘本叙事的立体空间。如《神奇飞书》中，书本在静态书架面前的横向运动就充分体现了画面的纵深感，极大增强了绘本的可观赏性[32]。三是将生活中的场景融入到故事中，增强叙事的真实性。如《长鼻子和长尾巴》中，当小象和小猴子睡觉时，读者只要点击床头的台灯，整个画面就会暗下来，营造关灯的真实感。

3 电子绘本叙事的互动模式

互动指电子绘本与读者之间相互作用和相互影响的过程，它是区别电子绘本与传统绘本的根本要素[33]。根据克里斯·克劳福德（Chris Crawford）的划分，电子绘本互动模式包括3种：环境互动（environmental approaches）、数据驱动互动（data-driven strategies）及语言互动（language-based approaches）[34]。

3.1 环境互动模式

环境互动模式是通过鼓励用户参与互动系统，用自己的即时行动串联起故事情节的互动模式[35]。常见的环境互动模式有游戏互动模式、触感互动模式、介质互动模式和增强现实互动模式等[36]。

游戏互动包括交互叙述（Interactive narration）和互动叙事（Interactive narrative）两种。前者要求用户积极参与故事中的小游戏以实现叙事的连续性或完整性[37]。如《拯救了圣诞节的钟表匠》（The Watchmaker）中，读者可将界面下方彩色钟表零件镶嵌到灰色部位，以实现叙事的完整性[38]。后者往往由多条分支结构组成，每条分支独立发生发展，用户可根据自己的偏好选择叙事路径。如探险类游戏绘本中，游戏被分为经典、冒险和休闲3种模式，系统会根据读者选择跳转页码[39]。在《丹雪和时间线WW1》（Timeline WW1 with Dan Snow）中，用户可按不同时间线重温一战的图片、音频、视频和地图等[40]。

触感互动是基于读者触摸、点击、按压等动作而产生的互动[41]。这是目前电子绘本中最常用的互动模式。如《暖阳阳的红丝带》中，读者只要点击画面中的红丝带，红丝带就会自动系到瓶口上;读者点击画面中的瓶子，瓶子就会自动跳到獾婆婆手上。口红棒糖果出版社（Push Pop）推出的《我们的选择》（Our Choices）中，当读者对着书中的风车吹气时，电力风车就会自动旋转，并给画面中的房子充电[42]。《轻叩神奇树》（Tap the Magic Tree）中，读者只需要轻轻敲击或者摇晃iPad，画面中的树叶就一片片飘落下来[43]。

介质互动是数字媒介和传统媒介融合形成的互动模式，它目前虽运用得不多，但具有极强吸引力，市场前景广阔。如《桥接书》（Bridging Book）便是一种在实体书中植入磁铁，在平板电脑中植入数字罗盘的绘本形态。当两者按上下顺序拼放在一起时，会呈现出完整的画面效果。读者如果翻动实体书页，电子书也会自动翻页[44]。

增强现实（Augment Reality，AR）互動是通过计算机生成逼真的视、听、力、触和动等感觉，使用户突破时间、空间等限制，在虚拟环境中体验“身临其境”的互动方式。如《科学跑出来》中，读者只要在书中启动增强现实应用程序，并将智能移动设备的相机镜头对准平摊的实体书，读者便可体验暴龙在自家客厅行走，八大行星在手上转动，亲手制造一个龙卷风等惊喜[45]。

3.2 数据驱动互动模式和语言互动模式

数据驱动互动要求叙事者首先建立“故事构成要素”综合数据库。当读者发出互动请求时，绘本可对读者行为做出反应并与之互动。目前其在电子绘本中最具前景的实践是人机对话。当儿童读者输入想说的内容后，电子绘本数据库会依据内容输出相应答案。相较环境互动模式，数据驱动互动模式最大的优势是内容具有综合性和普遍性。但它的不足是前期投入较大，因为不仅需要建立基于文本的开放式交互叙事架构，构建更大的语料库，还需要分析叙事内容、改进语义相似度并建构实例驱动的自适应模型。目前，南加利福尼亚大学的创新技术项目小组正在开展的数据驱动的互动叙事引擎（Data-driven Interactive Narrative Engine）课题，研究的正是这些关键技术问题[46]。

在基于语言的互动模式中，叙事系统能够理解用户某些特定的话语，并对其作出反应。如在《心灵浇灌》（Mind Watering）中，读者通过对iPad说“行动”（action）一词发出命令，绘本便可自动翻页[47]。语言互动模式往往结合游戏进行叙事。如《杰克和仙豆》（Jack and the Beanstalk by Nosy Crow）为鼓励读者朗读，将部分单词标红，读者朗读正确以后，便可解救大房子中被困的动物作为奖励[48]。

4结 语

电子绘本中的数字叙事不仅需要设计深入人心的故事情节，还需设计具有情感交流功能的叙事图片和简单生动的叙事音频。在此基础上，构建生动活泼的动态叙事和协调统一的声画融合叙事。因此，电子绘本数字叙事的关键在于增加互动中介（Interactive agency）功能，设计基于环境、数据及语言的多种互动模式，使读者参与其中，由单纯接受者变为叙事参与者[49]。

注 释

[1]徐丽芳，曾李.数字叙事与互动数字叙事[J].出版科学，2016，24（3）：96-101

[2][3][5][7][11][20]Joe Lambert. Digital Storytelling： Capturing Lives， Creating Community[M]. Routledge， 2012：53-69

[4]Wiki How. Adding Emotion to Your Own Story[EB/OL]. [2016-06-19].http：//www.wikihow.com/Add-Emotion-to-a-Story

[6]Nezhabooks. Henry the Hedgehog[OL].[2016-06-19]. http：//www.neumedias.com/intro/products.html#3434

[8]邵萍.大型电子游戏的数字叙事[J]. 出版科学， 2016， 24（3）：106-109

[9]DisignLab[OL].[2016-07-29].https：//designlab.wisc.edu/audio-narrative

[10]敬鹏林. 非线性叙事：电影叙事范式的异变与扩展[J]. 重庆邮电大学学报（社会科学版）， 2015， 27（4）：142-146

[12]Rose D. Meaning beyond the margins： learning to interact with books[J]. Semiotic Margins： reclaiming meaning， 2011： 177-209

[13][14][15]Painter C， Martin J R， Unsworth L. Reading Visual Narratives[M]. London： Equi-nox， 2012：15-46

[16]Welch A. The illustration of facial affect in childrens literature[R]. Sydney ：University of Sydney， 2005

[17]Tian P. Multimodal evaluation： sense and sensibility in Anthony Browne's picture books[D]. Sydney：University of Sydney 2011

[18]Warm Colors and Cool Colors[OL]. [2016-06-28].http：//interiordec.about.com/od/bedrooms/a/Bedroom-Paint-Colors.htm

[19]正確理解色彩的纯度[OL]. [2016-06-28].http：//www.art456.com/st/1099232_1.html

[21]Audio Narrative Project： Wild Weekend[OL].[2016-06-28].http：//web.mit.edu/cms.845/www/projects/spring-04/audio-projects/wild-weekend/index.html

[22][24]方睿， 孔晓燕. 基于电影语言的电子儿童绘本叙事表现策略与实践[J]. 科技与出版， 2017（1）：67-71

[23][25][27]封敏. 声音与画面的关系[J]. 电影评介，1991（7）：25

[26][28]周建青. 当代视听节目编导与制作[M]. 北京：中国广播电视出版社， 2014：94

[29]高培. 绘本与动画的艺术融合[D]. 北京：北京服装学院， 2013：9-10

[30][32]张晓博.儿童电子绘本中的插画动态化应用研究[D].长春：东北师范大学， 2016：5-7

[31]金巍. 殊途同归——基于媒介差异的成人绘本审美研究[D]. 杭州：浙江理工大学， 2016：55-56

[33]程文婷， 王军. 亲子阅读视角下电子绘本与纸质绘本的阅读差异研究[J]. 图书情报工作， 2015， 59（22）：64-71

[34]Crawford C. Chris Crawford on interactive storytelling[M]. New Riders， 2012：115-151

[35]Wikipedia. Interactive storytelling[OL].[2016-10-29]. https：//en.wikipedia.org/wiki/Interactive_storytelling#cite_note-crawford2005Chapters-13

[36]陈兵. 数字叙事中的用户参与行为研究[J]. 出版科学， 2018（2）：92-96

[37]Wikipedia. Narrative structure[EB/OL]. [2017-06-18].https：//en.wikipedia.org/wiki/Narrative_structure

[38][41]彭飞. 电子互动绘本的设计艺术研究[D]. 武汉：华中师范大学， 2013：22-23

[39]GamebookQuickstart Guide[OL].[2017-06-30].http：//gamebookadventures.com/quickstart-guide/

[40]Interactive book apps – 10 of the best[OL].[2017-06-30]. https：//www.theguardian.com/technology/2015/sep/14/ten-best-interactive-book-apps-ios-android

[42]TED. A next-generation digital book[OL]. [2017-06-30].https：//www.ted.com/talks/mike_matas

[43]Goodreads. Tap the Magic Tree[OL].[2017-06-30]. https：//www.goodreads.com/book/show/17383992-tap-the-magic-tree

[44]InteractiveeBooks. Bridging Book[OL].[2016-06-30].http：//www.bestinteractiveebooks.com/2013/06/bridging-book

[45]Amazon.科学跑出来系列[OL].[2016-07-03]. https：//www.amazon.cn

[46]Project： Data-driven Interactive Narrative Engine[OL]. [2016-07-01].http：//narrative.ict.usc.edu/data-driven-interactive-narrative-engine.html

[47]Mind Watering[OL]. [2016-07-02].http：//www.bestinteractiveebooks.com/2013/05/mind-watering-lookcook

[48]Fairy Tales： Jack and the Beanstalk[OL]. [2016-07-02].http：//nosycrow.com/product/jack-and-the-beanstalk

[49]王钰.电子书互动叙事结构研究[J].出版科学，2018，26（4）：84-88