多模态视域下中国数字展会吉祥物形象研究

姚剑平

(福建商学院 外国语学院，福建 福州，350012)

吉祥物是人们用以祈求万事吉祥如意的象征物。从古至今，吉祥物不仅有民族性更具地域性，在一定程度上反映并传递了一个民族或地域的悠久历史、丰富文化内涵和社会意识形态等。吉祥物发展到现代，文化内涵不断叠加，以更具创意的图文和色彩等视觉符号表现形式呈现于重要场合或重大盛事中，具有重要意义和广泛影响。学界也越发关注对吉祥物的研究，多从吉祥物设计[1-2]、吉祥物文化及传播[3-4]、吉祥物推广与应用[5-6]等视角展开研究，所研究的吉祥物类型也多为体育赛事吉祥物[7-8]、高校吉祥物[9-10]和城市吉祥物[11-12]等。然而目前针对展会吉祥物的研究较少，数字展会吉祥物的相关研究更是不足，仅有少量关于传统博览会吉祥物的研究。如Mahatmi 和Satyagraha[13]运用思维导图法等方法研究后提出适合2020年迪拜世博会印尼馆吉祥物的设计构想；王艳芳、杨建杰[14]对2010年上海世博会吉祥物—海宝，刘彬[15]对青岛世园会吉祥物—海精灵“青青”，从再现意义、互动意义和构图意义上研究吉祥物这种多模态语篇的构成方式和图像的意义。这些研究注重从社会符号的多模态视角对传统博览会吉祥物及其形象做初步阐释，但停留在对吉祥物表层含义的探讨，未从视觉图像更深层机理去剖析，或未借助图像分析的专业软件对吉祥物进行可视化、精细化、数据化解读，造成研究不够深入、主观性较强，未能深入解释吉祥物形象为何能适切传达各类博览会主题，体现其文化内涵或传递其精神、理念。

由上述分析可知，目前鲜有针对数字展会吉祥物的相关研究。数字展会作为数字时代人类社会的经济、科技、文化发展需求的综合体现，是展现“数字中国”建设成果的重要窗口。数字展会吉祥物不仅寄托着人们对展会圆满成功的期盼，更蕴含着丰富的展会理念和社会意义，对其展开研究，不仅能帮助人们了解新时代数字展会所传递的理念和意义，更能提升数字展会的形象和内涵，促进展会经济发展和展会意图的实现。鉴于此，本文选定数字中国建设峰会吉祥物“数娃”和中国国际数字经济博览会吉祥物“数宝”进行比较。这两个吉祥物具有相似的名字和卡通形象特征，皆代表目前国内较大影响力且展会类型及理念极其相似的数字展会，研究结果具有代表性。

本研究以Kress和van Leeuwen 的视觉语法理论为指导，运用Kay O’Halloran团队研发的多模态图像分析软件(Multimodal Analysis Image)中的分析指标，对吉祥物“数娃”和“数宝”进行可视化解读和比较，并探讨两个问题：(1)数字展会吉祥物形象具有哪些特征？(2)吉祥物形象承载怎样的设计理念和社会意义？通过客观阐释吉祥物(图像)作为社会符号具有的特征、传递的理念和承载的意义，力求研究结果能为将来展会吉祥物形象的设计提供帮助，进一步拓展数字人文展会的多模态话语研究。

一、多模态话语分析范式——视觉语法理论框架

多模态话语(Multimodal Discourse)是运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象[16]4。多模态话语分析(Multimodal Discourse Analysis)则是将人类交际活动中的多种符号模态进行系统的分析[17]。多模态话语分析的标志性著作《阅读图像:视觉设计语法》[18]问世以来，国内外学者基于视觉语法理论，做了较深入的理论探讨和拓展实践[19-22]。尤其在图文和视频图像的视觉分析上，国内学者也有较多的研究成果，研究对象涉及广告图像[23-24]、新闻语篇[25-26]、政治漫画[27]、杂志封面[28]、儿童绘本[29]，以及上述的吉祥物图像分析[14-15]等。上述基于视觉语法理论的众多研究成果为本研究提供借鉴，由此可作为本研究的理论指导。视觉语法理论重在探讨社会符号学视角下的多模态话语分析。Kress和van Leeuwen[30]41-42认为韩礼德提出的语言三大元功能(概念功能、人际功能和语篇功能)并非仅限于语言或写作，同样适用图像、声音、颜色、版式等所有的符号模式，并对照韩礼德的三大元功能理论，提出视觉语法理论框架，即理解视觉传达与沟通的社会符号学方法，指出图像等视觉符号在社会、文化语境中可以体现三种意义：再现意义(Representational Meaning)、互动意义(Interactive Meaning)和构图意义(Compositional Meaning)。

再现意义是指视觉符号表征图像中人物、地点和事物之间的互动关系和概念关系[30]114，前者体现叙事再现，后者体现概念再现。叙事再现主要包括行动过程、反应过程、言语过程和心理过程。行动过程和反应过程都有及物性和不及物性之分[21]，与参与者个数及其动作、视线等所指方向(矢量)等密切相关。言语过程和心理过程通过投射的方式间接表现出来。概念再现包括分类、分析、象征三个过程。分类过程体现两个以上的参与者间上下级关系的显性与隐性分类形式。分析过程以整体—部分的结构将参与者联系起来，一般包括两种参与者：一种是一个载体(整体)，另一种是任意数量的表示所属关系的属性(部分)[30]87。象征过程是关于参与者的意义或本质，分为象征限制和象征暗示。象征限制有两个参与者，一个为代表意义或身份的参与者，另一个为载体，载体在与另一参与者关系中建立自身意义或身份，其意义来自外部赋予。象征暗示过程只有一个参与者，即载体，其意义和身份来自内部，来自载体自身的品质[30]105-106。

互动意义体现参与者(图像中描绘的人物、地点和事物)与观看者之间的特定关系，主要通过(目光)接触、(取景)社会距离、(视角)态度 和(色彩)情态等共同作用来建构。接触是指参与者与观看者通过矢量(目光)、面部表情、手势等视觉符号建立起来的互动关系。当参与者目光直接注视观看者时，观看者被要求与参与者建立某种联系，属于索取类图像；当参与者不与观看者产生任何联系，只是提供某种信息或观看者冷静审视对象时，属于提供类图像[30]117-119。社会距离通过镜头取景的框架大小，近、中和远景之间的选择暗示参与者与观看者之间的不同社会关系。视角主要体现态度意义和权力关系。如果参与者被观看者从高处俯视，说明观看者地位高，权力大；如果参与者被观看者从低处仰视，说明参与者地位高，权力大；如果两者视线持平，为平等关系，没有权力差异。情态则强调了图像世界反映现实的真实度。Kress 和 van Leeuwen认为，情态与色彩的饱和度、区分度、协调度、语境化、再现、深度、照明和亮度息息相关[31]。

构图意义由信息值、显著性、框架，以及版面设计、图文关系等来体现。图像的上下、左右、中心和边缘分别传递出不同的信息值。显著性指图像要素通过前景或背景位置、相对尺寸、色调值(或色彩)对比、鲜明度差异等方式不同程度地吸引观众；框架指图像中有无空间分割线条将图像要素分离或连接起来[30]177。综合Kress 和 van Leeuwen在《阅读图像:视觉设计语法》[30]41-214中对上述相关概念的阐释，我们绘制视觉语法理论框架图(图1)，以明晰相关概念之层级关系，并将下文中多模态图像分析软件的分析指标对照框架图展开数字展会吉祥物形象分析。

图1 视觉语法理论框架Fig.1 The grammar framework of visual-image analysis

二、数字展会吉祥物形象的多模态话语分析及阐释

(一)多模态图像分析软件对吉祥物图像的分析原理

为了捕捉“数娃”(图2[32])与“数宝”(图3[33])图像所传达的视觉效果、丰富形象特征及其内涵，本文运用多模态图像分析软件(www.multimodal-analysis.com)对两个吉祥物图像进行分析。该软件由新加坡国立大学互动和数字媒体研究所多模态分析实验室的Kay O’Halloran和她的团队研发，是专门为探究文本、图像等静态符号如何交互创造意义而设计的软件应用程序，可用于分析广告、电影海报、信息报告、新闻报道、新闻特写、新闻社论、信息图表等图文语篇。该软件的分析指标基于视觉语法理论，通过对图像进行标注，使多模态话语分析过程精细化、可视化，分析数据及描述可导出Excel表格，便于观察。使用此专门设计的软件来分析丰富的多模态符号资源，不仅可以理清不同符号资源之间的复杂关系，还可以将理论、分析和解释建立在经验证据的基础上。我们通过对“数娃”“数宝”图像的多模态分析(图4、图5)，探究数字展会吉祥物形象的特征及其承载的设计理念和社会意义。

图2 数娃图3 数宝Fig.2 ShuwaFig.3 Shubao

图4 “数娃”的多模态分析截图Fig.4 A screenshot of multimodal analysis of “Shuwa”

图4与图5呈现了多模态图像分析软件对“数娃”与“数宝”的视觉语法分析过程。两图左边为软件的编辑功能区，中间区域为可视化分析及特征描述，右边第一列白色区域为分析指标目录，第二列各种颜色区域为目录选项下的具体标注，第三列是对标注的具体描述。三列依据视觉语法理论及图像设计原理逐层递进，很好地体现了上述视觉语法理论框架(图1)中的再现意义、互动意义和构图意义。由此将选项指标对应放入三种意义框架中，形成本文的分析框架(图6-8)，并比较“数娃”与“数宝”图像呈现这些指标的次数，详见如下分析过程。

图5 “数宝”的多模态分析截图Fig.4 A screenshot of multimodal analysis of “Shubao”

(二)基于多模态图像分析软件的视觉语法阐释

1.再现意义。结合图6，对“数娃”“数宝”图像的再现意义进行分析。“数娃”与“数宝”作为各自图像中唯一的行为参与者，其行为过程不指向任何其他参与者/目标，是一种不及物性行动，激发观看者去想象“数娃”“数宝”图像代表的概念或含义。由此它们主要再现的是一种概念意义，反映了分析过程中整体(载体)— 部分(属性)关系。在设计元素中，“数娃”与“数宝”整体图像(载体)是最大、最突出的主视觉呈现，也是关注的焦点，图像上的各自属性特征是部分，体现整体传达的概念和身份等。

图6 再现意义分析框架Fig.6 A framework of representational meaning analysis

“数娃”代表的意义和身份来自其属性特质，具有十分丰富的视觉属性特征，并形成9处视觉双关(指代表一个概念或想法的视觉形状)。“数娃”蓝色榕树叶形帽上的二进制字符“0”“ 1”、醒目的“数”汉字、粉红色椭圆腮帮、红色小嘴、点赞的大拇指、六边形脸、蓝色波浪线和蓝色脚底，这些都体现象征暗示过程。我们还注意到色彩丰富的“数”标志(Icon)及其与文字形成的整个会徽标识(Logo)，也就是主文本，是图像中唯一的语言元素，同时也是视觉元素。这些视觉及语言元素传达出“数娃”热情好客、开朗自信的形象特征，也传达出“数娃”作为数字中国建设峰会形象大使的设计理念(源于“数字中国”概念)。“数娃”头部的榕树叶形帽代表数字中国建设峰会的举办地福建省福州市；二进制字符“0”“ 1”和“数”汉字凸显峰会的数字属性；粉红色椭圆腮帮和红色小嘴代表福州人民的热情；点赞的大拇指预示数字中国建设峰会一届比一届办得更好；六边形脸呈现福建云计算中心建筑六边形外观，体现数字福建的建设和发展；蓝色部分的色彩源于“海丝蓝”，既代表数字浪潮(“数娃”迈开双脚，昂首踏浪)，也代表作为21世纪海上丝绸之路核心区的福建省，体现数字福建是数字中国建设的思想源头和实践起点[32]。

“数宝”代表的意义和身份同样源于自身的属性特征，其视觉属性特征较为简约，但具有视觉冲击力。随风飘动的头发是“数宝”的独特造型；头戴以赵州桥(石家庄人民智慧的象征)为原型、从未来而来的超能VR眼镜表明远程物联互动无压力；腰系数字荣光腰带赋予“数宝”服务石家庄正定数博会的至高使命；向上的食指代表“数宝”是解疑小帮手，拥有前沿知识和先进理念[33]。虽然“数宝”身上没有文字直接表明其为数字展会吉祥物身份，但超能VR眼镜、数字荣光腰带和开启智慧之门的食指都体现象征暗示的视觉双关，能够充分体现“数宝”酷帅、喜钻研的数字使者形象及其设计理念。

由上述分析可知，无论是“数娃”丰富的视觉属性特征，还是“数宝”简约的视觉属性特征，设计者都将本土元素、本区域人文特质、多元概念及数字属性融入设计理念中，既能展现吉祥物的共性，也体现不同数字展会吉祥物的个性，以代表不同展会的形象，服务不同展会的办展意图。互动意义和构图意义的剖析将更清晰地再现“数娃”与“数宝”形象的共性与个性，及其传达的身份和意义。

2.互动意义。回到“数娃”“数宝”图像，结合图7分析框架阐释图像的互动意义。“数娃”“数宝”都以漫画人物的形象出现，且名字中皆有人类的昵称“娃”“宝”，可见设计者已将他们视为人类的一员，让他们通过(目光、面部表情、手势、体态)接触、(视角)态度和(色彩)情态与观看者之间构建互动意义。

图7 互动意义分析框架Fig.7 A framework of interactive meaning analysis

接触再现了图像与观看者之间的索取与提供关系。先看“数娃”的目光，虽然视位都是对着观看者，然而一只眼睛直视观看者，要求观看者回应他的需求，而另一只眼睛却眯起来，非直视观看者。再看“数娃”的脸部表情，张开的红色小嘴和粉红色的小腮帮也是直面观众，要求观众对他产生喜爱之情，与他建立社会亲和力关系。而手势和迈开的双脚(体态)则表达提供关系，点赞的大拇指和卷起的小拳头没有直接指向观众，迈开的双脚也没有直奔观众，没有要求观众与他形成直接互动关系，而是通过提供信息让人们思考：“数娃”为何点赞？为何卷起小拳头？迈开双脚去往哪里？间接地与观众形成互动关系。“数宝”与观看者之间的接触相对简单，主要通过目光、手势、站姿体现与观看者之间的索取与提供关系。“数宝”睁大双眼直视观众，眉毛形成内八字形，说明“数宝”聚精会神凝视观看者，要求观看者同样认真关注他，一只手高高举起，亮出食指，提供智慧，为人们指点迷津，另一只手放下，紧靠身侧，与并拢的双腿形成立正姿势(体态)，配以VR眼镜、荣光腰带，凸显“数宝”严阵以待、不辱使命的数字使者形象。

态度指观看者对图像事物所采取的态度，主要通过视角来体现。“数娃”“数宝”平视观看者，与观看者形成平等关系，没有权力差异，这样拉近了“数娃”“数宝”与观看者之间的距离，甚至让观看者产生想与他们互动、合影的欲望。“数娃”“数宝”的亲和力给人们带来积极的情感感受，也反映出人们对他们的态度，体现为情绪、自尊等。“数娃”通过热情的面部表情、点赞的拇指、昂首踏浪的身势给人愉快、激昂的感觉，唤起人们的积极情绪。“数宝”注视前方的目光、开启智慧的食指、立正的军势、飘逸的头发，配以超能VR眼镜和数字荣光腰带，给人以充满自信和使命感的感觉，同样唤起人们积极的情绪。由此，人们认为“数娃”“数宝”拥有积极自尊(自尊是人们对一个人或其个性所做的价值陈述)，“数娃”热情好客、聪明伶俐、开朗自信，“数宝”朝气蓬勃、积极向上、尽职尽责。

情态再现了“数娃”“数宝”图像反映现实的真实度。实际细节表现的是特定图像的写实程度。数字展会吉祥物用的是漫画人物形象来表现，而不是用实际的动物或人物的图像，表面上“数娃”“数宝”不是真实的存在，但却十分符合人类吉祥物的文化传统。从远古时代的龙图腾，到现今时代的“福娃”“进宝”，吉祥物形象设计都是基于真实世界中的人或物，由此人们看到“数娃”“数宝”的第一眼，认为他们是吉祥物的真实面貌，毫无置疑地接受他们为吉祥物。至于为何将“数娃”“数宝”至于空白背景中，源于本文的写作目的仅聚焦于二者形象，不考虑其他语境因素，因此特地选取空白背景，使主题更明确。

“数娃”“数宝”图像中的色彩饱和度、区分度、协调度等再现了色彩情态。色彩是快乐和情感意义的来源，具有表达情感“温度”的能力[30]165。观察“数娃”，较大面积的蓝色，小面积的红色、粉红色，以及色彩缤纷的“数”体现了较高的色彩饱和度(色彩的鲜艳程度)，且在黑色眼睛与灰白底衬托下区分度很高，整体颜色搭配柔和，不会过于饱和或暗淡，协调度也较高，给人的色觉感受较强、视觉印象较深，体现一种高情态，反映出“数娃”热情好客、可亲可爱的形象特征；黑白颜色对比构成“数宝”的主要视觉感受，色彩区分度和协调度也较高。飘逸的黑发、淡蓝紫渐变的VR眼镜和荣光腰带(配以些许灰色作为消色)，整体上色彩饱和度、鲜艳度都较低，体现一种低情态，反映出“数宝”冷静、理智、帅气、酷酷的形象特征，十分符合其数字使者的身份定位。

由“数娃”“数宝”图像的互动意义分析可知，目光、视角、面部表情、手势、体态以及色彩的运用能够很好地再现“数娃”“数宝”形象的人文特质，而这些人文特质与观看者形成良好互动，唤起人们对其所代言的展会产生积极情感和参与兴趣。

3.构图意义。结合图8，对“数娃”“数宝”图像的构图意义进行分析。首先从信息值来看，“数娃”“数宝”都置于图像的中心，是所有信息的核心[30]196。在显著性上，“数娃”“数宝”是图像中唯一的参与主体，没有背景、前景之分，但图像中的视觉吸引力要素再现“数娃”“数宝”的形象特征。

图8 构图意义分析框架Fig.8 A framework of compositional meaning analysis

“数娃”图像的脸部表情有3处黑白对比和3处红白色彩对比，即白色脸庞上呈现两只黑眼睛和上翘的黑唇线，以及两个粉红色腮帮和红色小嘴。这些黑色和红色元素在白底映衬下格外突出，使“数娃”的脸部表情浑然一体，且在图像中占比最大，成为最鲜明的焦点。此外，还有4处蓝白色彩对比，即白底衬托下的蓝色帽子、双脚和波浪线，也成为整张图像中十分突出的视觉感受。蓝色波浪线还将“数”形成的整个会徽凸显出来；“数宝”图像中，黑白颜色是贯穿整个图像的主色调，黑白对比使淡蓝紫渐变VR眼镜成为最鲜明的焦点，也使数字荣光腰带十分凸显。这些显著的视觉特征再现了“数娃”亲切、热情以及海丝蓝、数字中国等概念，“数宝”理智、冷静以及VR、人工智能、数字时代等概念。

此外，“数娃”身上还体现了图文关系。首先关注字体版面设计，“数”字与展会名称的中英文本形成整个会徽(图9[34])。会徽字体设计与风格都寓意深刻，体现了上述概念再现中的象征暗示过程。会徽以汉字“数”为创意出发点，将汉字文化底蕴与国际化现代风格相融合，呈现新时代数字中国的新梦想。会徽具有绚丽的色彩，不同的色彩代表不同的数字应用领域，整体造型既体现数字中国建设峰会的多样性和共享性，也极具中国特色。“数”字采用明亮的宽、粗、大字体，且笔触线条极具动感，苍劲有力，营造出一种隆重、典雅、含蓄、宏大、开放、包容和自信的氛围，寓意数字中国峰会“以信息化驱动现代化，加快建设数字中国”的主题。会徽“数”字中结合了“中”“好”“海浪”“榕树叶”等设计元素。其中隐含的“中”字，代表数字中国，突出中国属性；隐含的“好”字，代表数字经济的发展给中国及世界未来发展带来的美好前景；隐含的“海浪”，代表数字浪潮带来巨大的冲击和力量；隐含的“榕树叶”，代表数字中国建设峰会举办地福州的市树榕树，象征着福州人不屈不挠的精神[34]。再看展会名称，“数字中国”使用楷体，给人活力，“建设峰会”使用粗体，带来庄重之感，二者搭配，具有视觉冲击力。英文字母全部大写寓意峰会之盛大和庄严，无衬线英文字体简洁、干净、直接、醒目，具有现代性、技术感和理性气质，给人一种实用、整洁、轻松的感觉。

图9 数字中国建设峰会会徽图10 中国国际数字经济博览会会徽Fig.9 The emblem of Digital China SummitFig.10 The emblem of CIDEE

以上对“数娃”图像中的文本即会徽文字及其内涵的分析可知，“数娃”图像中视觉和语言元素明显相互关联，且互为说明、重复表达相似的设计理念和展会社会意义，呈现图文关系相似性和一致性，表明了“数娃”图像的意义及其身份。而“数宝”图像中不存在图文关系，没有会徽或文字语言元素加入图像本身，则需加以会徽(图10[33])说明或在展会现场、官网、媒体宣传等社会语境背景下解读“数宝”的身份。

三、结果与讨论

综合上述分析可知，“数娃”“数宝”图像的再现意义、互动意义、构图意义相辅相成，共同传达了各自展会吉祥物独特的形象特征、设计理念和社会意义。“数娃”图像的视觉特征十分丰富，45个图文分析特征(图6-8)共同呈现了“数娃”热情好客、聪明伶俐、开朗自信、可爱可亲的展会小天使形象，以及海丝蓝、数字中国等概念与意义；“数宝”图像的视觉特征较为简约，19个图像分析特征(图6-8)共同再现了“数宝”朝气蓬勃、冷静理智、酷爱钻研、尽职尽责的数字使者形象，以及VR、人工智能、数字时代等概念与意义。同传统的文本话语一样，图像也具有话语的形式、结构、意义和功能[26]。“数娃”“数宝”图像以文字、画面、色彩等视觉元素的组合方式传达图像话语所承载的意义。Kress和van Leeuwen把图像看作社会符号[27]，创造性地从传统的“语言语法”转向“视觉语法”[23]，为图像分析提供了理论依据。运用视觉语法分析图像有利于综合理解图像话语，深度挖掘图像传达的信息，洞悉图像产生意义的内在机制[23]。

四、结语

本研究从社会符号学多模态话语分析视角出发，将Kress和van Leeuwen 的视觉语法理论与多模态图像分析软件中的分析指标相结合，创建图像的再现意义、互动意义和构图意义三个分析框架，可视化解读并比较了中国数字展会吉祥物“数娃”“数宝”的形象特征、设计理念和社会意义。研究结果显示，中国数字展会吉祥物作为一个区别于其他展会吉祥物的识别标志，其图像、文字、颜色、表情、体态等多模态符号共同构建的吉祥物形象蕴含浓重的本土元素、丰富的多元概念、显著的人文特质、鲜明的数字属性等，而这正是数字展会为弘扬深厚区域文化底蕴、体现展会价值取向、提升展会形象、实现展会意图等多方需求共同作用的结果。本研究虽促进了展会吉祥物形象的研究，但也存在仅就吉祥物图像本身展开分析等不足之处，后续研究可采取问卷调查等形式探讨吉祥物形象在展会现场等现实社会语境中，人们对其接受度及其与展会的融合度等情况，深入地挖掘展会吉祥物的社会意义。