口述影像中手势与面部表情描述策略研究——以电影《国王的演讲》中的中文口述影像为例

沈渭菊，许露梅

（兰州交通大学 外国语学院，兰州 730070）

中国是《残疾人权利国际公约》缔约国，2008年6月全国人大通过了该条约。公约第三十条中指出“政府应当采取一切适当措施，确保残疾人获得以无障碍模式提供的电视节目、电影、戏剧和其他文化活动”［1］。我国现有视力残疾人1700多万，其中包括“全盲约869万，重度视力障碍约467万，低视力约400万”［2］。而且“超过一半（53.24%）的视力残疾人年龄在60岁以上，且大多数（75.04%）都居住在农村地区”［3］，教育水平较低，“约72%的视力残疾人仅高中及以下学历”［4］。为了贯彻落实习近平总书记“重视无障碍环境建设”的指示，践行“以人民为中心”的发展思想，无障碍环境建设智库发起“无障碍畅享行动”（2019-2022），呼吁“电视台、电影院、视频网站、图书馆、体育场馆等公共文化服务机构为听障人士观看新闻、体育、综艺等各类节目提供实时中文字幕同步服务，推广盲人电视、电影口述影像节目”［5］。口述影像的目的是为视障人士提供独特的信息文化服务，从而促进视障人士平等地共享信息、共享文化。

口述影像（audio description）是一种将“图像符号转化为文字符号的符际翻译”［6］。是一种“额外添加的语言描述，以诠释图像上最重要的信息，是一项帮助视障人士接受视觉信息的技术”［7］。在戏剧表演、电影电视节目中，口述影像描述者描述角色的动作、肢体语言、面部表情、场景以及服装，并将其插入人物对话的间隔中，不与重要音效重叠。口述影像20世纪80年代起源于美国。对于口述影像的研究，国外学界成果丰硕，发表了大量具有影响力的著作和期刊论文，研究主题面广丰富。近几年的研究主要聚焦于七个方面：口述影像文本的语言问题［8-10］，口述影像中的话语分析［11］，口述影像中的连贯性［12］，语音合成口述影像［13-15］，口述影像中的人物特征［16］，口述影像中的手势与面部表情［17-19］以及口述影像文本的互文性［20］等方面。手势和面部表情作为非言语交际的一部分，是人类交际的重要组成部分，是电影塑造人物形象，推动情节发展的重要依托。欧美等发达国家相继出台了口述影像规范，规定了如何描述面部表情和手势的准则。各国描述虽有不同，但差异的主要焦点是主观描述还是客观描述。多数国家持客观描述的观点。比如，美国的准则规定，口述影像描述者应“客观地描述画面。主观或定性的判断或评论会妨碍听众的理解”［21］。但英国的准则规定，“只要描述者不要在口述影像中加入过多自己的理解，适当主观的描述也是允许的”［22］。Vercauteren和Orero［23］认为，描述面部表情十分重要，因为它们表达情感，而情感往往是驱动电影叙事的原因，为角色的后续行为提供了动机。然而，由于受到口述时间，非言语信息的微妙含糊，观众的认知负荷等多方面的限制，如何准确地将这类非言语信息传递给视障观众，是口述影像描述者面临的挑战。尽管大多数国家提倡客观描述，然而，Vercauteren和Orero也特别提醒初学者，不要过多采用客观性原则，提供过于详细的描述。他们认为，尽管这类口述影像准确地描述了面部肌肉的运动，但视障人士可能难以确定其表达的情绪。而且，过于冗长的描述也可能会造成视障观众的认知负担。当然，他们也认为直接表明情感也存在一定的弊端，如描述者可能会对人物的情绪做出错误的推理和判断。Mazur［18］则认为，手势和面部表情的描述应该避免主观与客观的二元对立。手势和面部表情的描述不应只局限于主观和客观，而是应该考虑每个情景的多种限制因素，选择合理的策略进行描述。她借鉴了翻译研究的理论框架，提出了描述手势和面部表情的策略，并以电影《无耻混蛋》为例，对描述者描述手势和面部表情的策略进行了案例分析。Igareda［17］通过分析五部西班牙电影中人物的面部表情，探究了角色的情绪应该如何被描述。Jankowska和Zabrocka［19］采用定量和定性研究方法，分析了电影中伴言语手势（co-speech gesture）的口述影像，发现手势的类别对手势描述有很大影响。

国内对口述影像的研究还很滞后，只有少数学者提到中国口述影像的发展现状，而且研究的内容仅局限于口述影像的制作和口述影像的电影版权等内容［24-26］。相关实践研究只有三篇文章。肖维青和董琳娜［27］对比了语音合成口述影像与真人声音口述影像在中国的接受度，发现我国视障者更喜欢真人声音的口述影像。蒋莉华和李颖［28］基于多模态话语分析理论探究了口述影像的制作，发现口述者通过整合多模态信息，以整体传达，适当解释，删减提炼的方式增进口述影像的理解。罗康特和焉秀［29］以香港电影《叶问：终极一战》的口述影像为例，探究了能体现导演意图的作者口述影像的实践特征，发现这类口述影像的制作由于有导演介入，口述影像员有了摆脱“所见即所述”的优势。近两年，也有国外学者对中国口述影像进行研究。Tor-Carroggio和Vercauteren［30］对比了欧洲口述影像和中国口述影像的制作，发现前者主要基于学术研究成果和口述影像制作规范，后者主要基于描述者自身的描述经验。Tor-Carroggio和Casas-Tost［3］通过问卷调查的方式，绘制了中国口述影像描述者的概况。Tor-Carroggio［31］调查了上海视障人士对口述影像的满意度，发现大部分用户对目前的口述影像比较满意。本文以电影《国王的演讲》中的中文口述影像为例，运用Iwona Mazur对面部表情和手势的分类以及描述策略，分析描述者描述手势和面部表情所采用的策略，以期未来口述影像描述者可供借鉴。

一、口述影像中手势和面部表情的分类以及描述策略

Mazur［18］根据面部表情与手势在话语中的功能，将口述影像中的手势和面部表情分为三类。

（1）支持话语的手势与面部表情（discoursesupporting gestures and facial expressions）。这类表情伴随并加强了所说的内容，但也以某种方式重复了所说的内容。比如，在电影《无耻混蛋》中，希特勒听到“混蛋”杂牌部队戏弄德军时，非常的愤怒，一边大声吼叫，一边挥舞手臂，用拳头砸着桌面。希特勒的手势支持了他所说的话语，也表达了他的气愤。

（2）填补话语的手势与面部表情（discoursefilling gestures and facial expressions）。这类表情补充了说话人所说的内容。比如，在电影《无耻混蛋》中，当酒吧服务员问希考克斯要几杯酒时，他只是伸出了三个手指，并未口头回答，为了理解他的意思，我们需要看他比划的手势。同样地，我们的表情可能不会伴随着任何话语（比如，某人在考虑事情时的微笑），或者我们的表情是对某个问题的回答或是对某个陈述的反应。

（3）话语冲突的手势与面部表情（discourseconflicting gestures and facial expressions）。这类表情与话语相矛盾，或者不支撑所说的内容。比如，在电影《无耻混蛋》中，汉斯为了迷惑躲在地板下的索莎娜，一边说着他要邀请房子主人的女儿进屋，感谢她们的接待，一边又用手势示意他的士兵，向地板开枪，这样他的话语与他的手势就产生了冲突。

在描述画面时，由于时间的限制，往往会优先描述填补话语类以及话语冲突类的手势与面部表情。因为这两类对于信息理解是不可或缺的。

在应该描述什么手势和面部表情的基础上，Mazur以口述影像也是一种翻译为出发点，提出了可以将翻译中的一些策略经过改编用于指导口述影像的描述，比如韦努蒂的归化与异化，奈达的形式与动态对等。她将上述策略视为“整体策略”（global strategy）。这类策略能让口述影像描述者，像任何译者一样，有意识或无意识地从一系列“局部策略”（local strategy）中进行选择。在口述影像描述中，整体策略和局部策略的选择取决于视听文本的类型、目标受众、或口述影像的目的等因素。Mazur借用奈达的术语，将手势和面部表情的口述影像称之为形式导向（formally-oriented）和动态导向（dynamically-oriented）的口述影像。奈达的形式对等一般是指词对词的翻译，而动态对等则被理解为意义对意义的翻译。以手势和面部表情为例，形式导向的口述影像尽量复制特定的身体动作或面部肌肉，而动态导向的口述影像则更具解释性和对情绪的命名。由此，她认为形式和动态导向的口述影像不应被视为二元对立，而应被视为一个连续体的两端。

在手势和面部表情分类的基础上，Mazur也提出了五种描述策略。

（1）直接描述（literalness）：尽可能从字面上描述我们所看到的，例如，“她皱着眉头”。但需要注意的是，直译的程度也可能有所不同，例如，我们可以说：“她在挥手”或“她举起她的右臂将其左右移动”。

（2）明晰化（explicitation）：通过命名明确面部表情或手势所表达的情感。例如“她生气了”或“她伤心了”。

（3）概述（generalisation）：用概括性的话语描述手势或面部表情。例如，“她在做鬼脸”或“她在做手势”。

（4）省略（omission）：不描述特定的手势或面部表情。因为时间限制或与故事情节无关。

（5）组合策略（combination of strategies）：使用上述两个（或更多）策略描述一个手势或面部表情。例如，“她皱着眉头，生气了”。

上述策略的应用取决于许多因素，如文本类型、目标受众、手势和面部表情的类别等。如在一部描述一连串事件的电影（如动作片）中，口述影像的目的是要保持叙事的连续性，因此可能采用更具动态导向的策略。在考虑怎样描述时，目标观众是主要决定因素，他们的年龄、受教育程度、认知负担以及视力受障程度等都会影响描述者对策略的选择。同时，也要考虑手势和面部表情类别，手势或面部表情与特定场景或角色的相关性以及对话之间的停顿时间等。总之，无论采取何种“整体策略”，由于受电影特定场景或镜头的限制，一部电影的描述都会涉及多种描述策略的混合使用。

二、《国王的演讲》中的手势和面部表情的描述策略

本文首先根据Mazur对手势和面部表情的定义和分类，将电影《国王的演讲》中的手势与面部表情进行了分类。其中，填补话语类手势与面部表情33例，支持话语类手势与面部表情68例，话语冲突类手势与面部表情10例；然后对这些手势与面部表情的描述策略进行了梳理，发现描述者主要采用了4种描述策略：明晰化，直接描述，省略，组合策略（如图1）。

图1 手势与面部表情的描写策略分布Fig.1 The distribution of description strategies of facial expressions and gestures

从图1可以看出，对于填补话语类手势与面部表情，描述者主要使用了直接描述、明晰化、省略和组合策略四种描述策略，其中使用明晰化的策略最频繁；对于支持话语类手势与面部表情，使用最多的是省略描述；对于话语冲突类手势与面部表情，描述者只采用了省略描述的策略。

1.填补话语类手势和面部表情

对于填补话语类手势与面部表情，描述者主要采用明晰化、直接描述、省略和组合策略，其中使用最频繁的是明晰化描述。

（1）明晰化

在图2中，约克王子正在播放自己的录音，想知道罗格的办法是否有效，自己的朗读是否真的流利。此时，王子的夫人莫林从房间走出来，听到录音中丈夫流利的朗读，眉头紧蹙，两嘴微张，不可思议。

图2 明晰化描述惊讶的表情Fig.2 Explicit description of a surprised expression

描述者使用了明晰化的策略描述莫林的面部表情。描述者没有详细地描述莫林的面部状态，只用“惊讶地”一词直接表明了她的情绪状态，完全表达了莫林听到丈夫流利的发音难以置信的表情。尽管有些国家的描述准则规定，描述者应尽可能的客观描述。但Vercauteren和Orero提到，在描述中直接表明情感意义，可以节省时间和减轻盲人观众的推理负担［23］。在这部电影中，明晰化策略是描述者使用最多的策略。这或许是考虑到我国目前至少53.24%的视障人士年龄超过60岁［3］。

（2）组合策略

在图3中，英国正式向德国宣战，民众顿时陷入惴惴不安之中。为了安抚民心，鼓舞士气，国王乔治六世即将发表战前演讲。为了成功地发表此次演讲，国王邀请罗格协助他完成演讲。国王演讲全程都是按照罗格手势的节奏进行的。画面中的罗格用手势提醒国王，演讲可以开始了。

图3 组合描述手臂张开的手势Fig.3 Combined description of an arms open gesture

描述者使用了组合策略描述罗格的手势。首先采用直接描述的策略，客观地描述了罗格“张开双臂”的手势，然后又运用明晰化策略，解释了手势“演讲开始了”。电影中手势的描述，直译和明晰化的组合策略是使用最频繁的策略。因为“一个手势往往有多种含义，直接客观的描述一个策略容易引起歧义，而通过明晰化策略的组合使用，往往可以消除这种歧义”［19］。Leung也发现，在描述手势和面部表情时，最受香港视障观众喜爱的策略是组合策略。在她指导的实验中，84.1%的观众都倾向于描述者使用组合策略，因为这种策略既减轻了观众的认知负荷，又能为他们提供更多的细节。但Leung也指出，组合策略的使用有赖于对话之间有足够的间隙，因为“这种策略的使用会花费比其它策略多两倍的时间”［32］。

（3）直接描述

在图4中，约克王子站在麦克风前，准备发表一个重要演讲。因从小患有口吃，约克王子总是说话结巴，对公共演讲充满了恐惧。但是，在周围观众殷切的目光中，约克王子努力尝试着开始演讲，但他十分紧张，嘴唇颤抖着，抖动了老半天也没能憋出一句话。

图4 直接描述紧张的表情Fig.4 Literal description of a nervous expression

描述者使用了直接描述的策略，有效地传递了王子的紧张情绪。描述者通过客观描述王子“嘴唇微微颤抖着”传递王子的情绪。这种描述仅仅向观众呈现人物的面部肌肉状态，让观众自己推测人物的情绪，避免因描述者的判断失误而致使观众收到错误的信息。Matsumoto和Willingham.N.d［33］认为，“情绪的自发面部表情的产生不依赖于观察学习。先天性失明、非先天性失明和有视力的人的表情都是相似的”。因此，尽管视障人士无法通过观察学习这类表情，但他们遇到相似情景时，也会露出类似的表情，有相同的感受。同时，视障观众结合自身紧张时嘴唇颤抖的体验，也能够推测出王子的紧张情绪。

（4）省略

在图5中，乔治六世和王后来到言语治疗师罗格的家中，谈论加冕仪式的事。罗格一直没告诉他的妻子他在担任国王的言语治疗师，所以当他妻子回家看见国王在他家时，露出了画面中十分惊讶的表情。她嘴巴微张，眼睛瞪大，惊讶地说不出话，只是默默地盯着国王，听着她的丈夫向她介绍这位尊贵的客人。

图5 省略描述不可置信的表情Fig.5 Omission of an incredulous expression

此时她的表情属于填补话语类面部表情。按照Mazur的观点，这里应该描述，但描述者省略未描述，主要考虑到她丈夫与国王的对话没有足够的时间空隙插入对她表情的描述。但观众能猜到她惊讶的表情，这是因为在她进门时看见王后坐在她家的客厅时，她面露惊讶，并颤抖地说着：“您，您……”

2.支持话语类手势和面部表情

（1）直接描述

在图6中，乔治六世国王在罗格的帮助下，成功地发表了战前演讲，国王很感谢罗格的帮助。在演讲结束后，他走到了罗格的身边，将手放在罗格的肩上，说道“谢谢你，我的朋友”。国王的这一手势支撑了他所说的话，并加强了他对罗格的感谢以及友爱之情，属于支持话语类手势。

图6 直接描述支持的手势Fig.6 Literal description of a supporting gesture

国王的手势是他在说话过程中自发的手部动作，属于表征性手势（gesticulation）。意味着，国王这个手势的语言属性不强，只传递了细微的语言信息。描述者使用了直接描述策略，客观地描述了这个手势，没有解释这个手势的含义，目的让视障观众知道这个特定的手势是如何使用的。正如一位受访盲人说到，“我不知道手势是怎样的，但口述影像能帮我学习手势的相关知识，就如我能通过书籍了解人们的行为举止一样”［34］。

（2）明晰化

在图7中，约克王子在夫人的陪同下，接受了王室御医对其口吃的治疗。医生要求王子嘴里含着弹珠进行朗读练习。王子尝试了一下，满脸涨得通红，读不出一个字，于是生气地吐出弹珠，大声地喊道“我差点把这些混球咽下去”，便起身离开了。

图7 明晰化描述暴躁的表情Fig.7 Explicit description of an irritable expression

描述者使用了明晰化的策略，直接表明了王子的愤怒情绪，并没有详细地描述王子此时的面部状态，“眉头紧促，眼睛瞪大”等等。尽管直接表明人物的情绪，描述者可能会对人物的情绪做出错误的推理和判断，但观众从王子的语气和语调中能推测出他此时的愤怒，所以明晰化的策略未造成信息的缺失或错误的传递。

（3）省略

在图8中，约克王子第一次与语言治疗师罗格见面。王子此前已经历过多次失败的治疗，对治好口吃不抱希望。况且，罗格的治疗所看起来也不大正规，所以王子对罗格很不信任。在交谈过程中，罗格为了让王子放松情绪（这也有助于缓解口吃），尝试以朋友的姿态与王子聊天，问王子，“你最早的记忆是什么？”王子认为这是私人问题，与治疗无关。耐心耗尽，顿时话音高涨，语速急促，眉头紧蹙，双眼怒目。

图8 省略描述愤怒的表情Fig.8 Omission of an indignant expression

描述者采用了省略描述，考虑到观众能够从王子说话的语气和语调中感受到他愤怒的情绪。正如Mazur所说，对于支持话语类面部表情，最可能使用的描述策略是省略策略。因为这类面部表情往往有话语支撑，通过话语就能判断出此时人物的面部表情。如果描述者对王子此时的表情进行描述，就会与王子的语气语调所表达的意思冗余，并造成“挑战观众，给他们留下居高临下的感受”［35］。

3.话语冲突类手势与面部表情

在图9中，王后、众大臣和主教都在等待爱德华王子共进晚餐，但王子姗姗来迟。王后对此不满，担心他的迟到会引起他父亲的不满。但主教却对王子极尽赞美，夸他像国王一样优秀。面对主教热情的态度，爱德华王子虽然感谢了主教为他所做的一切，“在你心中果然总是为我设想”，但从爱德华“嘴巴紧抿，眉头紧锁”的表情，可以看到他并不在意主教的示好和赞美，只是敷衍而已。因此，王子的面部表情并不支持他所说的话语。由于这类表情与所说话语冲突，所以为了让观众能够理解说话者的真正意图，这类表情需要向观众描述。但因为王子的表情伴随话语，用于描述的时间空隙很短，即便插入描述，也很容易打断对话，因此描述者选择省略描述。而且，王子在说到“果然”二字时，声音突然提高，看似强调主教的良苦用心，实则体现了王子对主教的不赞同，所以观众通过王子说话的腔调也能推断他不以为然的态度。

图9 省略描述心口不一的表情Fig.9 Omission of a conflicting expression

三、结论

本研究通过电影《国王的演讲》中的手势与面部表情的描述发现，描述者在描述电影中人物的面部表情和手势时，考虑到描述时间的限制、观众的认知负荷、表情和手势的类别等因素，采用了不同的描述策略。其中，明晰化的策略使用最频繁。主要原因很可能与我国视障群体的年龄和教育程度有关。我国53.24%的视障人士年龄超过60岁，72%的视力残疾人仅高中及以下学历。明晰化的描述策略，可以减轻他们的认知负荷，帮助他们更好地理解和观赏电影。整体来讲，电影中手势和面部表情的描述基本传递了手势和面部表情所表达的重要信息，但也存在一些不足。研究发现，一些重要的手势和面部表情，描述者采用省略策略，未进行描述，影响了视障观众对电影的理解。本研究认为之所以会出现这样的情况，主要有三方面的原因。第一，可能是因为目前国内的口述影像还处于起步阶段，大多数描述者都不是专业人士，“他们描述电影的经验还较少，也未曾受到系统专业的相关培训”［3］。第二，我国目前还没有出台相关的口述影像描述规范，对于“应该描述什么，如何描述”这一问题的界定还很模糊，描述者没有清晰的概念。第三，我国口述影像的制作多是基于“描述者自身的描述经验”，缺乏理论指导，而国外口述影像主要是基于“学术研究成果和口述影像规范”［30］。综上原因，本研究认为我国应该基于国外口述影像规范以及口述影像相关研究，研制符合我国国情的口述影像规范，培养一批专业的口述影像描述者，提高口述影像质量，促进我国口述影像学术研究和发展，以便更好地服务我国视障人士。