多模态互动：数字媒介时代作为社会角色的电影

■ 孙承健

在当下科技迅猛发展的时代，人类与AI（Artificial Intelligence）技术、社会网络等，正共同构建起一个“强大的混合智能‘社会机器’”。在此过程中，在赋予机器更强大能力的同时，混合智能也赋予人们在基于数字媒介的多模态互动体验层面更具智能化、更具开放性与沉浸感的视听体验。在当下各个领域中，基于多模态交互（Multimodel Interaction）的数字体验设计，即是在融合了深度学习与计算机图形研究的基础上，充分模拟人类真实的自然交互方式，通过视觉、听觉与语言等不同模态，实现人机交互效果的各种研究和应用，已然呈现出数字媒介时代基于交互性体验的文化特征和形态。这也意味着，在基于数字媒介的社会互动中，电影与观众间的关系不再是一种主客间的二元关系，而是一种基于主体与主体之间的主体间性关系。在此，“电影”这一概念所指涉的不仅仅只是一部具体的影片，更是一种携带着社会角色身份的“机构”。正如美国当代电影社会学家尼·布朗（Nick Browne）所指出的：“电影‘机构’包括生产系统、影片的发行与接受。电影机构不仅仅是工艺条件，而且是一种社会条件。它包括电影与公众之间的总体关系。”[1][美]尼·布朗：《电影与社会：分析的形式与形式的分析（上）》，齐颂译，《世界电影》1987年第3期，第90页。这种总体关系表明，电影既被社会所建构，同时也以一种“社会行动者”（Social Actors）的身份参与到社会建构之中。

作为与数字媒介构成紧密关联性的一种艺术形式，电影在基于数字媒介的多模态互动中，通过各种社会化媒体（Social Media）对社会生活的全面渗透，以及媒介间的协同、融合，甚至是在与“社会机器”的交互、碰撞中，已逐渐在影院与影院空间之外以及更广泛的社会文化场域中，成为一种承载着各种社会化功能以及社会大众“梦幻与情感”的社会角色。这种由功能化到社会化的身份转变，也即意味着，数字媒介时代的电影，已然开始由原本以审美和娱乐消费为主导的功能化媒介特质，逐渐转化成为具有社会生命的一种基于多模态互动的“社会行动者”。但是，这种角色身份的转化并非是对原有审美和娱乐消费功能及其价值取向的扬弃，而是在基于主体间的交往、互动与协同关系层面，将电影视为一种具有思想能动性的存在实体。

作为社会价值载体与协调者的电影

将电影定义为一种社会角色，实际上是将电影视为一种蕴含社会生命、且具有思想能动性与社会互动交流性的存在实体。并且，在基于主体间的社会互动关系中，电影在社会系统中所扮演的角色、地位和社会化功能，以及电影自身的“自我预期”与基于“社会期待”的反馈之间的交互关系，所体现出的正是电影作为“社会行动者”的一种身份认同，一种社会价值之所在。

传统的电影观念，从电影何以构成一种艺术门类，到众多电影探索者，包括大卫·格里菲斯（D.W. Griffith）、谢尔盖·爱森斯坦（Sergei M. Eisenstein）、安德烈·巴赞（André Bazin）等，针对电影本体的一系列相关思考，直至结构主义与符号学，对电影文本的深入解读和分析，自始至终所围绕着的实际上是将电影作为一种独立的艺术形式、一种封闭自足的系统展开讨论的。尤其是结构主义与符号学的理论和分析方法，更是在过度聚焦文本、符号及其系统概念的过程中，潜移默化地“割裂”了电影与社会之间的交互关系，以及电影文本与社会泛文本之间的存在关系。正是基于此，英国电影文化学者吉尔·布兰斯顿（Gill Branston）曾不无感慨地引用一位不知名学者的话说道，“我们绝大多数人看的是电影，而电影理论研究的是各种‘文本’。”[2][英]吉尔·布兰斯顿：《电影与文化的现代性》，闻钧、韩金鹏译，北京：北京大学出版社，2012年，第182页。

然而，电影与社会、电影文本与社会泛文本之间始终具有不可分割的内在关联性，这也是电影得以构成一种社会话语实践的根本之所在。并且，就电影产业而言，20世纪末以降，伴随着一些跨国集团对电影业的全面渗透、扩张，电影作为文化商品的属性也开始发生变化。在此过程中，“电影作为文化商品的属性的变化，反映出了一个严峻的产业事实，即电影产业不再是一个自给自足的产业，多数情况下它仅仅是大型跨国集团生产的一系列文化商品的一部分”[1][澳]格雷姆·特纳：《电影作为社会实践》，高红岩译，北京：北京大学出版社，2010年，第3页。。与此同时，互联网与新兴媒体的迅速崛起逐渐打破了电影原本封闭自足的系统结构。在与社会之间愈加频繁的互动关系中，电影也开始确立起作为“社会行动者”的角色身份。尤其是进入数字媒介时代之后，伴随着“屏幕文化”（Screen Culture）的快速兴起，以及大数据与智能计算的普遍运用等，对社会网络的全面渗透使得电影与其他媒介的分工边界愈加模糊。一种开放的、自由的，以互动体验为主导的，基于多维感知的多层次、多模态话语交流模式，逐渐取代了以往以语言文字为中心的交流模式。与此同时，数字视觉技术对社会生活的全方位“覆盖”，更是在围绕视觉性的图像主因型文化形态的基础上，彰显出数字媒介时代运动影像在多模态互动层面的话语优势。

与以语言文字为主导的互动模式所不同的是，数字媒介时代基于主体间的多模态互动关系，更加注重参与者在交流过程中的参与状态和体验状态。这也就意味着，参与者的主观心理感受与主观真实性，在一定程度上是构成互动体验模式的重要因素。正是基于此，以往作为被观看客体的电影，在与观众、与社会间的互动关系中逐渐转化为一种尤尔根·哈贝马斯（Jürgen Habermas）意义上的主体间的存在关系。

作为一种社会角色，电影既是社会价值的载体与协调者，同时也是社会建构与社会互动的参与者。作为现代科技与文化的产物，电影是在先行的被社会文化建构中开始了它的建构。在电影与社会基于主体间的互动关系中，既涉及社会对电影这一社会角色的“社会行为”期待，同时也必然涉及电影自身在社会建构中，作为“社会行动者”的身份认同与自我预期。前者，所谓“社会行为”期待，主要参照的是基于一定社会规范和社会行为模式的一种价值理性判断，也是社会组织和制度通过社会话语等各种形式，赋予电影的一种与其社会位置、社会身份相关联的角色脚本。角色脚本在价值预设层面，决定了社会角色在社会互动关系中所应具有的行为模式及其责任和义务。后者，所谓“自我预期”，一方面，关乎电影在社会文化中所占据的地位以及试图产生的社会影响力；另一方面，则关乎电影自身所预期的，社会大众针对电影本身的一系列反馈所构成的行动的整体，这其中既包含对电影的各种评价，更包含对一定经济回报的预期，等等。

“社会行为”期待与自我预期之间，往往难以达成一致性，并且，低于或者是超乎预期的现象往往成为一种常态。尤其是对于产业化改革后的中国电影而言，这种现象尤为凸显。从《疯狂的石头》（2006）、《战狼Ⅱ》（2017）到《红海行动》（2018）、《我不是药神》（2018）、《流浪地球》（2019），直至《你好，李焕英》（2021），等等，诸如此类所谓“爆款”影片，都在一定程度上超出了自我预期，或者说基于“社会行为”期待的反应，远高于电影自身的自我预期。当然，在市场化进程中，远远低于预期者也不乏其例。这样一种现象，显然与电影高度市场化的商业特质密切相关，但在本质上则是与知识和道德信仰、审美和价值取向，以及不同社会环境中的社会心态密切相关。

正如美国剧作家斯坦利·D·威廉斯（Stanley D·Williams）所指出的，所有成功的故事都蕴含一定的“道德前提”，并且“口头的故事、书上的故事、舞台中的故事、荧屏里的故事甚至网络上的故事……一直到今天，无论道德前提以怎样的形式出现，它依然是所有故事的基本要素”[1][美]斯坦利·D·威廉斯：《故事的道德前提》，何姗姗译，北京：北京联合出版公司，2013年，“自序”，第7页。。因此，道德前提作为一种价值预设，对于电影作为社会价值载体与协调者的身份形塑而言，可以说是社会角色身份构成的一种结构性要素。

事实上，几乎所有“爆款”电影在商业上的成功，都在一定程度上契合了当下某种社会心态。可以说，社会心态往往是构成电影与社会互动效果的一个重要的变量因素。所谓“社会心态”，简言之，即是一定时期内人们的社会心理状态。这种心理状态蕴含着人们对自身、对现实社会，在利益诉求与基于道德信仰与价值判断等层面所持有的一种较为普遍的、对社会生活能够产生广泛影响的社会态度，一种蕴含情绪与情感体验的心理倾向或思想趋势。这也即是说，社会心态所体现出的正是一定时期内社会大众所关注聚焦的一些与社会生活密切相关的社会问题。因此，如果一部影片能够有效契合一定时期内的社会心态，并且在基于价值理性的判断层面上，能够符合作为社会价值载体与协调者的社会期待，就必然会获得更广泛、更积极的社会反应。影片《我不是药神》之所以能够获得社会大众的广泛认同并获得高票房的经济回报，在根本上是契合了那一时期社会大众尤其是中低收入阶层对由高昂医药费等引起的医患问题的关注，以及由此而引发的不稳定性社会心理倾向。而《流浪地球》作为第一部真正意义上的国产硬科幻电影，在科技作为话语权力的时代能够有效引发广泛的社会关注，也是影片得以获得广泛认同的一种社会心理学基础。

从社会学的角度而言，虽然社会心态产生于个体心理，但却表现为一种整体形态，并对每个社会成员的行为与价值取向潜移默化地构成影响。正是基于这样一种社会心理学基础，电影以其故事世界的建构逻辑，将蕴含某种社会心态的社会聚焦具象为一个个具体可感的故事和人物，并通过人物的戏剧性行动以及行动所蕴含的那种“延伸于意识维度之下的深层集体心理”[1][美]罗伯特·C.艾伦、[美]道格拉斯·戈梅里：《电影史：理论与实践》，李迅译，北京：中国电影出版社，1997年，第211页。，在影院与影院空间之外与社会和观众展开跨空间、跨媒介的多维度的对话和交流。在此过程中，基于多模态话语的数字媒介，通过互联网、电视、视频平台与自媒体，以及相应的数字技术手段等，在现实的社会网络与虚拟的数字网络之间，借助视频、图像、文字，以及各种动画或条漫等语言模态和非语言模态展开多维度的互联。互联的交互性效应，一方面，可以通过具体可感的人物及其戏剧性行动，以及携带情感与情绪体验和蕴含价值冲突的情节，有效调度起社会关注机制的聚焦；另一方面，电影叙事本身的情节构架及其价值预设，甚至是故事结局本身，则在一定程度上构成了基于某种利益诉求的社会情绪，能够获得意蕴回味的反思，或是有效缓解或释放的一种替代性满足的场域。

影片《我不是药神》中，那位老年患者对警察所说的一番话：“谁家能不遇上个病人，你就能保证一辈子不生病吗？……四万块一瓶，我病了三年，吃了三年，为了买药，房子没了，家人也拖垮了，我不想死，我想活着”，极具代表性地反映出那一时期由高额医药费与医患关系所引发的一系列复杂的社会矛盾，凸显出隐藏在社会经济高度发展背后的、因资源分配问题所导致的各种社会情绪与社会心理状态。其中，创作者运用多模态的影像话语，包括动作、表情、声音、语言和场景等，在这一段落的表达中，紧紧围绕生与死的价值冲突以及人物基于生命体验的情绪与情感而展开，从而最大化地激发出观众的情感认同，令观众难以掩饰内心的强烈触动。这也是这一桥段在各种数字视觉媒介中得以被广泛地段落化、碎片化传播的主要动因之所在。

在社会系统中，大众对社会事件或问题的关注，实际上始终是一种变动不居的动态化过程。社会事件作为一种外部刺激的变量因素，能够引发一定时期内的社会情绪和社会关注度。同时，一定数量的同质性社会事件，也可聚合并沉淀为相应的社会心态。在此过程中，作为社会价值的载体与协调者，电影在主流价值取向层面，一方面，需要不断发挥它作为社会角色在社会化功能层面，与社会、与大众间的协调者与引导者的身份功能；另一方面，则更需要与其他社会机构之间相互协作，“共同维护一个主导性的社会构架……分享并共同强化相似的价值观，这些价值观就是有关我们社会关系的主导性的观点——比如关于阶级、性别等的观念”[2][英]利萨·泰勒、[英]安德鲁·威利斯：《媒介研究：文本、机构与受众》，吴靖、黄佩译，北京：北京大学出版社，2005年，第86页。。

多模态互动分析理论视域下的电影及其运作模式

电影与观众、与社会之间几乎所有的互动关系都是多模态的，这也是多模态互动分析理论的一个基本观点。所谓“多模态”，所指涉的是根据人的感知方式，运用视觉、听觉、嗅觉、触觉与味觉等语言与非语言方式进行交流和对话的一种话语形式。多模态互动分析理论尤为重视参与者的互动意识、反应，以及表达者在参与过程中的感知体验，这也在一定程度上契合了当下数字媒介时代以开放、自由的交互性体验为主导的互动诉求。

就电影与观众、与社会间的互动关系而言，实际上，可以简单地划分为三种模式：一是银幕中角色与角色之间、角色与规定情境之间的互动关系；二是影院空间中电影与观众的互动关系；三是影院之外，在更广泛的文化场域中，作为文化商品与社会话题的电影通过现实与虚拟的社会网络之间的互动关系。并且，在诸如此类的互动关系中，电影始终是以一种互动主体的社会角色身份参与其中的。正如当代新修辞学代表人物詹姆斯·费伦（James Phelan）所言：“叙事不仅仅是故事，而且也是行动，某人在某个场合出于某种目的对某人讲一个故事。”[1][美]詹姆斯·费伦：《作为修辞的叙事：技巧、读者、伦理、意识形态》，陈永国译，北京：北京大学出版社，2002年，第14页。并且，依据哈贝马斯的交往行为理论，能够达成共识性的有效交往需要满足表达的可领会性、陈述的真实性、沟通的真诚性与表述的合理性。这四个条件对于作为社会角色的电影而言，涉及电影表达与接受的多个维度。

从结构主义与符号学的理论视角来看，电影表达与接受之间的关系，可以表述为这样一种过程：意图意义——（编码）——文本意义——（解码）——解释意义，并且这一过程是以叙事的完整性和连续性为基本前提的。这其中，基于意图表达的编码系统，以文本为中介，与基于观众接受的解码系统之间的一致性，也即意味着表达的可领会性。尽管一种普遍性的共识认为，可视化的影像是一种“世界语言”，无需“翻译”即可自然理解，实际上并非如此。任何电影作品的意图意义、文本意义和解释意义，在基于编码和解码的关系层面，都无法真正达到绝对的一致性，甚至可能因为解释者的“过度阐释”，或者对符号表意的“无限衍义”而造成歧义。这也恰恰说明，“可领会性”是构成交往共识的一个必要条件。尤其是在数字媒介时代，基于网络与自媒体的过度阐释或无限衍义，往往导致对文本意义的阐释在不断“增殖”的过程中也不断产生歧义。

如果从互动意义（Interactional Meaning）的角度，对运动影像的意义表达和接受进行多模态分析的话，那么在以“动作”（Action）为基本分析单位的多模态互动分析理论中，一个完整的、规定情节的戏剧性表意，实际上是由一连串的，诸如人物的表情、眼神、手势、姿态或口语等多个基本的动作链所构成的。并且，在角色间的互动过程中，既涉及每一种模态的表意功能，更涉及各种模态在互动过程中共同发挥作用的问题。除此之外，人物或角色之间互动行为发生的场景空间或环境，以及其中的物质对象，诸如各种道具、陈设、杂志、杯子等，在多模态互动分析理论中被定义为“冻结动作”（Frozen Actions）。冻结动作这一概念蕴含着一种动态化、连续性的分析逻辑，所指涉的是之前的行动被冻结在相互作用的物质对象之中。比如在张艺谋的影片《满江红》（2023）中的一场戏：宰相府总管何立遭暗杀脱险后，小兵张大、亲兵营副统领孙均与副总管武义淳随即纷纷赶来。行刺者半跪着，双手被吊挂。何立则斜坐在桌案旁的椅子上，胳膊上插着一把刀。书案之上有一张白纸、砚台和笔墨，砚台之下便藏有一封能够证实秦桧通敌卖国的密信。在这场戏中，与情节叙事构成紧密关联的便是何立胳膊上的那把刀，以及桌面上的那张白纸和砚台下的密信。当三人急匆匆进入屋内之时，刀已然刺在何立的胳膊上，白纸与书信也都已摆放在书桌之上。这就意味着，作为冻结动作的刀、白纸和书信，冻结了在他们进入之前行刺者刺杀何立不成，反被刺伤、抓获，随后被逼交代动机和暗号，以及何立在行刺者交出信件后，派人发送暗号、设局，并摆放白纸、将信件藏匿在砚台之下，等待三人到来等一系列戏剧性动作。并且，在叙事进程中，作为叙事“空白”，这一系列的戏剧性动作被创作者省略在可见事件之外，但却可以通过这些冻结动作，在基于连续性的叙事逻辑层面让观众得以有效感知。

这也就意味着，在银幕内角色之间的互动以及银幕外电影与观众的“对话”中，作为视觉模态与听觉模态的所有视听因素都在不同程度地发生着作用。并且，“所有的动作、所有的声音和所有的物质对象，只要被人感知到，就带有互动的意义”[1]Sigrid Norris, Analyzing Multimodal Interaction: A Methodological Framework, New York: Routledge,2004, p. 2.。上述影片中三个物质对象之所以能够被观众感知和注意，首先因其与张大对之前的冻结动作、对何立行为动机判断的情节叙事之间具有紧密的关联性；其次是因为摄影机借助张大的视点，对这几个物质对象的关注通过几个近景和特写镜头，有意识地聚焦在这几个物质对象上，从而给观众信息的提示。此时，摄影机所承担的实际上是一种指示性手段，对创作者希望观众关注和注意的信息进行有意识的组织、调节。指示性手段具有一定的支配性，作为一种互动的中介手段在电影表达中涵盖较为广泛，包括演员的表演、剪辑与色彩，等等。例如，史蒂文·斯皮尔伯格（Steven Allan Spielberg）的影片《辛德勒的名单》（Schindler's List，1993），黑白影调中，一个身着红色外套的小女孩独自走在苍凉的犹太难民营的街道上，便是创作者有意识地引导观众对这一信息进行关注，从而引发意义的联想与反思。因此，与一般日常的互动场景所不同的是，电影对戏剧性的特定互动场景中的各种模态的变量分析，主要体现在模态结构与模态权重的分析之中。其中，模态权重的主要依据是情节线索与人物的动机、行为，以及观众和摄影机对不同模态或信息的关注和聚焦。

模态权重分析，在基于交流对象的注意机制层面，往往会把场景中的各种模态划分为前景、中景和背景三个层次。这实际上与摄影机基于镜头纵深的景深划分既有重叠之处，也有所差异。而差异性的根本，则在于观众的注意机制，及其对信息选择的主体能动性。并且，模态权重的分析与模态密度（Modal Density）、模态强度（Modal Intensity）、模态复杂度（Modal Complexity）等，与所能引发的人们的注意机制密切相关。其中，模态密度实际上是通过模态的强度和复杂度得以体现的，也即是“社会行动者”，比如电影创作者在基于表达的行动构建过程中，同时使用多种模态构建行动的方式。虽然一定的密度与复杂度能够提供更多的信息量，但是就互动意义本身而言，在一些规定性戏剧情境下，基于一定情绪与情感变量的模态强度更具关注价值。影片《闻香识女人》（Scent of a Woman，1992）中，退役军人弗兰克上校在学校听证会上的一场有关正直、勇气与道德的精彩演讲，令许多观众都记忆犹新。在这场戏中，饰演上校的阿尔·帕西诺（Al Pacino）基于双目失明的角色设定，慷慨激昂地运用口语模态进行表达，即是高强度较少模态表达的一个典型例证。在此过程中，校方董事敲击木槌试图阻止弗兰克上校的演讲，弗兰克上校也以敲击桌面的方式作为回应，这些动作与声音模态，实际上都是在模态强度上有意识地强化这种规定情境中的情态变量以及口语模态的表达张力。这就意味着，情态变量实际上是构成电影多模态话语分析的核心变量因素。

可以说，电影中的任何一组镜头、任何一个场景，甚或是某一格画面，都是多模态的、基于一定的情态变量进行表达与交流的。而情绪与情感能否引发观众的共情状态，甚至在社会推理模式中能否引发基于体验的情感认同，恰恰所关涉的是哈贝马斯基于交往共识的真实性与真诚性。这也是电影作为社会角色能够与社会产生互动关系的基本构成因素。从多模态互动分析的角度而言，真实性与真诚性实际上是具有共生性关系的一组概念，唯有情绪与情感的真实才具有真诚互动的价值和意义。

一般而言，无论是规定性戏剧情境，还是日常的社会互动，都是由几种模态的协同使用而得以完成的。每种模态在不同情境中的功能和作用各有不同，并且在很大程度上，每种模态的作用是由“社会行动者”的注意焦点所决定的。因此，针对不同情境的互动关系及其行动诉求，采用哪种或者是将哪几种模态的协同使用作为主导进行表达，所涉及的是模态结构的配置问题。模态作为携带着一定符号表意规则且具有一定规律性的意义表达体系，既具有相对独立的表意功能，同时更需要与其他模态之间在协同合作中完成更复杂情境内的意义表达。而在协同合作的过程中，针对不同模态的组织、排序等，对于“社会行动者”而言，实际上也即是能否进行合乎情理的结构配置、能否得以获得表述的合理性与可理解性问题。从多模态互动分析的角度，无论是影片内角色与角色间的互动，还是电影与观众、与社会间的互动，都被视为是一个交际事件。交际事件得以完成的前提，即是不同模态的组织、协同，需要遵循一定规律性的表意规则。而对于电影这一具有独特艺术身份的“社会行动者”而言，在遵循规律性表意规则的基础上，还需要进行更具创造性、更具艺术想象的拓展和提升。这其中，既涉及每种模态在风格、个性层面的艺术创造性，更涉及模态结构配置的更多艺术想象。艺术创作过程的所谓“化生活为诗”，实际上也是基于模态及其结构配置的艺术创造过程。

“屏幕文化”形态下的电影及其社会行动

集合了当下数字技术、新型互联网及其通信技术，甚至是AI技术的数字媒介，从数字化的信息处理、新型网络平台，到各种终端与播放设备，几乎涵盖了当下所有的媒介形式。而“屏幕文化”作为数字媒介时代的一种独特表征形式，则集中体现出当下各种社会化媒体对社会生活的全面渗透。而渗透的结果则导致人们的日常生活已然被包裹在各种数字化的图像、符号等所构成的一种类像化的世界中。这即意味着，数字媒介技术作为一种文化力量，在与社会的交互关系中，已全面作用于社会生活的各个领域。正是基于此，“屏幕文化”实际上是在数字媒介技术支持下，由屏幕媒介而生成的一种蕴含视觉性特征的文化形式。可以说，视觉性是这一文化构成的结构性要素。

在包括图像与运动影像在内的以往有关视觉文化的研究中，结构主义与符号学的分析方法更加注重图像与符号本身的表意分析。并且，在结构主义看来，“所有有意识的思想都产生在一个给定的模式的范围内并在那个意义上受其决定”[1][英]马尔科姆·巴纳德：《理解视觉文化的方法》，常宁生译，北京：商务印书馆，2005年，第15页。。在众多结构主义与符号学的理论中，以罗兰·巴特（Roland Barthes）为代表的符号学研究成果最具代表性。巴特曾经以《巴黎竞赛》（Paris Match）杂志的一期封面为例，针对封面图像，运用二级意指系统的分析方法进行了深入阐释，从而进一步奠定了结构主义与符号学的理论地位。

然而，基于数字媒介的多模态互动机制分析，并不专注于各种模态如何进行表意，或者是模态本身的运作机制与规则，而是更加关注多维度、多层面的交流信息，以及人们在使用模态进行互动交流时所需要遵循的具有普遍适用性的一般规则，或是“社会行动者”如何使用这些模态以有效实现社会互动、交流。这也即是为何在上述例证分析中，并没有对创作者运用不同模态意图表达怎样的意义进行分析，而是着眼于这些模态的协同使用，以及如何调度起观众的注意机制，如何引发观众的交流互动意识。这恰恰是多模态互动分析理论有别于以往以语言为中心的话语分析模式的根本之所在。

事实上，一方面，在数字媒介时代，人们的观影活动并不都是发生在影院之内。观影活动作为一种社会“交际事件”，在基于“屏幕文化”的影院空间之外，通过诸如电脑、手机、平板电脑或投影等各种终端和播放设备得以实施或完成。正是基于此，影院之外的社会空间环境决定了观影过程中的意识和注意机制，并与影院空间存在明显的差异。并且，对于游走在“屏幕文化”的大多观众而言，在影院之外的观影过程中，意识与注意机制并非是高度统一和聚焦的，甚至往往会因为环境因素的影响，甚或是缺少影院空间的仪式感，导致注意机制的游离、分散，甚至是断裂。而这种因注意机制导致的碎片化信息的接受形式，也是构成“屏幕文化”的重要视觉特征。

另一方面，作为“社会行动者”的电影，在基于“屏幕文化”的跨媒介叙事的意义生产以及围绕视觉性的多模态社会互动中，实际上也在文化的观念层面重新定义了人们有关文化的概念。“‘文化’被重新定义为建构一种社会生活方式的过程：生产意义、感知或者意识的各种系统，尤其是那些赋予影像以文化内涵的再现系统和媒体。”[1][澳]格雷姆·特纳：《电影作为社会实践》，高红岩译，北京：北京大学出版社，2010年，第55页。这也意味着，文化实际上是一种生产行为。并且，不同时代针对意义、感知，甚至是意识的生产方式也各有不同。数字媒介的视觉性特质决定了数字媒介及其多模态互动的话语机制始终是围绕视觉性而展开的。在此过程之中，“文化被看作是由相互联系的意义系统所构成”[2][澳]格雷姆·特纳：《电影作为社会实践》，高红岩译，北京：北京大学出版社，2010年，第55页。的。就广泛层面而言，任何电影都无法脱离所创作时代的文化与社会背景。如果将一部影片视为一个意义系统的话，那么，这个时代中的众多影片在意义系统的相互联系层面，已然构成对该时代的一种断代描述。事实上，包括电影史在内，各种史学研究的时期划分在历史叙事的维度也同样遵循这一原则。

而就具体层面而言，影像表意的每一种模态实际上都构成一个意义单元、一条意义链，多种模态在意义表达层面的互为关联，在系统性层面构成了影片整体表意的一种运作机制。这其中，多模态表意之间的关联性，所涉及的即是模态密度与复杂度的问题。所谓“多模态表意”，并非是不同模态之间简单的叠加关系，而是一种互为作用、互为协同的存在关系。并且就电影叙事的视听表意而言，大多情节场景的叙事表意都不是单一信息的意义表达，而更多是基于多模态的复合信息的一种意义表达模式。

多模态的、复合信息的表意策略所涉及的便是信息密度的问题。信息密度是指单位时间内，电影所提供给观众的可感知的相关视听信息量。其中，既涉及基于感官的感知信息，也涉及基于叙事的情节表意信息。在影片《双子杀手》（Gemini Man，2019）中，导演李安采用120帧/4K/3D的高帧率与超高解析度影像方式，在技术所及的程度上极大消解了24帧2K影像快节奏运动过程中的运动模糊（Motion Blur）问题，同时，也最大化地凸显了影像对细节与质感的表达能力。人物肌肤的毛孔、细腻的纹理等达到前所未有的逼真的视觉体验效果，从而使每一个画面都具有高密度的视觉信息。如此高密度的、基于视觉感官的影像信息，不仅对传统基于“暗箱”视觉机制的电影本体美学具有一定的颠覆性，同时更对观众的观影体验极具挑战性。影片中，以跟拍的运镜方式表现两辆摩托车在曲折的小巷中快速穿梭、追杀博弈的一场戏，高帧率与超高解析度影像对细节高清晰呈现的真实感，无疑能够极大提升观影过程中基于“在场”的互动体验感。但是，在快速运动的追逐场面中，不断变化的视角、不断倾斜的视觉重心，在有效调度起观众的注意机制的同时，也导致部分观众产生不同程度的视觉体验层面的眩晕感。正是基于此，在临界值层面，如此高速率、超高解析度的影像体验，对人们在短时间内能否有效处理这些非常态化、高速运动的视觉信息提出了挑战。

信息密度在电影叙事表达中的功能和价值，可以说是一个尤为值得关注的问题。但是，就互动意义而言，信息密度与模态密度之间并非完全的对等关系，而是与模态复杂度相关。也即是说，多种模态的互为协同的确能够产生高密度的信息，但并不意味着高密度信息一定是多种模态运作的结果。实际上，单一模态的重复、叠加，也可以产生高密度的信息。尤其是在运用大景别表现一些复杂的战争场面时，从模态分析的角度来看并没有过多种类模态的参与，而是更多以众多士兵基于身体之间的角斗、博弈作为主要模态进行表达，并由此产生高密度的视觉信息。在此过程中，高密度的信息呈现方式实际上是通过较少模态的简单复制与基于模态复杂度的构成形式而得以实现的。

而就影像叙事本身而言，无论银幕影像中多种模态的视觉信息与情节叙事本身构成怎样的关联度，或者说，无论这些视觉信息是否具有情节表意的功能和价值，只要可以被视觉感官所感知，就具有互动的意义。正是基于此，多模态互动分析理论将互动分析与人的意识和注意机制的分析联系起来，通过意识和注意机制去考察不同模态的运作及其协同关系在一个社交事件中的合理性与合法性。正如约翰·塞尔（John R. Searle）所言：“我们无法看见知觉。”[1]John R.Searle, The Rediscovery of the Mind,Massachusetts: MIT Press, 1992, p. 96.虽然“看”与“想”并非同一种行为，但基于感官感知的银幕信息无论感知多少，本身就具有互动的意义。并且，高密度、快节奏的视听信息可以通过感官刺激使人体迅速分泌肾上腺素，从而产生呼吸、心跳、血液流动加快等生理现象。这些生理现象的产生，也即意味着主体的体验已然处于一种互动的关系之中。但需要指出的是，过度庞杂甚至冗余的信息也必然导致一种无序的、杂乱无章的体验状态，甚至可能导致一种接受的阻力、一种反作用力，更有可能导致将创作者所意图表达的意义淹没在庞杂的信息密度之中。实际上，对于当代电影而言，叙事的目的不仅仅在于完成“意义建构”，还需要通过多模态的互动方式，达到一种基于交互性体验的目标诉求。

数字媒介时代，无论是电影，还是互联网，都在社会交互性体验层面提供了更加丰富、基于多模态互动的交流模式。与此同时，电影作为一种社会角色、一种“社会行动者”，在基于大数据智能计算的信息社会中，愈加凸显出在社会化功能层面作为社会价值的载体与协调者的角色身份及其社会价值和意义。作为一种基于整体分析的理论框架，多模态互动分析理论将“中介行为”（Mediated Action）作为基本的分析单位，并以人类的所有互动都是多模态互动这一理论假设为基本前提，并且在分析的过程中，尤其关注主体的意识和注意机制对多种模态的互动意义。对于数字媒介时代电影在交互性体验层面的分析，提供了一种有效的理论视角与理论工具，从而有别于以往以语言为中心的话语分析模式。但是就理论本身而言，多模态互动分析理论还有待于继续完善，尤其是在基于模态的情态变量分析、社会泛文本及其情境语境对多模态互动的影响，以及多模态互动与媒介的关联性层面，还有更多可拓展的理论空间。事实上，当下数字媒介与流行文化、与社会心态之间，在交互性体验层面已然构成紧密的关联性。人们往往会因流行文化元素、社会心态、个体的审美差异、价值取向与基于认知水准的文化层次，以及观影过程所处的具体情境等因素，构成对电影“社会行为”期待的不同反应，甚或是对电影作为社会角色的不同身份认同。