司法话语多模态研究的现状与未来

李 文 王振华

(上海交通大学外国语学院，上海 200240)

一、引 言

作为一种社会实践，司法话语主要关注的是司法活动中参与者之间如何通过交际行为进行意义交换。社会符号学家认为，对社会行为与意义表征的解读应包括语言和非语言符号在内的所有表意资源，(1)Carey Jewitt， eds. The Routledge Handbook of Multimodal Analysis (2nd)[M]. London： Routledge， 2016： 1.即“模态”。模态是“物质媒介经过社会长时间塑造而形成的意义潜势，是用于表征和交流意义的社会文化资源。”(2)Gunther Kress, Theo van Leeuwen. Multimodal Discourse： The Modes and Media of Contemporary Communication[M]. London; New York： Arnold， 2001： 4.在司法话语中，不仅语言起着重要作用(例如司法文书仅由语言构成)，其他表意资源，如图像、声音、身势语(body language)等，也常常被司法活动参与者用于论证观点、实现目的。因此，司法话语往往涉及多种模态，具有多模态属性。近年来远程庭审、司法动画模拟、3D及VR证据展示等数字技术在司法话语中的应用也极大地改变了以往司法话语中以语言为主的单一交际模式，引起了法学、语言学等不同学科的关注。(3)Phil Rose. Technical Forensic Speaker Recognition： Evaluation， Types and Testing of Evidence[J]. Computer Speech & Language， 2006， 20(2-3)： 159-191.(4)Jessica Findley, Bruce Sales. The Science of Attorney Advocacy： How Courtroom Behavior Affects Jury Decision Making[M]. Washington， D. C： American Psychological Association， 2012.《劳特里奇法律语言学手册》(TheRoutledgeHandbookofForensicLinguistics)一书还将多模态研究列入法律语言学的重点研究方向之一。(5)Malcolm Coulthard and Alison Johnson， eds. The Routledge Handbook of Forensic Linguistics[M]. New York： Routledge， 2010.作为司法话语研究的一个重要分支，司法话语多模态研究把司法话语中的语言与非语言符号纳入统一分析范畴，将司法活动参与者的表情、手势、声音和相关证物等非语言模态视为与语言同样重要的表意资源。采用多模态分析视角能够克服以往司法话语研究中以语言为中心的局限性，呈现不同模态各自所实现的意义与模态互动中的意义，有助于更加综合、客观地解释司法话语的使用、意义及其生成机制和规律。应用到司法实践中，司法多模态研究能够更加全面地揭示司法话语对规范人们行为、调解主体关系等的影响，展现司法活动的全景，厘清法律与政治、经济、文化等社会问题之间的关系，因而对实现司法公正、构建和谐社会有着重要的推动作用和现实意义。

近年来，司法话语多模态研究在国际上已经取得了较丰硕的成果，而在我国尚处于初步探索阶段。为了更好地了解司法话语多模态研究的发展状况和前沿动向，本文尝试梳理现阶段司法话语多模态的研究现状，归纳该领域的研究议题与研究方法，剖析现阶段存在问题，并在此基础上展望其未来发展。对司法话语多模态研究的回顾和评述不仅有助于从整体上描绘该领域研究的发展路径，还能通过分析、比较与反思不同研究视角、方法和观点，推动和丰富司法话语多模态研究在我国的本土化研究，同时也能为新时代的中国司法实践提供一定的借鉴和启示。

二、司法话语多模态研究的主要议题

司法话语多模态研究涉及法学、语言学、多模态分析等多个领域，其研究内容具有广泛性与多样性的特点。本节根据现阶段该领域研究内容的侧重点，归纳出三类主要议题： 司法话语多模态的功能研究、司法话语多模态的互动研究和司法话语多模态的批评性研究。

(一) 司法话语多模态功能研究

司法话语多模态功能研究将司法话语中的不同模态资源作为研究对象，重点关注不同模态在司法话语中的使用特征及其所实现的功能。该类研究最先关注司法话语中的声音模态，主要包括声纹鉴定(涉案人与嫌疑人声纹特征对比)(6)Harry Hollien. The Acoustics of Crime： The New Science of Forensic Phonetics[M]. New York： Plenum Press， 1990.和声音模态的语用功能。(7)Bronwen Innes. “Everything Happened So Quickly?” HRT intonation in New Zealand courtrooms[J]. Research on Language and Social Interaction， 2007， 40(2-3)： 227-254.(8)马泽军，刘佳，陈海庆.庭审话语中情态动词的韵律特征及其人际功能实现[J].当代修辞学，2017(06)： 33-41.近年来，学者对手势模态(gesture)也有关注，如迪布(Deeb)(2013)以加州最高法院听证会为语料，分析了检察官如何将手势和声音模态作为元语用资源，用于论证观点。(9)Hadi Deeb. Boiling Down to the M-Word at the California Supreme Court[J]. Journal of Linguistic Anthropology， 2013， 23(1)： 41-64.随着多模态研究理论的逐步发展，越来越多的模态被纳入司法话语多模态研究的范畴，例如法庭着装、(10)Shaeda Isani. Visual Semiotics of Court Dress in England and Wales： Failed or Successful Vector of Professional Identity?[M]//William Pencak， ed. Images in Law. London： Routledge， 2016： 61-80.法庭空间布局(11)Umali Saidi, Pfukwa Charles. Silence in Court： Non-verbal Communication in a Zimbabwean Court of Law[J]. Imbizo， 2011(1)： 136-148.(12)Victor Khachan. Courtroom Proverbial Murals in Lebanon： A Semiotic Reconstruction of Justice[J]. Social Semiotics， 2012， 22(3)： 333-347.等。科技的进步也不断将新的模态引入司法活动。例如，达尔伯格(Dahlberg)(2013)通过民族志方法分析了瑞典上诉法庭中视频证词的广泛使用对庭审交流及法庭布局的影响；(13)Leif Dahlberg. A Modern Trial： A Study of the Use of Video-Recorded Testimonies in the Swedish Court of Appeal[M]//Austin Sarat， eds. Studies in Law， Politics， and Society. Emerald Group Publishing Limited， 2013： 81-135.迪穆兰(Dumoulin)和利科普(Licoppe)(2016)研究了远程视频技术对法国庭审组织方式以及司法实践模式的影响。(14)Laurence Dumoulin, Christian Licoppe. Videoconferencing， New Public Management， and Organizational Reform in the Judiciary[J]. Policy & Internet， 2016， 8(3)： 313-333.

总体而言，司法话语模态资源的功能研究侧重描述和总结不同模态资源在司法话语中的功能，关注以往司法话语研究中被忽略的模态以及科技发展引入的新模态。但是，这类研究将司法话语的模态资源视为静态的研究对象。

(二) 司法话语多模态互动研究

相较于静态司法话语多模态功能研究，司法话语多模态的互动研究侧重于对司法话语中的模态资源进行动态研究。该类研究将司法话语视为动态的互动过程，强调具体情景和语境对模态资源使用的影响，着重分析司法活动参与者如何利用不同模态资源表达特定的会话结构并完成互动，以及特定模态资源及其使用模式所产生的不同会话结构与互动类型。司法话语多模态互动研究重点关注司法活动参与者所使用的模态资源之间的互动，尤其是语言与其他模态资源之间的互动，如图像、声音、注视(gaze)和身势语(body language)之间的互动。如斯托科(Stokoe)关注了英国警察讯问犯罪嫌疑人的录音过程，分析了该过程如何利用声音模态展现具身行为(embodied conduct)，从而为不在场的远程接受者(陪审团、法官等)重现讯问过程中的时空和具身行为特征。(15)Elizabeth Stokoe. “For the benefit of the tape”： Formulating Embodied Conduct in Designedly Uni-modal Recorded Police-suspect Interrogations[J]. Journal of Pragmatics， 2009， 41(10)： 1887-1904.梁(Leung)借助及物性系统和评价系统揭示出司法活动参与者如何通过语言与手势之间的配合实现概念功能与人际功能。(16)Tsz Leung. Multimodal Analysis of Gestures： A Case Study on Delivery of Legal Speeches on Courtroom[D]. The Hong Kong Polytechnic University， 2014.马德森(Matoesian)和吉尔伯特(Gilbert)基于会话分析方法，分析了在美国刑事庭审中律师如何通过语言、手势和声音模态之间的互动帮助陪审团更好地理解案发时的场景，以达到说服陪审团的目的。(17)Gregory Matoesian, Kristin Gilbert. Let the Fingers Do the Talking： Language， Gesture and Power in Closing Argument [M]//Janny Leung and Alan Durant， eds. Meaning and Power in the Language of Law. Cambridge： Cambridge University Press， 2018： 137-163.该类研究也同样关注不同司法活动参与者之间的模态资源互动，如弗兰齐恩(Franzén)和阿隆森(Aronsson)采用民族志研究方法，分析了瑞典未成年犯管教所中教官与未成年犯之间互动，重点关注了互动中语言和多模态互动过程中的序列模式。(18)Anna Gradin Franzén, Karin Aronsson. Teasing， Laughing and Disciplinary Humor： Staff-youth Interaction in Detention Home Treatment[J]. Discourse studies， 2013， 15(2)： 167-183.弗朗切斯基(Franceschi)以南非奥斯卡·皮斯托瑞斯案审判为例，对比了庭审互动中多模态资源运用的不同方式，展现了双方律师的不同风格。(19)Daniele Franceschi. A Multimodal Analysis of Discourse in the South African Courtroom： The Oscar Pistorius Case[M]//Veronica Bonsignori and Belinda Camiciottoli， eds. Multimodality Across Communicative Settings， Discourse Domains and Genres. Cambridge： Cambridge Scholars Publishing， 2017： 212-235.

综上，司法话语多模态的互动研究强调模态意义通过司法话语互动产生，并随着互动的发展不断变化，是不同模态资源之间相互作用和参与者之间共同协商的结果，因此侧重从情景化、语境化的角度阐释模态资源在司法话语互动中的作用。

(三) 司法话语多模态批评性研究

司法话语多模态的批评性研究旨在结合批评话语分析，考察多模态资源在司法话语中的权利关系构建中的作用。该类研究认为，司法话语中的意识形态、态度和权力操控不仅可以通过语言构建，还可以通过空间布局、手势和声音等模态形式实现。例如，马德森(Matoesian)和吉尔伯特(Gilbert)通过个案分析，论述了律师在庭审结案陈词中如何运用手势、视线和证物等其他模态来配合语言，共同对庭审中不平等的权利关系进行协商。(20)Gregory Matoesian， Kristin Gilbert. Multifunctionality of Hand Gestures and Material Conduct during Closing Argument[J]. Gesture， 2016， 15(1)： 79-114.杜碧玉(Du)通过田野调查分析了中国法庭如何被符号性地构建为一个法律场景舞台，揭示了法庭布局如何折射出中国司法体系中的意识形态以及权力关系。(21)Biyu Du. Staging Justice： Courtroom Semiotics and the Judicial Ideology in China[J]. International Journal for the Semiotics of Law-Revue internationale de Sémiotique juridique， 2016， 29(3)： 595-614.扎帕维尼亚(Zappavigna)和马丁(Martin)研究发现，在澳大利亚青少年司法调解协商会中，当事人通过身势语和语言共同构建的身份并非是他们主动和自愿选择的身份，而是为了顺应机构权力者的期望所建构的身份。(22)Michele Zappavigna， J. R. Martin. Discourse and Diversionary Justice： An Analysis of Youth Justice Conferencing[M]. Cham： Palgrave Macmillan， 2017.

对近年来司法话语多模态研究中的主要议题进行梳理后，可以发现司法话语多模态功能研究与互动研究分别侧重于对模态资源进行静态与动态的微观描述；而司法话语多模态批评性研究则将司法话语中的模态资源置于宏观的社会、文化语境中进行阐释。三类研究议题针对司法话语的不同内容与层面，互有所补。通过对主要议题的审视，可以看出目前的司法话语多模态研究具有以下特征： ① 研究议题多元化： 从最初对多模态资源本身的研究，扩展到多模态资源的互动研究，并尝试进一步将司法话语多模态研究与不同的情景、社会和文化因素联系，使得研究议题更加多元化。② 研究对象细分化： 体现在对研究所涉及的模态资源和所关注的司法活动参与者类型的划分越来越细致、明确。③ 研究方法多样化： 不仅运用了系统功能语言学、会话分析、民族志研究、批评性话语分析等理论方法，而且结合了静态和动态、微观和宏观等不同分析层面。

三、司法话语多模态研究路径

当下的司法话语多模态研究主要有两种研究路径： 一种基于会话分析(Conversational Analysis， 简称CA)，以马德森等人基于美国刑事庭审的研究为代表。该路径通过对庭审中多模态资源的定性研究，考察司法话语多模态的会话组织结构及其背后的社会秩序和组织结构。另一种则基于系统功能语言学(Systemic Functional Linguistics， 简称SFL)，以马丁及其团队为代表。他们借鉴SFL的理论框架和研究方法，选取了澳大利亚恢复性司法(restorative justice)的一种重要形式——青少年司法协商会议作为研究对象，(23)王振华.詹姆斯·R·马丁的司法语言研究及其启示[J].当代外语研究，2012(01)： 19-24.将对语言的研究延伸至用于构建意义的其他模态。下面我们将分别对两种研究路径进行简要介绍和分析。

(一) 基于CA的研究路径

基于CA的司法话语多模态研究强调模态资源与社会组织结构之间的紧密联系，认为身势语、声音、视觉模态，以及庭审证物(如音频、视频、照片等)在司法话语中的使用都是司法活动参与者用于实现交际目的的互动资源，具有稳定的、重复出现的特征。例如，马德森等(2016)通过对一起美国刑事庭审的个案分析，指出检察官在运用语言资源进行辩论的同时，借助手势和视线等模态将不同证人对被告的指证相互关联，进而将被告的行为纳入已有判例范畴，以实现对被告定罪的目的。(24)Gregory Matoesian， Christopher Roy， Elizabeth Mertz. Translating Token Instances of “This” into Type Patterns of “That”[M]//Elizabeth Mertz， William K. Ford， and Gregory Matoesian， eds. Translating the Social World for Law： Linguistic Tools for a New Legal Realism.NY： Oxford University Press， 2016： 55-84.该类方法认为，模态意义是意向性行为的产物，存在于司法活动参与者在社会、文化和物质语境下的实践和具身行为中， 并最终通过司法话语中的多模态资源得以显化。正如马乔里·古德温(Marjorie Goodwin)和查尔斯·古德温(Charles Goodwin)在研究手势意义时所指出：“通过研究特定事件中的手势，不仅能详细了解事件参与者如何理解该手势意义，而且能了解他们如何将这种意义看作事件所处的社会结构的构成特征”。(25)Marjorie H. Goodwin and Charles Goodwin， Gesture and Co-participation in the Activity of Searching for a Word[J]. Semiotica， 1986(1)： 51-76.

因此，该类方法侧重分析司法活动参与者利用多模态资源在司法话语所实施的行为(action)，并据此考察不同模态资源在司法活动中共同构成的话语组织结构，以揭示其背后的社会结构特征。例如，马德森(Matoesian)研究了庭审交叉询问阶段中辩方律师用于控制对方证人的话轮设计，以及这种控制如何通过语言与手势、声音等其他模态共同构建的序列结构来实现，并揭示了该类序列组织所体现的权力差异。(26)Gregory Matoesian. Nailing Down an Answer： Participations of Power in Trial Talk[J]. Discourse Studies， 2005， 7(6)： 733-759.

基于CA的司法话语多模态研究继承并发展了CA研究方法。该研究路径遵守了CA研究中的语料驱动原则，将司法话语多模态视为一种社会行为，沿用了CA研究的核心观念，即“社会行为的方方面面都会表现出具有组织性的模式，而且这些模式具有稳定的、重复出现的结构特征，”(27)于国栋，李枫.会话分析： 尊重语言事实的社会学研究方法[J].科学技术哲学研究，2009，26(2)： 14-17.并借助话轮设计、序列组织等核心概念切入研究。例如，洛伦佐-杜斯(Lorenzo-Dus)(2008)通过研究庭审电视节目语料，发现庭审互动中的冲突序列远多于非冲突序列，证明了庭审互动以冲突为主。(28)Nuria Lorenzo-Dus. Real Disorder in the Court： An Investigation of Conflict Talk in US Television Courtroom Shows[J]. Media， Culture & Society， 2008(1)： 81-107.马德森(Matoesian)(2018)研究了包含律师反对行为的庭审问答序列组织，通过分析多模态资源在其中所起的作用，指出了该类序列组织与一般庭审问答序列组织的差异。(29)Gregory Matoesian. This is Not a Course in Trial Practice： Multimodal Participation in Objections[J]. Journal of Pragmatics， 2018(129)： 199-219.

基于CA的司法话语多模态研究也推动了CA研究理论与实践的发展： ① 将研究对象从日常生活中的言语互动(talk-in-interaction)扩展到司法话语中的言身互动(talk-and-body-in-interaction)。② 跨学科视角的拓展： CA作为社会学的一个分支，本身与语言学、心理学、人类学(尤其是民族志方法)等学科存在交叉。基于CA的司法话语多模态研究又进一步结合了法学、犯罪学和符号学中的相关理论和概念，对庭审中的模态资源进行了研究。③ 与传统CA研究只关注语言序列结构所构成的内部语境不同，基于CA的司法话语多模态研究同样关注由物质、文化、社会和心理等因素所构成的外部语境，并强调模态资源在被语境塑造的同时，也会对语境产生影响。例如，马德森(Matoesian)和吉尔伯特(Gilbert)分析了在美国刑事庭审中律师如何通过语言、手势和声音模态之间的互动将案件重新语境化，以达到说服陪审团的目的。(30)Gregory Matoesian, Kristin Gilbert. Let the Fingers Do the Talking： Language， Gesture and Power in Closing Argument [M]//Janny Leung and Alan Durant， eds. Meaning and Power in the Language of Law. Cambridge： Cambridge University Press， 2018： 137-163.

(二) 基于SFL的研究路径

基于SFL的司法话语多模态研究以SFL为理论框架，旨在将语言的组织原则运用于描述其他模态系统，并通过解释模态资源之间的协作以揭示司法话语多模态意义的构建和实现过程。该研究路径借助SFL中的元功能、实例化和语篇语义等核心概念和范畴分析多模态所构建的意义。例如，扎帕维尼亚(Zappavigna)等在SFL理论框架下分析了青少年司法协商会议中参与者的身势语与声音互动的三种模式及其作用；(31)Michele Zappavigna， et al. The Coupling of Gesture and Phonology[M]//Monika Bednarek and J.R. Martin， eds. New Discourse on Language： Functional Perspectives on Multimodality， Identity， and Affiliation. Bloomsbury Publishing， 2010： 219-236.罗伊斯(Royce)应用SFL分析框架分析了法律漫画中图像和语言模态之间的互动，并指出虽然现有理论框架一定程度上能够用于分析不同的模态资源，但仍需进一步拓展以处理更多层次和更为复杂的意义表征。(32)Terry D. Royce. Intersemiotic Complementarity in Legal Cartoons： An Ideational Multimodal Analysis[J]. International Journal for the Semiotics of Law， 2015， 28(4)： 719-744.

此外，基于SFL的司法话语多模态研究还结合了社会学、拓扑学等其他学科视角，将司法话语中的不同模态资源和司法语境有机地结合起来，探究不同模态资源的功能和组织形式，以及不同模态资源之间的相互作用。例如，扎帕维尼亚等借助耦合(coupling)思想，分析了参与者如何通过身势语和语言的互动将评价意义与概念意义耦合，从而达到情感协商的目的。(33)Michele Zappavigna， Paul Dwyer， J.R. Martin. Syndromes of Meaning： Exploring Patterned Coupling in an NSW Youth Justice Conference[M]//Ahmar Mahboob and Naomi Knight， eds. Questioning Linguistics. Cambridge： Cambridge Scholars Publishing， 2009： 165-187.马丁(Martin)总结了澳大利亚青少年司法协商会议中不同参与者利用多模态资源所实现的意义模式，并借助社会学中的合法化语码理论(Legitimation Code Theory)，根据不同意义模式划分出了青少年当事人所实现的不同身份类型。

基于SFL的司法话语多模态研究重点关注不同模态在司法语境中所实现的意义。一方面，该研究路径认为语言之外的模态与语言类似，是一个基于聚合关系的多层级选择网络。在司法活动中，参与者从不同选择网络中作出选择，并最终通过具象化过程(instantiation)表现为不同的模态，以实现特定的元功能和意义。例如扎帕维尼亚(Zappavigna)和马丁(Martin)构建了一个以元功能为导向的身势语系统框架，并利用该框架分析了青少年司法协商会议中参与者利用身势语与语言共同构建的意义。(34)Michele Zappavigna， J. R. Martin. Discourse and Diversionary Justice： An Analysis of Youth Justice Conferencing[M]. Cham： Palgrave Macmillan， 2017.另一方面，该研究路径强调司法语境的重要性，认为模态意义产生于语境，是模态系统与司法语境之间的关联产物。简言之，基于SFL的司法话语多模态研究认为模态的意义来源于使用者在司法语境中的选择，并通过不同模态的特定组织方式得以实现。

(三) 讨论

综上所述，基于CA的司法话语多模态研究强调从司法交际活动本身出发，侧重于在微观层面上分析司法话语多模态现象中不易被察觉，或者人们习以为常的细节，以揭示这些司法话语中的交际细节背后所隐藏的互动秩序，从而有效地描写和解释司法活动中的社会组织性。而基于SFL的司法话语多模态研究则更注重研究司法语境与司法话语多模态资源之间的互动，强调从宏观层面分析社会文化因素对司法话语中多模态资源使用的影响，解读多模态资源所具有的超越语篇层面的社会功能。尽管两种研究路径的侧重点有所不同，但都围绕着司法话语多模态、司法活动参与者以及司法话语所处的社会语境展开，都属于社会功能视角下的研究；两者相互联系、互为补充，为司法话语多模态研究提供了重要的方法和参照。

目前司法话语多模态研究主要基于上述两种研究路径绝非偶然，这既源于该研究领域的内在特性，又与这两种研究路径共同的优势密切相关。首先，两种研究路径所强调的跨学科视角符合该领域研究的内在要求。司法话语作为一种多模态话语，涉及手势、声音、视频和图像等不同模态之间的相互作用，表意机制十分复杂，其研究涉及多个学科领域。因此单一学科视角下的研究难以充分理解司法话语多模态交际的全过程。同时，司法话语多模态研究又是法律语言学研究的一个分支。“法律语言学的应用性、综合性、开放性的特点也促使其需要借鉴其他学科的方法与技术”。(35)杜金榜.法律语言学[M].上海： 上海外语教育出版社，2004： 27.上述两种研究路径提供的跨学科视角不仅丰富了研究的理论依据，而且能够扩大司法话语研究视野，提出新问题，从而得到不同于以往的答案。这些都有助于在该领域研究中逐步形成非线性的、多元的、整合的思维方式。

其次，两种研究路径都强调司法语境对于多模态资源运用的影响，这有利于应对司法话语多模态的机构话语特性： 有明确的机构任务或目标；具有话语权力的不对称性、职业活动程序的制约性、话语选择的策略性和话语推理的特殊性等。(36)吕殊佳，黄萍.语用目的原则与机构性话语研究[J].外语学刊，2015(3)： 62-65.司法语境的特殊性决定了司法活动中交际各方之间沟通的形式和内容。因此，只有在充分理解司法语境如何影响司法话语中的模态资源运用方式的前提下，才有可能更全面地解读司法活动参与者如何使用模态资源来构建、协商意义。另外，值得注意的是，随着研究范围从单一语言模态扩展到多种模态研究，“语境”概念需要全新的诠释。因此，这两种研究路径都将“语境”看作是“多种符号模式交错组成的连贯统一体”，(37)Gunther Kress, Theo van Leeuwen. Multimodal Discourse： The Modes and Media of Contemporary Communication[M]. London; New York： Arnold， 2001： 80.取代了原本 “指向语篇之外”的语境概念，从而打破了以往司法话语研究中对于语篇和语境的分割，将以往很多传统话语理论所界定的“语境”列入话语分析范围之内，如法庭布局、证物等。

四、司法话语多模态研究问题与展望

毋庸置疑，司法话语多模态研究已经取得了显著的成绩。但是，该研究中仍然存在着一定的局限性。本节首先简要概括现阶段该研究存在的问题，然后在此基础上作出展望。

(一) 当下司法话语多模态研究中的问题

首先，在理论方面，虽然现阶段的司法话语多模态研究都强调结合不同的学科、理论视角，但在实际分析中仍主要基于语言学理论，与其他学科、理论之间的融合和互动不够充分。在具体分析过程中，体现为语言学分析和其他学科理论视角下的分析往往各自独立，各司其职，未能形成合力，因而得出的研究结论很难对不同模态所属学科的理论有所贡献。此外，该领域的研究对于一些共同的核心概念仍然存在不同的理解。以“模态”这一重要概念为例，基于CA的司法话语多模态研究并没有对模态给出明确的定义，而是从感官出发，将听觉模态(声音)、视觉模态(手势、照片、花瓶等证物)等都视为研究对象。基于SFL的司法话语多模态研究只将作为表意资源的符号系统视为模态，因此将证物等非符号系统排除在研究范围之外。模态的界定对于准确描述多模态资源以及不同模态之间的关系至关重要。正如约翰·贝特曼(John Bateman)所强调的，模态的定义必须要精确和严谨，否则无助于方法论的发展和可重复性分析的实现。(38)John Bateman. Text and Image： A Critical Introduction to the Visual/Verbal Divide[M]. London： Routledge， 2014.但是，模态作为不同学科中的共同研究对象，应该如何被概念化，选择什么样的术语对其进行阐释？针对这一问题，“不同的研究路径之间仍存在分歧，且现阶段难以判定哪一种更具权威性”。(39)Charles Forceville. Relevance Theory as Model for Analysing Visual and Multimodal Communication[M]//David Machin， eds. Visual Communication. Berlin： Mouton de Gruyter， 2014： 51-70.

其次，在研究方法方面，当下的司法话语多模态研究仍然以基于个案的定性研究为主，缺乏实证性的定量研究。个案研究的优势在于通过细致、综合的分析发现个案的语篇特征。但其所依据的语料往往缺乏代表性，难以全面揭示司法话语中多模态资源的运用规律，以及不同模态资源的共现模式。再者，因为缺乏实证性定量研究的验证，个案研究的结论不仅很难真正被概括到普遍性的层面上，还使得司法话语多模态研究分析过程显得相当的随意和主观。(40)Carey Jewitt， eds. The Routledge Handbook of Multimodal Analysis (2nd)[M]. London： Routledge， 2016： 26.造成这种现状的原因之一是因为真实司法话语语料的收集具有一定难度。马丁(Martin)及其团队的研究主要围绕着青少年司法协商会议进行的，属于非正式的司法话语研究；马德森(Matoesian)进行的一系列研究都是借助少量有影响力的美国刑事案件庭审录像，缺乏规模。另一个原因则是因为司法话语多模态研究中涉及的多模态资源种类繁多，因此大规模的定量统计分析需要大量的人力和时间成本，增加了定量研究的难度。虽然很多专门用于多模态分析的软件(如MMAV、ELAN等)已经被应用到了实践中，(41)Bradley A. Smith， et al. Analysing Multimodality in an Interactive Digital Environment： Software as a Metasemiotic Tool[J]. Social Semiotics， 2011， 21(3)： 359-380.(42)Victor Lim Fei， et al. Teaching Visual Texts with the Multimodal Analysis Software[J]. Educational Technology Research and Development， 2015， 63(6)： 915-935.(43)Kay L. O’Halloran， et al. A Digital Mixed Methods Research Design： Integrating Multimodal Analysis With Data Mining and Information Visualization for Big Data Analytics[J]. Journal of Mixed Methods Research， 2018， 12(1)： 11-30.但这些分析软件并不具备自动标注功能，凡是涉及语义分析的工作仍需依靠人工标注。

最后，在分析角度方面，现阶段司法话语多模态研究仍局限于语篇创造者角度下的研究，重点关注模态间的互动，以及模态对于意义的贡献。语篇创造者角度下的研究缺陷在于预设了每个多模态语篇都具有创造者试图表达的意义，并且所有接受者都会按照创造者的意图来理解。因此，司法话语多模态研究也有必要同时结合语篇接受者角度下的分析，关注受众选择和处理模态资源的能力；并结合心理现实性证据，从多模态语篇的吸引力和复杂性等维度考察受众对多模态语篇的接受情况。(44)Jana Holsanova. New Methods for Studying Visual Communication and Multimodal Integration[J]. Visual Communication， 2012， 11(3)： 251-257.之所以缺乏语篇接受者角度下的研究，首先是因为受制于司法活动严格的程序规定，司法活动参与者很多情况下无法对对方的话语作出即时回应，所以接受者的即时反应往往很难直接获取。另外，司法话语中涉及多种模态资源，现阶段司法话语多模态研究只能选取有限的模态进行研究。但接受者无法对不同模态作出独立反应，只能对整个多模态话语作出整体反应。因此从接受者角度下的分析很难分辨出特定模态的作用，以及特定模态之间的互动机制。

综上所述，当下的司法话语多模态研究不可避免地存在一些不足，这也表明司法话语多模态研究“仍然是一个新兴领域，还有很多方法论发展的空间和需求”。(45)Anders Bjorkvall. Multimodality[M]//Janola Ostman and Jef Verschueren， eds. Handbook of Pragmatics. Amsterdam： John Benjamins， 2012： 1-20.

(二) 未来司法话语多模态研究展望

基于前文归纳出的现阶段司法话语多模态研究中的不足，结合当今数字技术的发展及其在司法活动中的应用情况，可以对该领域未来发展趋势作出如下展望：

首先，司法话语多模态研究还处于起步阶段，下一阶段研究仍将聚焦于理论的探索和创新，主要包括两个方面： 一是促进不同学科(如法学、语言学、社会学、认知科学和心理学等)之间的进一步融合，以解决当下研究以语言学研究为主而与其他学科互动不够充分的问题；同时也能更好地协调不同学科中的关键概念，从而厘清该领域中一些原本模糊的概念，比如对模态的定义。二是关注如何将更多的理论视角应用到该领域研究中。例如，随着近年来多模态认知隐喻研究(46)Charles Forceville. Visual and Multimodal Metaphor in Advertising： Cultural Perspectives[J]. Styles of Communication， 2017(2)： 26-41.的迅猛发展，如何将认知视角应用到司法话语多模态分析中，与当下以社会功能视角为主的研究形成对话与融合，将会是未来该领域理论探讨的一个热点。

其次，司法话语多模态实证研究将得到有力推进，以应对现阶段研究中最突出的问题： 缺乏基于大量真实语料的实证分析。(47)John Bateman. Text and Image： A Critical Introduction to the Visual/Verbal Divide[M]. London： Routledge. 2014.实证研究发展的重要方向之一是开展基于语料库的司法话语多模态研究，打破个案分析的局限，更客观地分析司法话语中多模态运用特征，并验证司法话语多模态理论模型。司法话语多模态语料库还能应用于司法话语记录、司法话语翻译等司法实践活动中。实证研究发展的方向之二是结合更多的实证研究角度。例如，在关注语篇创造者角度下研究的同时，结合从语篇接受者角度出发的司法话语多模态实证研究，利用问卷调查、访谈、测试等传统方法，以及借助眼动仪、事件相关电位(ERP)等实验设备和机器学习的方法，考察司法活动参与者对司法话语多模态的认知和接受。例如，最新针对审讯场景设计的多模态情绪分析系统通过深度学习，可以进行人脸图像分类和微表情识别，并在此基础上通过其核心算法系统分别对生理信号、文本语义、人体姿态、语音声纹、面部表情等多模态语义进行分析和关联，将语义信息对情绪变化的反映程度进行融合、对应，从而更加精确地推理出语篇接受者的情绪心理状态。“从不同角度出发的实证研究不仅有助于验证对多模态话语解读的认识，还能为进一步探讨多模态话语的意义构建提供客观理据”。(48)冯德正，张德禄，Kay O’Halloran.多模态语篇分析的进展与前沿[J].当代语言学，2014(1)： 88-99.实证研究发展的方向之三是在司法话语多模态共性研究的基础上，关注司法话语中的多模态资源在特定法律体系与文化中的使用特征。在全球化背景下，司法活动参与者往往具有不同的文化背景。通过对比司法话语中的多模态资源在不同法系、文化中的使用和理解模式之间的差异，有助于消除司法话语中因文化差异而引起的误解，确保司法活动的效率和质量。

最后，数字技术的发展对司法话语方式和过程的影响愈发明显，司法话语的复杂性也随之加剧，如何应对科技发展给司法话语多模态研究带来的挑战将会成为该领域的重要议题。新技术在司法话语中的应用不仅会为司法话语引入新模态，也会改变传统模态的使用方式，新的模态关系也随之产生，从而使得研究对象更为复杂。另外，科技的发展还会影响司法话语中模态的意义潜势。因为“媒体不仅仅展现语篇的意义，也会增加语篇的意义”。(49)Gunther Kress, Theo van Leeuwen. Multimodal Discourse： The Modes and Media of Contemporary Communication[M]. London; New York： Arnold， 2001： 54.科技的发展还可能会改变当下司法活动的程序及组织形式，导致新的司法话语语类的产生。这些科技发展所带来的潜在影响都对司法话语多模态研究理论的发展和方法的改进提出了挑战。

五、结 语

司法话语多模态研究将语言之外的模态纳入研究范围，为司法话语研究提供了新的理论和分析视角。为了更好地了解该领域的研究现状，本文对该领域现有研究进行了反思，归纳了现阶段司法话语多模态研究中三类主要议题；总结出了当下两种主要研究路径： 基于CA和基于SFL的研究；并基于现阶段该领域研究中存在的问题，对其未来的发展方向进行了展望。正如马德森(Matoesian)所指出，“单独研究司法话语的语言很难看到司法话语中意义构建与交际的全貌”。(50)Gregory Matoesian. Multimodality and Forensic Linguistics： Multimodal Aspects of Victim’s Narrative in Direct Examination[M]//Malcolm Coulthard and Alison Johnson， eds. The Routledge Handbook of Forensic Linguistics. New York： Routledge， 2010： 541-557.通过对研究现状的反思可以发现，司法话语多模态研究不仅为司法话语研究提供了新的理论视角，也能在司法语境中验证多模态理论的适用性，推进法律语言学和多模态研究的理论发展，加深跨学科间的交流。另一方面，司法话语多模态实证研究能为不同司法场景中的实践活动提供借鉴，为提高司法效率提效赋能。因此，未来司法话语多模态研究的蓬勃发展将更好地实现法律语言学探究司法话语本质的学术使命，和助力司法实践、实现司法公平正义的社会价值。