生成式人工智能视域下虚假信息的层级化运作机理与治理

【摘要】生成式人工智能在信息生产和传播中的应用促使信息秩序发生变迁，极大地便利了虚假信息的生成与传播。文章聚焦生成式人工智能视域下虚假信息的运行机理，主张对其实施层级化精准治理，即在创设层注重把关，以链式监测、分级管理的数据准入制度，共创新型把关进路，将虚假信息抑制在源头；在撒播层注重研判，消除对话界面所置入的虚假信息落点，并对创设层中浮现的虚假信息进行信息标签的显性呈现与数字水印的隐性嵌入，将虚假信息困囚于对话界面之中，形成扩散阻碍；在流通层注重处置，消除虚假信息的可见性，优化算法对虚假信息的自动化决策过程，借助政府、媒体等公共力量，释放真实透明的媒介信息，形成机动化的虚假信息遮蔽机制，强化信息治理效能。

【关键词】生成式人工智能 虚假信息 信息治理 Sora

【中图分类号】G206 【文献标识码】Ａ 【文章编号】1003-6687（2024）8-075-09

【DOI】10.13786/j.cnki.cn14-1066/g2.2024.8.010

一、生成式人工智能视域下虚假信息对信息格局的深刻介入

互联网是人类生成、交互和存储信息的核心场域，媒介技术的深入发展使得线上与线下趋于融合、现实与虚拟交织缠绕，虚假信息在网络场域中裂变生产、扩散传播。与之相应，规制虚假信息的生产、传播与消费成为全球信息治理的重要着力点。

当前，学界对虚假信息、误导信息、谣言等异质性信息的概念界定较为混杂，本文出于论述简便性，不做复杂辨析，均使用“虚假信息”概念展开探究。虚假信息是信息的否定形式，意味着“信息完整性的断裂”，[1]从生成式人工智能论域下进行观照，虚假信息包含技术性、导向性、建构性三个层面的完整意义，即在技术性层面，虚假信息由数据与算法架构而生，在组合信息真实性的过程中出现技术性断裂；在导向性层面，虚假信息的文本意义导向错误的现实与偏误的认知；在建构性层面，信息与真实间建构起错误的联系导致虚假性生发，错误的建构割裂了虚假信息的意义真实性。

当生成式人工智能深嵌于智能传播格局之中，互联网信息秩序在技术促动下发生巨大转向，对信息传播全过程产生颠覆性影响，[2]对于生成式人工智能行为意义的探赜成为智能传播时代传播学研究的新问题。与之相应，虚假信息的传播面向呈现出新情境——虚假信息的生成传播主体由以真实人类用户为主导者转向智能技术深度介入下的行动者，机器由媒介而升格为重要传播者，人工信息的生产与分发在生成式人工智能浪潮下彻底失去支配地位。

有学者将生成式人工智能引发的虚假信息风险分为积极生成型风险、消极生成型风险和人为操纵型风险三种，认为生成式人工智能引发虚假信息危害的因素极为复杂。[3]生成式人工智能在技术性层面会将偏见认知与经验隐入数据集和数据奖励模型之中，具有引导使用者将虚假、错误甚至带有隐性价值偏向的信息视为客观真实信息的能力。同时，生成式人工智能的高技术生产使得虚假信息的生成内容、数量与传播效率都超越了以往任何一种信息产播模式。不论是语言处理模型还是图像生成模型，生成式人工智能均以语言文本、图像、视频等内容为基质创造新信息，任何用户都能极其方便地参与到生成式人工智能辅助下的内容生产中，在此过程中可能成为海量虚假信息的制造者与辅助者。可见，由生成式人工智能所生成的虚假信息已迥异于以往任何一种虚假信息形态，具有了特殊的信息形态分野。

有鉴于此，本文对生成式人工智能虚假信息作出如下界定：经由生成式人工智能大模型生产的，文本真实性遭到技术性操纵并对社会公序具有危害性的信息。生成式人工智能生产虚假信息的速度远超法律法规与道德规范的完善速度，多元主体信息权利边界已难以界定，信息失范行为的生发风险呈指数级增加。智能技术尤其是2024年年初出现的Sora，其对视觉场景的超高逼真模拟，使得虚假信息愈加难以辨别，可能比事实本身更为逼真，且更符合公众的情感价值判断，促逼公众逐渐习惯没有确定性的生存方式，解构社会的真相共识与机制。学界目前对于生成式人工智能虚假信息问题的探讨主要集中在内容特征、风险诱因、技术逻辑、科技伦理等方面，且主要放置于生成式人工智能信息格局中进行局部关切。尽管有的研究提出了相关措施建议，但并未将治理问题与生成传播的现象联系起来，缺乏精确化、层级化遏制生成式人工智能虚假信息的目标导向，对虚假信息生产、传播与接收的全过程缺乏针对性、系统性分析。基于此，本文对生成式人工智能视域下虚假信息的源发与传播的全过程进行探赜，明晰每一阶段发挥作用的行动主体与信息运作的逻辑机理，并对生成式人工智能虚假信息的治理路径与范式作出思考。

二、生成式人工智能视域下虚假信息的层级化运作机理

生成式人工智能的技术革新喻示着技术物的自主性不断增强，作为机器技术的生成式人工智能与人类社会的互动需要得到新的理论关切。1994年，克利夫·纳斯等人结合心理学与社会学研究方法，通过实验证明了人对计算机的社会化反应，提出“计算机为社会行动者”（CASA）范式，证明了人与计算机的交互本质上是社会性的，“个体对于计算机的社会性反应非常普遍，而且是自发的、下意识的”。[4]1996年，纳斯与李维斯将CASA范式纳入《媒体等同》一书中，指出媒体与现实生活等同，媒体会被视为现实生活中的人和场所，人与新媒体的互动与现实生活一致，是社会的、自然的，该观点被总结为媒体等同理论。[5]四年后，纳斯等从心理学角度继续推进媒体等同理论的研究，将计算机被视为社会行动者的现象纳入无意识行为的范畴。

社会行动者概念源于社会学，意指在能动性前提下从事社会行动的人，在媒介环境学派的媒介观与社会学的双重影响下，媒体等同理论中的CASA范式将计算机视为社会行动者。[6]本文并不探讨媒体等同理论与CASA范式的得失，而是因其在当今仍具有“较高的理论解释力与启发性”，[4]故将其纳入生成式人工智能同人类个体和社会的信息互动视野中。生成式人工智能在数据与算法的加持下，深度介入当今的信息秩序与传播格局中，并具备了与人类进行社会性互动的可能。因此，生成式人工智能应被视为社会行动者之一，在虚假信息的创设、撒播与流通的全层级中发挥主体作用。

1. 创设层：生成式人工智能虚假信息的产生

创设层是生成式人工智能视域下虚假信息传播全过程的第一个层级，是虚假信息得以产生的基底。创设意为开创条件，对于虚假信息的产生机制，本文在此不使用“生成”等更具鲜明意义的词汇，而是使用“创设”一词，指虚假信息的产生层级，意即说明在生成式人工智能的新技术语境下，开创的一种虚假信息的全新生成模式和全新生产条件，虚假信息生成的速度与形态都在彰显创设性。

媒介和人类社会的历史进程有着密切的关系，二者相互融合，彼此借势。在人类的信息传播史中，存在着多种创设媒介，促成了人类信息传播的革命性跨越。口语媒介开创了人际传播的新格局，文字媒介使传播得以在时间性中无限延展，互联网媒介使得信息传播的损耗度大幅降低，而信息文本的存储容量与传播外延却大幅增加，创设了网络传播的新时代。平台型媒介的出现使信息内容生产实现了从以专业生产（PGC）为主到用户生产（UGC）为主的革命性转变。随着生成式人工智能的演进，人工智能在信息传播中对人类完成全过程替代，创设出以新智能媒介为基础的智能传播格局，带来文本、图像、音视频等内容生成的信息革命，将信息生产转向人工智能内容生成（AIGC）的全新秩序。

创设层中的社会行动者包括用户以及在CASA范式下具备主体性和社会性的生成式人工智能。生成式人工智能可以分解为多个行动要素，即通用大模型与数据界面，二者和用户共同构成创设层的社会行动者。通用大模型是生成式人工智能信息生产的“心脏”。目前，多数生成式人工智能采用大规模生成式预训练语言模型（Generative Language Model，GLM）作为生成逻辑。作为一种自然语言处理技术，大规模生成式预训练语言模型能够通过大规模的文本数据进行自监督学习，使模型学习到语言的潜在结构、语法规则和语义关系，将语言由静态表示升格为上下文感知的动态表示，使自身具备情景化生成能力，即能够根据上下文提示生成信息。通用大模型的塑造通常需要经过三个阶段：第一阶段是大模型训练，使大模型学习人类的语料文本，使其中的数据蕴含参数化、概率化；第二阶段是指令学习，使大模型具备完成任务的能力，能够根据指示进行信息的运算输出；第三阶段是价值观念的习得，养成价值判断与价值对齐的能力。生成式人工智能需要通过通用大模型才能生成信息，因此大模型在虚假信息创设层中处于核心的行动者位置，其能够将源数据进行情景化生成，通过自身内置的深度学习能力，在某种价值判断取向下赋予信息虚假性。即使源数据并非虚假数据，但通用大模型本身并不具备辨别能力，因此可能会在数据文本嫁接拼合的过程中将真实信息糅合并消解本身的整体真实意义；创设层中所提取的数据多有时间限制，可能导致生成式人工智能的内容生产无法与人类语料同步更新，由此导致信息严谨性缺失，[7]损害文本的真实性。

由上文可知，在信息生产方面，生成式人工智能主要以自然语言处理为核心机制，以转换器为通用模块/接口，将外界数据吸收至模型中不断训练，以此进行深度学习，进而具备输出信息的能力。而全新的视频生成模型Sora更是在转换器架构的基础上升维为具备多维度采样能力的扩散转换器，使其能够依托数据与算法生成长时间且高逼真的视觉影像。生成式人工智能信息生产的原始材料是网络空间存有的各类数据，通用大模型创设作用的发挥需要依靠这些源数据，而源数据的提供者则是活跃于网络空间的各类用户与群体，他们创造或上传的信息内容都有可能被纳入生成式人工智能的训练体系。这些用以训练的数据并非以碎片化、零散化的形式置入训练结构之中，而是以界面的形式实施整体化置入与学习。在传播学意义上，界面是内容得以呈现的平面，始终贯穿于传播过程和主体的传播实践之中。[8]界面是一个技术、社会与文化过程高度相关的交汇处，创造出行动主体与环境之间的一种特殊的参与方式。[9]界面既存有外在物理时空，又存有内在意义时空，能够通过创建场景实现主客体间的深度交互。[10]

从这个意义上来说，生成式人工智能内置的语言模型与外界海量的数据间存在一种数据界面。通用大模型的信息生成有赖于各种分散于网络空间的数据对模型本身施加的单向传播，即将自身所蕴含的参数、文本与知识结构单向“饲喂”于模型内供其学习感知。在此过程中，分散的数据会首先被后台技术整合创设为一个统一的数据界面，再传导至大模型中进行信息生成。这是因为大模型的信息生成需要调动后台内置的海量数据，需要共时性而非历时性地撷取数据进行感知输出，对数据界面上的各种数据进行编码，按照自身技术逻辑生成信息内容。质言之，数据界面就是对分布于网络场域内的各种蕴含社会认知与文化意义的数据集进行整合的场景，为通用大模型与外界数据环境构建了便捷交互的桥梁。在此过程中，如果通用大模型在数据界面中“吞咽”了虚假数据，或者被具有扰乱社会信息真实目的的用户或训练人员在数据界面以虚假数据“喂养”，就会在自身技术逻辑和价值观念的推导下生成虚假信息，阻滞真实信息的传递。

由此可见，创设层中的社会行动者（通用大模型、数据界面与用户）会通过虚假数据界面置入、错误技术逻辑转译、真实信息虚假编码等方式生成虚假信息，以生成式人工智能为代表的一系列通用人工智能技术（AGI），如PaLM-E等具身多模态语言模型和Sora等视频生成模型，使创设虚假信息生产全面AGI化，将信息秩序带入全新的智能治理图景中。

2. 撒播层：生成式人工智能虚假信息的显现

当前，学界对生成式人工智能的信息生成机制的分析通常基于“数据收集—信息制造—内容传播”的逻辑，即强调“创设—流通”的顺承关系。然而，这种看法忽视了逻辑的中介性，也就是在创设层与流通层之间存有一个信息转换的重要枢纽，即生成式人工智能对用户主体的信息撒播。

彼得斯在《对空言说：传播的观念史》中提出的两种传播模式成为理解生成式人工智能视域下虚假信息撒播层机理的重要方式。第一种是交流传播模式，以交流为媒介进行双向交互传播，交流主体以对话的形式抵达灵魂的交融与真理的同一。第二种是撒播传播模式，该模式不区分传播对象，也不在乎传播对象是否能够成功理解传播内容，而追求通过单向度的传播使受众聆听和领悟“圣言”，是一种单向的、不平等的媒介传播。[11]

在生成式人工智能使用中，人们往往会忽视撒播的存在，这主要是因为生成式人工智能语境下的人机互动具有一定的迷惑性。人机互动的过程看似用户在通过对话界面与生成式人工智能进行平等对话，践行交流传播模式。但实际上，生成式人工智能对创设层所生成信息的传播是撒播的，用户所得到的回复不过是生成式人工智能对此前众多相同或相似问题进行运算所得出的“经验”，[2]用户所期望的同声相应的人机交流亦不可能在生成式人工智能的技术逻辑下实现。生成式人工智能依然占据着人机互动的高位，看似让渡了交流的权利，其实仍隐蔽地向用户主体施加着技术权威，粗暴地通过撒播的方式回应用户的话语或指令，通过麻痹用户来实现创设层信息的撒播与注入。

在撒播层的连接过程中，主要的社会行动者是对话界面与用户间的二元关系，虚假信息可通过对话界面进入众多用户的认知结构中。列夫·马诺维奇认为，人与机器之间的界面是一种“发展出自身组织信息、向用户展示信息、将空间和时间联系起来、在获取信息的过程中构建人类经验的独特方式”。[12]当通用大模型运用数据界面的数据生成信息后，即会通过对话界面向用户呈现所生成的信息。在用户的视角下，与生成式人工智能进行互动的对话界面能够“通过模拟现实交往、实时生成的方式，从系统中任意调取出千变万化的‘现实图景’和‘虚拟图景’，直接接入人们的观念世界”，[10]但实质上，对话界面只是媒介，交流式传播只是表象，本质仍是通用大模型通过数据界面习得的价值观念与用户的认知结构发生作用并进行撒播。与之相应，用户也可将对话界面中用户的指令性内容进行解码与转译并传导至通用大模型，大模型即会调用数据界面来生成信息文本并再次经过转译后置入对话界面，实现同用户的信息交互。

由此可见，生成式人工智能的撒播层具有超越性，超越了彼得斯的撒播范式。彼得斯认为，传播者如果完全不考虑受众的差别而进行单向的撒播，对用户如何解码以及其交流期望能否得到满足并不在意，则很难达到良好的传播效果。然而，生成式人工智能的撒播却以用户的主动提问为前提，以交流的表象为纽带，通过对话界面进行信息输出。用户的主动提问或指令发出意味着自身认知结构与价值立场的预设，向生成式人工智能求取信息的行为本身即带有服从于技术权威的潜在偏向，对生成式人工智能置于对话界面的信息的接受程度将大幅提高。从这个意义上看，生成式人工智能的信息撒播不再是单向的“圣言传递”，而是变成某种反馈机制——用户主动伸出求取撒播的“橄榄枝”，生成式人工智能的撒播因而具有了针对性，即使不考虑用户的解码效果，也能够通过交流纽带与界面传递实现传播效果。可以说，生成式人工智能的信息撒播是一种“超越撒播的撒播”。

更进一步来说，用户的指令性内容可能是虚假的，或直截了当在对话界面要求生成式人工智能生成某种虚假信息，生成式人工智能撒播的传播效果即具备了某种必然性。当生成式人工智能将对话界面的指令置入大模型，转译后的信息内容仍是虚假的，而用户或许会欣然接受。以Sora为例，其根据用户的指令文本生成的视觉影像已具备超拟真度，经过用户话语引导所生成的场景，可能会被用于虚假新闻制作、负性情感煽动等偏颇行动。用户于对话界面所放置的指令性内容也可能具有真实性，但生成式人工智能根据传受双方指令所置入的信息具有极大的不确定性，存在错误解读用户指令、错误撷取数据文本的可能，大模型可能会在数据界面提取到虚假数据进行嫁接，或由于自身技术逻辑的运作偏误而产出虚假信息，从而稀释对话界面的信息真实性。

由于生成式人工智能在创设层具有内置的语言训练模型，导致其因自身技术逻9uyYA8eByvXmFPeY8QBeK6HktcHCHoTYPqicZ/rGfds=辑的框限，只能根据大规模接收到的数据价值取向与认知偏好在对话界面置入用以撒播的信息。因此，当具有非正当目的的用户在对话界面持续密集地发出虚假指令或置入虚假语料时，生成式人工智能就可能在自身无法判断前台指令和语料合理性的前提下将生成的虚假信息呈现于对话界面，并根据技术逻辑的惯性将类似的虚假信息撒播至与其他用户的对话界面之中。从这个意义上说，生成式人工智能可能被用于深度伪造，根据用户在对话界面频繁发出的指令，持续优化自身所生成的文本、图像、视频等内容，以用户指令为导向不断增加信息的虚假意义。深度伪造的内容将在更大程度上消解新闻的真实性，在对话界面指令的不断规训中将这些刻意输送的用户对话内容当作人类的真实反馈，由对话界面渗入创设层之中，甚至进行自我调整与引导。自此，越来越多的深度伪造信息将不断被置入对话界面，以撒播态势供用户摄取，在更大维度内隐匿信息的真实性。

在撒播的过程中，部分用户或能辨别出对话界面中信息的虚假性，而更多的用户可能赋予虚假信息想象的真实，从而接受虚假信息的撒播，为虚假信息的流通创造条件。同时，具备不良意图的用户也会以此方式攫取撒播层中的虚假信息，并试图将其置入公共空间的信息管道中进行流通，对话界面和用户在撒播层共同构成传播虚假信息的协作式社会行动者。

3. 流通层：生成式人工智能虚假信息的传播

虚假信息经过撒播层后进入流通层，并在流通层渗入社会传播机理之中。大范围的信息撒播使虚假信息必然会流通于信息管道，通过平台与算法的运作进一步呈现在网络公共空间，导致信息秩序的失衡。

流通层的社会行动者是多元而复杂的，包括人类行动者与非人类行动者。撒播层中的部分虚假信息进入流通层，会被人类行动者传播。首先表现为人际传播与较为松散的群体传播。个体用户在无法辨别信息真伪时，会无意将虚假信息传播给其他个体用户，或者在网络社交媒体、线下群聚活动中，对其他个体进行较为松散的虚假信息传播。其他个体接收到虚假信息时，可能会因其缺乏判断力、信息契应自身情感属性等，向更多的个体和更大的群体传播虚假信息，实现虚假信息在网络公共空间的扩散。部分社会组织与机构出于营销等目的，亦会参与生成式人工智能视域下的虚假信息传播。这些虚假信息将深刻影响信息秩序的真实性意义，混淆人们对世界图景的真实认知。

生成式人工智能虚假信息的传播主体，还包括CASA范式下的其他非人类的社会行动者。有学者从传染病学视角将虚假信息视为病原体，将网络平台视为有利的滋生环境，将媒介素养较低的受众视为易感宿主，三者在交互作用中助推虚假信息的病毒式传播。[13]生成式人工智能虚假信息将通过用户的网络身份流入互联网平台之中。平台的技术赋权给予虚假信息传播的可能性，由算法的运作机制所生发的“信息茧房”与“回声室”效应会加剧用户社群的分化与极化，使虚假信息对用户认知结构深度介入的可能性大幅增加。由于用户自身的专业知识面向有差异，对专业化信息与视像存在复杂认知，而用户赋权又挤占了传统媒体与学者专家的话语权，平台媒介上公共话语的式微，为虚假信息的传播提供了温床。平台使用户得以联结并组成圈层，使偏好性虚假信息在被算法识别之后，精准推荐至特定圈层，生成式人工智能视域下的虚假信息以更符合圈层用户情感与认知的方式被分发投放，使虚假信息在圈层传播中发挥更大影响，而每个圈层又同其他圈层间存在人员交叠，生成式人工智能下的虚假信息得以在平台上突破圈层壁垒，获得更为广泛的传播。

在平台与算法的加持下，社交机器人作为重要的非人类社会行动者，对受众的思考惯习和认知机制施加影响，人的主体性遭遇挑战并可能沦为机器与人甚至是机器与机器之间连接的工具性介质。[14]在此意义上，生成式人工智能视域下的虚假信息或能够凭借社交机器人进一步放大声量，甚至直接在撒播层与社交机器人对接，将社交机器人架构为流通层的代言人。社交机器人则能够通过虚假信息来干扰网络话语和公共视听，并伪装为用户积极参与媒介行动，以扩散虚假信息。生成式人工智能与社交机器人的联结，能够以机器间性提高虚假信息在网络平台的传播范围与影响，营造非真实的意见气候，动摇真实用户的思维认知。在非人类社会行动者发挥机器间性重构网络空间的信息秩序与网络用户的认知图景时，真实用户也可能成为AGI背景下虚假信息传播的助推手，互联网的内容真实性将被进一步削弱。

生成式人工智能下虚假信息在流通层的深度传播将带来后事实世界体验，即用户对于真实性的感知并不依靠某事物的客观性，而是基于看起来或感觉起来怎么样，[15]即便信源的可信度存疑，但重复暴露的虚假信息将使人更容易感受到信息的真实性。尤其是Sora出现后，接收生成式人工智能虚假信息时将会有更多的感官被置入Sora所建构的场景中，通过情感与体验感的补偿对虚假情境产生真实化的偏向。观点与事实之间的界限趋于模糊，价值观念与情感经验在流通层内的影响力持续增加，使权威机构的受信任度不断降低，虚假信息在流通层扰动信息秩序并混淆视听的可能性进一步增强。

综上所述，生成式人工智能虚假信息的生成与传播在信息秩序中经历了三个层级的运作：在创设层，通用大模型与数据界面相连，潜隐生成虚假信息的可能性；在撒播层，用户通过对话界面与创设层实施偏误的互动，虚假信息的生成与撒播成为事实；在流通层，原处于撒播层的虚假信息被置入信息管道并由多元行动者扩散至公共空间，渗入社会机理和认知图景之中。由人类行动者与非人类行动者所解码传播的虚假信息，将在互联网场域中重新被吸纳到数据界面以待再次创设，实现层级闭环（见图1）。

三、生成式人工智能视域下虚假信息的层级化治理

在层级化运作机理下，生成式人工智能视域下的虚假信息对信息秩序产生深刻影响，对虚假信息的治理成为全球关注的重要问题。本文不采用宏观视野对生成式人工智能视域下虚假信息进行整体施治，而是追求精准治理、强效治理，即针对创设层、撒播层与流通层分别提出把关、研判、处置的具有侧重性的治理方案，分别采取抑制、困囚、遮蔽的治理层次，使其上下联通，彼此嵌套，实现覆盖全生命周期的层级化治理。

1. 创设层把关：建立链式监测、分级管理的数据准入制度

在人机交互的过程中，用户看似获得了一种操控和改变界面的现实感，但实质上只是一种幻觉——人机交互界面让内容真正的生产者（计算机系统）变得不可见，在技术编码中以选择的逻辑悄无声息地替换了用户的主观意识。[16]对话界面所置入的信息看似由用户的主观性提问凝结而成，实际上却蕴含着创设层的运行机制。作为虚假信息生成的重要层级，创设层中的虚假信息并没有连接传播渠道，未作用于任何行动者的认知结构或技术逻辑。因此，对创设层的虚假信息治理重在把关，将虚假信息扼制在摇篮中，从源头消除撒播层中用户产生幻觉的可能性。通过对进入创设层的原始数据进行规范，在数据界面扼制能够产制虚假信息的语料文本，在通用大模型中削弱虚假信息技术生成逻辑的自洽性。

当前，生成式人工智能创设层中所吸纳的数据存在不合规性与冲突性。在信息空间，生成式人工智能可能在未告知原始数据所有者的情况下便对其持有的数据进行采集，在数据界面所存有的部分数据具有不合规性。当信息空间内其他数据所有者意识到生成式人工智能的不合规采集行为时，则可能通过IP封禁、动态密钥、账号封禁等反采集措施阻断机器人自动采集，但在维护自身数据安全与权利的同时阻断了有益数据的流通共享，数据供需间发生冲突。基于此，学界对生成式人工智能数据采集问题的探讨多集中于如何抑制数据泄露、防止数据不当使用等，倾向于对信息空间中各主体所持有的数据进行控制，以躲避生成式人工智能的不合规采集。然而，伴随着生成式人工智能技术的快速迭代，海量的信息与纷杂的主体使得生成式人工智能数据采集的可控性大幅降低，其通过大模型生成虚假信息的能力已难以从外部进行管控。传统的控制模式既难以维护数据安全，也无法促进数据发展。有鉴于此，创设层的治理应从数据控制的静态视角转向数据准入的动态视角，侧重于对进入数据的把关而非对外部数据的整体治理。

生成式人工智能创设层的数据准入制度建设的本意并非探讨生成式人工智能数据访问与使用的权责边界，而是以原始数据转换为虚假信息的可能性为评判标准，重点规制数据利用行为，在数据界面建立把关制度。当数据进入数据界面时，不论该数据是否侵夺数据持有者的权益，数据获取行为已经发生，所要强调的即转变为该数据对内容生成与信息秩序将产生何种影响。因此，数据准入制度应以链式监测、分级管理为主要治理点。

链式监测旨在利用技术手段与人工手段相结合的方式对创设层的数据进行监测，对已经置入数据界面的数据进行实时监测与管理。一方面，这种监测必须设定虚假数据的技术监测装置，该装置应与公共辟谣平台、虚假信息数据库等信息设施连接，为技术监测提供丰富的文本规范与监测标准。同时，吸纳学习政府开放的公共数据，将其中所蕴含的公共价值理念与信息文本意义转化为技术性监测标准，强化技术消解虚假性的能力。另一方面，人工应发挥纠偏与完善作用，对技术监测装置所生发的监测失误和模糊之处进行检查修正，提高真实数据的通过率与虚假数据的清除率，并对具有代表意义的虚假数据进行标记，将其通过链接反馈给各类打击虚假信息的信息设施，形成虚假信息治理的有益循环。质言之，创设层数据界面应嵌入社会虚假信息治理的链网之中，与公共信息设施建立链式联系，加强创设层的数据监测效能。当装置监测到含有虚假意义的数据时，即可在数据界面予以清除，避免其流入通用大模型中进行生成；当装置发现通用大模型中所生成的信息违背信息真实伦理或出现认知偏误后能及时预警，由后台技术人员进行审查清退。

数据准入制度应采取分级管理的方式，将生成式人工智能数据界面的数据类型进行分类，由此判断数据的最终应用方式。首先，对涉及用户或其他行动者隐私的数据给予严格限制，不允许生成式人工智能大模型任意侵夺。隐私数据同样具有虚假性，部分用户及其他行动者向网络上传隐私数据时，有意上传虚假数据以规避重要隐私数据泄露的风险，当这类数据被生成式人工智能攫取后，不仅具备使大模型生成虚假信息的可能性，也违反了数据利用与信息生产的基本伦理。其次，对不涉及隐私安全的数据可实施进一步区分。经监测初步认定具有真实性的数据，可将其从数据界面传递至大模型中用以生产；经监测认定具有虚假性的数据，则留置于数据界面，由后台管理人员进行定期清除。再次，对获得政府授权运营许可的公共数据和面向社会主动公开的数据进行积极汲取，以公共价值的真实性稀释大模型生成虚假信息的可能性。

2. 撒播层研判：进行“显隐并彰”的标签水印式信息困囚

在撒播层，生成式人工智能下的虚假信息已经成型并置入对话界面，接入对话主体用户的认知视野，出现虚假信息的流通风险。因此，撒播层的虚假信息治理重在研判，旨在将虚假信息困囚于人机对话的界面之中，降低虚假信息恶性传播的风险。撒播层的研判行为分为显性层面与隐性层面，在显性层面将信息进行标签处理以供用户进行研判，在隐性层面嵌入数字水印以供监管人员实施研判。

由于生成式人工智能背景下虚假信息的监管困难性，学界普遍将虚假信息的辨别与处理寄希望于用户自身媒介素养的提高和传播伦理的自律恪守。但作为具有感性认知的社会行动者，用户自身容易在“信息茧房”中受困，在生成式人工智能所提供的虚假信息拟态环境的裹挟下自我极化。加之生成式人工智能下虚假信息意义纷繁复杂，用户媒介教育体系建设任重道远，短期内以提高用户媒介素养的方式来对抗虚假信息或是一种幻想。相比之下，借助以标签的技术理性方式将虚假信息困囚于对话界面更为可行。

针对从数据界面与通用大模型中所浮现的信息，可通过在对话界面建立生成式人工智能语言标签系统，实施靶向治理，帮助用户识别虚假信息。标签在于从显性层面成为用户媒介素养的“义肢”，用户能够从对话界面看到创设层所生成信息的标签，借此更为迅速准确地对信息真实性作出研判。标签将额外的信息附加于生成式人工智能所生成的信息内容之上，包括信息核查结果、信息意义警告两种标签。对虚假信息进行标记能够影响用户的分享意图，纠正用户对真相的错误判断，促进长效性的观念改变。[17]政府与相关企业应将符合社会公序的价值观置入语言标签系统，并将虚假信息的判断标准和识别技术纳入其中，使其能够为对话界面中的虚假信息进行标签添加。对于违反信息真实原则的虚假信息，系统可添加信息标签以告知用户该信息为经核查后确认的虚假信息；对于违背社会公共价值观的信息，系统亦能以标签形式提醒用户对该信息背后的意义导向提高判断力。由此，用户便可依据标签的提示，判断对话界面中信息的真伪和价值导向。

除了在显性层面设置标签提示用户，还需在隐性层面嵌入数字水印。数字水印是一种将特殊信息嵌入数据集的技术，[18]能够将标识性内容作为隐藏信息进行嵌入，并与原始数字产品相融合。[19]数字水印具有很强的“印刻力”，即使某信息在流通过程中被多次加入不同的水印，每个水印也可被独立检测出来以反映信息流通情况。[18]数字水印具备不可见性与可证明性特点，在确定数字作品的归属方面应用广泛，多用于保护信息内容的知识产权。[20]在生成式人工智能勃兴之时，数字水印技术能够发挥独特的信息治理作用。

在创设层，进入大模型的数据均需嵌入数字水印，用以标识该数据的来源。当用户在对话界面置入话语后，大模型即可调动技术逻辑生成信息并放置于对话界面中。此时，通过拼接而成的信息内容会具有多重数字水印以显示该信息生成的数据来源。用户并不会看见数字水印，授权外的主体也难以修改水印信息，生成式人工智能信息中的数字水印能够安全隐藏其中。当某条生成式人工智能虚假信息流入网络空间并造成不良影响，治理主体即可通过该条信息的数字水印实现责任追踪与判定，对生成虚假数据来源的主体进行精准规制与处罚。数据水印技术不仅用于标识创设层的数据，还可对用户在对话界面投喂的文本语料进行标识。当发现对话界面频繁密集出现特定虚假信息投喂情况时，即可通过该信息的数字水印对生成式人工智能所辖的所有对话界面进行查找，及时发现对话界面的虚假信息污染现象，将含有该数字水印的虚假信息进行批量清除，并追责相关主体。

3. 流通层处置：建强算法分发与公共力量的信息遮蔽效能

生成式人工智能视域下的虚假信息若未能被困囚于撒播层，其对信息秩序的扰动便已发生，需在流通层中施以信息遮蔽的治理措施，即降低虚假信息在公共空间的可见性，以强化智能虚假信息治理效能。流通层中包括人类行动者与非人类行动者多元主体，应将其充分纳入治理体系，发挥不同行动者的积极效应，服务于流通层的虚假信息遮蔽。

“被看见”是舆论展开之基础，特定议题、事件或人物必须首先“被看见”，即具有在公共空间中的可见性。[21]同理，可见性亦是虚假信息得以施加恶性影响的基础。“可见”预示着何以被看见、何以被感知，“不可见”则意味着何以被隐匿、何以被隔绝。对虚假信息治理而言，消弭其可见性的治理成本要远小于打击其危害性的成本，在流通层隐匿虚假信息的可见性应成为优先考虑的治理对策。

算法等非人类社会行动者应在控制虚假信息可见性的过程中得到充分运用，当撒播层的虚假信息进入流通层时，流通层的监测技术就应承担起“瞭望者”功能，对虚假信息进行识别，并交由算法对虚假信息的分发进行操纵，使虚假信息在社交网络与互联网平台中“被看见”的可能性降低，传播力度与传播范围得到削弱。算法对虚假信息的遮蔽是一个自动化决策的过程，包括排序、分类、关联和过滤四个步骤：首先，将所识别出的虚假信息的优先级降低，使之难以出现在算法分发的前端；其次，将具有相同虚假性特征的虚假信息划为同一组别；再次，将这些虚假信息间的意义进行关联；最后，根据判断标准过滤扰动信息秩序的虚假信息。通过降低信息的排名或降权来减少虚假信息进入算法推荐系统的可能，生成式人工智能背景下虚假信息在网络空间的可见度就会大幅降低，对信息秩序的扰动随之消弭。若虚假信息在公共空间的可见性持续放大，流通层内公共力量对虚假信息的直接识别与打击则势在必行。

政府要想在网络治理中发挥主要的行动者作用，需扮演好公共服务者的角色，[22]对虚假信息在公共空间的有效治理离不开政府的担纲。政府应根据社会主流价值导向与公共安全需求，对虚假信息进行具体化界定，以理性的判断标准促动其他社会行动者参与到虚假信息的空间治理中，以侧面遮蔽虚假信息的可见性。此外，政府亦应积极推进信息公开，因为信息公开的“核心价值在于主体在获得足够信息的基础上进行互动与对话”。[23]当虚假信息在公共场域流通扩散时，政府的信息公开能够对虚假信息内容做出正确的文本解释，使虚假信息不攻自破，以透明真实的信息挤占虚假信息的生存空间。

戴扬认为，媒体的核心不是信息而是展示，关键在于显示或隐藏。[24]在显示层面，公共媒体及时披露关于事件的真实权威的信息是虚假信息治理的首要任务。[25]对于已经在社会面呈现的严重威胁社会秩序的虚假信息，媒体要向接触到相关虚假信息的个体与群体推送澄清式信息，消除虚假信息对人们认知结构和社会真实图景的损害，并积极进行舆论引导，从事实与道理层面进行共情传播，增强真实信息的显示面。在隐藏层面，以媒体为代表的组织化的社会行动者在接收到虚假信息时，不应为谋求注意力资源而将虚假信息的可见性扩大，而是在符合公共价值的基础上进行判断，对虚假新闻报道进行隐藏，对公共新闻中的信源进行核查，及时隐匿虚假信息，构建理性客观的公共话语空间。

结语

生成式人工智能将虚假信息的生成与传播带入新的传播格局，对信息秩序产生巨大冲击。在层级化的视角下，生成式人工智能视域下虚假信息的运作机理可分为创设层、撒播层与流通层，虚假信息在其中层层嵌套，对信息秩序的影响逐层显现，阻滞着社会真实性的勃发，隐匿着公众对社会图景的真实认知。有鉴于此，对生成式人工智能视域下虚假信息的治理需要实施层级化治理。在创设层重于把关，建立链式监测、分级管理的数据准入制度；在撒播层重于研判，对创设层中浮现的虚假信息进行信息标签的显性呈现与数字水印的隐性嵌入，将虚假信息困囚于对话界面；在流通层重于处置，发挥政府、媒体等公共力量，释放真实透明的媒介信息，强化信息治理效能。

当前，虚假信息的创生传播已全面AGI化，Sora的介入又使虚假信息趋于场景化，为虚假信息的治理带来新挑战。伦理道德和法律法规如何维系智慧社会的新秩序，已经成为社会科学又一重大难题。当下生成式人工智能虚假信息治理更需契合时代与科技的发展，在看到技术对信息秩序负面影响的同时，关切技术向善的可能性，并谨慎地将其纳入信息治理的格局中，探索技术促动治理效率提升的可能性。在保持技术理性的同时，更不能舍弃人本主义的追求，应继续发挥人的主观能动作用，以正确的技术伦理和规范的法律规约参与到生成式人工智能视域下虚假信息治理中。

参考文献：

[1] Tudjman M， Mikelic N. Information science： Science about information， misinformation and disinformation[J]. Proceedings of Informing Science+ Information Technology Education， 2003（3）： 1513-1527.

[2] 张文祥，沈天健，孙熙遥. 从失序到再序：生成式人工智能下的信息秩序变局与治理[J]. 新闻界，2023（10）：41-51.

[3] 朱嘉珺. 生成式人工智能虚假有害信息规制的挑战与应对——以ChatGPT的应用为引[J]. 比较法研究，2023（5）：34-54.

[4] 徐琦. 超越“计算机为社会行动者”范式：智媒时代人机传播理论创新的突破点[J]. 现代传播，2023（6）：160-168.

[5] Reeves B， Nass C. The media equation： How people treat computers， television， and new media like real people[M]. London： Cambridge University Press， 1996： 10.

[6] 申琦. 服务、合作与复刻：媒体等同理论视阈下的人机交互[J]. 西北师大学报（社会科学版），2022，59（3）：106-115.

[7] 金雪涛，周也馨. 从ChatGPT火爆看智能生成内容的风险及治理[J]. 编辑之友，2023（11）：29-35.

[8] 胡翼青，姚文苑. 重新理解媒介：论界面、内容、物质的三位一体[J]. 新闻与写作，2022（8）：5-16.

[9] 朱亚希. 从移动界面出发理解传播：论新媒介时代移动界面传播的三重属性[J]. 新闻界，2020（9）：26-34.

[10] 胡翼青，王沐之. 发现界面：审视媒介的新路径[J]. 湖南师范大学社会科学学报，2022（6）：116-124.

[11] Deng J. Translation as A Problem of Communication： Some Reflections on Translating Speaking into the Air[J]. Media Theory， 2022， 5（2）： 55-72.

[12] 列夫·马诺维奇. 新媒体的语言[M]. 车琳，译. 贵阳：贵州人民出版社，2020：73.

[13] Rubin V L. Disinformation and misinformation triangle： A conceptual model for fake news： epidemic， causal factors and interventions[J]. Journal of documentation， 2019， 75（5）： 1013-1034.

[14] 漆亚林，王钰涵. 社交机器人：数字用户的建构逻辑与智能陷阱的治理路向[J]. 新闻与传播研究，2022（9）：59-71，127.

[15] 谢进川，唐恩思. 深度伪造的社会伤害与治理争议[J]. 新闻与写作，2023（4）：96-105.

[16] 胡翼青. 西方媒介学名著导读[M]. 北京：北京大学出版社，2023：202.

[17] Ecker U K H， O'Reilly Z， Reid J S， et al. The effectiveness of short-format refutational fact-checks[J]. British Journal of Psychology， 2020， 111（1）： 36-54.

[18] 尹浩，林闯，邱锋，等. 数字水印技术综述[J]. 计算机研究与发展，2005（7）：1093-1099.

[19] 牛夏牧，赵亮，黄文军，等. 利用数字水印技术实现数据库的版权保护[J]. 电子学报，2003（S1）：2050-2053.

[20] 张怡梦，陈美欣，胡业飞. 区块链、数字水印与全过程阳光：技术赋能下的政府数据开放风险管控体系设计[J/OL].[2024-02-04].情报杂志，http：//kns.cnki.net/kcms/detail/61.1167.G3.20230221.1013.012.html.

[21] 周葆华. 算法、可见性与注意力分配：智能时代舆论基础逻辑的历史转换[J]. 西南民族大学学报（人文社会科学版），2022，43（1）：143-152.

[22] 田永鸿，韩冬雪，吴满意，等.“人工智能与马克思主义理论学科交叉研究”笔谈[J]. 西南交通大学学报（社会科学版），2023（4）：1-11.

[23] 张文祥，杨林. 多元对话：突发公共卫生事件的信息传播治理[J]. 山东大学学报（哲学社会科学版），2020（5）：24-30.

[24] Dayan D. Comm Research—Views from Europe| Conquering Visibility， Conferring Visibility： Visibility Seekers and Media Performance[J]. International Journal of Communication， 2013（7）： 17.

[25] 丁晓蔚，李明. 基于大数据AI的重大突发事件媒介化治理——一项系统性的应用研究[J]. 编辑之友，2022（12）：59-70.

Hierarchical Operation Mechanisms and Governance of Disinformation in the Era of Generative AI

ZHOU Yan， SHEN Tian-jian（School of Culture and Communication， Shandong University， Weihai 264200， China）

Abstract： The widespread integration of generative AI in information production and communication has ushered in a significant paradigm shift in information order， notably expediting the generation and communication of disinformation. This paper delves into the operational mechanisms of disinformation within the realm of generative AI and advocates for a nuanced， hierarchical governance approach. Specifically， at the creation layer， to create a new type of gate-keeping strategy to suppress disinformation at the source of information production， it is necessary to establish a Data Access System with chained monitoring and hierarchical management as its main component. At the dissemination layer， to eliminate the disinformation put in by the user in the dialog interface， trap the disinformation in the dialog interface and form a diffusion obstacle， the disinformation produced in the creation layer is explicitly presented with information labels and implicitly embedded with digital watermarking at the same time. At the circulation layer， the emphasis lies in disposition， obscuring the visibility of disinformation by refining algorithms governing its automated decision-making processes. It also brings into play the power of the government， the media and other public forces to release truthful and transparent information， thereby forming a flexible disinformation filtering mechanism and enhancing the effectiveness of information governance.

Key words： generative AI; disinformation; information governance; Sora

（责任编辑：侯苗苗）

基金项目：山东省社会科学规划项目“网络叙事的底层群体主体化及其对互联网舆论的影响研究”（23CXWJ07）；教育部人文社会科学重点研究基地重大项目“国家治理体系现代化中的传媒治理研究”（22JJD860016）

作者信息：周妍（1982— ），女，河南开封人，山东大学文化传播学院副教授、硕士生导师，主要研究方向：媒介文化、网络治理；沈天健（1993— ），男，山东济宁人，山东大学文化传播学院新闻传播研究所助理研究员，主要研究方向：媒介文化、网络治理。