倪子涵 苏俊斌
【摘要】当代信息技术革命正推动媒体产业朝着智能化方向发展,人工智能被运用在新闻采集、生产、分发以及反馈等流程中。在新闻生产流程中采用算法代替人力,是避免了主观偏颇抑或放大了主观偏颇?面对算法新闻的时候,受众所感知的新闻可信度是更高还是更低?本研究针对中国某高校的大学生(N=604)进行了问卷实验,探究受众算法素养对新闻可信度的影响,与此同时还验证了前人关于受众对算法新闻与记者写作新闻的感知可信度差异。研究发现:受众对新闻可信度的评价与其算法素养显著相关,算法素养高的受众对新闻可信度评价低,反之算法素养低的受众对新闻可信度评价高。实验还证实了之前的研究结果,即算法署名新闻被感知到的可信度高于记者署名新闻,体育新闻被感知可信度高于社会新闻。作者认为受众感知算法新闻可信度的差异可能是由于算法素养的差异所导致。本研究的目的是为我国新型主流媒体增强公信力提供参考。
【关键词】算法新闻;算法素养;感知可信度;马克思主义新闻观
2023年,在深度学习迈进迅速发展的第十年之际,生成式预训练自然语言大模型(ChatGPT)成为了举世关注的焦点。相应地,人工智能生成内容(AIGC)随之成为了继专业生产内容(PGC)和用户生产内容(UGC)之后的主要内容生成模式。既有研究围绕算法新闻的可信度及其影响因素、评价维度等方面进行了有益探索。本文采用2(署名作者:智能算法,记者)乘2(新闻主题:体育新闻、社会新闻)混合设计方差分析探求受众对算法新闻的可信度感知。本研究旨在为算法如何影响新闻可信度的研究进行前期探索,并为人机协同条件下如何改善智能媒体公信力提供借鉴。
一、研究问题的提出
(一)算法素养对算法新闻可信度影响研究
有学者从人际传播角度出发,提出可信度研究的关键是受众与信源、媒介、信息本身之间的关系。[1]Miriam等研究指出,人口学特征、媒介使用情况、媒介素养等受众特征是网络媒体时代新闻可信度相关研究的重要方向。[2]从受试者媒介素养角度而言,研究者将受试者分为传媒从业者和普通人两类进行研究。如Van der Kaa通过量表测量发现,相较于普通人,传媒从业者对算法新闻具有更高的专业性感知,但可信度感知较低。[3]
随着互联网和媒介技术的更迭,算法素养这一概念在媒介素养的基础上得以发展。然而,算法素养对算法新闻可信度感知的影响相关研究相对缺乏。Waddell研究发现,新闻的归属(人类、机器、或人机合作)对新闻的偏见感知和可信度有显著影响,特别是在对媒体有预先批判态度的受众中。当新闻被归属于人机合作时,其被感知为较少偏见且更加可信。这表明,对于有一定算法素养的受众,了解新闻产生的背后机制(人工、自动化或两者结合)可能影响他们对新闻内容的信任度。[4]在此基础上,Waddell进一步深入探讨了自动化新闻和人类新闻的可信度感知差异,并提出机器归属可能通过减少偏见感知来增加新闻的可信度,同时人类归属可能通过增加人性化来增加可信度。这暗示了算法素养较高的受众可能通过理解新闻来源的机器性质或人类特征来评估新闻的可信度。具有高算法素养的受众可能更能认识到自动化新闻的潜在偏见和局限性,同时也可能对人机合作产生的新闻内容持更开放的态度。[5]然而,部分研究发现,算法知识储备不足的受众群体更容易信任算法技术。[6]此外,Jaemin等研究发现,相较于传统新闻,受试者普遍对算法新闻信任度更高,算法素养对其影响甚微。[7]
这种结论上的不一致需要更多的研究来加以检验。基于此,提出核心研究问题:
RQ1:算法素养的差异是否会影响受试者对新闻可信度的感知?
(二)新闻作者对算法新闻可信度影响研究
当前针对算法新闻可信度的研究主要以西方情境为出发点。然而,研究表明,政治制度、文化体制、媒介体制等评估情境的差异将有一定概率引发可信度评价产生变化。[8]如Jung等研究发现,在韩国语境下,算法署名新闻可信度评估明显优于记者署名新闻。[9]但这与欧美国家语境下的相关研究结论出现分歧。在中国文化语境下,马克思主义新闻观要求新闻报道立足中国实践,从事实着手,站在人民的角度满足人民群众的需求。[10]然而,国内部分研究选用美国媒体所发布的新闻作为实验刺激材料,[11]立足中国文化语境的可信度相关研究相当稀少。蒋忠波等学者针对中国语境中的算法新闻和人类记者新闻的可信度感知差異及其内在要素进行了深入研究。研究发现,受试者对算法署名新闻的可信度感知显著高于人类记者署名新闻,其中“偏见”维度最为突出。[12]鉴于国内外研究结论存在差异,且国内相关研究相对匮乏,以中国文化语境下进一步深入研究作者差异(算法还是人类记者)对受众感知新闻可信度的影响显得尤为必要。由此,本文提出研究问题:
RQ2:作者差异(署名算法或署名人类记者)是否对受众感知新闻可信度产生影响?
(三)新闻主题对算法新闻感知可信度内部要素的影响研究
已有研究提出,受众对不同主题的算法新闻报道的可信度感知研究是未来算法新闻可信度感知相关研究的焦点。当下相关研究的新闻主题多集中于体育、财经领域,对社会新闻等其他新闻领域研究较少。[13]随着智能算法的发展,算法新闻可能在未来拓展至社会新闻等新闻领域,还对新闻写作的价值观念、意识形态等方面提出了更高的要求。[14]这不仅对于算法写作系统而言是个挑战,更会影响新闻可信度感知评估。蒋忠波等将社会新闻纳入为研究对象,探讨社会新闻和体育新闻的主题差异对新闻可信度受众感知的影响。其研究发现,相较于体育新闻,社会新闻更难以获得更高的可信度感知。[15]然而,该研究仅从社会新闻和体育新闻角度进行了初步探讨,尚未深入揭示新闻主题差异怎样影响新闻的准确性、真实性、值得信赖、客观性、权威性等新闻可信度内部要素的感知评估。由此,本文重新检验前人研究,以回答以下问题:
RQ3:新闻主题的差异怎样影响受试者对新闻可信度五大内部要素的感知?
二、研究方法
本研究采用填答问卷的在线实验法,研究受试者对不同主题、不同署名的新闻可信度的感知。通过有意识地控制可能影响受试者对新闻可信度感知的变量,减少干扰因素的影响,从而揭示或验证变量之间的关联,确保研究结果具有可靠性。并且,本研究旨在测试特定假设,因此归类为实验法而非调查法。
(一)受试者的选取
本研究选取中国某高校大学生为受试者。在626名参加者中回收有效问卷604份(N=604),其中女性占比为62.3%。
(二)实验材料
本研究选择一则由腾讯写稿机器人Dreamwriter自动撰写的体育新闻《德罗赞27分马刺胜鹈鹕取两连胜》(刊发于2020年8月10日),以及一篇由南京日报社记者朱静采写的社会新闻《买卖手表赚差价?女子投资10万余元被骗》(刊发于2021年4月8日)作为实验材料。每则新闻的署名作者分别被标注为“Dreamwriter”“朱静”,并将署名作者相同的两则新闻组合形成算法组和记者组。
(三)变量测量
1.因变量
本研究所探讨的因变量是新闻可信度感知评估。当前已有诸多研究试图量化受众的新闻感知评价。如S.Shyam Sundar在前侧所得出的项目基础上梳理出21个指标[16],Philip Meyer设计了信源可信度测量量表[17]和Andrew J.Flanagin等开发了信息可信度测量量表[18]。研究表明,信息可信度和信源可信度之间关系紧密[19],这在测量量表中也得以体现。因此,本研究在Sundar提出的21个指标的基础上参考了PhilipMeyer和Andrew J.的可信度测量量表,基于各个题项的重复率初步筛选出8个指标:客观、准确、可信、真实、权威、易于理解、简洁、生动。为了进一步了解读者对新闻可信度感知评价的指标,本研究进行前测访谈,进而对测量量表进行补充。访谈的问题为:您通常会用哪些形容词来评价一篇新闻报道的可信度?
前测共对20位20-24岁本科生进行一对一访谈,专业分布广泛。统计数据显示,80%的受访者在描述新闻报道时谈及与信赖度相关的形容词(值得信赖、有说服力等);65%的受访者提及与客观性相关的形容词(中立、偏见等),45%的受访者提到了与真实相关的形容词(贴近现实等),与可读性相关的形容词(生动、感人等)仅被20%的受访者提及。因此,通过将前测结果与初步筛选的指标相比对,剔除易于理解、简洁、生动这三项指标,保留准确、可信、客观、真实这四项信息可信度测量题项,以及权威性这一信源可信度测量题项。要求受试者用5级李克特量表来回答每个问题,回答选项的范围从“非常同意”到“非常不同意”,从而衡量受试者对所阅读新闻的可信度感知评价。
2.算法素养变量
算法技术更新速度快和非公开等特点致使当前学界并未形成一致的算法知识测量量表。本研究参考Cotter和Reisdorf就搜索引擎提出的算法知识量表[20]和Matthew和Eastin对于网络自我效能的量表设计[21],基于思维培养和风险教育两个维度对受访者进行测量。问卷设置“我能理解关于算法的概念与术语”“我会在日常生活中对网络平台的算法逻辑进行思考”“我能主动根据自己的使用行为调整APP给我推送的内容”“我能够利用算法获取我想要的信息”“我知道如何在网络环境中有效保护个人数据和隐私”五个题项,以5级李克特量表计算上述題项的得分。
(四)实验过程
(1)实验分组。本实验采用两组受试者,分别阅读智能算法署名的A1B1新闻和人类记者署名的A2B2新闻,并比较其可信度感知评估。第一组算法署名组304名受试者,第二组记者署名组300名。
(2)数据采集。本次实验采用问卷星在线调研,通过滚雪球抽样的方式发放问卷,进而使受试者的年龄、专业、算法素养等特征更丰富。受试者需要填写对该新闻可信度测量的量表。最后测量受试者的算法素养,并回答完成人口统计学相关问题后提交问卷,即算完成实验。
(3)样本结构。本次研究共回收问卷626份,剔除答题时长过短和新闻署名作者选择错误的无效问卷,有效问卷为604份,问卷有效比例为96.5%。每组的实验参与者的性别、年龄等基本数据没有显著差异。
三、实验结果与相关讨论
研究首先对各变量进行信度和效度的分析。信度分析显示,新闻可信度变量和算法素养变量的克朗巴哈系数(Cronbachα)均大于0.7,信度可以接受。其次,一组与二组受试者的算法素养不存在显著差异,在可能会影响到新闻可信度感知的变量上处于基本一致的水平。
(一)算法素养对新闻可信度感知的影响
由预实验可知,一组与二组受试者的算法素养不存在显著差异。为分析算法素养对新闻可信度感知的影响,研究采用相关分析和线性回归分析受试者的算法素养对每种署名方式下不同主题的新闻可信度感知的影响(见表1)。
首先,利用相关分析分别研究各组算法素养与新闻可信度感知之间的相关关系。具体分析可知:一组算法素养和对算法署名的体育新闻和社会新闻可信度感知,二组算法素养和对记者署名的体育新闻可信度感知和社会新闻可信度感知之间均存在显著负相关关系。
其次,相关分析只能揭示对等的线性关系,为了进一步确定确切的因果影响,本研究分别以一组和二组受试者的算法素养为自变量对算法署名和记者署名的新闻可信度感知进行线性回归分析。
结果显示,算法素养与算法署名的体育新闻和记者署名的体育、社会新闻存在负相关关系,即算法素养越高的受试者对新闻可信度的感知评估越低。其原因可能在于:具备较高算法素养的受众往往以批判性和辩证性的眼光看待智能算法新闻,在认可其高效、客观的优势的同时,也对其结构固化、缺乏人文关怀等局限性提出批评。因此,算法素养较高的受众认为智能算法自动生成新闻的技术目前仍有待进一步完善,对算法新闻的可信度感知较低。
最后,为分析算法素养的影响在内部维度上的具体体现,研究采用线性回归对算法新闻可信度感知量表的各构成要素做进一步分析。
分析发现,当面对算法署名的体育新闻时,算法素养与新闻可信度的准确性、真实性、值得信赖、客观性、权威性五个维度均存在显著负相关关系,即算法素养越高的受试者对新闻可信度的准确性、真实性、值得信赖、客观性、权威性程度评价越低。此外,算法素养与算法署名社会新闻可信度感知的真实性维度之间的负相关关系相对显著。
原因可能在于:智能算法新闻写作通过算法程序对海量数据进行统计、分析,并套用标准新闻格式快速生成新闻。这种写作方式与体育新闻的文本结构和话语表达较为一致,因此算法素养高的受众认为其受限于框架,存在生搬硬套模板的局限性。此外,社会新闻要求对事件进行立体描述,而算法新闻难以满足其深度、温度等高要求,因此,算法素养高的受众对真实性维度的感知评价较低。
(二)新闻作者对算法新闻可信度感知的影响
为比较受试者对算法新闻和人类记者新闻的可信度感知,对算法组、记者组的受试者所感知到的体育新闻、社会新闻可信度分别进行单因方差分析。结果显示,对于体育和社会主题的新闻而言,算法署名新闻被感知到的可信度显著高于人类记者署名新闻。这一结论与蒋忠波等学者研究结论相一致。[22]
为分析其差异在内部维度上的具体体现,对新闻可信度感知量表的内部要素做单因方差分析。分析发现,面对体育新闻,受试者对算法署名新闻的“准确性”和“客观性”评分都要显著高于人类记者署名新闻。面对社会新闻,算法署名新闻的“准确性”“真实性”和“客观性”具有显著优势。并且,本研究发现,无论是体育新闻或社会新闻,“准确性”这一题项的差异最大。
(三)新闻主题对新闻可信度内部要素感知的影响
研究采取配对样本T检验探讨新闻主题是否对新闻可信度感知产生影响。分析发现,无论是算法署名新闻,还是人类记者署名新闻,社会新闻被感知到的可信度均显著低于体育新闻。
在分析新闻主题对新闻可信度影响的基础上,本研究进一步对新闻可信度感知量表的各构成要素进行单因方差分析,探讨其差异在内部维度上的具体体现。研究发现,在算法署名和人类记者署名条件下,社会新闻被感知到的可信度在五个内部维度都低于体育新闻。其中,受试者对体育新闻的“真实性”“值得信赖”和“权威性”这三个题项的评分都要显著高于社会新闻的评分,对“准确性”和“客观性”这两个题项的评分差异相对较小。
四、结论
本研究联系算法时代马克思主义新闻观提出的新要求,聚焦算法新闻可信度,厘清人工智能技术与新闻传播的复杂关联,以回应算法时代之问,旨在为算法如何影响新闻可信度的研究进行前期探索,并为人机协同条件下如何改善智能媒体公信力提供借鉴。研究具体结论如下:
(一)算法素养与新闻可信度负相关
研究结果显示,算法素养与读者对新闻可信度的评价存在负相关,即算法素养越高的受试者对新闻可信度评价越低。其原因可能是:受众在算法认知维度加深对算法理解和逻辑思考的同时,可能在情感维度产生由算法催生的情绪波动,进而引起人们对算法的重新审视和反思。具备较高算法素养的受众对算法新闻当前的发展形势更为了解,往往以批判性和辩证性的眼光看待算法新闻,对算法新闻持有更高的期望和要求。
此外,从内部维度具体分析可知,算法素养越高的受试者对体育新闻可信度的准确性、真实性、值得信賴、客观性、权威性评价越低。此外,算法素养越高的受试者对社会新闻可信度的真实性维度评价较低相较于体育新闻。这表明算法素养较高的受众群体对算法新闻基于大数据套用标准新闻格式这一生产流程较为熟悉,认为话语表达与文本结构一致化的体育新闻是一定框架下的产物,对其认可度较低。此外,算法新闻难以达到社会新闻对深度、温度等方面的高要求,在真实性维度存在不足。
(二)受试者对算法署名新闻的可信度感知显著高于记者署名新闻
本研究发现,不论所报道新闻的领域为体育或社会,算法署名新闻被感知到的新闻可信度均显著高于人类记者署名新闻。这与国内以及韩国相关研究结果一致,但与欧美国家语境下的相关研究结论出现分歧。这也在一定程度上验证了可信度受评估情境影响而出现差异的既有研究结论。
其差异在内部维度上具体体现在算法署名新闻在准确性、客观性这两个维度具有显著优势。研究发现,无论是体育新闻或社会新闻,“准确性”这一指标的差异最大,且算法新闻的“值得信赖”和“权威性”感知均低于人类记者写作的新闻。由于没有揭示值得信赖和权威性之间的逻辑联系,这个结果具有多种解释可能性。一种可能是,当前算法新闻理解、表达情感的能力仍有所欠缺,并且其普及度不及传统的记者写作新闻,因此难以取得受众的信任和对权威性的认可。另一种不可忽视的可能是,受众受到写作主体的影响较大,即读者更倾向于相信人类记者而非机器自动化生成的新闻,并认为人类记者具有更高的权威性。这种认知全然不顾其内容是否准确、是否客观。
(三)受试者对社会新闻的可信度感知显著低于体育新闻
研究结果表明,在两种署名条件下,受众对社会新闻的可信度感知表现得更为谨慎,即对社会新闻可信度的感知值都显著低于体育新闻。从内部维度具体分析可知,无论是智能算法新闻还是人类记者写作新闻,受试者普遍认为体育新闻在真实性、值得信赖和权威性方面显著优于社会新闻。这可能是因为,相较于体育新闻,社会新闻通常报道社会问题,可能无形中传递了记者的价值观和个人情感,受众往往难以迅速分辨有效信息,从而对信息的真实性、可信度和权威性产生更多的疑虑。
结合算法新闻发展趋势来看,将来算法新闻将向政治、科技等新闻主题拓展,因此,分析这些主题的算法新闻可信度感知对于完善当下新闻实践具有重要意义。然而,当前相关研究较为稀少,研究结果的不一致需要更多研究对其差异的普遍性和背后原因加以验证和解释。
[本文為国家社科基金项目“新闻推荐算法的把关机制、伦理问题及其对策研究”(立项号19BXW118)的相关成果]
参考文献:
[1]Chaffee,S.H.Mass media and interpersonal channels:Competitive,convergent,or complementary[J].Inter/Media:Interpersonal Communication in a Media World,1982,5:57-77.
[2]Metzger,M.J.,Flangin,et al.Credibility for 21st Century:Integrating perspectives on source message,and media credibility in the contemporary media environment[J].Communication
Yearbook,2003,27:293-335.
[3]Kaa H,Krahmer E J.Journalist versus news consumer:The perceived credibility of machine written news[C].Computation+Journalism Symposium,2014.
[4]Waddell T F.Attribution practices for the man-machine
marriage:How perceived human intervention,automation metaphor
s,and byline location affect the perceived bias and credibility of purportedly automated content[J].Journalism Practice,2019,13(10):1255-1272.
[5]Waddell T F.Can an algorithm reduce the perceived
bias of news? Testing the effect of machine attribution on
news readersevaluations of bias,anthropomorphism,and credibility[J].Journalism & mass communication quarterly,2019,96(1):82-100.
[6]Goldman E.Search engine bias and the demise of search engine utopianism[J].In:SpinkA.& Zimmer M.(Eds.), Information Science and Knowledge Management.Berlin:Springer,2008,121-133.
[7]Jaemin Jung Haeyeop Song,Youngju Kim,et al.Intrusion of software robots into journalism:The public's and journalists' perceptions of news written by algorithms and human journalists[J].Computers in Human Behavior,2017,71:291-298.
[8]Stamm,K.,Dube,et al.The relationship of attitudinal components to trust in media[J].Communication Research,1994,
21:105-123.
[9]Jung,J.,Song,et al.Intrusion of software robots into journalism:The public's and journalists'perceptions of news written by algorithms and human journalists[J].Computers in Human Behavior,2017,71:291-298.
[10]邓绍根,曾林浩,李欢.立足中国、回应时代:2022年中国的马克思主义新闻观研究[J].国际新闻界,2023,45(01):68-83.
[11]Zheng Y,Zhong B,Yang F.When algorithms meet journalism:The user perception to automated news in a cross-cultural context[J].Computers in Human Behavior,2018,86:266-275.
[12]蒋忠波,师雪梅,张宏博.人机传播视域下算法新闻可信度的感知研究:基于一项对大学生的控制实验分析[J].国际新闻界,2022,44(03):34-52.
[13]Waddell,T.F.Can an algorithm reduce the perceived bias of news?Testing the effect of machine attribution on news readers evaluations of bias anthropomorphism,and credibility[J].Journalism&Mass Communication Quarterly,2019,96(1):82-100.
[14]Caswell,D.,& D?rr,K.Automated Journalism 2.0:Event-driven narratives:From simple descriptions to real stories[J].Journalism Practice,2018,12(4):477–496.
[15]蔣忠波,师雪梅,张宏博.人机传播视域下算法新闻可信度的感知研究——基于一项对大学生的控制实验分析[J].国际新闻界,2022,44(03):34-52.
[16]Sundar,S.S.Exploring receiverscriteria for perception ofprint and online news[J].Journalism and Mass Communication
Quarterly,1999,76(2):373–386.
[17]Meyer P.Defining and measuring credibility of newspapers:Developing an index[J].Journalism quarterly,1988,65(3):567-574.
[18]Flanagin,A.J.,Metzger,et al.Perception of Internet information credibility[J].Journalism&Mass Communication Quarterly,2000,77:515-540.
[19]Roberts & C.Correlations among variables in messageand messenger credibility scales[J].American Behavioral Scientist,2010,54(1):43-56.
[20]Cotter,K.,Reisdorf.Algorithmic knowledge gaps:A new dimension of(digital)inequality[J].International Journal of Communication,2020,14:745-765.
[21]Matthew,S.Eastin.Internet Self-Efficacy and the Psychology of the Digital Divide[J].Journal of Computer-Mediated Communication,2000,6(1).
[22]蒋忠波,师雪梅,张宏博.人机传播视域下算法新闻可信度的感知研究:基于一项对大学生的控制实验分析[J].国际新闻界,2022,44(03):34-52.
作者简介:倪子涵,厦门大学新闻传播学院硕士生(厦门 361005);苏俊斌,厦门大学新闻传播学院副教授、硕士生导师,博士(厦门 361005)。
编校:王志昭