真人驱动型虚拟主播直播诈骗的犯罪及其防控

□杨懿玲

(上海政法学院,上海 青浦区 201701)

近年来,我国网络直播门户及用户规模快速增长,开启了全新网络社交格局。截至2023年6月,我国网络直播用户规模达7.65亿,相比2022年12月增长474万人,增长率为2.0%。[1]数据显示网络直播受众数量呈快速上升之势,加之2022年中银国际证券有限公司发布《虚拟人行业深度研究:乘元宇宙之风,虚拟人行业发展加速》(以下简称《虚拟人行业深度研究》)指出,虚拟主播的市场规模在2030年预计高达1747.2亿元。由此可见,虚拟主播将成为未来新型传播媒介主体,通过直播间与现实世界互动,模糊虚拟与现实之间的边界。在“web3.0 时代的网络是虚拟的社会空间,也是犯罪空间”,[2]可将直播平台视作超现实的虚拟社区,虚拟主播属于社区中的数字化主体,并可能在社区中实施犯罪行为。然而,随着虚拟主播行业在软硬件以及内容产出方面呈现出爆发式增长,隐藏在直播面孔背后的犯罪风险亦不容小觑。因为虚拟直播技术一旦被滥用,同样会沦为网络诈骗犯罪的助推器。

一、真人驱动型虚拟主播直播诈骗的特点

传统的直播诈骗犯罪,根据行为的不同可分为网络直播诱导打赏诈骗、网络直播炸金花诈骗、网络交友类诈骗等类型。虚拟主播根据驱动来源的不同可以分为真人驱动型虚拟主播(1)真人驱动型虚拟主播,是指真人的动作、表情等需要真人通过动捕设备或者面捕设备驱动2D/3D数字形象的虚拟数字人,其中操控虚拟形象的真人被称之为“中之人”。例如在抖音平台中的“金桔2049”虚拟主播。和人工智能驱动型虚拟主播(2)人工智能驱动型虚拟主播是指通过多模态技术和深度学习模型的预算结果实时或离线驱动虚拟人的语音表达、面部表情、具体动作的虚拟数字人。例如AI虚拟主播“小小撒”“康晓辉”、新华社的3D版AI合成主播“新小微”。完美日记、欧莱雅、花西子、德芙、白象等品牌,均有专属的人工智能型虚拟主播为其带货。。本文所讨论的真人驱动型虚拟主播直播诈骗,是指真人驱动型虚拟主播以虚假承诺、虚假抽奖的形式,诱导直播间观众打赏的行为。如2022年发生了虚拟主播诱导观众为其打赏“上舰”(3)舰长是虚拟主播的粉丝团成员,上舰是指直播间观众给虚拟主播打赏一定的人民币得以加入主播粉丝团的行为。事件。[3]在该事件中,主播声明在该场直播成为“舰长”均可获得周大福小金花,并抽取现场一位幸运“舰长”赠送浙江豪华大别墅一栋。当晚直播打赏随即超过三百万元,但该主播由于未兑现其诺言,使观众造成了巨大的经济损失。由此可见,真人驱动型虚拟主播直播诈骗犯罪有以下的特点:

(一)社会危害性大

真人驱动型的虚拟主播实施的行为依靠“中之人”的主观意识掌控,“中之人”凭借活泼的性格、优秀的才艺和拟人的形象收获上百万粉丝,人气甚至超过部分网红明星,影响力可见一斑。人工智能驱动型虚拟主播,该类虚拟主播直播带货时“可以通过机器学习和智能算法,根据观众的喜好和购买行为,根据个性化的推荐和推销,提高销售转化率。”[4]但在当前技术背景下,“算法驱动型数字人在实施具体行为时受到人类设计和编制算法的制约,其所实施的行为完全符合人类设计和编制算法的目的。”[5]268因此,由算法控制的虚拟主播不具有独立的意志,不会自主生成非法占有的目的,社会危害性较小。相比之下由真人操控的虚拟主播拥有“中之人”的主观意志,不仅具备主观上的非法目的,其客观上也能够实施诈骗行为,因此具备的危害性较大。相较传统的直播诈骗而言,真人驱动型虚拟主播直播诈骗时不仅可以利用虚拟技术、网络“黑产”技术逃避犯罪侦查,现有法律难以规制适用,因而具备更大的社会危害性。

(二)具备刑事责任主体资格

目前学界对虚拟主播的法律地位关注较多,多数人认为真人驱动型虚拟主播的使用者具备责任主体资格。如有学者通过论述间接正犯的特点,对比明确真人驱动型虚拟主播的刑事责任归属问题。认为真人驱动型虚拟主播的意识和意志完全来源于驱动者,“直接追究物理空间中相应自然人的刑事责任”即可。[5]270有学者认为“现实型数字人是自然人在元宇宙的映射,由现实所对应的人承担权利与义务。”[6]由虚拟增强技术创造的现实型数字人指的就是真人驱动型虚拟主播,而“现实所对应的人”指的是“中之人”。本文赞成以上观点,真人驱动型虚拟主播顾名思义就是需要真人通过动作捕捉设备操纵的虚拟主播[7],具备辨认能力、控制能力的是背后的真人操纵者,其实施的直播诈骗行为由中之人承担刑事责任。

(三)犯罪手段隐蔽性强

第一,犯罪主体的不确定性。使用变声技术的虚拟直播间与众普遍认为的“所见所闻即为真相”存在颠覆性的认知。因为观众“所见”为虚拟形象,变声器技术使“所闻”也存在虚假的可能。在这种情况下,犯罪主体“中之人”与虚拟形象二者的性别是否统一、直播时“中之人”是否被更换,这些行为都难以被观众、平台察觉。第二,犯罪证据难以保存。直播间的音频、弹幕等实时发送、转瞬即逝,因此犯罪证据则只能通过截屏或录屏保存,导致公安机关难以捕捉到证据。

(四)犯罪风险小、收益大

第一,犯罪形式新颖,但规制不力。目前学术界对虚拟主播的法律问题研究并不多,研究成果呈现碎片化,多侧重研究人工智能驱动型虚拟主播的民事侵权行为或者是否具备犯罪主体资格。真人驱动型虚拟主播实施直播诈骗行为是新型犯罪模式,但现有法律规制水平滞后。同时,未统一建立直播行业行政监管体系,执法收效甚微。第二,诈骗受害的涉众性明显。真人驱动型虚拟主播特殊的受众群体中是青少年群体,经过研究发现,“虚拟主播的受众群体以‘Z 世代’的青少年为主”。[8]处于青春期的少年由于同辈压力、心理变化等原因,渴求真人驱动型虚拟直播这类新型的网络交流方式。他们通过与虚拟主播的言语互动、打赏等行为获得认同感、展现自我价值,但这些行为需要得到正确引导。《虚拟人行业深度研究》报告显示:2020-2021年B站虚拟主播直播打赏营收高速增长,2021年整年保持100%以上的同比增速,2021年12月B站虚拟主播直播打赏收入高达6940万元。而艾媒咨询发布的《2023年中国虚拟主播行业研究报告》(以下简称《艾媒报告》)显示:有近90%的受访者愿意为虚拟主播消费,且有36.7%的受访者表示未来会增加对虚拟主播的消费意愿。由此可见,绝大多数的受访者都愿意为其喜爱的虚拟主播直播“买单”。然而,这也意味着一旦虚拟主播被滥用为行骗门户,则被骗的青少年受众多、波及范围广,且涉案金额较大,其危害后果不容小觑。

二、真人驱动型虚拟主播直播诈骗风险来源分析

根据真人驱动型虚拟主播直播诈骗犯罪的特点以及发展现状,从虚拟主播所处的网络环境、虚拟主播自身发展现状、直播监管部门三方角度分析犯罪风险的来源。

(一)虚拟主播直播成本畸低

第一,畸低的虚拟形象制作成本,反向刺激了犯罪分子的诈骗动机。元创岛公司推出的虚拟主播月租套餐仅为599元,用户只需准备手机与电脑即可开播,还可以享受手动捏脸系统、40多种虚拟形象等服务。[9]由此,花费百元即可获得一个优质形象的主播,可见犯罪成本低。第二,开播的门槛较低,处于野蛮生长状态。目前并未要求真人驱动型虚拟主播开播需要经过培训或者考核,只要用户有设备即可开播。虽然在2021年广播影视人才交流中心曾在北京等地开展针对网络视听主播的线上培训,线上考试合格者可获得合格证书,但该许可证的性质并非资格证书,而是培训合格的证明书。《网络主播行为规范》第十三条第二款(4)《网络主播行为规范》第十三条第二款“对于需要较高专业水平(如医疗卫生、财经金融、法律、教育)的直播内容,主播应取得相应执业资质,并向直播平台进行执业资质报备,直播平台应对主播进行资质审核及备案。”认为只有在涉及较高专业水平直播内容时,才会要求虚拟主播取得相应的执业资质。由此,真人驱动型虚拟主播极低的开通门槛及制作成本,为直播诈骗犯罪污言注入强劲动力。

(二)网络“黑产”猖獗

试想即使平台封禁主播账号,“中之人”仍可通过非法渠道获得直播账号,绕过开播前的人脸识别系统后再使用变声技术伪装身份,继续实施直播诈骗行为。这些“黑产”技术都已成熟并渗透在网络世界中,直播平台自然难以逃脱。可以说,网络“黑产”能为真人驱动型虚拟主播直播诈骗犯罪逃避侦查提供重要的技术帮助。

1.恶意注册账号的支撑

近年来恶意注册账号现象在直播平台十分猖獗,2020年字节跳动安全中心曾对此类“黑产”开展技术治理行动,在行动中每周拦截黑产作弊帐号的注册请求超四百万次。由此可见,此种现象能够成为虚拟主播诈骗犯罪的来源,一方面是因为“在信息过度泛滥的当下,用户的稀缺性注意力是各大平台型媒体争夺的目标。”[10]直播平台允许手机号即可注册账号,是恶意注册账号现象在平台盛行的重要原因。另一方面,对诈骗分子而言“为了在网络空间从事违法犯罪活动,就会对抗网络身份的实名制,因而出现互联网账号的恶意注册现象”。[11]可见,恶意注册账号旨在掩盖主播真实身份,这就给诈骗主播逃避侦查提供支撑。尽管如此,目前仅有抖音平台表明要完善虚拟主播的注册机制,(5)《人工智能生成内容的平台规范暨行业倡议》指出:“使用虚拟人进行直播,或创建以虚拟人为人设的账号,必须对相应的虚拟人形象在平台注册。”其他的直播平台似乎仍未知完善虚拟主播注册机制的重要性。

2.“人脸代过”的审查漏洞

所谓“人脸代过”,即可帮助犯罪人绕过人脸识别认证系统的“黑产”技术。比如,2019年,湖南的胡某、王某等人成立“人脸代过”工作室,使用非法获取的公民个人信息制作用于绕开网络游戏“地下城与勇士”及其他网络平台的人脸识别、解封游戏账号或平台账号的人脸识别视频。该案非法获取的个人信息总计四万多条,涉及金额高达十万元。(6)广东省从化市人民法院(2021)粤0117刑初159号判决书。2019年12月16日起,被告人赵恺与杨某某共谋,由杨某某通过“照片活化技术”(7)所谓“照片活化技术”,是指将人脸照片制作成3D动态人脸视频的技术,该动态人脸视频可通过实人认证系统。此技术属于“人脸代过”技术的组成部分。制作动态人脸视频破解实名认证环节,违规在上海住建委行政服务中心平台的行业从业人员信息库中录入身份信息。(8)上海市徐汇区人民法院(2020)沪0104刑初732号判决书。可见,“人脸代过”“黑产”仍有较大规模的应用市场,在直播平台中势必同样渗透着“人脸代过”的技术服务。

3.“变声器”技术的滥用

“变声器”技术给直播间带来娱乐效果的同时,还为伪装主播真实身份提供技术帮助。比如,刘真通过某网络直播平台直播加上被害人微信后,虚构自己为武汉传媒大学的女大学生“邱雨婷”的身份。并使用变声器变换为女声,骗被害人的交友信任。后以亲人去世、家里欠债等理由,通过微信转账、微信红包等陆续骗取被害人人民币共计3万元。(9)浙江省平阳县人民法院(2019)浙0326刑初966号判决书。在普通直播诈骗中滥用变声技术就足以为犯罪人带来极强的身份伪装,更何况在虚拟主播的直播间滥用变声技术了,其伪装的隐蔽性唯有过之而无不及。变声技术的滥用容易误导观众,极大减少诈骗分子的暴露风险及违法成本。

(三)执法惩戒力度不足

从2018年至2023年,针对网络直播现象以及虚拟主播的行为规范相关管理部门总共发布了11项规定(见表1)。在这些规定中,管理部门仅在各自的职责领域内宏观上强调了要落实互联网直播服务提供者与虚拟主播的责任,但未提供可行的落实政策。[12]如《网络主播行为规范》第十七条(10)《网络主播行为规范》第十七条:“对问题性质严重、多次出现问题且屡教不改的网络主播,应当封禁账号,将相关网络主播纳入“黑名单”或“警示名单”,不允许以更换账号或更换平台等形式再度开播。”与《网络直播营销管理办法(试行)》第十四条第三款(11)《网络直播营销管理办法(试行)》第十四条第三款:“直播营销平台应当建立黑名单制度,将严重违法违规的直播营销人员及因违法失德造成恶劣社会影响的人员列入黑名单,并向有关主管部门报告。”中都指出应构建直播平台“黑名单”系统,但在实践中此规定并未得到有效落实。若没有可行的落实政策与之同步,那么这些规定都仅限于“纸上谈兵”。同时,还体现出这些管理部门内存在治理内容重叠、权责交叉的问题,导致执法惩戒力度不足,使直播平台怠于履行监管义务。

表1 2018-2023年行政机关针对网络直播行业与虚拟主播的部分政策及规定

三、虚拟主播直播诈骗规制措施

真人驱动型虚拟主播的直播诈骗行为与传统直播诈骗行为之间是特殊与一般的关系,前者特殊在于使用虚拟人技术,但二者的客观行为十分相似。根据现有研究,可从以下五个角度规制传统的网络直播诈骗犯罪:第一,根据情境预防理论规制直播诈骗犯罪。第二,治理网络直播诈骗犯罪应当以社会治理水平提升为切入点,实施透明化管理、规范管理体系、提高监管能力和加强法律建设。[12]第三,根据犯罪行为模式采取阶段式预防,在犯罪预备阶段直播平台应当落实主播的黑名单制度,提高观众防范意识,在犯罪着手阶段应当完善并确保执行直播行业自律公约。[13]第四,从增加社会参与的角度规制直播诈骗犯罪,包括规范直播平台运行、增强普通群众的防范意识,加强对情感社交软件平台的管理。[14]因此对真人驱动型虚拟主播的直播诈骗犯罪规制,先针对特殊性问题规制,再借鉴传统网络直播诈骗的规制方法去治理共性问题即可。

(一)完善真人驱动型虚拟主播的管理机制

虚拟主播带领人类从“实”走向“虚”,但对其监管必须从“虚”走向“实”。真人驱动型虚拟主播与传统直播诈骗的特殊性问题在于虚拟技术增加了犯罪的隐蔽性。对虚拟主播采取实证认证的身份约束机制可以降低犯罪隐蔽性,进而有效解决主播道德失范、乱象丛生的问题。[15]

1.完善实名认证机制

完善虚拟主播注册实名制,是指直播平台应完善“中之人”的真实身份信息,这些信息一经提交只有提供正当的理由时才可以修改。不仅如此,还应完善多次动态实人认证制度,即在开播后要求主播进行不定时的实人认证,对比开播时的人脸信息是否与开播前提交的信息一致。该机制在《网络直播营销管理办法》《网络直播营销管理办法》第八条第二款中规定:“直播营销平台应当建立直播营销人员真实身份动态核验机制,在直播前核验所有直播营销人员身份信息,对与真实身份信息不符的,不得为其提供直播发布服务。”中已被提出,但尚未获得广泛应用。动态实人认证技术可以大大降低犯罪的隐蔽性,具体体现在真人驱动型虚拟主播开播者与账号注册者必须相同,同时精准打击恶意注册账号与“人脸代过”“黑产”技术的滥用。

2.完善准入机制

第一,虚拟主播开播必须持有职业资格证。“要真正地对网络主播行业进行监管,必须提高准入门槛,开设网络主播从业资格证管理制度,让网络主播持‘真证’上岗。”[16]由此可见,无论直播内容是否涉及专业领域,虚拟主播都应获取职业资格证。由人力资源部门将虚拟主播的职业资格纳入国家职业资格目录中,并沿用广播影视人才交流中心的培训方式。培训后再对虚拟主播的道德素养、法律常识等内容进行考核,合格者获得国家广播电视总局颁发的职业资格证书。第二,直播平台、经纪机构应当健全虚拟主播日常考核机制,把用户评价情况以及基础法律常识两方面纳入日常考评体系中。日常考核不仅可以让虚拟主播主动学习直播相关法律知识,还可对潜在的犯罪人起到教育、警示作用。

(二)强化平台对“黑产”的技术阻截

直播平台应积极预防与治理网络黑产,强化对“黑产”的阻截技术。“治理短视频平台乱象的关键在于认清‘科技平台论’的谬误”,[17]即直播平台不能只享受流量利益,却回避应履行的监管义务。直播平台在网络黑产治理方面有天然的行业和技术优势,因此整治网络“黑产”时不会陷入被动治理的困境。具体来说,直播平台从着重以下几个方面阻截“黑产”:

第一,提高审核直播内容的技术水平与效率,及时捕获“黑产”线索。以往直播平台依靠人工审核,虽能保证正确率但难以保证效率。所以应以人工智能审核为主、人工审核为辅,在加快审核速度的同时保证准确率。计算机智能程序可以根据账号流量数据、直播时页面敏感词汇、实人验证情况、用户举报次数等内容快速筛选出疑似违规账号后,再由真人进行审核。在直播间内建立快速举报渠道,及时获取违法犯罪证据转交警方。

第二,管控“变声器”技术的滥用。“网络直播是指依托互联信息网传播媒介,实时向社会公众发布视频、音频、图文等信息的活动。”[18]直播平台作为传媒工具,对具有娱乐性质的变声技术有依赖性,不宜全面禁止使用“变声器”。但需要在平台确认该虚拟主播无欺诈风险后才能使用,并在获批的直播间封面用加粗文字提醒观众。

第三,加强实人认证系统安全性。直播平台在实人认证环节中增加随机动作,确保用户认证时网络环境的安全,可以较大程度防控“人脸代过”行为。与此同时,也要注意用户人脸信息的保护问题,在用户规则中说明平台存储人脸信息的期限与用途,在存储期间保护用户个人信息达到期限时及时模糊处理,以上内容均应在用户实人认证时以弹窗、加粗红色字体等方式提示、告知用户。

(三)加大执法惩戒的力度

第一,凝聚行政资源,合力治理直播乱象。由于直播平台的行政部门之间存在“各自为政”现象,导致治理职责重叠、行政资源浪费。应构建以国家互联网信息中心部门为核心枢纽,联通国家广播电视总局、文化和旅游部、工业和信息化部、国家市场监督管理总局、公安部等管理部门的互联网直播行业管理体系。管理部门应为防控虚拟技术滋生的犯罪行为提供前置性预防对策,加大对违规网络直播平台的惩戒力度,并全网通报批评违规直播平台。当网络监管等管理部门严厉惩处违规直播平台、公安机关迅速破案,双方合力治理之下必能降低真人驱动型虚拟主播直播诈骗犯罪的机率。

第二,建立共享的“黑名单”制度,切断犯罪循环圈。“构建‘黑名单’制度能够增加犯罪分子的犯罪成本,具体体现在不法分子在实施违法行为被发现一次后就必须更换手机号等个人信息。”[19]构建“黑名单”制度的意义在于,违法犯罪的真人驱动型虚拟主播无法再次开播,从而切断犯罪的循环圈。由此,构建直播平台与网监部门的“黑名单”系统实有必要,应当纳入发放直播平台营业许可证(12)直播平台的营业许可证主要是指四种证书,即《网络文化经营许可证》《互联网新闻信息服务许可证》《互联网信息服务业务经营许可证》《信息网络传播视听节目许可证》。其中,直播平台获得《信息网络传播视听节目许可证》后,还需要向工业和信息化部门进行备案。的必要条件中。

然而正如前文所述,由于缺少相应的落实政策,导致“黑名单”系统难以搭建。但从直播平台角度出发,维护“黑名单系统”不仅需要耗费直播平台的技术与人力资源,账号被拉入“黑名单”还会对平台流量造成不良影响,具有商业化性质的直播平台自然十分排斥该制度。由于行政机关从未强制要求直播平台共同加入“黑名单”系统,因此自愿加入的平台只有少部分。只有当所有的直播平台统一加入“黑名单”系统时,才能控制犯罪的扩张风险。总之,应当先由国家网信办牵头,以地方各省市网信办为主线再精确到区、县级网信办,以此为脉络构建“黑名单”系统。当直播平台将某虚拟主播的账户拉入“黑名单”后,网信办系统再负责对账号二次审核再将该账号信息上传至“黑名单”中。既能最大程度上降低直播平台的沉没成本,又能真正达到整治违法违规主播的效果。“对于网络直播的规制,不应过度依赖强制性手段,还应适当引入柔性手段。”[20]因此,行政机关在指导直播平台规范运营时,可以在全网表彰表现出色的直播平台。

(四)深入开展反诈宣传教育

被害人受骗的主要原因是对网络诈骗手法的甄别意识不强,这主要与犯罪类型新颖、直播平台与行政机关的宣教力度不强有关。直播平台与行业管理部门共同协作,利用线上与线下相结合的方式展开对受众群体的反诈宣教。一方面,利用短视频的传播优势,加大反诈曝光度。直播平台将真人驱动型虚拟主播诈骗行为制作成短视频当用户在直播间大额打赏时自动弹出提醒用户。另一方面,创新线下反诈宣教方式,筑牢反诈防线。针对特殊的青少年受众群体,公安机关可与心理医生共同在校园开展防控真人驱动型虚拟主播直播诈骗、青春期心理认同感的主题宣讲[14],在广泛提高青少年受众群体的反诈意识的同时呵护其心理健康。直播平台和公安机关在宣传以上反诈内容时还应鼓励公民受骗后及时报警,提供犯罪线索既节省司法资源还能减少网络犯罪黑数现象。

四、结语

可以说,正是因为虚拟技术致使犯罪手段的隐蔽性强、难以追踪使用者的真实身份,导致一些犯罪分子逃脱制裁,催生了一定的违法犯罪黑数。对此,直播平台应当加强审查监测的能力,完善真人驱动型虚拟主播的管理,识别诈骗账户后及时发布防骗警示,配合网监部门将账户拉入“黑名单”系统永久封禁。同时,及时转交违法线索给行政执法机构进行处罚,将犯罪线索转交司法机关处理。真人驱动型虚拟主播的受众群体提升识别该类虚拟直播诈骗风险与防范意识,能够有效防止潜在的受害者受骗。受众群体及时报警处理能够减少网络犯罪黑数、营造清朗的网络直播平台。一言以蔽之,只有在直播平台、政府、用户三方的协力共举下,才能确保直播平台不致沦为真人驱动型虚拟主播诈骗犯罪的集散场。