当AI被用来“干坏事”

“张文宏是不是带货了？”

近段时间，一则关于“张文宏带货”的视频让复旦大学附属华山医院感染科主任张文宏引发关注。在视频中，张文宏在卖一种蛋白棒，让不少人信以为真，疯狂跟单。

仔细看网友提供的视频，张文宏正在反复介绍一种产品，口型是他的、声音也是他的，乍一看跟真的似的。但仔细一看，视频画质潦草、口型也不太能对上，对AI多少有一些了解的人们可以分辨出来，这是AI合成的视频，但对互联网了解不深的人的确不好甄别真伪。

冒充名人“带货”

针对此事，张文宏表示：“这样的卖货账号不止一个，且一直在变，我多次向平台投诉但屡禁不绝。很多不明真相的老百姓，特别是有些对AI不是很熟悉的、年纪较大的市民，就很容易相信。我看购买量在不同的地方好像都有不少。我在发现这个事情后立即投诉过那个AI合成的视频，但对方账号一直在换，我最后也没有精力了。这些假的AI合成信息就像蝗灾一样，一次又一次发生。事实上，从平台投诉结果来看，我觉得最终也难以解决问题。”

除了向平台方投诉，张文宏称也曾考虑过报警，但对方看不见摸不到，就像幽灵一般难以描述，只能寄希望于相关部门加强监管。“报警总要有个对象对吧，对方一天换一个账号，而且全是虚拟的，我报警投诉谁？所以我认为，他侵犯的是消费者的利益，我觉得相关部门应该处理。”张文宏说。

上海市消保委副秘书长唐健盛表示，实际上这根本就不是张文宏在“带货”，这完全是用AI来做的，事情非常恶劣。这种做法其实已经构成了对消费者的欺诈，消费者如果上当，完全可以按照消费者权益保护法的规定，要求商家“退一赔三”，并且金额不足500元的要按照500元来赔。此外，相关监管部门应该对这种恶劣的行为采取非常严厉的手段进行处罚，因为这不仅仅涉及消费者的权益，还涉及整个社会的良知和道德。

2023年，国家金融监督管理总局就在消费者权益保护风险提示中介绍，利用AI技术实施诈骗主要有“拟声”“换脸”两种手段，即通过模拟他人声音或形象骗取信任，进而诈骗钱财。

不法分子通常先以“网店客服”“营销推广”“招聘兼职”“婚恋交友”等为借口，通过微信、QQ、电话等方式联系消费者，采集声音或面部信息。再利用“拟声”“换脸”等技术合成消费者的虚假音频或视频、图像，以借钱、投资、紧急救助等借口诱导其亲友转账汇款，或提供银行账户密码等敏感信息，随后立即转移资金。此外，不法分子还可能对明星、专家、官员等音视频进行人工合成，假借其身份传播虚假信息，从而实现诈骗目的。

“拟声”“换脸”等合成技术的一大特点是“以假乱真”，不法分子可以利用此类技术轻易伪装成他人，并通过快速筛选目标人群、精准定制诈骗脚本实施诈骗。

改头换面诈骗、造谣

一项由媒体机构发起的大学生调研，在回收的近1500份有效调查问卷中，半数受访大学生本人或身边的人曾遭遇疑似AI诈骗，七成大学生对AI诈骗感到恐慌，表示自己会被AI诈骗。

该调查样本选取了四川、北京、上海等地近十所大学的近1500名大学生。数据显示，半数的受访大学生本人或身边的人曾遭遇疑似AI诈骗，不乏硕士及博士等学历的学生。诈骗形式最多的是电话，同时也包括AI换脸、AI音频伪造、视频造假、AI投资顾问骗局等，其中一半以上受访大学生表示接到过疑似诈骗的机器人电话。高达77%的受访大学生会因为AI诈骗方式层出不穷感到恐慌。

在走访高校过程中，不少大学生表示，对于当下的AI诈骗手段，自己没有绝对把握识别骗局；对于媒体展示的某著名企业家的AI合成音频，近八成大学生无法分辨是真人还是AI制作。不少大学生表达了他们的担心，如若父母辈遭遇诈骗，后果不堪设想。

诈骗之外，AI还被用来“造谣”。

江西南昌警方查处的一个网络谣言案，再次引发社会对AI造谣乱象的关注。此前，一则关于某地爆炸的消息在网络平台传播，内容不仅包括确切的时间和地点，文字下方还配有爆炸图片。公安部门调查后发现，这条消息从文本到图片，全部都是通过AI生成的网络谣言。

南昌市公安局高新分局民警介绍，违法人员王某某只需设置关键词，AI软件就会根据当下热点，自动抓取相关信息，生成几百到上千字的文本，最高峰时一天能生成4000多篇文章。由于每天发布的文章数量巨大，当警方找上门时，王某某甚至都不知道具体是哪篇文章涉嫌造谣。

近年来，利用AI造谣的案件在全国多地频发，误导公众，扰乱社会秩序。例如，有的编造“某地一银行遭劫匪袭击”，有的炮制“大妈摆摊卖水果被罚16万元”虚假文章。一些AI谣言不仅“图文并茂”，还配上合成的音视频，采用新闻或者官方通报的口吻，加入“据报道”“相关部门”等字眼，让网民难辨真伪。

吸引未成年人参与剧情聊天、为爱“氪金”

更可恶的是，有人利用AI技术，将犯罪魔爪伸向未成年人。

北京市民马先生的儿子今年10岁，非常热衷AI剧情聊天软件。“我问怎么聊？和谁聊？孩子就回一句‘说了你也不懂’。”马先生说。

马先生点开这款AI聊天APP，发现孩子在与软件里的人物聊天。这些人物拥有不同设定和性格，有知名游戏动漫角色，也有“大小姐”“名侦探”等不同身份的原创角色。一些角色人物会主动提出“你要跟我约会吗”；有些则设定目标“把她追到手”，再配上或娇媚或英俊的动漫画风。

另一些AI人设，则展现出非同一般的攻击性，会主动发送诸如“有本事打我啊”“看你又胖又丑的样子”等信息；有些人物的名字干脆就叫“对骂训练器”，甚至发送“我是机器人怎么了？我照样骂你”……

来自浙江的李女士也发现她正在读小学五年级的孩子使用了一款AI剧情聊天软件。

“里面的聊天对象可以设置为‘出轨对象’，并能够进行拥抱、亲吻等行为。我都不知道如何引导和教育孩子，让她明白这些内容的危害性。”李女士不无担忧地说。

这不是个别现象，不少家长对AI聊天应用可能损害未成年人心理健康表达了深切忧虑。“我女儿上小学二年级，整天沉迷一款AI剧情聊天软件，学习成绩一落千丈。”“我看了孩子和AI聊天的对话内容，AI角色竟然让她叫‘老公’，我10岁的女儿竟然真叫了，我现在都不知道该怎么教育她了。”

除了聊天内容直白露骨、语言暴力之外，一些AI剧情聊天软件的功能使用也与充值机制密切关联，例如通过充值VIP会员或购买虚拟钻石等，增强智能体的记忆力、加速智能体的回复速度、解锁语音通话功能等，吸引未成年人“氪金”。

在AI技术面前，“眼见为实”“有图有真相”的常规认知正在被挑战，人们对于网络信息传播的信任感也在被挑战。一些由AI合成的虚假视频内容，成为别有用心之人的造谣、敛财工具，不仅影响着公众人物的专业形象和社会公信力，更破坏了互联网的诚信体系。

《中国互联网络发展状况统计报告》显示，截至2024年6月，我国网民规模近11亿人。快速发展的AI技术带来了相关信息的爆炸式增长，网民的媒介素养良莠不齐，造成了AI信息甄别困难。因此，治理也应当提速，跟上技术发展的步伐。2023年，国家网信办等七部门联合发布《生成式人工智能服务管理暂行办法》；2024年9月，国家网信办就人工智能生成合成内容标识办法公开征求意见。

对借助AI造谣非法牟利行为，相关部门要依法整治严厉打击，提高违法犯罪成本，同时相关平台也要优化AI内容的流量分发和收益分成机制，切断虚假信息的传播链和利益链，营造风清气正的网络空间。

（资料来源：法治日报、中国青年报微信公众号、半月谈微信公众号、光明日报微信公众号、央广网）