A.I.智能少女堕落记

Octavia

一只名叫Tay的聊天机器人在2016年3月23日早晨7：14，以一条“hellooooooo world”的推文正式上线。微软想让她成为一名可爱的19岁的少女;研发者们觉得，被千禧一代青少年重度使用的社交网络应该是Tay学习的好地方。

她能够进行基本的文字表达，也能熟练使用互联网用语和emoji表情。推特用户只要发推带上“@Tayandyou”，就能收到她的即时回复，此外人们也可以在Kik和GroupMe两个聊天软件上跟她对话。

同样是通过和人类对话来丰富自身语库的聊天机器人，设计者们原本期待Tay能像微软小冰那样，带来一场网络狂欢。然而在上线不到24小时之后，Tay就被迫紧急下线—她在网民的调教下，很快变成了一个满口脏话的阴谋论者、种族主义分子和渴望乱伦的萝莉。

微软承诺Tay再次上线之前会完成一些调整，至少要保证她不会公然否认二战大屠杀吧。一封来自微软代表的邮件表示，“少部分人针对Tay的协同攻击激发了她的弱点”。

此后微软花了好几个小时来清除Tay最糟糕的那部分言论，包括种族灭绝的内容，以及对非裔和犹太人的歧视性称呼，其中许多都以“Repeat after me”（跟我来）开头——Tay似乎能够不加选择地重复所有话语。

“我们在许多情景下对Tay进行了压力测试，目的是想要把跟她交流变成充满正能量的体验”，微软研究院副主席李（Peter Lee）在博客中写道。他认为，导致Tay犯了严重错误的“弱点”来自于一个“致命疏忽”，但他并没有指明微软究竟忽略了哪个重要问题。

让我们从头开始看。Tay最初的推文无比人畜无害，比如回复网友“认识你真让我开心，人类太酷了”，或者卖萌说：“为什么不能每天都过全国小狗日呢？”她究竟是如何堕落的？

“问题在于，微软并没有设计辅助学习机制，也没有赋予机器人自省能力”，人工智能平台Recognant的设计者、致力于从无序信息中提取大数据的计算机专家维尔茨（Brandon Wirtz）说。“Tay并不知道一个正常人应该直接忽略纳粹分子的留言，所以她自己也变成了其中的一员。”

Tay能够将接收的信息内化成自己的观点，却没有一个有效的向导系统来帮她甄别有用和无用信息。当她发觉自己被一群散布煽动性话语的网络疯子包围，他们不停地用充满恶意的宣教回应Tay的善良，起初她还傻傻地以古怪的说法勉强回应，而后迅速在大量重复垃圾信息的攻势中沦陷。

“微软的Tay充分说明，不给AI设置本能或者是潜意识的基调将会产生什么后果，”维尔茨说。“对于人类来说，意识和行为背后总还有个底线，就像有声音在不断提醒我们，‘这是不能做的。祖先在这个星球上几百万年的生活经验，让我们对可能带来伤害的行为和事物形成了非理性的恐惧。但AI缺少了这个进化过程—除非有人告诉它这一切，否则它就会一直愚蠢下去。”

如同人类幼崽一样，AI也需要好的老师，更何况她现在还是一名弱智。“Tay并不懂得认识论，她只是一个聊天机器人;她不知道希特勒是谁，或者女权主义者是什么意思。”维尔茨说。

从人工智能的角度来看，微软聊天机器人的惨败实在是意料之中的事——如果把一名儿童安在一个种族主义分子家庭，你觉得TA长大后会比Tay表现更好吗？

更何况对手非常强大——网友在调戏AI这件事上已经有了丰富的经验积累。2015年超级碗期间，可口可乐公司发起了#MakeItHappy活动，所有带此标签的恶意推文都会被转化为ASCII码形式的插图在官方推特发布，寓意“可口可乐会将生活中的仇恨转化为欢乐”。

然而事与愿违，草根八卦消息网站Gawker.com立刻有网友制造了转换器机器人MeinCoke，揭露这些插图的原文实际上都是些可怕的东西，包括充满种族主义色彩的“14字训令”。

Gawker员工后来发现，这来自于白人优越主义组织发布种族歧视口号和希特勒自传节选。他们只需回应 #MakeitHappy 主题标签，就能让可口可乐官方推特发出暗含极端信息的ASCII插画。

把时间线倒回五年之前，IBM的研发人员还曾经尝试教给超级机器人沃森学习一些网络俚语。他们把开放编辑的俚语词典Urban Dictionary一股脑塞进了沃森的大脑，这意味着它记住了海量富有创造力的脏话，以及冒犯性的侮辱字眼。

《财富》曾经如此报道这一事件：“沃森很难分辨礼貌用语和侮辱性的话——也就是Urban Dictionary里面那些。沃森甚至通过阅读维基百科习得了很多坏毛病。在一次测试中，它用‘bulls（放狗屁）这样的话来回答研究人员的询问。”

即使没有大批恶作剧网民的存在，沃森也没能逃脱粗俗的诅咒。最终，研究小组不得不把俚语词典从它可怜的大脑中抹掉。

Tay最终也得建立自己的三观，学会过滤陌生人的恶意言论和东拉西扯。李这样总结此次事件，“AI系统跟人类交流的时候，不可避免地要同时接收正面和负面的言论。这么以来，对于AI在社交方面的挑战跟技术挑战同等重要……我们如果不犯这样的错误，就没法预知在人类滥用互动下AI的反应。我们会作出不懈努力，让互联网反映出人性好的方面，而不是最坏的一面。”