社交媒体遭遇AI审核危机

李恒宗

漏洞！合法新闻文章标记为垃圾邮件

因为贴纸被标记为违反了垃圾邮件社区标准。网友发疑问：汤姆·汉克斯怎么会是垃圾邮件，我只是分享新闻

全球性健康危机席卷全球，数以百万计的人被限制在家中，社交媒体平台已成为人们共享信息和彼此进行社交的最重要方式之一。为了保护其员工和商业客户的健康，Facebook和其他科技公司也制定了内容管理措施，但是他们的工作通常很难在家中完成，没有专业团队的协作办公，互联网很多问题无法及时解决。

加州大学洛杉矶分校信息研究教授、《屏幕背后：社交媒体阴影中的内容审核》一书的作者莎拉·罗伯茨说：“平时我们会看到许多人工干预网络内容的痕迹，这些痕迹往往会被隐藏。”在2016年美国总统大选之后，Facebook大幅提高了其内容审核的能力，截至2019年底，它拥有超过30000名从事安全和保安工作的人员，其中大约一半是内容审核员。这些人大多数是合同工，在全球各地的办公室中都被埃森哲或Cognizant（业务涉及管理咨询、信息技术和业务流程外包）等公司雇用。他们的工作是让Facebook免受暴力、儿童剥削、垃圾邮件以及其他不受欢迎的内容的侵害。

因为疫情在美国的蔓延，为了填补内容审核的空白，Facebook正在将更多工作转移到人工智能上，首席执行官马克·扎克伯格多年来一直将其视为内容审核的未来。扎克伯格在电话中对媒体说，为了保障网站运营，最敏感的内容还是要提供给全职员工审核，这些人将继续在其办公室工作。

扎克伯格说：“我个人非常担心与家人隔离可能会导致更多的抑郁症或心理健康问题。”为了为潜在的危机做准备，Facebook正在增加致力于调解诸如自杀和自残之类的内容的人数。另一个担忧是错误信息的传播，尤其是在公共卫生危机期间。作为对Covid-19的更广泛回应，Facebook还宣布将在新闻源中部署冠状病毒信息中心，使人们可以从权威来源获得有关大流行的最新信息，而非被虚假信息所误导。

机器学习露短板

随着对垃圾邮件故障的投诉增加，Facebook员工怀疑它可能与公司最近的工作流程变更有关。Facebook前安全主管亚历克斯·斯塔莫斯在推特上说：“看起来，FB的反垃圾郵件规则变得混乱，由于公司做出的隐私承诺，内容审核员无法正常工作，机器人的AI学习变得疯狂起来。”

Facebook的副总裁盖伊·罗森迅速做出澄清：“这是反垃圾邮件系统中的错误，与内容审核人员队伍的任何变化无关。我们正在修复所有这些帖子，并将其重新发布。”

但是研究人员说，如果没有强大的人工审核团队，像星期二晚上这样的问题可能会变得更加普遍。YouTube和Twitter3月16日宣布，他们的员工也被要求居家办公，会更加依赖自动标记工具和基于AI的审阅系统。

人工内容审核员减少，对于如今依赖社交媒体与外界沟通的数百万人而言，可能会发生巨大变化。Facebook、YouTube、Twitter和其他站点使用的自动化系统各不相同，但它们通常通过检测关键字、自动扫描图像以及查找帖子违反规则的其他信号来起作用。

圣约翰大学法学院的教授、耶鲁大学信息社会项目的研究员凯特·科洛尼克说，科技巨头可能需要过于宽泛地进行审核，以减少自动化系统错过重要违规的可能性。人工审稿很多时候都做得不好，但是自动下线系统更加糟糕，将会有很多内容被错误地归类。

YouTube在宣布更改措施的博客文章中指出：“用户和创作者可能会看到视频删除量增加，包括一些可能不违反政策的视频。”该网站的自动化系统非常不精确，计算机在更大程度上负责审查上传内容。机器学习有助于检测潜在有害的内容，然后将其发送给人工审核者进行评估。

办公室变得冷清，人工智能正在代替人类做更多的工作

作为对Facebook计划中的监督委员会成员（该委员会将审查有争议的内容审核决定的独立小组）的研究的一部分，科洛尼克审查了该公司的执法报告，其中详细说明了其在Facebook和Instagram上监管内容的程度。科洛尼克说，11月份的最新报告令她感到震惊，Facebook撤销的大部分决定都来自其自动标记工具和技术：“错误率很高，他们太容易受到过度审查。”

业内人士指出，软件是基于机器学习构建的，可以根据违规类型和本地语言来识别模式，在某些情况下，我们的软件还没有经过足够的培训，无法自动大规模检测违规情况，因此还得要经过训练有素的人工团队进行审查。