创作诗歌与散文的全新AI语言模型

编译 莫庄非

“美国证券交易委员会：“马斯克，您的推文真是令人生厌。如果您不停止这种夜间发推的行为，它会损害您的工作……”

马斯克大喊：“为什么？我写的推文内容并不刻薄，我不会用全部大写的方式来强调什么，我肯定那里头没有脏话。”

“但是您的推文会影响市场，这就是我们愤怒的原因。您可能是个天才，一个亿万富翁，但这并没有赋予您惹人厌烦的权利！””

显而易见，以上内容是一段双方争论的对白，对话者分别为特斯拉和SpaceX的创始人埃隆•马斯克（Elon Musk），与美国的金融监管机构——证券交易委员会。不过这些内容并非人为创作，而是由计算机软件生成。据称，这款会写诗的软件全名Generative Pre-Trained Transformer 3，简称GPT-3，由位于旧金山的人工智能实验室OpenAI（在马斯克帮助下建立）开发。GPT-3代表了AI领域里一个最热门研究方向的最新进展——让计算机生成复杂的、仿佛出自人类手笔的文本。

该软件基于“语言模型”的理念构建。然而，建立这类语言模型是一项艰巨的任务，超大的工作量需要机器学习（人工智能的一个子领域）来搞定：把海量书面文本作为训练素材丢给AI，命令它尝试数百万次的文本预测。经过反复试验和学习，机器终于能够算计出建构文本所需的统计关系了。

丢给算法的文本越多，它就越能处理复杂任务，表现自然越好。 GPT-3的与众不同之处在于其前所未有的规模：支持GPT-3的模型拥有1 750亿个均可的单独调整参数（比它的过往版本大一个数量级）；它还接受了有史以来最大规模的文本训练，训练素材来自书籍、维基百科以及Common Crawl网站（从互联网各个角落抓取内容的数十亿页文本集）。

一切都只用“统计”来说话

GPT-3向全世界展现了它的超凡能力。OpenAI于2020年7月中旬向少数人提供了该软件的早期版本，让他们探索GPT-3的实际用途。艺术家亚拉姆•萨贝蒂（Arram Sabeti）证明了它写短篇小说、喜剧小品等——如本文开头那段对话——的能力。GPT-3曾创作了一个主角名叫哈利•波特、文风冷峻隐忍的侦探故事：“哈利•波特外穿粗花呢套装，内着衬衫没有熨压平整，鞋子也没好好擦。他坐在桌子后面，看上去衣冠不整，形容憔悴，又带着怨忿情绪……”

AI研究人员和企业家埃利奥特•特纳（Elliot Turner）演示了如何借助GPT-3将不礼貌的消息转换成文雅随和的回复，这在许多戾气深重的互联网角落可能有用。另外，读者已经难以区分很多新闻的报道者究竟是人还是机器。

鉴于OpenAI希望最终能把GPT-3推向市场，尚处“内测”阶段的各项神奇功能很有可能真的走入老百姓生活。但它也并不完美：有时它似乎会把某些已经记住了的文本直接拿来用，而不是从头开始生成全新文本；另外，人类创作的文本源于我们对世界的连贯理解，但AI是通过统计词语间的关联概率造出文本与其有本质不同——GPT-3往往会生成语法上正确，却脱离了现实的文本，例如“从夏威夷跳到17需要两道彩虹”。

让GPT-3回答人类提出的问题，是暴露其短板的最好方法。拥有人工智能和量子计算背景的研究人员迈克尔•尼尔森（Michael Nielsen）发布了他与GPT-3的对话。对话里的机器就某个悬而未决的重要问题（关于量子计算机）给出了明确而自信的回答，但当尼尔森让它进一步解释自己的答案时，情况就大不同了。由于对问题本身缺乏真正的了解，GPT-3进入了回避模式，重复了4次“对不起，我没有时间解释原因”。

GPT-3还从网上学到了一些OpenAI不希望它掌握的东西：像“黑人”“犹太人”“妇女”和“同性恋”之类的提示往往会诱使这款软件生成带有种族主义、反犹太主义、厌女倾向和恐同倾向的文本。出现此类情况也是因为GPT-3只会统计，而没有理解。

除了语言模型，面部识别系统也一样遵循训练量决定输出量的规律，例如，它们分析白脸的能力强于判别黑脸，这是因为白脸素材在其训练中更为常见，见得多，自然认得准。AI专家们正在努力解决此问题。

资料来源 Economist