深度求索发布R1推理模型后,芯片制造商英伟达股价大幅下跌,其他多家科技公司的估值也急剧下降。有人称,这是中美人工智能竞争中的“斯普特尼克时刻”。
美国科技行业在人工智能领域的投资规模巨大,高盛估计,“未来几年,大型科技公司、企业和公用事业公司将在资本支出上,花费约1万亿美元支持人工智能”。然而长期以来,包括我在内的许多观察家,都对美国的人工智能投资和发展方向提出了质疑。
所有领先公司都在遵循基本相同的游戏规则(尽管Meta略有不同,采用部分开源模式),整个行业似乎把所有鸡蛋都放在了同一个篮子里。美国科技公司无一例外地痴迷于规模。它们宣扬尚未被证实的“规模法则”,认为向模型输入更多数据和算力是释放更强能力的关键。有些人甚至断言,“规模就是你所需要的一切”。
在1月20日之前,美国公司不愿意考虑用海量数据集预先训练的基础模型,来预测序列中的下一个单词。根据它们的优先事项,它们几乎只关注旨在执行人类任务的扩散模型和聊天机器人。虽然深度求索的方法大致相同,但它似乎更依赖于强化学习、专家混合方法(使用许多更小、更高效的模型)、蒸馏,以及精炼思维链推理。据报道,这一策略使其能够以较低的成本制作出具有竞争力的模型。
这一事件暴露了美国人工智能行业的“群体思维”。它对其他更便宜、更有前景的方法的无视,再加上炒作,成就了西蒙·约翰逊和我在《力量与进步》一书中的预言(我们在生成式人工智能时代开始之前就写了这本书)。现在的问题是,美国产业界是否还有其他更危险的盲点?例如,美国的领先科技公司是否错失了将其模式推向更“亲人类方向”的机会?我猜答案是肯定的,但只有时间才能证明。
深度求索是建立在美国(以及欧洲的一些国家)多年的进步的基础之上。几十年前,学术研究机构就开发出了专家混合模型和强化学习;而正是美国的大科技公司引入了转换器模型、思维链推理和蒸馏法。然而,深度求索所做的是在工程领域取得成功:比美国公司更有效地结合了相同的方法。中国的公司和研究机构是否能更进一步,推出改变游戏规则的技术、产品和方法,我们拭目以待。
深度求索在功能较弱的旧芯片上训练了其最新模型(V3和R1),但它可能仍然需要功能最强大的芯片来取得进一步发展和扩大规模。尽管如此,美国的零和方针显然是行不通的,也是不明智的。这样的战略只有当你相信我们正在迈向AGI(人工通用智能),并且谁能率先实现人工通用智能,谁就能获得巨大的地缘政治优势时才有意义。
由于抱持这些假设,我们在许多领域都无法与中国开展富有成效的合作。这种合作比如,如果有一个国家生产出了能提高人类生产力或帮助我们更好地管理能源的模型,那么这种创新对两国都是有益的,尤其是它被广泛应用的话。
与它的美国同行一样,深度求索也渴望开发AGI,而创建一个训练成本更低的模型,可能会改变游戏规则。但是,用已知的方法降低开发成本,并不能让我们在未来几年内奇迹般地实现AGI。近期能否实现AGI,仍是一个悬而未决的问题(它是否可取更值得商榷)。
即使我们还不知道深度求索如何开发其模型的所有细节,也不知道它取得的明显成就对人工智能产业的未来意味着什么,但有一点似乎是明确的:中国的后起之秀戳破了科技产业对规模的痴迷,甚至可能使其摆脱了自满。