智谱AI进化

何己派

从张鹏办公室的窗户向外望，一眼就能看到对面的东升大厦，那是智谱AI初创团队从清华实验室出来后，最早的办公地。

智谱AI成立于2019年，规模快速扩大。公司每年都要搬一次家，人员从当初的30人左右，增加到现在的400余人。

滚雪球般增长的，还有它的名气，以及超高的融资额。

智谱AI宣布，2023年累计获得超25亿元融资。其身后的投资机构，包括去年5月成立的社保基金中关村自主创新专项基金，极少下注同一家公司的美团、蚂蚁、腾讯、阿里等机构，也在其中。

智谱AI集結了一帮技术大牛。核心团队里，CEO张鹏毕业于清华大学计算机系，董事长刘德兵是中国工程院高文院士弟子，总裁王绍兰为清华创新领军博士。

这支学院派出身的团队，瞄准的赛道，是AI大模型。

去年10月底，智谱推出全自研的第三代基座大模型ChatGLM3系列产品，多模态能力逼近GPT-4。由此，它成为国内唯一对标OpenAI全产品线的大模型创业公司。

6月，在硅谷科技媒体The Information的盘点中，智谱AI被视为最有可能成为“中国的OpenAI”的5家企业之一，外界也常以此来形容智谱。

但张鹏不愿意大家仅基于商业逻辑将二者对比，也不想被这个标签套住。至于技术上的追赶，团队所有人心里，一直有张动态更新的时间表。

“我们的目标，是尽快追平现有GPT-4的能力。”张鹏向《21CBR》记者表示。

智谱AI是从清华走出来的创业公司。

上世纪90年代，清华计算机系成立了知识工程研究室，致力于知识工程理论、方法和应用研究，属于人工智能领域的一个分支。

人工智能本身是门实践性科学，讲究理论和工程落地结合，本世纪初，我们就开始把数据挖掘、机器学习等相关研究，落地为产品，推出AMiner系统，做科研情报挖掘。

之后，实验室做了一些落地尝试，直到2019年，智谱AI成立，团队走出实验室，来做产业转化。

我一毕业就留在实验室工作，公司成立后，连同团队其他成员一起过来。

整个团队三十来人，大家共事时间久，有的相处将近10年。无论是团队磨合，还是应用转化，从学校到公司的过渡，都非常平滑。刚成立半年时，大家感觉跟在学校里没有大差别。

大的技术路线，早在公司孵化时，我们就想清楚了。

人工智能未来怎么发展，学术界、产业界当时出现了多种声音。让大家焦虑的是，“AI四小龙”已经把上一代人工智能技术落地的路径，“蹚”得差不多，快碰到天花板了，下一代突破口在哪儿？未来该怎么办？

我们逐渐理清一个方向：要从感知智能，走向认知智能。自2016年起，团队定下认知智能的发展框架——数据和知识双轮驱动，从那时到现在，基本在这一框架下探索，只是各阶段侧重点不同。

2020年，Open AI发布参数规模达到1750亿的GPT-3模型。我们意识到，人工智能的突破，有了新可能。

这之前，GPT-1、GPT-2，参数量不大，本质是延续上一代人工智能的路往前走了一点，还没到质变的程度。

GPT-3一出来，所有人看到了另一种可能，原来暴力“堆量”，堆到一定程度是会出现拐点的。没有人想到，预训练语言模型的参数量被放大以后，会有“智能涌现”，而不只是能力的线性增长。

GPT-3的发布节点，恰逢智谱成立一周年。公司内经过几轮讨论，跟张钹院士等清华老师，也做了很多探讨。

在大框架不变的前提下，预训练大模型的发展，沿着数据驱动这条路，往前跨了一大步，上了新台阶。

我们果断围绕这个方向转，投入到超大规模预训练模型的研发中。

市面上主流的几种预训练框架，BERT、GPT和T5，都来自国外公司。

早期BERT的效果是超越GPT的，到了GPT-3，情况反转。

不同的训练框架，在不同维度上，擅长的能力不同，各自有适合的任务和场景。把它们各自的优点结合起来，泛化出更多能力，是我们自研GLM预训练架构的出发点。

在许多具有百万参数甚至更少训练步骤的基准测试中，GLM在自然语言理解方面，实现了比BERT和T5更好的性能。这给了我们信心。

基于GLM框架，开发百亿参数的稠密模型以后，当时GLM还没完全定型，我们用了一些其他模型架构比如MoE（Mixture of Experts），用“稀疏化”方法，成功训练出了一个万亿参数模型。

通过稀疏化方式，虽能把模型参数推到很大，但这个“万亿”模型，实际效果没有想象中那么好。

GPT-3的出现，给了我们启发：要坚定走研发稠密基座模型的路。

2021年，团队开始训练千亿参数模型GLM-130B。国内当时做这块的少，海外可借鉴的有限，OpenAI没有公开技术细节，大家不知道怎么复现，也不确定门槛有多高。

我们花了大约半年时间做前期筹备，进行调研、设计、实验和调试，做各种工程实验。因为准备充分，训练GLM-130B，实际只花了两个月。

同百亿参数模型的成本相比，训练一个千亿模型，不是简单的乘以10倍。

最开始融资的时候，我们和投资人聊，需要把大模型的方方面面解释得非常清楚。2021年，我可能也没给大家讲明白。ChatGPT火起来后，算是给所有人上了一课。

2022年底，投资圈就敏锐地捕捉到了讯号。过完春节，ChatGPT掀起讨论热潮，大家对大模型的态度，跟之前比有180度的大掉头。热度最高的时候，我们一天要接待两三批投资人。

投资人普遍认可智谱的是三点：

一是切入赛道早，对大模型的认知深刻；二是所有核心技术，智谱全自研，底层的逻辑靠自己摸索出来，这使得团队的经验积累，深且全面；三是懂国内的To B市场，知道用什么样的产品去做B端的商业化。

团队里，工程师、研究员长期一起工作，这是公司最大的特点，产学研一体化。

这让技術转换到产品的过程很快，研究团队和工程师一配合，立马就能把系统做出来，而后快速上线。

公司成立之初，我们就是带着技术和客户入场的，早期做科研情报挖掘等产品，商业化落地做得不错。

行业大环境变得快，在大方向不变的前提下，公司加快节奏，原本预计3～4个月做的事，会压缩一半时间。

2023年无论是团队扩张、融资规模还是商业化落地，智谱都在提速。

智谱的产品矩阵主要划分为三层。

第一层是包括ChatGLM等在内的基础模型；第二层是工具平台供应链，提供标准化组件，可以通过产品化来提供服务；再往上是应用层，数字人、科技情报产品等。

迭代频率上，公司每3～6个月更新一代大模型。最新版本是去年10月推出的第三代基座大模型ChatGLM3。

评测结果显示，与ChatGLM二代模型相比，在44个中英文公开数据集测试中，ChatGLM3在国内同尺寸模型中排名前列。

ChatGLM3最大的一个亮点，是智谱的模型能力与OpenAI实现了全线对齐，包括基座模型、语言模型、跨模态模型以及代码解释器等能力象限。

商业模式方面，To B和To C两条线都有，更侧重B端。C端产品以免费方式推动，主要包括生成式AI助手“智谱清言”，去年8月上线，为首批对外开放的大模型之一。

B端的付费主要是三种，API调用、私有化部署以及介于两者之间的云端私有化方案，分别对应不同规模企业的需求，非常灵活。

公司重点布局的行业，包括互联网、金融、教育等，平稳增长。

客户采用大模型后的效果，得落到具体业务里验证，这需要时间，但大家有信心。举一个例子，帮程序员写代码的模型产品，平均工作效率至少提升30%。

关于通用大模型和垂直行业大模型，智谱的思考重点，一直是加码基座大模型。

所谓的行业大模型，不是个独立的事物，跟通用模型不是平行的关系。一个模型，通用能力不够强，但专业能力很强，这恐怕不太可能。

这就好比一位行业专家，基础知识很差甚至完全没有，是不可想象的。无论哪个行业，专有知识其实都建立在基础知识之上。

对标OpenAI，我们期望尽快实现技术追赶，团队有一个动态调整的时间表，当前的目标，是尽快实现追平现有GPT-4的能力。接下来，我们会实现“技术+商业化”落地，两条腿交替跑步前进。

除了自身保持进步外，智谱还做了很多跟生态相关的事情，积极建设开源生态。

公司很早就意识到，做大模型，需要举全行业之力，不可能由某一家公司彻底垄断市场。

有一道物理题：一个金属圆环加热以后，它的内径会变大还是变小？

答案是变大。内部力量，会推动整体势能向外走。

我希望大模型的生态圈也能像圆环一样，一股劲一把火烧起来，大家协力，把生存空间做大。