ChatGPT与AIGC产业链

史占中 郑世民 蒋越

摘 要：    ChatGPT是一种生成式预训练模型，结合了人工反馈的强化学习技术，运用大量计算资源和海量数据，实现了对人类语言的理解和学习，存储了海量的知识。对语言的深入理解和广泛的知识存储，以及强大的内容生成能力，将会给搜索引擎等领域带来巨大的冲击，并且为AIGC特别是商业化的发展带来了新的机会。尽管ChatGPT有相对较高的技术壁垒，但依托国内人工智能领域完备的基础设施和充分的人才储备，我们认为在AIGC产业链方面仍然可以把握更多的发展机会。

关键词：  ChatGPT；自然语言处理；强化学习；AIGC

中图分类号：  TP 391

文献标志码：   A

ChatGPT and AIGC Industry Chain

SHI Zhanzhong ZHENG Shimin JIANG Yue

（Antai College of Economics & Management， Shanghai Jiao Tong University， Shanghai 200030， China）

Abstract：  ChatGPT is a pre-trained chat model using a simple network architecture， the Transformer， combined with reinforcement learning from human feedback， using large computational resources and massive data to achieve understanding and learning of human language and store massive knowledge. The deep understanding and extensive knowledge of language， as well as the powerful content generation capability， will bring a big impact to fields such as search engines， and bring new opportunities for the development， especially commercialization， of AIGC. Although ChatGPT has considerable technical barriers， China has a complete infrastructure and sufficient talent pool in AI， so domestic academia and industry are still full of opportunities in AIGC. We show that the ChatGPT generalizes well to other tasks by applying it successfully to industries both with large and limited training data.

Key words：  ChatGPT; NLP; Q-Learning; AIGC

1 ChatGPT的技術实现与行业痛点

NLP自然语言处理是人工智能领域近些年火热的研究方向，聊天机器人、人工智能翻译软件等都是NLP技术的具体应用。ChatGPT是这一领域最新突破性成果，与以往的NLP技术相比，ChatGPT引入了强化学习技术来优化其生成的结果，并且在训练规模上也远远大于以往聊天机器人所用的语料库规模。

1.1 自然语言处理与强化学习

具体来讲，ChatGPT融合了Transformer技术和强化学习技术，这两项技术已经经过了多年的发展。Transformer架构是一种基于注意力机制的神经网络架构，被广泛应用于自然语言处理领域。Transformer架构使得ChatGPT能够通过分析输入的语料来理解人类语言的语法、语义，并且按照语法生成流畅且拥有较强理解力的应答。

在此基础上，ChatGPT还使用了人工反馈的强化学习技术。普通的强化学习通过外界设定奖惩规则，模型自主学习，最终在某项具体任务中达到甚至超越人类的表现。强化学习最广为人知的应用就是DeepMind团队推出的围棋机器人AlphaGo，它在2017年打败了人类最顶尖棋手柯洁。不仅如此，DeepMind后续还推出了同样使用强化学习技术的AlphaFold，在蛋白质结构预测上也远远超越了人类，并在2022年宣布预测出地球上几乎所有蛋白质结构。与传统强化学习中固定的奖惩设定不同，ChatGPT通过人工标注训练了奖惩模型，使得ChatGPT按照人类的喜好进行回答。

两项技术结合，具有学习能力的聊天机器人ChatGPT远远超越了过去的聊天机器人。相对传统对话机器人，ChatGPT的突破性在于其强大的自然语言处理能力和广泛的知识储备。ChatGPT通过对大量文本数据的训练，可以自动学习语言的规则、结构和语义，并能够理解人类语言表达的复杂性和多样性，同时在强化学习的加持下，ChatGPT用户体验相较于传统人机交互有了极大改善。不仅如此，之前分析型AI人机交互形式拘泥于具体的场景和对话，ChatGPT属于生成式AI，不局限于已有的内容，底层强大的泛化能力让它可以对各种主题进行理解和处理，不仅能文生文，还能文生图，生成代码并具有最重要的推理能力，比如从简单的求长宽高的数学题到基本的财务分析都能胜任，并且已在艺术创作、代码处理和数字营销等多个创造性场景得到广泛应用。并且，因为激增的用户数量和源源不断的训练数据输入，ChatGPT的迭代速度将会更加乐观可期。

1.2 ChatGPT技术难点

ChatGPT 是一个基于大规模预训练的神经网络模型，训练过程需要耗费大量的计算资源和时间，这需要企业具备强大的计算能力和相应的设备。除了计算资源，ChatGPT作为大数据模型，还需要大规模的语料库和数据集训练模型作为基础。在这一系列设施完备的基础上，理论的构建和模型训练需要成熟的人工智能技术团队和相关领域的专业积累。即使做好了万全的准备，长期的投入仍然必不可少，因为大数据模型训练本身就是一项耗时的工作，对模型的调优改进更是贯穿整个项目推进的过程，所以这是一项需要极大算力资源、人力资源以及时间成本投入的工程。

2 ChatGPT与AIGC

AIGC（Artificial Intelligence Generated Content）是通过人工智能技术生成绘画、文本、音乐等内容的技术，ChatGPT是文本型生成，相比传统聊天机器人，其功能要丰富得多，不但能生成文字，还能生成代码、数学公式。在ChatGPT之前，人工智能领域的落地场景比较有限，AIGC的商业化程度相对较低，但是ChatGPT的表现给AIGC领域的发展带来了新的机会。

2.1 ChatGPT与AIGC商业化

其实在ChatGPT之前，同样是OpenAI在2022年推出的新模型DALL·E2，已经能从文本生成效果良好的圖像，从成图来看已经可以和人类画师相媲美了。AIGC领域的迅速发展，使得许多相关从业者开始担心是否会有更多工作岗位被机器人所取代。虽然有这样的担心，但是AIGC领域的商业化程度似乎很难和它的商业化程度相匹配，关于AI绘画的热烈讨论仍然没有带来商业上的巨大成功。ChatGPT的出现似乎改变了这一现状，它不仅激发了大量的关于人工智能、AIGC的讨论，世界各大知名的科技企业纷纷下场，将其视为突破性的技术成就，并且被认为可能带来搜索引擎领域的颠覆，过去点击式的搜索模式可能会变成对话聊天式的搜索，由此搜索行业在页面中植入广告营利的逻辑可能成为“过去式”。所以，各个搜索巨头纷纷行动，微软宣布了对OpenAI百亿美元的投资，并且迅速将ChatGPT接入旗下Azure、必应搜索等众多产品中。Google推出Bard来应对ChatGPT对搜索引擎这个Google主营业务的冲击。主流科技厂商的反应从侧面反映了这项技术突破的重大意义和未来巨大的发展潜力，但其实在科技巨头开始重视之前，ChatGPT 已经在商业化方面彰显出强于以往 AI 应用的潜力，向公众开放2个月用户增长已经突破1亿；同时ChatGPT 的出现进一步打开了 AIGC 商业空间，产业链有望推动“价值重塑”。与传统 AI 技术的变现不同，ChatGPT 采用 SaaS 订阅的创新收费模式，打破了人们对于 AI 技术大多应用于嵌入式项目的固有印象，拓宽了 AI 企业的商业模式，不仅 B 端用户对 AIGC 技术存在高需求，未来 C 端用户对 AIGC 技术的付费有望成为常态化。

AIGC技术是一项潜力无限的技术，但是并不简单。以ChatGPT为例，根据国盛证券的股价，  ChatGPT芯片需求为3万多片英伟达A100GPU，对应初始投入成本约为8亿美元，每日电费在5万美元左右；GPT-3训练一次的成本约为140万美元；对于一些更大的LLM模型采用同样的计算公式，训练成本介于200万美元至1200万美元之间。潜藏在巨大成本之下，还有众多人工智能科学家和工程师在提出理论模型、模型验证和训练迭代等步骤中的人类智慧投入，只有顶级的智力资源和巨大的资金投入相结合才能在高科技应用领域摘得桂冠。

2.2 国内发展现状

国内的数字化进程一直处于世界领先水平，从基础设施到上层应用都相当完备， 这些基础是人工智能技术发展的必要条件。同时，从人才储备上来讲，由于重视人工智能技术的发展，国内人工智能领域无论是学术界还是工业界都培养了大量的人才。任何高技术的发展都离不开大量的资本投入，一方面，国家政策的大力扶植，为学术研究和产业发展提供了重要的资金支持，另一方面，随着国内的资本市场进一步发展，一级二级市场为初创或成熟企业提供了融资发展的机会，国内培养了众多人工智能领域的独角兽，如商汤科技、依图科技、云从科技。从企业角度来讲，百度是国内科技行业在此次新的革命中一马当先的巨头。百度深耕人工智能领域多年， 1月10日，百度宣布将升级百度搜索的“生成式搜索”能力，智能解答用户的搜索提问；2月7日，百度宣布将在3月完成其ChatGPT产品的内测，面向公众开放类ChatGPT产品——文心一言（ERNIE Bot）。而腾讯也在2月3日公布一项人机对话专利，为实现机器与用户之间自然且顺畅的沟通而加紧市场脚步。

由于人工智能产业投入巨大，需要庞大的用户数据基础，且短期内无法实现商业回报，如今在ChatGPT这样重量级的杀手级底层应用兼大语言模型发布后，国内AI厂商未来将迎来真正考验：不断投入的国内AI大模型的产品力是否能追赶上像OpenAI这样的开源巨头？

2.3 以ChatGPT为例的AIGC产业链探究

由于以ChatGPT为代表的带封装的自然语言处理大模型的成熟，其背后的AIGC产业后续将迎来应用上的爆发式增长。对于非专业的泛用场景来说，大模型在大量数据集下生成了极强悍的阅读理解能力、文章生成能力、代码生成能力和语义翻译能力。自然语言处理大模型的训练过程中包含了更多主题，不同于小模型只能在一般垂直行业的特定场景回应特定问题，取而代之的是，大模型能够抓取更多小众主题信息并给予有框架逻辑的回应，能力范围覆盖回答问题、撰写文章、文本摘要、语言翻译和生成计算机代码等任务。

但大模型背后的工作量是巨大的，GPT模型从2018年GPT-1的1.17亿参数到2020年GPT-3的1750亿参数，数据集规模呈指数式增长，这也对前端的数据采集和标定提出了更高的要求。

纵观AI行业的产业链和价值链，对于模型的监督与训练来说，数据量级和跨度越大意味着标定和训练时间越长，以及监督过程需要引入更多的“惩罚”和“激励”机制，相应的数据采集、数据标定和训练等细分行业将迎来长期的业务增长。对于后端的垂直行业的领域，大模型的基础设施成熟则能提供更便宜、更快的智慧解决方案，其中一项已被发掘的是图像生成器，即AI创作。原本仅在几年前被认为不可替代的创造性工作正在被替代，当人们在这个行业中可以以更低的成本快速制造商品时，行业就已经完成了质的转变，普通的创意设计类就是可预见的行业颠覆之一。如同网约车平台和3G/4G的诞生，起初被认为是没有必要的发明，如今人们已经在很大程度上享受到效率提升的便捷。

由于嵌入了人类反馈强化学习以及人工监督微调，因而GPT模型具备了理解上下文、连贯性等诸多先进特征，解锁了海量2B和2C应用场景，比如文案写作和针对垂直行业更专业的知识库调用。未来应用层发展的一个可能逻辑是，在具有专业性质、知识封闭的垂直行业中，GPT模型在应用端将成为基础设施，为“二次开发”提供重要支撑。

当前， 由于OpenAI目前对外开放的GPT-3版本所利用的数据集只截止到2021年，实际使用过程中仍然会出现专业性回答不严谨和存在道德盲区的特点，但对于这样一个聊天软件式的封装产品，ChatGPT本身已经展现出了非凡的潜力。在应答环节中，ChatGPT会主动记忆先前的对话内容信息（上下文理解），用来辅助假设性问题的回复，因而实现连续对话，这些都极大提升了交互模式下的用户体验。所以不难想象，在源源不断的数据训练滚雪球式的发展中，GPT模型将会吸取更多用户数据进一步优化用户体验。而未来AIGC产业链崛起的前端和后端行业，在减少工作量的同时，也将面临加剧的竞争。

3 总结与展望

人工智能技术在近年来的发展中已经取得了举世瞩目的进展，技术既影响了普罗大众的生活，也给前沿的科学探索拓展了新的空间。不同于人脸识别、自动驾驶、蛋白质结构预测等AI应用，ChatGPT带来的改变不仅仅是知识储备丰富、语言流畅的聊天机器人，更是向世人再次證明了大数据模型在垂直赛道外的无限可能和人工智能互动体验的巨大潜力，同时新的盈利模式也为AIGC商业化提供了更多的机会和发展思路。国内AI产业依托较为充沛的人才储备、技术积累以及丰富的应用场景，有望在新一轮人工智能浪潮中迎来爆发式增长。

参考文献：

［1］  OUYANG L， WU J， JIANG X， et al. Training language models to follow instructions with human feedback［J］. arXiv preprint arXiv：2203.02155， 2022.

［2］ VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［J］. Advances in Neural Information Processing Systems， 2017， 30.

［3］ KNOX W B， STONE P. Augmenting reinforcement learning with human feedback［C］//ICML 2011 Workshop on New Developments in Imitation Learning （July 2011）. 2011： 3.