从ChatGPT看浙江人工智能发展

文｜侯 瑞

ChatGPT上线至今，已经实现用户数破亿，成为有史以来增长最快的消费者应用。ChatGPT的成功预示着大数据技术仍然是人工智能未来发展的一个主要方向，也是目前开发通用人工智能技术（AGI）的最佳路径。抢抓生成式大型语言模型发展机遇，前瞻性布局关键核心技术与重大应用场景，是坚持创新制胜、努力抢占未来竞争制高点、大力实施数字经济创新提质“一号发展工程”的重要抓手。

ChatGPT的技术原理与历史沿革

ChatGPT是由美国人工智能研究实验室OpenAI研发的聊天机器人程序，是人工智能技术驱动的自然语言处理工具。ChatGPT中 Chat的 意 思 是“ 聊天”，GPT的 全 称 是generative pre—training，意思是“生成性预训练”。它是用Transformer架构的预训练语言模型，通过预测单词序列中下一个单词来学习语言关系的。ChatGPT主要是通过人类反馈强化学习的“自我完善”过程。通俗来说，就是由人类专家对AI输出的结果进行标注，训练出一个“奖励函数”，该函数能够进一步对计算结果进行评估打分，促使AI不断调整参数权重，逐步生成更加准确、符合人类语言习惯与价值偏好的回答。

ChatGPT是由美国人工智能研究实验室OpenAI研发的聊天机器人程序，是人工智能技术驱动的自然语言处理工具。

ChatGPT受到关注的重要原因是引入新技术RLHF （基于人类反馈的强化学习）。RLHF 解决了生成模型的一个核心问题，即如何让人工智能模型的产出和人类的常识、认知、需求、价值观保持一致。ChatGPT是AIGC（人工智能生成内容）技术进展的成果。该模型能够促进利用人工智能进行内容创作、提升内容生产效率与丰富度。

ChatGPT并不是从天而降，从2015年OpenAI成 立， 到2022年 推 出ChatGPT， 经历了长达八年的磨砺。从技术范式的角度来看，ChatGPT大致经历了四个发展阶段。

初代GPT—1（2018年）采取的是生成式预训练模型Transform，这是一种采用自注意力机制的深度学习模型。GPT-1的方法包含预训练和微调两个阶段，预训练遵循的是语言模型的目标，微调过程遵循的是文本生成任务的目的。由此，GPT—1具有较强的语言生成能力。GPT—2（2019年）适用的任务锁定在语言模型，它拥有和GPT—1一样的模型结构，但得益于更高的数据质量和更大的数据规模，GPT—2有了惊人的生成能力。它可以生成语言，并且在一定程度上准确识别语言。但其在接受音乐和讲故事等专业领域任务时表现很不好。GPT—3（2020年）将GPT模型提升到全新的高度，其训练参数是GPT—2的10倍以上，技术路线上则去掉了初代GPT的微调步骤，直接输入自然语言当作指示，给GPT训练读过文字和句子后可接续问题的能力，同时包含了更为广泛的主题。它可以生成各种类型的文本，可以理解文本的语义。ChatGPT（2022年）由效果比GPT—3更强大的GPT—3.5系列模型提供支持，这些模型使用微软Azure AI超级计算基础设施上的文本和代码数据进行训练。具体来说，ChatGPT在一个开源数据集上进行训练，训练参数是前代GPT—3的10倍以上，同时还新引入了人工标注数据、强化学习等两项功能，实现了在与人类互动时从反馈中强化学习。因此，ChatGPT的语言处理功能变得非常强大，它既能理解人类不同指令的含义，又会甄别高水准答案，还能处理多元化的主题任务，既可以回答用户后续问题，也可以质疑错误问题和拒绝不适当的请求。

ChatGPT引发的产业变革与社会风险

ChatGPT不仅是新一代聊天机器人的突破，也将为信息产业带来巨大变革，但由此带来的学术造假、技术滥用、舆论安全等风险亦不容忽视。

ChatGPT是人工智能技术“量变”引发“质变”的代表。ChatGPT创新浪潮的突破点是大语言模型，ChatGPT并不是技术本身，它只是“大模型”的产物和尝试。ChatGPT在GPT模型基础上，采用人类反馈强化学习（RLHF）的训练机制和提示导引模式，促使模型越来越顺应人类的思考逻辑，更加符合人类认知和习惯，这是工程实现上的重要创新。“大语言模型”的成功，意味着之前卡住人工智能自然语言处理发展的技术瓶颈被突破，也预示着这一技术路线未来可能诞生很多创新。

ChatGPT大模型训练将带来高算力需求，或将开启算力霸权时代。训练ChatGPT需要使用大量算力资源。据微软官网介绍，微软Azure为OpenAI开发的超级计算机是一个单一系统，具有超过28.5万个CPU核心、1万个GPU和400 GB/s的GPU服务器网络传输带宽。同时，算力资源的大量消耗，将推动算力成本上升，进而引致算力使用者集聚在少数企业或组织。据此，未来拥有更丰富算力资源的模型开发者，或将能够训练出更优秀的AI模型，进而可能开启算力霸权时代。

大模型训练热潮下，算力基础设施有望迎来产业机遇。ChatGPT发布后引发了全球范围的关注和讨论，国内各大厂商相继宣布GPT模型开发计划。同时，以GPT模型为代表的AI大模型训练，需要消耗大量算力资源。随着国产大模型开发陆续进入预训练阶段，算力需求持续释放或将带动算力基础设施产业迎来增长新周期。算力基础设施产业链核心环节的算力芯片、服务器和IDC服务商可能会迎来新一轮发展。

ChatGPT是一把“双刃剑”，要审慎应用。以ChatGPT为代表的新型AI技术“双刃剑”特征明显，不仅自身存在数字安全威胁和隐患，随着人工智能工程化、场景化、平台化落地不断加快，人工智能安全需求将超越单纯技术范畴。根据相关报道，ChatGPT最初的爆火源于它在一位工程师诱导下，写出了毁灭人类的计划书，步骤详细且给出相应的Python代码。此外，ChatGPT被滥用的问题也愈发明显，比如使用ChatGPT做家庭作业、写论文或完成测试。与此同时，由于ChatGPT训练数据来源于公开互联网，生成的内容有可能构成知识产权侵权的风险。

紧抓机遇，加快发展浙江人工智能产业

浙江是全国数字经济先行省份，人工智能发展水平处于全国前列，拥有人工智能核心技术研发、智能终端制造到行业智能化应用的完整产业链。当前，应以全省大力实施数字经济创新提质“一号发展工程”为契机，加快ChatGPT等人工智能关键核心技术攻关，建设一批平台载体，形成一批特色场景应用，努力打造具有国际竞争力的人工智能产业集群。

坚持创新制胜，组织一批关键核心技术联合攻关。立足浙江人工智能产业基础，充分发挥比较优势，依托之江实验室、浙江大学、阿里达摩院等名校大院，发挥集中力量办大事的制度优势，着力突破若干关键核心技术。

坚持人才为本，构建人工智能基础理论与应用技术相结合的学科体系。依托浙江大学、浙江工业大学、杭州电子科技大学等高校，进一步构建人工智能基础理论与应用技术相结合的学科体系，通过基础理论与应用并重的学科体系建设，努力提升人工智能颠覆性创新的话语权。

ChatGPT是人工智能技术“量变”引发“质变”的代表。

坚持需求牵引，重点布局一批企业级人工智能研究院。从全球来看，高校教授成为企业和高校间的特殊纽带，如“深度学习之父”Hinton在多伦多大学担任教授，同时受聘为谷歌大脑人工智能团队首席科学家。建议充分发挥阿里巴巴、网易、海康威视等省内龙头企业领军人才的作用，加强具有前瞻性的人工智能领域企业级研究院布局。

坚持融合推动，打造区域人工智能技术融合创新生态系统。建立以政府主导的区域技术融合创新系统，将“基础研究—应用研究—试验开发”创新链升级为连通企业、高校、研究院所、政府等创新主体的共同体生态，有机整合各类要素、多元主体、异质产业群等，形成区域技术创新生态系统。

坚持实体导向，推动人工智能技术赋能实体经济转型升级。依托“万亩千亿”新产业平台、未来产业发展先导区、特色小镇等产业平台，推动开展一批重点领域融合创新工程，搭建一批能用管用好用的人工智能应用场景，培育一批标志性人工智能技术产品，提升重点领域人工智能产品智能化水平，力争在全省乃至全国范围内形成标杆和规模效应。

坚持守正创新，强化人工智能论理治理研究。由省社科联牵头组织省内智库平台等相关力量，加强人工智能伦理治理研究力量，促进形成更多更加开放、有国内外影响力的交流合作平台组织，推动国内伦理治理规则共识、浙江方案的形成。鼓励省内人工智能企业加大“走出去”力度，充分利用“一带一路”倡议、G20等双/多边合作机制，主动融入全球人工智能治理体系，积极参与全球人工智能规则制定。