数字反噬、通能塔诅咒与全押归零的人工智能赌局——智能革命重大风险及其治理问题的若干思考

刘益东

(中国科学院 自然科学史研究所，北京 100190)

近年来，人工智能快速发展，其风险与伦理问题日益凸显，备受关注。人工智能伦理规范纷纷出台，据斯坦福大学《人工智能指数2021》等不完全统计，截止到2021年底，世界各国已经出台逾百套人工智能伦理规范与治理政策及相关文件，而这些并未或实际上并未影响人工智能及相关领域的研发，接二连三的突破都作为重大科技成就而引发热议和追捧。与合成生物学等一些新兴科技类似，人工智能在争议中快速发展，我们应该防控其带来的失业、失能、失控。人工智能伦理治理存在诸多不足，形势严峻，急需深入探讨和匡正。本文探讨数字反噬、科技风险剧增理论、智能革命的独特性、人工智能风险认识误区和大规模失业、生产致毁知识等对人类安全的威胁，研判人工智能风险与伦理治理面临的挑战，提出治理对策。

一、从数字化到数字反噬

信息技术引发信息技术革命，深刻改变了人类社会，信息蚕房、数字鸿沟、网络安全隐患等负面作用日益引起重视，笔者则对过度数字化进行批评，提出警示。数字技术给人类生活、学习和工作带来诸多便利，但是由于人类自身的生理限制，阅读仍然依靠肉眼逐字逐句地读进大脑，阅读数字版和纸版的速度相差无几，记忆仍然依靠大脑，导致人类的边际效用递减，数字技术对人类学习、工作、决策等能力提升的作用已十分有限。而目前机器人的数字文献阅读速度是人类的十万倍、百万倍，而且随着计算机技术和人工智能技术的不断进步，机器人的阅读速度和学习效率与日俱增，理解和分析能力不断升级换代，自学能力更使人类望尘莫及。IBM的沃森机器人医生可以在几秒钟内阅读数百万字，还能将学到的知识应用到新的案例中，并给医生提出建议。采用深度学习技术的AlphaGo用几个月时间，学习了三千万盘人类棋局，战胜人类围棋冠军。随后横空出世的Alphazero无需学习人类棋谱，用三天时间自学，与自己博弈了数百万局，即以100:0的战绩战胜了AlphaGo。由于各种文件、文献都已经数字化，便于AI处理，AI机器人大显身手。以色列特拉维夫的LawGeex研发了一套法律AI平台，举行人机比赛，活动中有20位人类律师与AI平台进行比赛，在速度和正确率方面，AI大幅超越人类律师。AI只需26秒，就完成了5份协议的审批，而人类律师平均要花费92分钟才能完成；AI准确率高达95%，而人类只有85%。2020年底，在浙江大学法学院小礼堂举办的人机大战，阿里达摩院“AI律师”不到1分钟即完成审核运算，准确率高达96%，速度远超人类，审核质量与参赛的知名律所律师相媲美。[1]

大规模数字化、智能化无止境地增强了人工智能学习、工作、决策等能力，让原本作为人类工具和助手的机器人反客为主，成为人类工作岗位的替代者，甚至成为侵略者、统治者，风险递增甚至剧增。笔者将这种现象称为数字化反噬，简称“数字反噬”。

“数字反噬”的定义为：深度数字化、科技化给予人类便利的同时，机器人(人工智能)因不受生理限制而获得的便利和收益超过人类获得的便利和收益，且超过的越来越多，直到反客为主，替代人类、危害人类、统治人类。那种认为“人+机器人”可以优于机器人的想法只是想当然，因为人根本无法配合比自己高明千万倍的机器人，就像“柯洁、李世石+Alphazero”与Alphazero对局的胜率，两位世界冠军的作用完全可以忽略不计。

二、科技风险剧增理论初探

数字反噬使得数字化给人类带来的科技风险剧增。笔者用吃过期食品比喻风险递增，偶尔少量食用过期食品问题不大，但是如果增加食用量，黄曲霉菌等有害物质累积，健康风险剧增。经济学家卡莱茨基曾提出风险递增原理，认为随着投资规模的增加，资本边际收益递减，而投资的边际风险递增。现在看来，信息科技也存在类似情况。在深度信息化、深度科技化的世界，机器人如鱼得水，且能力与日俱增，而人类受到生理限制，获得的边际收益递减。如果采用人机融合、脑机结合、生物学改造等技术来突破生理限制，必然带来新的重大风险。因此，也存在智能化反噬效应、科技反噬效应，即科技边际收益递减，风险剧增。据此，笔者初步提出科技风险剧增理论，包括十个方面的内容。

1.人类生理的限制。由于人类生理限制，科技发展与应用给人类带来的好处不会线性增长，而是增长渐缓，边际收益递减，而科技风险却随着科技发展与应用而递增，甚至剧增。

2.反噬效应。科技造就人工世界、数字世界，机器人在其中如鱼得水，成长迅速，造成的反噬效应是以往科技负面效应中所没有的。(1)反噬效应是继科技正面效应、负面效应之后的第三种效应，尽管也属于负面效应，但因具有独特性而给予单独列出。

3.连锁效应。基础研究突破、原理研究突破必然会导致开发应用，R&D就是连锁效应的制度化，威力越大、破坏力越大的应用越要抢先做出；否则，落后就会挨打，就会陷入战略上的被动。

4.尖端科技的正负效应不能抵消。尖端科技是否发展，不取决于正面效应有多少、有多好，而是取决于能否化解、防控、承受其负面效应、反噬效应。

5.科技知识增长不可逆。其中的致毁知识增长也不可逆，危险不断累积，甚至直到危机爆发。[2-3]

6.科技发展自我增强永无止境。知识与应用具有连锁效应，因为正负不能抵消，因此科技能否发展取决于其负面效应能否被遏制，又因为其增长不可逆，结果风险越来越多，[4]特别是机器人的出现，使得反噬效应愈发普遍，科技风险陡然增加。

7.资本反噬，推波助澜。眼前利益最大化是资本的本质，皮凯蒂的名著《21世纪资本论》指出，科技革命已使得贫富差距极大分化，其源头在于资本的收益远远高于劳动的收益。但是皮凯蒂忽视了资本与高科技结合既产生超额收益，也引发重大风险。由于投资有退出机制的保障，投资高风险的尖端科技就可以不顾后果、不负责任，即使从中长期看该项目危害人类，但只要有利可图，有退出机制，资本仍然大举进入。与环境风险不同，科技风险的后果使得资本家等富人首当其冲成为被敲诈和掠夺的对象，深受其害。更糟糕的是，机器人不贪财好色、自主升级、自主发展，资本无法控制，这些形成资本反噬。

8.畸点(广义奇点)已临，需要紧急应对。库兹韦尔《奇点临近》预言人工智能在2045年超越人类，本意是对发展人工智能作出预警，客观上却成了麻痹人们的借口：似乎把奇点到来等同于人工智能威胁人类，等同于人工智能造成毁灭性灾难，而只要奇点尚未到来，天下就仍然太平。结果是，科学家和有关学者纷纷表态：“奇点到来还很遥远”，因此人工智能可以无所顾忌地大力发展。实际上，从人工智能威胁人类的角度看，奇点可分为狭义和广义两种，一是库兹韦尔定义的人工智能超过人类智能，是狭义的奇点，其危害不言自明；二是人工智能还没有超过人类智能、还没有自主意识，但是已经可以造成巨大灾难，此时作为节点，可称之为“广义奇点”或“畸点”，以示社会发展出现畸变，威胁人类安全。具有以下之一者即为“畸点”已临，一是攻击性博弈对抗胜过人类，二是对人类造成不可逆转的损害。目前，人工智能不仅在围棋(AlphaGo)、桥牌(NooK)、电子游戏(Alpha Star)等智力博弈比赛中战胜人类，而且在攻击性对抗中屡屡获胜，例如，人工智能飞机驾驶员Alpha AI战胜王牌飞行员，机器人在兵棋推演人机对抗中获胜。在机器代替人工作方面，人工智能已经开始规模化地冲击就业市场。种种迹象表明，目前“畸点”已经来临(即使“奇点”还比较遥远)，人类应该立刻行动，以应对人工智能的风险与伦理挑战。就像刹车需要提前量，等待狭义“奇点”临近再刹车，将为时已晚。

9.全押归零的高科技赌局。人工智能等高科技给人类带来的好处越来越多，却终将毁于一旦，这一特点可称之为“高科技陷阱”“AI陷阱”。[5]类似于赌博游戏中的高胜率全押赌局(绝大多数情况赢，但是输一次就归零)，发展人工智能等收益巨大、赢多输少，人工智能发展越快、渗透越广，一旦危机爆发，会给人类社会造成巨大危害乃至毁灭性灾难以致归零。笔者称之为“全押归零的人工智能赌局”“全押归零的高科技赌局”。[6]32

10.双重挑战。人工智能、合成生物学等高科技风险愈演愈烈，但是人类防控风险的机制和措施存在诸多安全漏洞，风险防不胜防，致使科技风险更加严重，风险剧增。[20]323-328

综上足以说明多种因素将导致科技风险剧增，需要用科技风险剧增理论加以分析、研判。

三、从专能革命到智能革命：社会与科技发展的第二次巨大变革

认清人工智能及其引发的智能革命的实质，是把握人工智能风险的前提与关键。智能革命是史无前例的巨大变革，有四个主要特点使其区别于以往历次科技革命。

其一，目前人们通常认为智能革命是继蒸汽机革命、电力革命、信息革命之后的第四次科技革命，在笔者看来，将智能革命与前面三次科技革命并列，不能充分反映智能革命的性质和影响。以往的科技革命都是不同类型、不同阶段的专能革命(农业革命、蒸汽机革命、电力革命、信息革命等)，是工具或工具系统的变革，是为人类服务的，而非与人类竞争。专门能力简称专能，包括两类：延伸、增强人类个体体力和智力功能，包括延伸、增强人的体力、感知力、信息获取能力、记忆力、计算能力等，例如机械革命、蒸汽机革命、信息革命；延伸、增强人类的社会功能，包括延伸、增强社会的大规模物质获取与利用能力，能源获取与利用能力，信息传播与信息利用能力，例如机械革命、蒸汽机革命、电力革命、信息革命。

智能革命与之前的历次科技革命有本质上的不同，智能革命模仿人的核心能力——思维能力，思维能力包括理解、分析、综合、比较、概括、抽象、推理、论证、判断、学习、创造等能力，思维能力不仅是人类的元能力，而且具有主体性、自主性。当人工智能模仿人的思维能力超越人类智能时，出现数字反噬效应，人工智能反客为主。智能革命也可称之为全能革命、通能革命，在人类历史上是首次发生，用“第四次科技革命”“产业革命”远不足以反映智能革命的特殊性与颠覆性。通能革命不是专能革命的新阶段，而是全新的巨大变革，有可能使机器人反客为主。智能革命分为初级阶段、中级阶段、高级阶段，目前处于初级阶段。

其二，智能革命发展速度惊人、前所未有。数据、算力、算法是人工智能的三个要素，数据和算力都是爆发式增长。非盈利组织OpenAI数据显示，AI算力正以每年10倍的速度极速增长，比摩尔定律更快。目前超过万亿参数的模型已经诞生，已经超过了曾被认为是最复杂的人脑神经元结构。[7]智能科技的发展使得运算速度、传输速度、存储能力、数据数量等都快速增长，分别对应三个定律：摩尔定律(集成电路芯片上的晶体管数目，每隔两年就翻一番)、吉尔德定律(主干网的宽带每6个月增加一倍，其增长速度是摩尔定律预测的CPU增长速度的3倍)、吉姆·格雷定律(网络环境下每18个月产生的数据量等于有史以来数据量之和)。

其三，出现数字反噬。人类具有智商、情商、器商、逆商。(2)器商是利用机器、网络平台和理论方法等工具的能力，研究生训练就是会利用这些工具来发现问题、解决问题，专业人士与普通人的区别也在于此。[8]而随着技术的不断进步，数字化给予机器人的便利和收益超过给予人类的，机器人未来会在智商、器商、逆商方面都优于人类，而且优势越来越大。这是智能革命独有的现象和风险，以往历次专能革命都没有或少有反噬效应。

其四，智能革命给人类带来的好处是全方位的，却隐患无穷。在机器人反客为主之前，似乎给予人类的都是便利和竞争优势，它是甜食喂狗，每一次甜食都是受欢迎的，直到甜食过量，衰竭而亡。只有认清智能革命的特殊性和颠覆性——它是人类继第一次巨大变革(系列专能革命)之后的第二次巨大变革，以往系列专能革命的经验并不适用于智能革命——才可能真正认识到其带来挑战的严峻性与紧迫性。

四、人工智能伦理与风险治理的十大认识误区

人工智能治理进展缓慢、收效甚微，存在诸多认识误区是首要原因。深陷认识误区，导致学术界和公众严重低估人工智能的风险，高估了社会的防控能力，结果是人工智能在争议中快速发展，甚至直至失控。笔者揭示、概括出了十大认识误区。

误区1.忽视长远利益的方向误区

目前越来越多的研究表明，强人工智能是会实现的，即超过人类智能的奇点将会来临，随即超级人工智能出现。尽管如此，却仍然有不少人强调不要因为未来可能的风险，影响、阻碍今天的创新。这是什么逻辑？江晓原教授指出,“老虎还小”不应成为养虎的理由，许多人工智能的业界大佬和知名人物却都曾向公众说过这条理由。应杜绝“养虎遗患”，要说服人们同意养虎，必须论证“老虎不会吃人”。人们担忧人工智能未来对人类的危害，必须论证“人工智能不会危害人类”，而不能将“人工智能还很初级”作为理由。如果我们无法论证“人工智能不会危害人类”，那就有必要重新考虑目前是否应该发展人工智能。[9]

既然越来越多的研究和专业预见都表明强人工智能将会实现，即人工智能发展下去会出现奇点，就说明这个方向是错误的，就应该立刻叫停，刹车需要提前量。这事关人类生存安全，应该采取底线思维，宁可信其有，以防万一。

误区2.思想混乱：机器人、数字人、合成人是发展的必然趋势

不少科研人员不仅忽视未来风险，而且把未来风险视为发展的必然趋势，其中不乏著名科学家。例如，卡内基-梅隆大学教授、机器人学泰斗汉斯·莫拉韦茨认为，“AI机器人将从漫长的生物进化中解放出来，无拘无束地自由成长，尽管在一段时间里人类会受益于机器人提供的服务，但迟早它们会探索自己的命运，走自己的路，而我们人类则默默地等待消失。”[10]人工智能创始人之一马文·明斯基认为，“过去，人类倾向于把自己看作是最终进化的产物，而我们现在可以基于新型‘非自然选择’系统进一步进化。”[11]雷丁大学的教授凯文·渥维克一方面警告机器人将统治世界，另一方面自己又在世界上率先成为芯片人、电子人。尤瓦尔·赫拉利在《未来简史》中预测，人工智能和生物技术将带来人类的第二次认知革命，完成从智人到智神的物种进化。赫拉利认为，机器人不会拥有意识、感觉、情感和自己的欲望，所以不会杀光人类并占领全世界，不会导致人类的完全灭绝，人工智能只会让极少数人类变得强大，导致人类分化成不同种类，并走向不同的命运。[12]这些观点显然都是错误的，即使机器人不会灭绝人类，但是坏人可能利用机器人祸害人类、灭绝人类，或在机器人之间的战争中，人类成为牺牲品。据第一财经报道，日本机器人之父石黑浩认为，人类所有的工作都可以被机器人所代替。因为人类生存的目标不是工作，所以工作应该被取代。“人类不是要做工作，而是和其他人交流或者考虑一些哲学的问题。所以让机器人做工作，我们花更多时间考虑人类生物存在的意义是什么，可能更多是偏向于哲学这些方面的内容。”[13]这种奇谈怪论表明，这位机器人科学家对“工作”“职业”的社会意义缺乏起码的常识，更不知道有能力思考哲学问题者凤毛麟角。当绝大多数人无所事事时，社会离分崩离析就不远了。

人类借助科技进行非自然进化是绝对不能接受的。原因在于，与科技融合的人类产品化时，像许多科技产品一样，不仅有成品率、残次品率等问题，更要受到企业、科技、竞争、资本等的影响和控制，不断升级换代，不断创新、竞争，急功近利不可避免，结果导致人类成为商业巨头和新创企业的产品，很快成为怪物而崩溃。人成为上帝的后果是：有许多“上帝”且相互竞争，短期行为、恶意竞争不可避免。而自然进化是缓慢、稳定、行稳致远的，不会出现这种情况。合成人不是什么神人，而是产品化、商品化的人类，因合成人在智力、体力等方面大幅度超过自然人而逐渐替代人类，最终形成不可逆转的后果。笔者提出创立“合成人类学”(Synthetic anthropology)加以研究，作为未来学的一个分支，重点研究合成人的后果与影响，提前认清其危害而给予预警和阻止。

误区3.科学家决定科学的“霍尔丹原则”：既是运动员，又是裁判员

科学的专业性很强，外行不懂，想当然的结果是：科学家对科学最有发言权。英国“霍尔丹原则”就是如此，它强调资助科学项目的决定权由科学家掌握，科学界视其为神圣不可动摇的“金科玉律”。实际上这是误解，懂得科学与懂得科学的社会效应是两码事，对于后者，科学家是外行。科学该如何发展、科学与社会的关系是什么等是科技政策专家、社科学者和智库专家的研究专长。科学事关社会进步、国家兴盛和人类未来，正如有学者强调的，“科学如此重要，不能只听科学家的”。科学家可以参与探讨，但是不能擅自作出决定。科学由科学家决定相当于科学家既是运动员，又是裁判员，所以应该予以杜绝。人工智能的发展也不能由人工智能专家来决定(他们的意见当然是大力发展人工智能)。

误区4.对技术失控的误解

一般认为，技术失控是人工智能最大的风险，失控被理解为人工智能摆脱人类的控制而独立自主地发展，甚至反过来控制人类。实际上，这只是狭义的技术失控，广义的技术失控是指技术发展与应用产生严重负面效应且人类对此不能及时、有效地予以防控。人工智能的广义失控是指人工智能发展和应用产生严重负面效应(包括大规模失业、深度伪造、杀人机器人泛滥、研发出“致毁知识”等)且人类不能及时、有效地予以防控。例如，人工智能与其他学科交叉，可产生对人类生存造成威胁的新知识，如未知病毒、快速的基因干预工具等。[14]显然，人工智能广义失控涉及的范围要广泛得多，即使人工智能没有自主意识，但是其功能强大，若被军用、恶用、滥用，同样可以造成毁灭性灾难，就像核武器没有自主意识同样可以造成毁灭性灾难一样。人工智能毁损世界与有人利用人工智能毁损世界是一回事。例如利用人工智能侵入并控制俄罗斯“死亡之手”之类核控制系统，后果不堪设想。[15]即使在狭义上论证人工智能不会失控、确定人工智能没有自主意识，也远不能证明人工智能是安全的。按照狭义失控说，核技术没有失控，但是核军备竞赛、核误动、核事故等依然存在，完全可能造成巨大灾难。把拥有自主意识的人工智能还遥不可及等同于人工智能是安全的，是一个严重误区，客观上使得科学家无所顾忌、勇往直前，使得人们放松警惕、产生误判，严重低估了人工智能的威胁。

误区5.高估科技伦理的功效

科技伦理的作用十分有限，有四类人或机构和AI机器人根本不受科技伦理(含人工智能伦理)的约束：(1)基础研究科学家，作出原理上的突破是不受伦理约束的，备受争议的基因编辑技术获得2020年诺贝尔化学奖，就说明目前国际主流学术界认为科技原理突破是中性的，不受约束的；(2)疯狂科学家、黑客、极客、恐怖分子；(3)军方的尖端武器研发机构(例如美国军方正在研发通用人工智能武器、杀人机器人等)；(4)企业研发机构、特别是商业巨头的研发部门，急功近利，如果人工智能的新技术或产品容易转化而被恐怖分子利用，企业也不会束手束脚。AI机器人及AI for Science都可以不受科技伦理约束，实际上，上述四类人之外的人工智能专家也很难受到科技伦理的约束。即使杀人机器人这种明显应该被禁止的产品，国际上都不能达成共识、不能设置公约予以禁止。总之，科技伦理是失灵的，不应高估其作用。

误区6.低估拜技主义的危害

与拜金主义不同，拜技主义在许多情况下是褒义词。例如，企业盛行技术第一，技术立企；国家盛行技术立国，追求技术卓越、创新优先，崇尚技术和研发，甚至到了执迷的程度。往往把原始创新狭隘地理解为理工科领域的从0到1，“卡脖子”只理解为核心技术受制于人。实际上，人文社科领域同样需要原始创新，否则同样被“卡脖子”，甚至被“割韭菜”，损失更加惨重。从世界范围而言，目前是理工科成果供给过度，人文社科供给严重不足，包括美国、欧洲在内的整个人类的可持续安全与发展进程被“卡脖子”，深陷竞争方式陷阱(错误的竞争方式比竞争对手更危险)。[16]人工智能作为最强通用技术，可全面大幅提升各种技术的水平，更是拜技主义者的宠儿。许多雄心勃勃的科学家就是以攻克通用人工智能为使命的，例如AlphaGo之父、DeepMind公司创始人杰米斯·哈萨比斯明确宣称，DeepMind公司的一个使命就是将神经科学与计算机科学的研究相结合，创造出在任何任务中都超过人类的通用人工智能(据AI科技大本营报道)。如果离开科学主义、拜技主义语境，这种言论实际上就是反人类的歪理邪说。

拜技主义的思想基础是技术理性与商业理性。工业革命在思想观念上的最大变化是，不仅使得技术理性和商业理性得到极大发展，而且两者紧密地结合生成一种主导社会、全面渗透社会的强势理性，笔者将其称为“技术-商业理性”，并据此形成新型的“技术-商业意识形态”。[17]拜技主义、拜金主义、拜胜(崇拜竞争赢胜)主义(“三拜主义”)是“技术-商业意识形态”的集中体现，以美国模式最为典型。追求技术领先、追求财富增长、追求竞争赢胜成为理所当然的不二选择，即使前方风险巨大、危机四伏，也难以迷途知返、改弦易辙。

误区7.低估集体任性的危害

科学主义、拜技主义具有集体任性的特征。集体任性并不少见，例如，美国拥枪支持者集体任性，导致美国控枪运动屡屡失败。笔者发现，拥枪支持者与科学探索无禁区支持者的执念结构(“执念+辩护”)是一样的。拥枪支持者的执念是：人有拥枪的自由、美国人有拥枪的自由，拥枪产生的问题可以通过更多的拥枪、更多好人的拥枪来解决；信奉科学探索无禁区者的执念是：人有探索的自由、科学家有探索的自由，科学探索产生的问题可以通过更多的探索来解决、通过更好的探索来解决。至于说谁是好人、什么算是好的探索，是不用说明的，只要字面上能自圆其说即可。

集体任性是个人任性的集合与放大。正如尼采所说：个人的疯狂不常见，集体的疯狂则是常见的事。古斯塔夫·勒庞在其名著《乌合之众》中指出：集体很容易做出刽子手的举动，同样也很容易慷慨赴义。从人类安全的视角考虑，拜技主义的危害甚于拜金主义，集体任性的危害甚于无组织无纪律。

误区8.忽视了限时原则

人工智能、合成生物学等新兴科技飞速发展，其风险与日俱增，但是目前人们对新兴科技的伦理与风险治理几乎都忽视了对解决方案实施时限的探讨，没有考虑治理应该限期完成，这也是伦理学等的通病。为此，笔者提出学术研究的“限时原则”，即在各种研究中都应该考虑在限定时间内解决问题这样一个要求。[18]例如，技术伦理的“内在主义”强调把伦理要素“嵌入”技术系统之中,使用技术手段解决伦理问题。这一思路固然有其合理性，但是忽视了从“外在主义”向“内在主义”转变需要多长时间。如果不能尽快完成转变，科技重大灾难仍然发生，人类照样大难临头。目前人工智能极速发展、突破不断，如果不相应地把风险治理的限时原则作为第一原则加以优先考虑，任何伦理与风险治理的研究都是纸上谈兵，无济于事，甚至起到适得其反的作用，因为让人们误以为科技的伦理与风险治理问题已经得到了重视而放松警惕。

误区9.半句真理，似是而非

关于人工智能，目前科技界存在认识混乱现象。例如，科技界有类似这样的说法：人工智能把人类从繁重、重复的工作中解放出来，让人类有时间从事更多富有创造性的工作。但是没有探究有多少人胜任创造性工作。 还有所谓的“平衡论”，即强调科技伦理与科技创新要保持平衡，不要因噎废食。这种论调貌似有理，实则错误，因为当科技风险与伦理的挑战严峻、紧迫时，就只能遵循“科技创新、风控先行”“科学研究、伦理先行”原则，底线思维就是不搞“平衡”。“不要因噎废食”也是想当然，没有辨析因什么“噎”、废什么“食”，“噎”严重了，就应废掉“坏食”，启用“好食”(底线安全的科技与创新)。[6]34不少名言也是如此，只是主张一个原则，而不探究能否实现、在何种条件下实现。这种只知其一不知其二的现象可称之为“半句真理”或“半句话真理”。因为简单明了，这种“半句真理”更容易传播，对于严谨分析、系统思考的“整句真理”，反而不容易被接受。一些所谓的学术畅销书往往是“半句真理”的集散地。“半句真理”的错误在于，把复杂问题简单化、深刻问题表面化，用“说得顺口、听得顺耳”取悦大众。

误区10.忽视了科技发展模式对科技伦理与风险治理效果的影响

目前探讨科技伦理与风险治理往往忽视了科技发展模式的影响，在默认当前的科技发展模式的前提下进行探讨。实际上，不同的科技发展模式，科技伦理与风险治理的研究与治理效果是不同的。在错误的科技发展模式下，即使完全遵循科技伦理规范进行负责任的研究与创新，也仍然不能防控科技重大风险。[6]33-36

上述认识误区占据主流，严重阻碍了人们对人工智能等新兴科技风险的认识，即使有正确认识，也只是边缘化的声音，无济于事。例如，2014年以来，伊隆·马斯克就多次强调人工智能对人类生存将造成最大威胁；2015年，马斯克联合斯蒂芬·霍金、苹果联合创始人史蒂夫·沃兹尼亚克等一批有影响的科学家和企业家，签发了一封公开信，指出了人工智能诸多潜在风险，呼吁人们关注人工智能的安全性。在2015年牛津大学人类未来研究所和全球挑战基金会发布的首份评估人类未来风险的报告中，列举了最有可能毁灭人类文明的12大风险，人工智能名列榜首。[19]但是这些预警都无济于事，2016年，AlphaGo照样横空出世，人工智能进入爆发式发展阶段。

认识误区可以置常识于不顾：在人类司机完全胜任的城市等正常环境下，居然要推行无人驾驶汽车(以往公共交通司机还兼具应急应变安保等功能)。认识误区甚至可以颠倒黑白：就业是民生第一要务，各国政府千方百计地保就业，人工智能明明会造成大规模失业，却还要大力发展人工智能。认识误区与相关研究薄弱密不可分，例如欧盟的负责任创新(RRI)不重视最不负责任的创新等。笔者发现，目前国际上关于科技重大风险研究存在六大缺陷，[20]327-329在此不赘，这些极大阻碍了科技伦理与风险治理的深入研究。

五、通能塔诅咒：机器换人将引发大规模失业

英国工业革命以来，机器换人就一直受到关注，从十八、十九世纪的“卢德主义”到20世纪的“新卢德主义”，人们担心甚至反对因为工业化、自动化而造成失业。当然，科技乐观主义者是反对“卢德主义”“新卢德主义”的。他们认为，虽然新技术代替一些工作岗位，但同时又创造出新的工作岗位。从历史上看，是有一些新工作岗位不断出现，但在数量上能否弥补被机器替代的工作岗位，是需要具体计算的。关于人工智能引发失业，已经有大量预测。例如，世界银行2016年的研究表明，未来20年内，非洲高达71%的就业岗位有可能会被人工智能所取代，发展中国家平均为50%，经合组织(OECD)国家为57%；美国白宫2016年12月的报告指出，未来10～20年内，人工智能替代就业岗位的比例将由目前的9%上升到47%。麦肯锡全球研究所2017年底的预测显示，到2030年，约60%的职业可能被人工智能和自动化所取代；[21]2018年，大学生就业热门的银行业竟然出现了下跌，原因是银行引入人工智能RPA实现办公智能化，五年内将会有大量银行人工办公业务消失，因此宣布大量裁员，例如日本三家著名银行(三井住友、三菱UFJ、瑞穗)分别宣布几年内裁员4 000、9 500、19 000个工作岗位。[22]这些预测应该是比较保守的，因为2016年AlphaGo横空出世，深度学习大显身手，人工智能发展再次提速。

霍金在英国《卫报》的一个专栏中写道：“工厂自动化已经让众多传统制造业工人失业，人工智能的兴起很有可能会让失业潮波及中产阶级，最后只给人类留下护理、创造和监督工作。”李开复指出，AI已经蓄能完毕，即将迎来一个全新的爆发拐点。他多次强调，人类有很多工作都会被AI所取代，人类未来只剩下需要创造力、同理心和灵活性这三类工作可做。[23]这三类工作本身就在全部工作中占少数，特别是有创造力者就是小众人群，而且这三类工作也不断被机器人所蚕食。例如，利物浦大学的“AI化学家”经自主学习，发现了一种强活性催化剂。人工智能进行科研、诗歌艺术创作等的情况已经不断出现。

2020年6月，OpenAI公开了当时最强大的AI模型GPT-3，它具有1750亿参数，数量级接近人类神经元的数量，在答题、翻译、写作、计算方面的能力非常接近人类。麻省理工学院研究团队指出，GPT-3与人类大脑处理语言的方式惊人地相似。最近，ChatGPT上线，这是继GPT-3之后的“GPT-3.5”，智能程度达到新高度，非常接近通过图灵测试，其惊人表现引发热议。据多家媒体报道，ChatGPT参加了美国高校的入学资格考试(SAT)，成绩为中等学生水平；CNN商业频道宣称：“ChatGPT正在以其无与伦比的好文章主导社交媒体！”《华盛顿邮报》断言：“ChatGPT会在两年内灭掉Google！”AI达到人类智能的时刻(“奇点”)已经为期不远，甚至指日可待了。

据多家媒体报道，继研发AlphaGo和AlphaFold之后，2022年初，谷歌旗下的AI公司DeepMind又宣布创建了编程机器人系统AlphaCode，其编程水平已经达到人类程序员的平均水平。在与人类程序员的比赛中，AlphaCode的排名可以达到中等水平，跻身前54%之列。如果普及AlphaCode，一半的程序员将失业，而且随着AlphaCode的进步，失业的程序员会越来越多。这也是数字反噬的一例：程序员创编的程序替代了程序员自己。

机器换人的必然性还在于，机器人进化的速度明显快于人类的学习速度及进化速度。如果为了追上机器人进化的脚步而实施人机结合，又是得不偿失、注定失败的。因为芯片植入人脑、人体形成合成人，受到人自然结构的限制，会出现一系列问题。心脏起搏器问世以来，已经有六十多年的医学实践，但是排异反应问题仍然没有解决，更何况比起搏器复杂千万倍的芯片等植入设备以及基因编辑技术、合成生物学介入的合成人技术。人机深度融合的大规模普及将产生一系列生理上、心理上和社会上的排异反应，以及各种意想不到的问题。

“脑机接口”技术风险巨大，只能作为治疗疾病(比如老年痴呆症)的一种手段在小范围使用，一旦进行大规模商业销售，必将出现灾难性后果。脑机结合等于人吃了智力兴奋剂，插上芯片之后，会得到网上巨量数据资源、计算资源的支撑，人会变得超聪明，不接芯片者都是低能儿，所以人人都要接芯片。但人脑接上芯片之后，无法回到过去的自然状态，而且脑机结合的软件、硬件都会不断升级换代，而软硬件系统里面有病毒、有BUG、有后门，接上芯片，人虽然聪明了，但是健康、安全、伦理、风险、社会、文化等都会出问题。更糟糕的是，人类很快就会被脑机科技企业所控制，而企业是受资本控制的，急功近利乃至饮鸠止渴的行为不可避免，因此这条不归路根本就不能开启。此外，脑机结合还可能打造出超级聪明的冷血杀手和恐怖分子，后果不堪设想。人工智能风险研究亟待加强，[24]美国哥伦比亚大学神经科学教授拉斐尔·尤斯特(Rafael Yuste)最近发出警告：大型科技巨头正在投入巨资，开发取代智能手机的下一代设备，将人类的大脑直接和互联网连接起来，最终可能会在十年内干预我们的思想，操纵我们的决策和观点。更何况，即使社会接受合成人，合成人普及，其进化速度也仍然慢于机器人的进化速度，仍然改变不了人类最终被机器人替代的厄运。

关于机器人造成失业问题，备受关注。从1972年起，美国国家自然科学基金会就为此中断了对机器人项目的支持。1973年，英国政府也颁布了否定人工智能与机器人的著名的Lighill报告。后来，美国又恢复支持机器人研究。[25]256关于机器人导致失业有三种观点，一是将引发大规模失业，二是不会引起失业，三是短期内引起失业，而长期看不会引起失业，甚至会增加就业。不会引起失业的观点显然站不住脚，这里重点分析批驳“短期失业、长期增业”论。

以往历次技术革命都是专能革命，专能革命意味着某项或某组新技术崛起，随之其配套性工作、伴随性工作、引发性工作也会出现和增多，弥补被新技术替代的工作，导致一些职位减少而另一些职位增多并出现全新职位。例如，微信通话已经成为许多人的主要通话方式，作为专能的微信技术，虽然相当程度上替代了电话业务及相应工作岗位，但是微信本身形成的工作岗位以及与微信配套的、伴随的、引发的新工作岗位大幅增加(当然也存在微商替代实体店的情况)。但是微信是专能技术，替代的只能是同样或同类功能的低水平(性能低或性价比低)技术，替代范围有限。

人工智能革命是智能革命、全能革命、通能革命，与专能革命最大的差别是，智能革命产生的配套性工作、伴随性工作、引发性工作同样可以由人工智能替代，除非这些工作要求更高的智能，当然这种要求更高智能的工作岗位的数量更少。也就是说，智能技术替代两类工作岗位：被直接替代的工作；产生的配套、伴随、引发的工作且其智能要求不高于该智能技术。可能新增的工作岗位是产生的配套、伴随、引发的工作且其智能要求高于该智能技术。由于智能水平高低与工作岗位数量成反比，因此新增的工作岗位一定比被替代的少。因此，随着智能技术发展，被替代的工作越来越多，“短期失业、长期增业”论根本不成立，因为长期看，机器人更加发达，替代的工作岗位更多，实际上是“短期造成失业、长期造成更多的失业”。

工作能力金字塔与工作岗位金字塔是重合的，当工作能力是专能时，会存在多种多样的工作能力与工作岗位。新专能技术的出现，净增工作岗位有可能为正数。但是，当通能技术(人工智能、通用人工智能)出现，导致等于或低于新智能技术的岗位均被替代，只有智能要求高于新通能技术的配套、伴随、引发的新工作岗位成为暂时不被替代的新增工作岗位，其数量一定少于被替代的工作岗位，即被人工智能替代的工作岗位越来越多。用通能塔(通用能力金字塔)可以说明这个过程：通用能力达到的水平可称之为“通能线”，通能线以下的工作岗位理论上都可以被替代，随着通能技术水平的提高，通能塔上的通能线不断上移，被替代的工作越来越多，所以通能线也称之为“替代线”“失业线”。对此，笔者称之为“通能塔诅咒”，预示未来人类被智能技术替代的厄运。

用李开复提出的“五秒钟准则”也可导出“人工智能将大规模替代人类”这一结论，可以很好地解释“通能塔诅咒”。“五秒钟准则”指，一项本来由人从事的工作，如果人能在五秒钟内对工作中需要思考解决的问题作出决定，那么，这项工作就极有可能被人工智能技术取代。显然，机器换人是从“一二秒钟准则”开始的，随着人工智能的发展，“五秒钟准则”会变成“十秒钟准则”“一分钟准则”“一小时准则”等。以此类推，被人工智能替代的工作会越来越多。人工智能超过人类平均智能水平越来越多，人类失去的工作就越来越多，同时又不可能从机器人手中重新夺回工作。

综上所述，机器换人主要由五大因素引起：(1)技术因素，机器人的通用能力越来越强，学习能力超强；(2)资本因素，机器人的成本越来越低，性价比高；(3)环境因素，自动化、数字化、网络化、智能化等信息化程度日益提高，日趋复杂的环境使得人类应接不暇，出现数字鸿沟、信息茧房、智能陷阱等，人类的器商有限，而机器人的器商极高且不断提高，在复杂环境中越来越如鱼得水，反客为主，形成科技反噬、数字反噬；(4)竞争因素，企业之间、国家之间的竞争高度依赖人工智能；(5)思想文化、意识形态及认识因素，拜技主义、拜金主义、拜胜主义以及诸多认识误区(包括上述十项认识误区)。

解决机器换人问题，首先要扭转观念误区，纠正拜技主义和效率至上，应该以人为本。正如中国机器人之父蒋新松院士所强调的：机器人重点不应放在节省劳动力上，机器人应该在人类不宜从事的危险、恶劣、困难、特殊的环境中发挥作用。[25]256人工智能、机器人应该是辅助人类，而非替代人类。

六、因“致毁知识”一票否决：暂停AI for Science

借助人工智能开展科研(或称之为AI for Science、AI驱动的科学发现、AI科学、AI科学家)正在蓬勃兴起，笔者从科研范式变革的角度，认为“AI科学”是继“实验科学”“理论科学”“计算科学”“数据科学”“虚拟科学”之后的第六研究范式，它与以往五种研究范式的区别主要反映在研究主体、研究方法、认知活动的程序规范、科研行为规范与伦理及奖励系统等五个方面。[5]1-6为防控人工智能爆发式发展造成的重大风险，首先要防控AI科学，应该立刻暂停AI科学，主要理由有三：

1.AI科学迅速崛起，危害巨大却隐蔽性强。人工智能模型AlphaFold2在蛋白质结构预测方面取得了极高的准确率，超过科学家，被《Science》杂志评为“2020年十大科学突破”之一。2022年，DeepMind公司借助AlphaFold2模型，完成约2.2亿种蛋白质的预测结构，几乎涵盖了DNA数据库中已知生物体的所有蛋白质。2020年，英国利物浦大学研制出一款智能移动AI化学家,可在一周之内研究1 000种催化剂配方，相当于一个博士生四年的工作量。此外，AI科学在药物开发、气候变化、计算社会科学等领域大显身手。因此，AI科学已经得到科技界、资本界的追捧和媒体的广泛报道。但无论是借助AI进行科学探索，还是AI科学家自主探索，都可以产生大量“致毁知识”。[2]50-55例如，2018年《Nature》杂志发布消息称，科学家利用人工智能发现了近6 000种未知病毒；2021年，英国格拉斯哥大学的科学家在《PLOS Biology》期刊上发表论文指出，他们使用人工智能模型，预测出18种人畜共患潜力极高的病毒。这些工作虽然有正面应用价值，但是也容易被恐怖分子利用或从实验室泄漏，危害巨大，正负效应不能抵消，因此应该一票否决。在自然状态下可能几百年、几千年内都不会出现的病毒，却利用AI科学、合成生物学、基因编辑技术等提前研制出来，完全是得不偿失。不像AI武器及其军备竞赛造成的威胁那样明显，AI科学的危害比较隐蔽，因此更需要加强警惕和防范。

2.AI科学增强粗放式科研与粗放式创新，增大其风险与危害。当代西方主流的科研与创新是以牺牲安全为代价的粗放式科研、粗放式创新，其内在缺陷日益凸显，其与生俱来的在观念(科学无禁区)、机制(缺乏关于科学发展与应用正确与否的纠错机制)、体制(科技与经济一体化、科学与资本捆绑、眼前利益优先)和管理(奖惩极不对称)等方面存在重大缺陷，难以为继。在实现从粗放式科研到可持续科研的转型之前，发展AI科学只能增强、加大粗放式科研的风险与危害。

3.AI科学使得黑客与恐怖分子如鱼得水，助纣为虐。AI科学的发展极大地降低了科研门槛，不受科技伦理约束的黑客如鱼得水；恐怖分子不用绑架科学家，就可以利用AI科学为非作歹。AI科学也会为不负责任的组织、国家所用，开发大规模杀伤性武器。这次新型冠状病毒肆虐全球，目前多项研究显示，新型冠状病毒要么来自实验室，要么至少已经可以在实验室合成，制造新型冠状病毒的知识就是致毁知识。最令人担心的是，这次席卷全球的疫灾给恐怖分子以提示：只要一两个人、几个人制造出的病毒，就可以祸害全世界。在恐怖分子手里，AI科学就是助纣为虐的凶器。

由此可见，在目前粗放式科研发展模式下，在黑客与恐怖分子恣意妄为之际，发展AI科学风险极大，贻害无穷，其中也包括AI反噬(AI科学让科学家失业)。据参考消息网等多家媒体报道，美国前国务卿基辛格指出，人工智能的潜在破坏力可能远远超过最大的核弹，人工智能是军备竞赛的新前沿，它简直是一场导致灾难的疯狂竞赛。基辛格认为，从哲学和智力上，从各个方面来讲，人类社会都没有为人工智能的崛起作好准备。他建议，美国和中国可以启动一场高科技安全对话，并达成协议。

综上所述，应该暂停高风险、高不确定性的AI for Science，举办国际AI安全高峰论坛共商对策。能不能叫停与该不该叫停是两回事，作为学者，首先应该作出“该不该叫停”的研判，以底线思维确保人类安全。至于能否叫停，就需要充分阐述理由，充分交流并达成共识。由于人工智能极速发展，如何在达成共识之前就先暂停，是亟待解决的难题。

智能革命是人类经历多次专能革命以后的首次通能革命，引发科技与社会的巨大变革，人类也面临前所未有的双重挑战：人工智能(包括机器人)发展带来的风险愈演愈烈(大规模失业、深度伪造、杀人机器人等)，而人类却深陷认识误区(上述十大误区)，深陷无法刹车、无法转向的动车困境，人类安全防线存在诸多严重漏洞，[20]323-327形势极为严峻和紧迫。刘孝廷教授通过多重论证指出，人类文明已进入末日是一个理论事实，对此，人类必须当机立断，避免其成为经验事实，应该去发动一场彻底的末日启蒙，以便人类文明能“绝地求生”。[26]

人工智能在争议中快速发展，集中反映出西方科技发展模式的内在缺陷。刘华杰教授将创新划分为两种类型：达尔文式创新和弗兰肯斯坦式创新，前者被动适应，风险较小；后者主动建构，风险激增。[27]目前流行的以提高智慧能力为目标的人工智能A模式即为弗兰肯斯坦式创新，出现超级智能、自主智能不可避免，风险极大，需要转向发展以提高辅助能力为目标的人工智能B模式——人工辅能(Artificial Auxiliary Intelligence,AAI)模式。AAI模式具有达尔文式创新的特征，以促使人类更好适应、更好生存发展为目标，永远不会反客为主。科技创新、伦理先行，段伟文教授用研究和创新的“红绿灯”变化来说明科技伦理原则，强调世界各国不同文化对设计、实施科技伦理的多样性与复杂性，以加深和丰富对科技伦理治理的认识。[28]总体上看，拥有合理的对待科技的态度至关重要，刘大椿先生提出科学审度观，把审度作为对待科学的第三种取向，用多元、理性、宽容的观点看待科学。[29]科学审度观拓展了思考科技创新与风险伦理关系的空间，极具启发性和指导性。

七、结语：全押归零的人工智能赌局

信息技术的发展在推动社会发展的同时，产生一系列负面效应，笔者初步提出科技风险剧增理论。首先对数字反噬予以说明，数字反噬揭示出深度信息化与深度科技化导致人类边际收益递减，机器人却不受生理限制而收益越来越大于人类的收益，直到反客为主，危害人类。目前，人们往往将智能革命与之前多次科技革命并列，这无法充分反映智能革命的特质和影响。人类社会以往发生的多次科技革命都是专能革命，而智能革命是首次发生的通能革命，引发人类社会第二次巨大变革。人工智能风险与伦理治理收效甚微，存在诸多认识误区是首要原因，本文揭示出十大认识误区。然后探讨了机器换人问题，重点分析批驳盲目乐观的“短期失业、长期增业”论，指出人工智能革命作为通能革命，与专能革命的最大区别是，通能革命产生的配套工作、伴随工作、引发工作同样可以由人工智能替代，除非这些工作要求的智能更高，由于智能水平高低与工作岗位数量成反比，因此新增工作岗位势必少于被替代者。结论是，人工智能不仅造成短期失业，而且造成长期更多的失业，通能革命势必引发大规模失业，并称之为通能塔诅咒。

智能革命引发巨大科技与社会变革，人类也面临前所未有的双重挑战：一方面，人工智能带来的风险愈演愈烈；另一方面，人类对其认识深陷误区、深陷动车困境，人类安全防线存在诸多严重漏洞，特别是人类还没有进化出长期主义所必须的品格——自我克制、恪守规则、顾全大局、敬畏历史，形势极为严峻和紧迫。人工智能的特点是：好处立见成效，给予人类的尽是便利和竞争优势；坏处是甜食喂狗和温水煮青蛙，每一次都嗜此不疲或能够忍受，治理得到些许缓解，但是仍然日益严重，最终衰竭、毁于一旦。

赌博游戏中有一种高胜率全押赌局，绝大多数情况赢，但是输一次就归零，用于比喻人工智能的效果十分贴切，笔者称之为“全押归零的人工智能赌局”，即发展人工智能受益巨大、赢多输少，赢得越多，人工智能发展越快、渗透越广。一旦爆发危机，会给人类社会造成巨大危害，乃至毁灭性灾难以致归零。[6]32在高胜率全押赌局中，只要赌徒运气好、见好就收，仍有胜率；而人工智能在资本和科技竞争的驱动下，不会适可而止，而是永无止境，直至毁于一旦、全部归零。

西方人工智能发展模式不是孤立的，它是现行西方主流科技体系的一部分，解决人工智能风险与伦理问题的首要任务是变革西方粗放式科技发展模式，从追求更高、更快、更强、更赚钱的发展模式转型为行稳致远、安全公正的发展模式。关乎人类安全，不确定性是绝不能接受的，应该采取宁可信其有的立场，就像飞机一旦存在安全不确定性，就应该坚决不登机、不起飞，高风险、高不确定性的人工智能、合成生物学等尖端科技应该立刻叫停或暂停。

本文通过探讨智能革命及其风险的若干重大问题，揭示人工智能重大风险导致人类安全危机，证明目前以牺牲安全为代价的粗放式人工智能发展模式(即A模式)难以为继，应该改弦易辙，从人工智能转为人工辅能。为破解数字反噬、通能塔诅咒和全押归零的人工智能赌局，当务之急是尽快实现从高线思维向底线思维的转变。面对人工智能等尖端科技，首先考虑的不是它带来多少好处，而是它产生的坏处(风险和灾难)人类能否化解与防控，应该牢记尖端科技的正负效应不能抵消，一坏遮百好。兼听则明，偏信则暗；兼论则明，偏言则暗，一厢情愿地总说好的方面，无益于科技发展。科学家、科技政策专家、决策者等在说明新科技时，应该同时阐述其正负效应。务必恪守底线思维，提高安全意识，尽快实现从以提高智慧能力为目标的人工智能A模式向以提高辅助能力为目标的人工智能B模式的转变。

鉴于目前人工智能爆发式发展，应该立刻紧急叫停强人工智能等任何可能趋于通过图灵测试和趋于获得自主意识、能自我繁殖的前沿探索。借鉴生物技术领域曾经叫停科研的阿西洛马会议(1975年)，举行全球人工智能风险与伦理治理峰会，禁止强人工智能的研究，禁止人工智能的军事应用，叫停人工智能军备竞赛，确立底线思维的人类安全观，颁布并严格执行其配套政策等有关措施。叫停人工智能，开启人工辅能，加快开创可持续安全与发展的新型科技体系，加快构建人类命运共同体。