人工智能与人类未来的跨学科对话——从“交叉”到“融合”

周丽昀 等

2020年11月28日，“交叉学科背景下的科技伦理高端论坛”在上海大学召开。①该论坛由上海大学学术委员会秘书处、上海大学哲学系主办，上海市高水平创新团队“智能社会及其伦理建构”、教育部哲学社会科学研究重大课题攻关项目“人工智能的哲学思考研究” 以及国家社会科学基金重大项目“人工智能前沿问题的马克思主义哲学研究”协办。来自理、工、医、文等不同学科的十几位学者就 “人工智能与人类未来”展开跨学科对话，达成富有启发性的学术共识。

周丽昀：当前，科学技术的迅猛发展及其对经济社会发展的巨大推动作用，已成为当今社会的主要时代特征之一。世界科学技术发展正呈现出前所未有的突破性发展态势，科技发展加速化、科技社会一体化、新兴学科和交叉学科不断增加以及科学文化和人文文化从对立走向融合等特征也不断涌现。与前三次科技革命改变的是人类使用的工具、能源以及人类与世界的连接方式不同，以新智能技术、新生物技术、新材料技术为代表的第四次科技革命将要改变“人类自身”。尤其以人工智能技术为代表的信息技术、大数据技术对生命科学、认知科学、哲学乃至于所有的理论和实践提出了巨大的挑战。人工智能发展的前沿进展和未来趋势如何？人工智能是否具有自主性和主体地位，是否有可能超越人类？未来的人机关系如何？我们会面临一个什么样的人类未来？相信这些问题已经不只是哲学工作者关心的问题，也是科学家、工程师们面对世界科技前沿以及突破“卡脖子”技术难题时所绕不开的问题。在这样的背景下，我们推出关于人工智能与人类未来的跨学科对话，让来自不同学科背景的学者进行思想碰撞，看看会产生怎样的火花，凝聚出什么样的学术共识。希望讨论本着负责的态度，遵循开放的理性，以问题意识为导向，催生出超越学科交叉的思维共振，那会是通过交流、交锋而达到的某种 融。

一、人工智能的发展现状与趋势

孙伟平：智能科技的快速发展和广泛应用提出了很多具有挑战性的问题。在以新型人机关系为基础的智能社会、智能文明中，农业社会、工业社会所形成的理论、方法很可能不再适用了。在今天的跨学科对话会中，我们特别希望听到理工科背景的教授们，从人工智能、生物学、医学等角度，谈谈当代科技的前沿进展。比如，脑机接口技术是否有可能取得实质性突破？无人驾驶、情感陪护机器人等是否可能面临责任危机？人工智能是否可能或者什么时候超过人类智能？人工智能发展的方向和前景是怎样的？它的应用会在多大程度上改变了人类自身和社会？

曹傲能：今年脑机接口的新闻引起很多人担心：未来机器会不会全面控制人类？从化学和生物的角度来看，现在的脑机接口其实还非常原始。但即使它未来有了飞跃式的进步，也不可能通过脑机接口全面接管和控制人的意识。当然，要用它来影响人的部分情绪甚至意识还是可能的，毕竟产生影响特别是坏的影响是比较容易的。即便最后发展到了可以控制意识的地步，归根到底还是机器背后的人在控制人的意识，不是机器自主地控制人的意识。

王国豫：脑机接口全面接管和控制人的意识，这个问题我觉得暂时还有些遥远。脑机接口有两种，一种是嵌入式，另外有一种是非嵌入式。嵌入式就是要做手术将电极等嵌入脑内，是有损的。还有一种非嵌入式，是无损的。深部脑刺激（DBS）是嵌入式脑机接口的一种。2017年全球神经伦理峰会上，澳大利亚学者发表了一个应用DBS技术治疗帕金森氏综合征的真实案例：一名65岁的男性在被诊断患有帕金森氏综合征以后，接受了DBS治疗。之后，他的僵硬和震颤症状明显改善，身体恢复，并且变得精力充沛，善于交际。但很快，他妻子发现他对性的要求有时有些过分。研究表明，在接受过类似治疗的患者中，确实有人出现不同类型、不同程度的人格改变，比如有的人成了购物狂。像上面这个例子就使得原本简单的责任问题变得复杂起来：谁该对他的行为负责？ 是患者本人还是为他做手术的医生？ 对此问题的回答，不仅涉及技术的不确定性，而且也涉及人格的同一性、本真性和人的能动性等问题。非嵌入式的脑机接口也不是没有问题，比如所谓的“脑机接口头环”，用来监测学生上课是否注意力集中，也引起很大的争议。

张新鹏：关于人工智能与人类智能的关系，文科背景与理工科背景学者的态度并不完全一致。对于技术发展水平，文科背景的学者更乐观，理工科背景的学者更审慎。文科背景的学者往往认为“很快机器智能就赶上人类了，甚至某些方面已经比人类强了，强人工智能很快就到来了”，理工科背景的学者则认为“很多根本性的问题没有解决，这些可能都是想象，科幻意味比较浓”。而对于未来发展前景，文科学者更悲观，认为“将来机器会统治人类，要赶快停下脚步，在人类毁灭之前要先踩刹车”，理工科的学者往往认为“不要紧，先往前走，碰到什么问题就解决什么问题”。其实并不存在太多关于人工智能发展的两难困境，问题可以在发展中消解。

曹傲能：大家的讨论可能涉及不同层面的问题。一个是技术的可能性，另一个是技术的必要性。从技术可能性来看，科技的进步经常有间歇式的爆发性的增长，而技术的必要性可能就与伦理相关了，这就需要思考人类到底需要什么？在目前的技术手段下，我们的资源是有限的，利用技术的能力也是有限的，有些技术可能并不是生命发展非常需要的。

段伟文：科技创新是个“两面神”，每一项技术创新都必然引起社会范围内的双重矛盾，存在“科林格里奇困境”（the Collingridge Dilemma）：一项技术刚刚出现的时候弊端不明显，比较容易对它进行控制，一旦技术发展有了路径依赖和成本沉淀，就很难再进行控制。在进行科技伦理治理时，常见的立场有两种：一是主动性原则，即面对新兴科技，总是充分考虑到可能的好处，主动发起颠覆性的创新；二是预防性原则，即面对各种创新，总是最大限度地考量可能带来的风险，力求将风险降到最低。不论是主动性原则还是预防性原则，都不能绝对化，面对具体的问题，需要诉诸实践的智 慧来解决。

成素梅：从人类文明发展史来看，人类的演化已经过了两次大的转折；第一次大转折是从非生命物质中演化出生命；第二次大转折是从类人猿演化出人类。现在人类迎来了第三次大转折：基因编辑技术使得改变人类自身成为可能。人类从无到有，从猿到人，基因一直在变，但这个变是随着自然环境的改变而改变，是人类无法预知和无法控制的改变。相比之下，基因编辑技术是对基因的人为编辑，如果胚胎期的基因编辑不被允许，出生后以治疗为目的的修复或改变的限度在哪里？同样，随着脑机接口技术的普及应用，除了医疗风险之外，允许人脑植入芯片的限度在哪里？这些技术发展提出了“人在多大程度上可以通过技术进行设计”的关乎人类未来的重大问题。

张新鹏：有人说20世纪最伟大的发明是计算机，21世纪可能会出现什么还不清楚，但“人—机—物”这样的新格局可能会成为普遍共识。未来不是人和机器对立，而是人和机器融为一体

二、人机关系

周丽昀：现在我们已经进入了第二个关键问题的讨论，那就是未来的人机关系是什么状态？目前学者的讨论，就外部视角而言，无非对此有悲观主义的、乐观主义的以及现实主义的观点，而从内部视角来说，有人认为未来人机之间会是你死我活，有人认为会是和谐相处，还有人认为会是人机融合……不知各位学者对此怎么看？

孙伟平：乐观地展望，未来智能系统可能会无所不能，智能机器会接管大量的社会管理权、治理权和决策权。我们需要审慎思考的是，今后的社会应该是以人为中心的社会还是以机器为中心的社会？是基于技术的标准还是人的标准进行建构？“机器思维”是否存在和是否能跨越“图灵奇点”？人与机器之间是否会像今天的同性恋一样出现“人机婚姻”？如果智能系统具有“知、情、意”等，是否应该赋予“他/她”人格和尊严？是否应该赋予其一定的人权？这里面有很多值得我们讨论的话题。

张新鹏：从发展来看，“人—客观世界”的传统认识框架，可能要被“人—机—物”的新框架取代。过去机器就是人的工具，未来不敢说机器一定是人的对等物，但机器可能是人的同盟。

王天恩：新鹏说的“人机物”，在哲学领域就是“人机融合进化”。

段伟文：我们在讨论人、机器、物、技术等等概念时，有时会陷入客观性的讨论，似乎是站在世界之外对世界的未来进行描述。数字技术、智能技术的确为人类的创新带来了很多潜力，但这就意味着可以一味地利用数字技术实现任何突破性的创造吗？人是否可以将一些认知和操作“外包”给机器，使自己向着更高的智能方向发展？这些不会自然而然形成，而需要我们去谋划技术的发展方向。当下更值得关注的是，在真实的世界里如何处理人机关系，我们不能置身其外做所谓客观的旁观者，而是要从自身的主体性出发，先有一个价值判断。

周丽昀：如今的人机关系不是截然二分的，人与技术的关系也是相互建构的。斯蒂格勒说“人和技术是相互构成的”，荷兰技术哲学家维贝克提出“技术媒介理论”，也是想强调，当今时代，技术发挥了越来越多的作用，以至于起到了类似于人的引导性或者说是主导性的居间调节作用。维贝克用的词是Active-in-between，就是积极的居间调节。还有学者在此基础上提出“道德物化”，认为我们可以将道德密码嵌入到技术设计中。

王国豫：国内很多学者把维贝克的意思翻译成“道德物化”，我有些质疑。在我看来，维贝克的意思并不是完全要把道德的东西嵌入到物里面，而是指物所蕴含的某种道德隐喻，这一隐喻通过人工物这一中介作用于人。比如他讲到的超声波的例子。通过超声波技术可以感受到孩子的生命，激发起对孩子的道德责任，这意味着技术本身有一种道德意向性。

段伟文：人与机器并不是两种分立的存在，实际上人机关系是人和人以机器为中介的关系。尽管目前机器自身并无意识，但在机器的背后，从设计到运行都有着复杂的技术—社会网络的支撑，其中包括资本的安排与价值的植入。技术的加持使人慢慢形成了惰性，不爱学习了，就像现在出租车司机越来越依靠导航，开车都不再记路了。这种去技能化的趋势将来会演变成什么样？这是很令人担忧的。

王天恩：伟文提到的担忧，我觉得可以从另一方面理解。人机融合是渐进的过程，当我们使用鼠标和键盘，可能不会认为自己是在跟机器融合，但是人跟手机虽然也是工具性关系，现在就可以明显看到人机融合了。人机融合不仅表现在硬件上，还具有社会性。从社会性这一层次看，人始终有些方面在退化，也有一些方面在进化。我和新鹏一样，对此非常乐观。其实就是人进一步通过机器以及对象性活动来展开自身。人最重要的展开是创造力的展开，而这种创造力的展开，最典型的就表现在人工智能的发展。所以，人工智能一点都不可怕，这恰恰是人本身发展的一个阶段，没有这个阶段人类就会限制在生物载体这样一个天花板下，而我们无法想象人类会屈从于这样的限制，因为人最根本的能力是其具有创造力。

三、机器的自主性和主体地位

王国豫：在讨论人机关系的时候，一个很重要的问题是机器的道德地位问题。通常我们从两方面考察人工智能的道德地位：一是人工智能体是否能够成为道德主体？人工智能有一定的自主性和能动性，有能动性的是否就一定是道德主体？另一个问题是人工智能体能否成为道德客体，即当我们造出来的机器有了和人一样的情感能力，我们应该如何和人工智能体打交道？是否要考虑机器的利益和情感？后者也许可以借鉴人和动物道德关系的论证。动物虽然不是道德主体，但是可以成为道德客体，这就要求我们在对待动物的时候，要求考虑到动物的感受性和利益，甚至动物的权利。

张新鹏：随着技术发展，很可能造出具有痛苦感知能力的机器。动物的权利是天生的，那么机器有没有权利？要不要有福利？什么情况下我们说它有痛苦感知能力？什么时候说它有自主意志？

王天恩：这是一个新的话题。为什么人会将权利延伸到动物？人是一个“类”，作为一个类，别人受迫害我如果幸灾乐祸，意味着没有意识到更重要的利害关系：下一个受害者有可能就是我自己。由此类推，人和动物是一个更大的类，动物可以被虐待意味着生命可以被虐待。因此同情别人甚至动物还是比较浅的层次，实际上有一个内在的逻辑使得人和动物甚至植物都有同样的利害关系。从智能这个类看，人工智能显然也成为这种关系中的一个方面。

张新鹏：同情在生物体的神经系统中也会有体现。在漫长的进化过程中，如果缺少对同类的痛苦感受的移情，这种生物就会被自然淘汰，这是自然选择。而人类的同情是有意识的，甚至是主动的。

段伟文：动物保护涉及人对动物的感受性、同理心，和文化、社会环境有关。很多年前，我在地铁站看到，下雨的时候，年轻人会更关注小猫小狗，而可能没有人去关注乞丐，而这里面就会涉及价值选择。人工智能应用中，哪些场景下的应用可以接受或应该禁止，也会涉及价值选择。在科技合作、交流和贸易中，不同的研究者和创新者在价值上需要有一种“伦理遵从”，即相互遵从对方的价值观和伦理原则，最后一般都是遵从最严格的原则。当然，在价值选择与伦理原则背后，也有其所依据的科学事实，但对这些事实的解读，又往往有各种价值渗透其中。因此，科技伦理问题既关乎科学事实，也与价值和文化有关。

曹傲能：从科学的角度，我觉得技术的发展有局限性、不可预测性。但世界有它自己的运行规律，不会出现违反自然规律的技术。机器不可能有自主意识。万一发展到机器有可能产生自主意识的阶段，在它有自主意识之前，其实最应该担心的还是控制机器的人。因为意识最终是被控制机器的人控制，而不是被机器控制。

段伟文：以我个人的观点，目前出现的所有机器智能离拥有自由意志还差得很远。图灵测试毕竟只是一种判定机器是否在功能上具有与人类可比拟的智能的解决方案，无法断定机器是否具有自我意识和自由意志。现在责任和法律主体还不能由机器承担。

王国豫：机器对人的控制可以有不同的层级和形式。汉娜·阿伦特区分了三种形式的控制，即统治、暴力和权力。我们今天讨论的机器对人的控制更多的是后者，是机器作为一种权力对人的控制。机器本身并不一定要有自主性。很多时候我们以为是我们在控制机器，实际上，当人被卷到技术系统中去的时候，人处于一种不得不按照机器意志行事的状态，这其实就是另一种形式的“被控制”。另外一种控制是人机结合起来对人的控制。比如一部分精英借助数据控制另一部分人。未来当整个社会系统都被数字化以后，掌握数据的人更有可能利用数据对人进行控制。

曹傲能：这是技术带来的问题。不是人工智能自主地控制人，而是人工智能背后的人，或者是少数人或阶级通过人工智能在控制某些人。

段伟文：马克思曾提出无产阶级化，法国哲学家斯蒂格勒也指出无产阶级化的三个阶段：第一个阶段是机械大工业生产时代，机器取代了人的一般性的功能劳动，致使很多传统工艺消失；第二个阶段是文化工业阶段，机械复制技术带来文化工业的发展，使得人的感性和审美实践被媒介传播所取代；第三个阶段是数据智能的出现，使得人的行为和感知成为计算和操控的对象，因而出现了对人的知性能力的取代。这是不是意味着随着人工智能的发展，很多一般的事情由机器人、人工智能和大数据来做，我们可以做更有意义的事情呢？

王天恩：这些问题需要和生命科学家讨论了。孤立的智能是不可能进化的，通用智能一定是在类中进化的产物。有一个关键问题和生命科学、人工智能密切相关。数据拷贝在计算机中是最基本的操作，在生命科学领域肯定也可以在一定程度上拷贝数据，但拷贝可以做到什么层次呢？据说有实验表明，通过拷贝可以使小白鼠直接获得记忆，没有走过迷宫的小白鼠借助拷贝得到的记忆可以走出迷宫。

曹傲能：我觉得这是不可能的。输入某种物质也许可以让小白鼠学习能力提高，学得更快，但不会让它直接“学会”某种能力。现阶段还不可能在生命体上拷贝知识和意识。现在对记忆的机制都还没有研究清楚。生物的一些简单的感觉目前可以通过某种物质影响或改变。比如某种痛感，可以消除，让你没有这样的感觉。但稍微复杂一些的知识或者是需要通过学习获得的能力是不一样的。

王天恩：是不是涉及社会性内容就不能拷贝？俄罗斯有一个亿万富翁在投资做这个研究，试图把人作为信息体拷贝到网络上，您的判断是这不可能成功？

曹傲能：现在大家比较担心拷贝（克隆）人，其实最多只是生理上的人被拷贝了，社会意义的人无法拷贝，毕竟所有的经历不可能再来一次。同卵双胞胎基因上可能完全一样，但成长的环境不一样，会向不同的方向发展。

段伟文：通过生命、神经和信息科技，能不能制造或拷贝出一个既具有生理意义又具有社会意义的机器呢？有一种可能性是，人和机器逐渐融合。随着人机融合程度的提升，将来可能会有一个“半奇点”，到这一点时，人机智能组合中机器的成分超过了人的生物成分。

曹傲能：这要看怎么判断机器成分超过人的生物成分，若以重量来比较，包括假肢等机器成分的器官以及体外辅助的机器成分很容易超过生物成分。但涉及人的意识相关的关键功能部分，至少在以百年计的时间尺度上我觉得不可能成功。时间再放长一些，如果世界上只存在人工智能，人灭亡了，人工智能知道世界上所有的东西，但是没有人知道它知道，它的存在还有什么意义？它为什么毁灭了人类自己统治世界？这是一个很大的问题。

王国豫：我认为，最终还是取决于我们如何定义人工智能概念的问题。人工智能是算法？还是系统？是人工智能整个的系统，还是包括社会系统？这些问题都值得反思。

曹傲能：人工智能作为肢体、功能的延伸和扩大都有可能，但只是附属于人。大脑的储存机制现在还也不清楚，但肯定牵涉到分子级别、量子效应，这时候，“测不准原理”会起作用，所以不可能完全复制一个成人，甚至若细胞是有意识的单元，那细胞也是无法完全复制的。

王天恩：我们的细胞也在不断更新，这是不是意味着可以根据同样的机制，用数字的方式进行更换？

曹傲能：现在还不可能实现。人工智能和人的智能完全不是一个层面的，只有人才能创制和控制人工智能。所以在科学研究清楚人的记忆、意识等相关机制之前，不可能用数字的方式替换人的记忆、意识等关键部分。目前应用生物技术来改进是有可能的，但生物技术的操作空间以及能够替换的程度也是有限度的。

张新鹏：有个思想实验是借助量子隐性传态，在另外一个地方重新拼出来另外一个我，就是说这个我还在，比如可以用月亮上的物质重新克隆一个我。那个我和这个我是不是完全一样？我是不是以光速跑到了月亮上？这两个我到底哪个是真的我？

王天恩：从哲学角度可以为此提供一些参考，在哲学上看来实际上这是不可能的，世界上不可能有两片完全相同的树叶，也不可能拷贝出另一个你。人有独特的经历，不可能把人的经历、历史和社会关系拷贝到智能机器，人的社会性无法拷贝。

曹傲能：从物质的角度讲，“完全一样”也不可能。为了拷贝张老师，我们需要分析他每个原子的位置，从量子力学角度来说存在测不准，拷贝会干扰他原来的状态。更不用说，在测量过程中，每个原子的位置都一直是在变化中的。量子需要先获取信息再传输信息，但是获取信息需要另外的手段。

张新鹏：这是两个问题，一个是量子通信的问题，一个是量子隐形传态。

曹傲能：这两者是不同的，所以拷贝是不可能的。

张新鹏：隐性传态需要一个传统信道，超光速不现实。存储、记忆还是两个不同的概念。数据可以拷贝，但那是存储，并不是真正的意义转移。自主性、意识、记忆等概念随着历史的进步本身可能会消解掉。这涉及科学方法论的问题，我们现在更愿意把复杂问题分解为基本的概念。

张 川：曹教授说先天的东西可以拷贝，拷贝后生下来的动物或人会具备一些性能，后天学习的东西不可以拷贝。实际上现在的研究发现，有些技能先天不需要学习就可以得到。比如小狗刚生下来，撒尿会抬起脚来，这是本能，像猫就不会做这样的动作。这个记忆怎么遗传下去？这不是通过人工学习。像狼有一个习性，食物富裕的时候它会藏起来，等食物匮乏的时候再去吃。没有母狼教它，这个动作它也会。如果我们可以了解它的方法，把这个先天的习惯做到大脑里面去，后天的学习也可以通过这样的方法来拷贝，这个人就什么技能都有了，可能大学也不用上了，生下来就可以大学毕业了。

王国豫：我们有必要对自主性的概念进行进一步反思。人在技术系统下有多大程度上是自主的？不光是要加上“人机”，还要加上“社会”。一个是单个的人，一个是复数的人。很多时候我们是受了大环境的影响，我是被“裹”着走，别人的决策影响了我的决策，如果我不这样做就被淘汰了。

四、人工智能发展的限度与人类未来

成素梅：智能机器人是介于技术与人之间的一类新生事物，是具有人类功能的非人类的机器，它们不仅会摧毁现有伦理、法律等体系所蕴含的本体论预设，而且将会像多米诺骨牌效应一样，牵一发而动全身，关系到整个思维方式、社会建制、制度安排等一系列变革。面对智能革命的到来，人类应该如何设计未来社会的运行方式？人工智能技术是赋智技术。关于赋智技术的开发应用必须以伦理为起点来进行，技术的智能化程度越高和越尖端，对研发者的伦理和人文素养要求越高。

张新鹏：我们不愿意看到机器对人的统治，但是我们被我们的子孙取代，对此我们不会有任何的不适感。换一个角度想，如果将机器看作是我们的精神后代，这样想我们会有不适感吗？现在“机器恋人”的体验店都产生了，有人可能甘心找一个机器恋人。现在的机器智能是解决封闭性问题，在封闭性的问题里可以找到最优解。但我们希望下一代是开放的，是占据主动权的。

王天恩：未来已来。人机关系如何从合作关系变成融合关系？如何发展人类增强技术？如何维护人的尊严？如何开启新的信息文明？这些都需要对人类未来发展做前瞻性的思考。

张新鹏：这些问题非常好，我觉得分两个层面考虑。“未来已来”是说科技飞速进步会对我们传统的生活和社会结构产生非常大的影响和变动。比如少部分人掌握了资源和主动权，大部分人沦为底层的存在，他们的作用就是给人工智能提供训练数据和标准。但我觉得这过于悲观了，人类还是能够有智慧解决这样的问题。

段伟文：最近，阿里的罗汉堂出了一本题为《新普惠经济》的书，其中一个观点，数字经济的发展降低了技术门槛，可以让更多人受惠，将来人会变得更自由，有更多的时间去创造。但这种理想化的前景究竟是大多数人都可以期待，还是只有少数人才可能拥抱？另外，技术门槛降低本身是不是意味着对人的技能要求降低，这对个人的能力培养带来了什么冲击，对现有的教育体系意味着什么？由此，不得不思考的一个问题是无用阶级的问题。由于人与机器在智能上的复杂分工，多数人很可能不是一下就变成无用阶级，而是有一个变化过程，如果不进行必要的预见和干预，很多人最终有可能通过不断的去技能化而沦为无用阶级。

王天恩：人机融合其实是和社会化有关的过程。某种意义上，人机融合发展到一定层次，会比人的社会性层次更高。刚才伟文从人是“类”的角度观照所有人，而不是一个个单个的人。为什么我们会对产生“无用阶级”的可能怀有忧虑？因为我们是一个“类”。同一个“类”中有相当一部分个体被淘汰，而另外一部分人却得到全面自由的发展，这是不可能的。有人认为人的生物进化不是真正的进化，而是适应环境的演化。而在智能时代，环境是由人选择甚至创构的，人的选择必须考虑所有人的发展。

张新鹏：人类的文明史或科技史就是人类底层能力不断外化的历史。荷马史诗的时代，没有文字全靠背诵。有了文字之后，人不需要这样的记忆力。有了衣服，人的御寒、忍痛能力就退化了。有了计算机和硬盘，我们不需要记那么多的东西了，这是器官的外化。工业时代的机器太多了，人管不过来，催生了自动控制。现代社会信息太多了，人类处理不过来，催生了人工智能。

王天恩：确实，现在人工智能的出现改变了整个的情形。以前我们说不是进化，是演化，是我们适应环境，但现在大数据、人工智能可以塑造我们的环境，我们自己有目的地往某个方向走，这是真正的进化。现在智能算法的发展越来越成为我们切身的环境，“造世”的责任在我们自己身上，特别是人工智能专家身上。因为你在设计智能算法、塑造环境的时候，其实意味着在决定人类往什么方向进化。

张新鹏：我同意王老师的看法，要从系统的角度考虑问题。我对技术发展整体持比较乐观的态度。环境和系统很大一部分是由我们塑造的。现在人工智能技术的一个问题就是“信息茧房”，要知道全面的信息和真正公正的环境是怎样的，而不是被过去的习惯、好恶所束缚。

段伟文：现在的自动化有一个悖论，大多数参与人机协同的人都被隐藏起来了。比方说，像快手、抖音这样的应用，海量的内容必须通过人工智能加以过滤，但人工智能不可能把所有不当内容准确地筛查出来，在实际运行中，往往需要数以千计的视频审核员。马克思在《机器论片断》中曾经指出，自动机器出现以后，人就成为机器的一种延伸。而人工智能时代，人究竟会成为智能机器的什么样的延伸，亟待我们进一步探究。

张新鹏：人工智能的出现使得知识处理的能力被外化掉。什么留给人？创造力、想象力、审美能力，这是现代人的尊严的栖息地。为什么现在感觉到“未来已来”？感觉未来的文明和过去的文明截然不同？根源是人对自身的认识前进了一大步。在人类历史进程中，人的概念也在逐渐的变化中。在智能时代，人具备了自我革新的能力。人类的未来、人类的前景应该是一片光明。

王天恩：如果这番话是做哲学的人说出来，不是十分令人惊奇，但作为人工智能专家，新鹏的观点已经大大超出了技术范围。在人文和科技领域，大家都有一种共同关注，那就是人类的发展前景。在人工智能领域，越涉及核心机制的突破，越不可预期，越是基础的原创越无法预测。我其实很乐观，我的观点和你相似。为什么人类通过身体的延续是自己的延续，而通过创造进行的延续反而不是了？这涉及人类自身的革命。牛津大学、剑桥大学早就成立了人类未来研究院、人类风险研究院，就是因为人工智能可能会给人类带来不可预期的存在性风险。我们说“未来已来”，是因为未来在越来越大程度上压缩进了现在，虽然似乎带有一种科幻色彩，但却是非常实在的。

段伟文：面向科技时代所开启的人类未来，整个人类文明应该开展良性竞赛，哪个文化、哪个民族可以让人更好地发展？大家各自制定方案、彼此竞争，不是比谁坏，而是比谁好。

张新鹏：真正的强者是有主动权的人。将来的幸福生活，不是建立在消耗物质和能源的基础上，而是建立在消耗信息的基础上。这关系到对世界的看法，物质不灭、能量不灭，这是守恒的世界。从热力学第二定律看，将来的世界完全是无秩序的，这是悲观的。乐观的是什么？是关键的物理量还会不断增长，这就是信息，就是秩序，就是智能，这样我们才能有一个乐观的未来。

孙伟平：“物”受到的限制比知识、信息更多，但可以利用知识“创造”物质和能量。

张新鹏：怎样才能把技术的进步导向一个乐观、积极的未来，而不是社会整体的退化？有一个重要的问题需要考虑，就是智能时代的教育。未来很重要的一部分责任就在我们教师身上，我们如何教育下一代？另外，技术进步带来光明的未来是不是有必然性？最终我们有一个什么样的未来？这可能没有唯一的答案，是开放性的。西方传统和中国传统不一样，西方求真，东方求道。道在谁那里，谁拥有未来，这是值得好好探讨的。

王国豫：我们认为“进步”更多的是一个规范性而不是描述性的概念。一般来讲，进步意味着是向好的方向的进展。而有些技术的演化不见得是朝着好的方向发展，因此未必就是一种进步。技术是否必然走向“进步”，实际上这本身是要评价的。关于进步的问题是一个非常重要的哲学问题，也是一个科技伦理问题。

五、科技伦理何为

孙伟平：关于人工智能研究和应用的前景，既有乐观主义的看法，也有悲观主义的见解。一些宏观的涉及人的生存境遇、人和人类社会的前途和命运的问题，目前已经引发了大量的讨论，需要我们从不同学科的角度，包括伦理学的角度，开展深入的探讨。

王国豫：技术和伦理有共同的起源，起初都是为了应对人们对自然或者某种超自然力量的恐惧。随着技术的发展，我们对自然和神秘的超自然的力量的恐惧减少了，但对技术本身的恐惧却增加了。原因是现代技术本身的力量太大了，超出了人们能够控制的范围。尤纳斯把他的责任伦理学称之为“恐惧的启迪”，其实就是因为他看到了现代技术活动是一种系统性的、充满不确定性乃至风险的活动。因此提出技术时代的伦理学必须要考虑到现代技术的不确定性和风险，并在此基础上回应技术带来的伦理难题。

李建会：的确，智能技术和生命科学技术研究和应用中会遇到很多伦理问题，有相当多的问题因为人们的文化传统、价值观念或看问题的出发点不同，人们很难达成一致，结果导致人们在进行伦理决策时，出现两种或多种相互矛盾的行为方案，产生伦理难题。主要原因在于，一是新技术产生新的道德评估对象。像克隆人、基因治疗、基因增强、脑机接口、无人驾驶等等都成为新的道德评估对象。二是文化价值多元性。面对同样一个生物学事实，不同文化背景的人可能给出完全不同的价值、道德判断。三是各种伦理论证理论本身的问题。功利主义、契约论、德性论、道义论等都有自己的理论优势和弱势。现在还没有哪一种伦理观点是所有人都可以接受的。

李 伦：不仅如此，大科学时代，利益冲突也会成为研究者以及相关人员和机构面临的巨大伦理挑战。科学是一种可能带来巨大效益的投资对象。研究者现在身兼很多的角色，这些角色伴随一系列的权利、义务关系，可能发生冲突。什么是利益冲突？国际医学期刊编辑委员会有一个定义，当对主要利益的专业判断可能被次要利益影响时就存在利益冲突。主要利益，比如科学利益、临床试验中病人的利益和受试者的利益，还有科学本身的客观性、真实性等。次要利益，其实就是个人或者机构其他的利益，比如经济利益、非经济利益。

王天恩：科技伦理有一个重要特征，就是针对具体案例。伦理问题不是外在的，而是内生的，这些问题都是难题。科技伦理还有一个重要的特征，它不仅仅是实践和理论结合，而且是实践和理论一体化。李伦教授的观点充分体现这一点，抓住了利益冲突，不仅有操作价值，而且有重要的理论意义。特别是对我国目前的发展，创新驱动机制很值得研究。越是基础的、原创性的研究，越不可能依靠物质利益驱动。

成素梅：说到案例，人的身体某个功能器官失能之后可以用人造器官替换，问题是可以替换到什么程度？我们如何守护我们的身体？人的身体和意识在多大意义上可以改变？技术发展带来的这些问题如何解决？这需要伦理学家来讨论。这个伦理学家肯定不是纯伦理学家，是搞技术的人介入伦理，伦理考量必须成为技术的一部分。

周丽昀：以色列历史学者赫拉利在《未来简史》说过：“治愈和进化之间没有明显的界限”。我们通过生命科学或者是人工智能技术进行生物增强，初衷可能是为了治疗疾病，但万一不小心携带了某种增强记忆或者是增强运动的基因，可能就变成了进化。那么治愈和进化之间的界限在哪里？我们又该怎么办？伦理学家会说，要未雨绸缪，一旦意识到危险再踩刹车就来不及了。科技工作者会说，干就完了，我要做的事情伦理学家不让做，这可能会阻碍科技的发展。

李颖洁：我平时做实验时，会做一些人的生理信号和实验数据的分析。在实验设计环节，我必须要了解与人有关的参数设置，也需要一些数据支撑我的实验设计。我关心的是，预实验阶段是否可以忽略掉伦理审查？我们进行伦理审查的时候要汇报实验方案，但如果这些方案完全是猜想，没有实验依据的话，本身也不科学。这是一种悖论么？

李建会：一般来说，所有的研究和项目在执行之前必须先经过伦理委员会的批准，不然可能会产生问题。

施 鹰：那我们应该如何看待伦理对科技的影响呢？是否有比较具体的伦理规制清单，告诉科学家和工程师，哪些该做，哪些不该做，哪些能做，哪些不能做？

李 伦：伦理委员会有程序性要求和实体性要求，国家规定与人有关的研究需要进行审查。关于动物实验和人体实验，从理论上来讲，保护人类受试者的论证比较简单，因为我们是同类。动物其实非常复杂，为什么要保护动物？理论上有很多取向。目前我们做的动物实验，其实是根据动物福利论，具体而言，就是3R原则。从事科学研究，不仅是从科学角度论证，还要看伦理标准和社会环境。

张新鹏：法律法规规定不允许的肯定不能做。有些事情，没有法律法规规定，是靠科学家的良知来做。这里面不仅有伦理问题，还有国家安全、社会稳定问题。

李 伦：关于伦理问题，我们既要有文化自信，要根据自己的文化背景制定有中国特色的伦理审查方案，同时也不能违反国际共识。有些事情是国际公认有争议的，人体的基因编辑就是如此。目前国际上基本达成共识的是，可以在体细胞上做基因编辑，但不能涉及生殖细胞的基因编辑，这是红线。关于伦理审查，更多是日常伦理，是对现实的、已有的风险进行判断、处理。

王国豫：科技伦理学是一个正在形成中的学科方向。科技伦理更多的是建设性的、积极的，而不是像人们经常误解的那样是阻碍科学发展的。

曹傲能：我们的工作也涉及一些科技伦理，但我们的研究基本是在小动物层面，而动物实验方面的伦理规范比较成熟，争议比较少。那些争议比较大的问题，对科学和哲学研究来说往往都是前沿问题。争议越大的地方机会越多，对科学家、哲学家都是如此。

孙伟平：伦理道德实际上存在着非常强的历史性，是随着实践的发展而不断发展的。随着人形智能机器人的研制，机器伦理很可能会变成现实，就如同今天的动物伦理、大自然伦理一样。今后的机器可不可能有感情、有情绪，甚至和人类建立比猫、狗之类动物更紧密的关系？在智能等方面，智能机器会不会比猴子、猩猩更接近人类？这至少是有可能实现的。那么，随之而来的问题是，机器人有没有权利？机器人保姆、机器人助手之类走进人类的生活，这个问题就变得现实了。哪怕是养一个机器人宠物，你都不“应该”虐待它。例如，能不能让他24小时干活不休息？能不能骂他、打他？如果家里着火了，让机器人去灭火，可能会导致他的硬件受损，这是否可以？这些问题逐渐进入了我们的视野，都需要进行伦理思考、决策，并运用法律，将底线伦理、即不允许做的事情规范起来。

张新鹏：规则太重要了。为什么会有不安全的问题？有三个来源：一是技术本身不完善，有漏洞；二是技术上有霸权；三是对规则的逾越。

周丽昀：就人工智能发展前沿来说，现在的生物识别、人工智能对抗手段等可以用来进行伪造，也可能会造成不良后果，甚至犯错，这个时候应该如何界定技术发展的界限呢？

张新鹏：未来AI的源代码不能随意散发，一方面靠技术限制，另一方面靠法律限制以及科技工作者的良知。无论做科学还是技术研究，我们是站在个人角度，为了发高水平的论文、为了拿诺贝尔奖？还是为了全体人类的福祉去做的？国内也讨论对学生要开科技伦理课，对科技工作者更要强调责任感。在道德水准不足以承载能力给予的重担时，是不是可以暂且退一步？

段伟文：的确，我们现在需要在人才培养上推出根本性的创新举措。具体而言，可不可以在生命科技、信息科技和神经科技等领域的研究生教育中设置生命伦理、信息伦理和神经伦理等具体的科技伦理研究方向，甚至可以像法律硕士、金融硕士那样，设置少而精的专门的生命伦理、信息伦理、神经伦理等方向的科技伦理专业硕士。同时，在大学和研究机构，也应该设置专门的科技伦理研究与审查岗位，让科技伦理研究与实践成为科研工作的有机部分，成为日常科研管理的内在环节。

王国豫：科技伦理规范属于中间层次的规范，应该考虑到如何连接伦理原则和操作层面的规则。伦理原则是抽象的，这些东西如何落地？要在实践中检验。只有这样，才能避免伦理变成“伦理洗衣机”。中国要在科技发展的路上跑得更好、更快，不仅要“勇闯无人区”，还要通过科技伦理的研究、实践，“善闯无人区”。

段伟文：对于科技伦理应该有一个基本的定位，那就是科技伦理不是伦理的分支学科。科技伦理是一类具有家族相似性的问题导向的研究与实践：一方面，它是一系列正在形成的、还没有完善的交叉学科的研究，需要在具体的科技所带来的社会、法律、伦理以及文化冲击的语境中展开深入探究；另一方面，科技伦理的研究与实践越来越需要具体的科学的背景知识和实践的支撑。因此，对科技伦理问题开展研究的主体应该是科技工作者，而不应该理解为科技界有科技伦理方面的需求，所以需要由科技伦理学家来帮他们解决这个问题，而是说，这个问题本身就应该是科学家、工程师自己的问题。因此，将来的科技伦理研究者可能会更多地来自科技共同体，应该成为各个科技领域的一个专业方向。这样一来，科技伦理的研究就成为科研活动的一部分。

张新鹏：科技伦理确实是科技工作者自己的事情。我是做AI安全的，AI可以做好事，也可以做坏事。现在学术界要考虑，如果你的成果是实现某种攻击，那么就要回答如何限制这种技术造成的恶果。这说明科技工作者已经有一种约束和规范。权利和义务对等，技术能力和规范、伦理也要对等，需要对技术自身有一个限制。

段伟文：我们看到，近年来有关人工智能的伦理原则制定了几十套，而且大同小异。仅仅停留在提出科技伦理原则这一阶段，就会成为一种形式上的姿态，成为伦理洗礼。为了克服困境，应该采取两个必要的策略。一是社群共建，即应该超越小的科技伦理研究的学术共同体，走向相关的科技共同体、企业、管理部门和科技伦理研究者所构成的科技伦理共建社群，科技工作者应该在其中发挥主力军的作用。二是将科技伦理原则视为科学研究的假设或零假设，可以通过进一步的研究与实践不断加以修正和迭代。这要求科技工作者真正关心科技活动中的伦理问题，需要更多的科研人员成为科技伦理的内行。

王天恩：我和伟文的想法一致，我比他更极端。从科技哲学走进去，会走向一个新的领域——科技伦理，并且会发现这样一个景观：这既不是传统科技哲学进路，更不是传统伦理学进路，而是走到了新的生长点，必须通过一体化的机制进行研究。人工智能伦理问题不是外在的，是内生于科技本身的。因此，不是说哲学要和科学技术对话，而是科学和哲学越来越一体化，这些问题不是单一学科能够解决的，必须大家共同面对。要避免传统伦理观念妨碍人工智能发展，需要科学和哲学的一体化发展，需要清楚地看到伦理就是科学和哲学一体化问题的内在要素，属于科学和哲学一体化问题本身。

周丽昀：我发现，话题进行到这里，科学家和哲学家已经殊途同归。大家对科学与哲学、科技与伦理的一体化发展深有共识。伦理不是外在于科技的因素，而是本身就应该成为科技发展的一部分，而科技伦理也应该成为科学家、工程师与哲学家共同的事业。这已经超越了学科交叉，达到了学科融合。面对基因编辑、人工智能等新兴科技带来的高度不确定性及其复杂的价值抉择与伦理挑战，单靠科技人员的价值判断和科研机构的伦理认知已难以应对，而亟待整个科技界乃至国家层面的统一认识、动态权衡和规范实践。2019年7月24日，中央深改委召开第九次会议，审议通过了诸多重要文件，排在首位的是《国家科技伦理委员会组建方案》。国家科技伦理委员会的建立是新时代科技伦理建设的里程碑。我们今天的研讨正是在这样的背景下展开并进行了呼应，希望以后有更多的机会进行类似的对话。谢谢大家！