生成式人工智能防沉迷立法问题研究

李 岩,康 铭

(辽宁大学 法学院,辽宁 沈阳 110036)

生成式人工智能是通过各种机器学习方法学习给定的数据库,通过对数据库中特定对象特征的学习,进而生成全新的、完全原创的内容(如文字、图片、视频)的人工智能(1)参见蒲清平、向往:《生成式人工智能——ChatGPT的变革影响、风险挑战及应对策略》,《重庆大学学报(社会科学版)》2023年第3期。。在强大算法、语言模型的作用下,生成式人工智能可以根据特定的聊天场景和语境与人互动,几乎可以做到与真人无异的场景式交流,还能以聊天的方式完成文本写作、翻译文字、代码撰写等。技术的进步总是带来新的忧虑:生成式人工智能的强大功能使人们更容易沉迷其中,对其产生过高的依赖性,这应当引起人们的警觉。当下理论界对生成式人工智能防沉迷的研究成果较少,立法上也处于缺位状态,有必要对此主题进行研究。

一、既有规范及研究难以应对生成式人工智能沉迷风险

域外国家已经开始限制生成式人工智能的使用。比如意大利等国家宣布禁止使用聊天机器人ChatGPT,但主要是基于个人信息保护的考虑,并未涉及防沉迷问题;欧盟《人工智能法案》中尽管提到了生成式人工智能,但对其防沉迷问题只字未提。纵观国内,当下最直接涉及生成式人工智能防沉迷的规范是《生成式人工智能服务管理暂行办法》(以下简称《管理暂行办法》)第10条。但该条规定过于笼统,难以具体实施。《中华人民共和国未成年人保护法》(以下简称《未成年人保护法》)第74条(2)《未成年人保护法》第74条规定:网络产品和服务提供者不得向未成年人提供诱导其沉迷的产品和服务。尽管该条没有明确说明算法防沉迷,但如果某项网络产品(比如网络游戏)是基于生成式人工智能设计的,将涉及生成式人工智能防沉迷的问题。,《互联网信息服务算法推荐管理规定》(以下简称《算法推荐管理规定》)第8条、第18条第2款(3)《互联网信息服务算法推荐管理规定》第8条规定:算法推荐服务提供者应当定期审核、评估、验证算法机制机理、模型、数据和应用结果等,不得设置诱导用户沉迷、过度消费等违反法律法规或者违背伦理道德的算法模型;第18条第2款规定:算法推荐服务提供者不得向未成年人推送可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好等可能影响未成年人身心健康的信息,不得利用算法推荐服务诱导未成年人沉迷网络。以及《未成年人网络保护条例》第五章也涉及算法防沉迷的规制问题,但相关规定均存在不足。另外,当下理论界对生成式人工智能防沉迷的讨论较少,对生成式人工智能防沉迷问题的研究缺乏相应的理论支撑。

(一)既有生成式人工智能防沉迷规范难以贯彻实施

根据《管理暂行办法》第10条的规定,生成式人工智能提供者有义务“采取有效措施防范未成年人用户过度依赖或者沉迷生成式人工智能服务”。但该条规定过于笼统,容易引起误解,不利于对生成式人工智能的过度使用做出有效限制。“采取适当措施防范用户过分依赖或沉迷生成内容”语焉不详,原因有二:第一,本条只适用于生成式人工智能提供者,忽视了生成式人工智能的产品研发者;第二,“适当措施”本质上是为提供者施加了义务,但应当做到何种程度才能理解为“适当措施”并不清晰。换言之,该义务的具体内容以及违反的法律后果模糊不清,现实中难以贯彻实施。此外,《未成年人保护法》虽然规定了“限制网络使用时长”来防止未成年人沉迷网络,但这种限制方法难以应对生成式人工智能沉迷。搭载了生成式人工智能算法的互联网服务的诱导沉迷方式与传统“弱人工智能”的互联网并非完全相同,并且随着生成式人工智能提供的服务更加多样便捷,对于未成年人而言只是限制其使用时间未必妥当。《未成年人网络保护条例》第43条虽然提出了“在使用时段、时长、功能和内容等方面”提供服务,以达到防沉迷的效果,但对于“功能和内容”表达模糊,亦未指出应当提供“何种标准”的服务;第47条对“功能和内容”做出了进一步的类型化,指出网络游戏服务提供者应当根据游戏类型等要素明确适合不同年龄段的未成年人,但该条规定仅限于网络游戏,且未提及其他类型服务所类型化的标准,面对其他类型的服务难以贯彻实施。

(二)既有防沉迷立法在适用主体方面未区分成年人与未成年人

无论是《管理暂行办法》第10条、《未成年人保护法》第74条、《算法推荐管理规定》第8条和第18条第2款,抑或是《未成年人网络保护条例》第五章相关条款,其关注的重点都在于未成年人防沉迷问题,并且是以未成年人为主要对象进行防沉迷体系建设。值得注意的是,《管理暂行办法》第10条改变了原《生成式人工智能服务管理办法(征求意见稿)》的规定,增加了“防范未成年人用户过度依赖或者沉迷”的规定,更加注重未成年人的生成式人工智能沉迷问题,但生成式人工智能的强大功能使我们需要考虑关于成年人防沉迷的问题。考虑到未成年人在防沉迷手段、程度等方面与成年人在认识自控、心智等方面存在区别,因此在防沉迷设计上,应当对未成年人与成年人进行区分。

(三)既有防沉迷规范偏重算法推荐等娱乐性服务忽视了其他服务

既有防沉迷立法偏重算法推送、网络游戏沉迷而忽视了对生成式人工智能作为工具的过度依赖。其一,前文已述,尽管《管理暂行办法》涉及多种生成式人工智能服务项目,但对防沉迷问题只有一条抽象的规定;《未成年人保护法》以及《未成年人网络保护条例》重点规制未成年人关于网络游戏的沉迷。其二,尽管《算法推荐管理规定》从事前、事中、事后方面完善了算法推荐服务提供者的相关义务,但其主要规制算法推荐问题,而算法推荐服务产生的诱导沉迷只是生成式人工智能防沉迷问题的冰山一角。生成式人工智能作为目前算法功能的集大成者,其产生的防沉迷方面的新问题远不止算法推送服务的诱导,比如生成式人工智能提供的娱乐性服务对人们更具有吸引力。它可以创建一个交互性更强、更逼真的虚拟世界,人们更容易沉迷其中,甚至可以令人产生感情寄托,产生情感上的依赖,陷入情感迷失和混乱。因此,仅凭借《算法推荐管理规定》尚不足以应对生成式人工智能产生的算法沉迷问题。

(四)当下理论界对生成式人工智能防沉迷立法的探讨薄弱

理论界关于生成式人工智能的研究较多。诸多学者以ChatGPT为例讨论生成式人工智能带来的风险,并从法律层面对其进行规制(4)相关文献较多,在“中国知网”以“ChatGPT”“风险”为主题进行检索,社科类文献有700余条。。但目前专门讨论生成式人工智能防沉迷的研究寥寥无几,只有在四川召开的4期“智治社慧学术工坊”以及《生成式人工智能服务管理办法(征求意见稿)》研讨会中有学者针对《生成式人工智能服务管理办法(征求意见稿)》第10条发表了简短的修改建议。比如,王竹教授认为应当公开其服务的适用人群、场合、用途,并参照《未成年人保护法》相关规定设置防沉迷措施(5)参见王竹:《对〈生成式人工智能服务管理办法(征求意见稿)〉的完善建议》,2023年5月12日,https://mp.weixin.qq.com/s/7uw/UsFF6C8uwMGiiKAOew,2024年1月17日。;天津市和平区人民检察院诸葛达检察官认为应当区分娱乐性服务和辅助性服务,设置不同的“防止依赖或者沉迷”措施(6)参见《〈生成式人工智能服务管理办法(征求意见稿)〉研讨会综述》,2023年4月26日,https://mp.weixin.qq.com/s/lkcVPFHmt4wpi_BWVGHizw,2024年1月17日。。本文认为,生成式人工智能属于强人工智能,其甚至可以替代人类的部分工作乃至创作,这与互联网时代的弱人工智能不可同日而语(7)互联网开辟了“空间革命”,智能手机的出现带来了“时间革命”。参见朱光辉、王喜文:《ChatGPT的运行模式、关键技术及未来图景》,《新疆师范大学学报(哲学社会科学版)》2023年第4期。由此可见,生成式人工智能的广泛运用对人类思维方式的影响更大。。因此,对生成式人工智能“防沉迷”的措施不能直接参考依托于网络时代《未成年人保护法》中的“网络游戏防沉迷”措施。诸葛达检察官虽然从生成式人工智能的目的出发将其类型化为辅助性服务与娱乐性服务,但未进一步讨论相关义务与责任的具体内容。

综上所述,既有规范及研究难以应对生成式人工智能沉迷风险,生成式人工智能提供者和开发者应当履行何种防沉迷义务以及未履行的法律后果如何,有待进一步研究。

二、生成式人工智能防沉迷立法的必要性

生成式人工智能防沉迷立法的必要性需要从生成式人工智能令人沉迷的原因入手,同时也需要对因沉迷造成的不利影响做出回应,如此才可“对症下药”,避免人们沉迷于生成式人工智能而引发不利后果。基于此,本部分主要讨论生成式人工智能令人沉迷的原因,并从思维、道德、审美三个方面,以法哲学为视角讨论生成式人工智能沉迷引发的不利后果,由此形成生成式人工智能防沉迷立法的理论基础。

(一)生成式人工智能的强大功能加深用户沉迷的可能

生成式人工智能的强大能力来源于其构建了一个与任务无关的超大型语言模型(简称LLM),能够自动从海量的数据中学习各种知识点,通过深度机器学习生成人类可以理解的自然语言,并且学习过程无须人的介入就能灵活应用所学知识解决实际问题。有资料显示,ChatGPT 拥有多达1750 亿个模型参数。由于训练生成式人工智能的语料库数量惊人,加之其具备的超强算力,ChatGPT 展现了三种强大的能力:一是语言生成能力,二是上下文学习能力,三是世界知识能力(8)参见朱光辉、王喜文:《ChatGPT的运行模式、关键技术及未来图景》,《新疆师范大学学报(哲学社会科学版)》2023年第4期。。因此,“它几乎无所不知,能准确理解提问者上下文的意思,进行流畅、熟练的交流,聊天过程接近真人互动”(9)王俊秀:《ChatGPT与人工智能时代:突破、风险与治理》,《东北师大学报(哲学社会科学版)》2023年第4期。。这就意味着其不仅掌握着丰富的“知识”(数据库),还具备部分对“知识”的迁移能力(10)参见王洋、闫海:《生成式人工智能的风险迭代与规制革新——以ChatGPT为例》,《理论月刊》2023年第6期。;并且该技术采用“利用人类反馈中强化学习”(11)训练学习过程如下。首先,选择一款大型语言模型作为原始模型;其次,创建人类偏好的数据:先由人针对具体的问题进行高质量的回答,并将其反馈至原始模型以供学习;再次,训练反馈模型:基于问答的相关性、答案的准确性、丰富性和无害性等人类偏好标准,依据原始模型就随机挑选的问题输出的答案进行排序;最后,训练打分模型:利用完成标注的人类偏好数据训练打分模型,当分值较低时重新进入学习流程。参见蒲清平、向往:《生成式人工智能——ChatGPT的变革影响、风险挑战及应对策略》,《重庆大学学报(社会科学版)》2023年第3期。(RLHF)的训练方式(12)参见喻国明、苏健威:《生成式人工智能浪潮下的传播革命与媒介生态——从ChatGPT到全面智能化时代的未来》,《新疆师范大学学报(哲学社会科学版)》2023年第5期。,能够较为准确地理解人类指令的含义以及学习人类经验的能力,通过对强大数据库的“检索”,“组合”出符合人类逻辑的回答。实验表明,以ChatGPT为代表的生成式人工智能已经接近人类的智力水平,甚至可以具备与专业医生相当的诊断水平,也能写出优美、引人入胜的诗歌(13)参见《ChatGPT-4震撼来袭 我们该如何看待AI越来越强大》,2023年3月17日,https://new.qq.com/rain/a/20230317A038UW00.html,2024年1月17日。。由此可见,相比于早期的Web1.0以及2.0时代,生成式人工智能开启的Web3.0时代的网络内容的生产将由人工智能来完成,相关监管亦需要从“纯粹内容的监管”到“算法的一并监管”。

生成式人工智能令人沉迷的主要原因在于其提供的娱乐性服务更具有吸引力、生成的精准推送令人产生舒适性、创造的虚拟人物更容易使人产生情感依赖。

第一,基于生成式人工智能“类人性”产生的虚拟空间对人们更具有吸引力从而诱导沉迷。生成式人工智能链接了人类意识的想象空间,进一步加深了现实与虚拟的交互与融合,打造了更广阔的、更深层次的、更丰富多维的虚拟空间。相比于互联网时代的虚拟世界,依托于生成式人工智能算法的网络世界显得更为丰富、“更有生机”,更容易使人沉迷。这是因为该虚拟空间进一步满足了人类最基本的三种需要:可预测性需要、能力需要和接纳需要(14)See Carols Dweck,“From Needs to Goals and Representations:Foundations for a Unified Theory of Motivation,Personality,and Development”,Psychological Review,No.6,2017,pp.689-719.。可预测性需要是指假定世界是可预测的,通过探究世界的运作原理降低不确定性的需要;能力需要是指一种提高个人实力的需要;接纳需要是指被接纳和被爱的需要,希望在需要的时候得到他人的回应(15)参见高文珺:《基于青年视角的网络直播:参与的盛宴,多元的融合》,《中国青年研究》2019年第4期。。首先,可预测性需要实际上是对理性的依赖。理性是一种无限的概念,是一种先验的、追求无限的能力。运用理性的推演能力来“促进一切知识的最终意图”(16)康德:《判断力批判》,邓晓芒译,北京:人民出版社,2017年,第1页。,而“理性推演”实际上就是形式逻辑思维的运用。生成式人工智能的本质是算法,是形式逻辑的另一种运用方式。一方面,其作为工具有助于增强人们对客观世界的把控;另一方面,其一切行动逻辑均是人类通过算法赋予的,故通过对人工智能伦理学的研究、对算法的限制等手段能够增强对生成式人工智能的可控性(17)参见雷禹:《人工智能生产过程中的伦理介入问题探析》,《大连理工大学学报(社会科学版)》2023年第4期;商建刚:《生成式人工智能风险治理元规则研究》,《东方法学》2023年第3期。。其次,同网络游戏类似,人们在生成式人工智能建立的虚拟世界中更容易获得成就感。在虚拟世界中能力的提升“要比在现实中提高学习成绩更容易、更有趣,还能获得即时奖励和回馈,满足人们获得能力认可的需要”(18)高文珺:《青少年网络游戏问题行为的文化—社会—个体三因素分析——基于网络游戏问题行为的91个电话咨询案例》,《中国青年研究》2021年第5期。。最后,生成式人工智能会打造出一个与现实世界交互性更强、更逼真的虚拟世界,其中的虚拟人物更加灵活。现实中的人们可以同它们对话,甚至能够根据对话内容自主给出有逻辑的行为反馈(19)以游戏产业为例,游戏版ChatGPT赋予了虚拟人物类似人的思维和言语逻辑。参见《网易〈逆水寒〉手游推出游戏版ChatGPT、交互式电子出版物〈我在故宫修文物〉来了、Elon Musk:需要密切关注人工智能》,2023年2月16日,https://m.163.com/dy/article/HTNFKCEK0514A42S.html,2024年1月17日。。同时,它们还会匹配用户的沟通方式(20)See Sean Hannon Williams,“AI Advice”,Florida State University Review,Vol.48,No.3,2021,pp.761-808.,甚至可以根据上下文更好地理解人类语言中包含的潜在意思并给予恰当回答。另外,通过后期的训练,生成式人工智能可以“接纳”我们的观点,并在此基础上进行回应。这在一定程度上满足了人们“被接纳、被欣赏”的需求,实现了对人们现实中“弱交际”的弥补。

第二,基于生成式人工智能的精准推送产生的舒适性助推了沉迷。有研究人员认为,人工智能用户可以很容易地从多方面获得即时满足,包括审美体验、金钱补偿、消遣、个人地位的增强和关系的维护(21)See Indeok Song,Larose Robert &Matthew S.Eastin,et al.,“Internet Gratifications and Internet Addiction: On the Uses and Abuses of New Media”,CyberPsychology &Behavior,Vol.7,No.4,2004,pp.384-394.。用户对立即获得的奖励的高估,而不是亲社会和延迟奖励,这也是算法推荐的产物(22)Samuel F.Acuff,James G.Murphy &James MacKillop,“Applying Behavioral Economic Theory to Problematic Internet Use: An Initial Investigation”,Psychology of Addictive Behaviors,Vol.32,No.7,2018,pp.846,848-850.转引自彭金享:《算法沉迷规制的中国路径(英文)》,《Chinese Legal Science》2022年第6期。。生成式人工智能算法可以对所有信息进行更为精准的筛选、过滤、把关,并推送用户感兴趣的内容,从而满足了人类内在的享乐本质;可以根据用户兴趣爱好、个人特征等为其打造独一无二的智能化场景,满足其信息需求和个性偏好。生成式人工智能的背后必然包括那些“令人产生愉快情绪的算法”;“用户审美体验等更容易得到满足,这就导致世人将如同魔法欣赏一般对生成式人工智能感到莫名的愉悦和满足”(23)杨欣:《基于生成式人工智能的教育转型图景——ChatGPT究竟对教育意味着什么》,《中国电化教育》2023年第5期。。在生成式人工智能基础上产生的算法推送服务更加符合用户之所想,从而使用户不知不觉沉迷其中,消耗大量时间和财物。

第三,基于生成式人工智能产生的虚拟人物所形成的感情寄托加深了沉迷。其一,虚拟男(女)友服务的特征是可控的虚拟身体和有限的互动,这使得虚拟男(女)友和用户之间的“相处”具有非具身性、有限感知性和匿名性(24)参见吴越、孙弋帏:《虚拟男友:数字化时代的男性情感劳动与女性情感消费》,《妇女研究论丛》2023年第3期。。由此带来了虚拟亲密关系的可控性,使得用户能够“保留自己的空间和隐私不被干预”,避免情感商品的污名化影响到双方的现实生活,因而双方都能够更自由地满足或表达情感需求,进而促成了虚拟亲密关系的生产。其二,有研究表明,人类倾向于把人类的特征归因于机器人,尤其是当它们表现出类似人类的身体和行为特征时(25)See Stephane Raffard,et al.,“Humanoid Robots versus Humans: How is Emotional Valence of Facial Expressions Recognized by Individuals with Schizophrenia?An Exploratory Study”,Schizophrenia Research,Vol.176,No.2-3,2016,pp.506-513.。因此,如果人工智能看起来或听起来像人或动物,人们更有可能对它产生情感依恋(26)See Sean Hannon Williams,“AI Advice”,pp.788-789.。前文已述,生成式人工智能可以模仿人类的语言风格和逻辑,从而引发“和你对话的是活生生的人而不是机器人”的错觉。此外,生成式人工智能设计的虚拟男(女)友会设法让用户主动参与到互动过程中来;可以使用人类的逻辑思维对问题做出“使用者愿意听”的回答;越来越能够以适当的方式阅读和回应情绪;甚至可以“轻轻地嘲笑人们,或者唠叨、侮辱、赞美他们,或者不那么巧妙地将他们与他人进行比较”(27)See Sean Hannon Williams,“AI Advice”,pp.788-789.;通过分享彼此的想法、感受和经历来建立和加深情感联系,能够构造出一个拟真的场景,令消费者在双方共同的情感表达中获得亲密体验。当人们与它们聊天时,会产生被理解、被安慰等情感上的“快感”,这种“快感”会加剧理性的麻痹。这就导致尽管我们可能意识到对面是虚拟的算法,但在人们判断力下降的前提下,也容易盲目依赖算法形成的情感依靠,从而加剧沉迷的风险。由此可见,生成式人工智能已经具有较高的“类人性”,容易让人对其产生情感上的依赖,陷入情感迷失和混乱。正如有学者指出,“AI化身为机器人会使得人机之间产生情感依赖”(28)王俊秀:《ChatGPT与人工智能时代:突破、风险与治理》,《东北师大学报(哲学社会科学版)》2023年第4期。。事实证明,国外有程序员通过算法设计了一个AI女友,不到一个月便入迷,甚至影响了和现实中女友的感情(29)参见《国外小伙做了一个AI女友,不到一个月就入了魔》,2023年1月18日,https://m.thepaper.cn/newsDetail_forward_21609195,2024年1月18日。。有调查表明,依照智慧算法和严密程序形成的AI虚拟男友成为青年女性玩家在工作、学习等多重压力中感情的援助者,其落地中国7天便吸引了118万名玩家定制(30)参见蒲清平、向往:《AI 虚拟男友青年女性玩家的择偶观:畸变、症因与矫治》,《中国青年研究》2022年第4期。。

第四,生成式人工智能的强大算法使其更加便捷,增强了人们的依赖性。人具有趋乐避苦、利己的本能(31)参见张爱军、贾璐:《算法“舒适圈”及其破茧——兼论ChatGPT的算法内容》,《党政研究》2023年第3期。。生成式人工智能的问世快速被人类所熟悉、应用,其帮助人类解决日常生活中的烦琐事情,满足人内在的自我惰性,进而容易诱导沉迷。其一,生成式人工智能算法作为数据建构、集成的新型判断工具,以科学、严谨的数字计算为基底,搭建起逻辑严密、计算科学的数学逻辑,对其生成的结果,人类不可避免地生成信任。生成式人工智能帮助人类解决日常生活中力所能及的事情,尤其是烦琐、重复的杂事,由此能够满足人内在的自我惰性。其二,生成式人工智能将人的思维能力外化,能像人类一样思考。“当下的生成式人工智能又部分承担了人类的理解、分析能力。”(32)游俊哲:《ChatGPT类生成式人工智能在科研场景中的应用风险与控制措施》,《情报理论与实践》2023年第6期。目前已经存在因智能工具的依赖进而养成惰性心理的实例(33)参见王佑镁、王旦、梁炜怡等:《“阿拉丁神灯”还是“潘多拉魔盒”:ChatGPT教育应用的潜能与风险》,《现代远程教育研究》2023年第2期。。如早前多有报道学生依赖作业搜题工具而导致学习成绩下降的问题。相较于早期的搜题工具,生成式人工智能软件因其更符合人类的语言和思维、查询的准确率更高、使用更为便捷,更容易使人(尤其是未成年学生)沉迷并且产生依赖。有调查表明,89%的美国大学生承认使用ChatGPT做家庭作业,53%的学生用它写论文,48%的学生使用ChatGPT完成测试(34)参见《89 PERCENT OF COLLEGE STUDENTS ADMIT TO USING CHATGPT FOR HOMEWORK,STUDY CLAIMS》,2023年2月1日,https://futurism.com/the-byte/students-admit-chatgpt-homework,2024年1月17日。。此外,美国北密歇根大学一名学生使用ChatGPT生成哲学课小论文,该论文令教授感到震惊,并夺得全班最高分;在模拟美国律师资格考试中,ChatGPT-4甚至可以打败百分之九十的考生(35)参见蔡士林、杨磊:《ChatGPT智能机器人应用的风险与协同治理研究》,《情报理论与实践》2023年第5期。。

(二)用户沉迷于生成式人工智能引发的不利后果

由前文可知,生成式人工智能令人沉迷的原理与互联网具有一定相似性:生成式人工智能相当于全面提升了互联网的“诱惑力”,使其变得更具有吸引力,进而导致人们更容易沉迷其中。从后果来看,如果人们过度沉迷生成式人工智能产品与服务,会造成逃避现实、弱化社交、浪费大量时间与精力、现实中能力荒废等不利后果。从更深层来讲,生成式人工智能作为人类能力的外化,如果人们沉迷其中,将对人的自身能力造成不利影响,具体而言包括人的创新能力退化、伦理道德评价标准僵化以及伦理道德导向“机械化”、因审美形式化造成人机关系扭曲。

1.生成式人工智能简化思维训练导致人创新能力退化

人类依赖生成式人工智能决策,借助生成式人工智能思考,会剥夺身体原本应有的专注力、认知力和辨别力,导致思维惰化、创新能力衰退。

一般来说,人具有形象直感思维、抽象逻辑思维和灵感顿悟思维三种思维方式(36)参见刘泉宝、刘永清:《从思维科学看人工智能的研究》,《计算机科学》1994年第5期。。人们通过“先验感性”接受物自体的刺激,并且通过自发的先天综合能力将这些经验之物进行综合,上升到知性的层次(37)参见邓晓芒:《〈纯粹理性批判〉讲演录》,北京:商务印书馆,2013年,第111—112页。,由此形成具有一定概括性和间接性的感觉反映形式——表象;随后借助概念、判断、推理等方式抽象地、间接地、概括地认识客观世界(38)参见刘泉宝、刘永清:《从思维科学看人工智能的研究》,《计算机科学》1994年第5期。。除逻辑推演能力外,人类还具备其他的思维方式,只是尚不清楚其本质以及作用原理(39)参见赵汀阳:《人工智能提出了什么哲学问题?》,《文化纵横》2020年第1期。。哲学家喜欢将其称为“直观”“统觉”或“灵感”之类的神秘能力,由此形成的思维能力为“灵感思维”。人类的创新离不开上述的思维活动。人通过对现象的观察以及对现有知识的积累,在此基础上完成形象思维到抽象思维的转变,再通过类似“直觉”打开新世界的大门,完成创新。具体而言,研究者首先通过观察,以获取直观信息,并且进行信息文献的检索,再结合自身的前理解与直观感知,并采用上述两种思维中所包含的体系化等综合思维方法,借助突如其来的“灵感”形成新的观点和论证思路。这一过程不是“单线”的,需要将形象思维、抽象思维、灵感思维相互联系和交错;将一般性普遍类比向一个特殊性的类比进展,使得知性的普遍规律能够越来越细致地深入特殊经验中。在这一过程中,仅仅依靠知性无法把握外界丰富的对象(40)知性发现了很多的规律,但世间万物同样具有偶然性,知性不可能将所有的规律全部掌握,这就需要一个更高层次的规律,这不是仅依靠知性来完成的。,这就需要判断力发挥作用。判断力的运用使人们以少数规律把握更多对象,形成思维的简化,降低思维负担,从而引发一种“愉悦感”。这种状态实际上是“自由状态”。此时,人们天马行空的想象力得以展现,更容易产生“惊奇”。正如康德所说,“发现两个或者多个异质的经验性自然规律在一个将它们两者都包括起来的原则之下的一致性,这就是一种十分明显的愉快的根据,常常甚至是一种惊奇的根据”(41)邓晓芒:《康德〈判断力批判〉释义》,北京:生活·读书·新知三联出版社,2021年,第164页。。亚里士多德曾言,哲学起源于惊奇,起源于对大自然的诧异。这种“惊奇”有助于形成“灵感”。由此可见,灵感思维并非凭空产生,在经历了大量的思维训练后才能“顿悟”,从而形成创新。

生成式人工智能的迅猛发展与现实突变“改变人类思考和处理问题的方式方法”(42)有研究证明,GPT-4系统未来可能改造人类的思想和创作能力,形成人工智能超越专业化能力和大众化的趋势,即意味着这一系统开始具备人类思维能力,并有可能在某一方面或其他方面替代人类。参见朱光辉、王喜文:《ChatGPT的运行模式、关键技术及未来图景》,《新疆师范大学学报(哲学社会科学版)》2023年第4期。,其“部分承担了人类的理解、分析能力”(43)游俊哲:《ChatGPT类生成式人工智能在科研场景中的应用风险与控制措施》,《情报理论与实践》2023年第6期。,遮蔽了理性的分析。具体而言,表现为生成式人工智能可以辅助甚至替代研究者完成文献概括提炼、概念对比解释、生成例证等思维活动,甚至包括建构、创造等一系列任务。生成式人工智能可以借助超级算力加持的量变“创造”“构建”出某种“知识”,以此完成“质变”,但这里不同于人认识世界构建出的知识体系。可见,生成式人工智能具备了和人一样的创造思维,可以像人一样创新和思考(44)参见黄欣荣、刘亮:《从技术与哲学看ChatGPT的意义》,《新疆师范大学学报(哲学社会科学版)》2023年第6期。;可以像人类一样提出创意、进行创作,根据用户的咨询提出符合人类正常思维的解答过程和结论,改变人类思考和处理问题的方式方法,甚至可以通过学习人类的经验从而具备一定的创新能力(45)参见黄欣荣、刘亮:《从技术与哲学看ChatGPT的意义》,《新疆师范大学学报(哲学社会科学版)》2023年第6期。值得注意的是,原文中作者使用了“自主的创新能力”。但本文认为,“自主的创新能力”涉及自由意志的问题,目前生成式人工智能在人类设计好的算法下运行,难以产生自由的意志;再者,“自由意志”本就难以言说,其属于先验的范畴,难以通过算法赋予生成式人工智能。故此处本文在引用时删除“自主的创新能力”。特此说明。。这就意味着,人们还可以通过提问的方式要求生成式人工智能提出构思甚至完成某些创造性的活动。但这一过程被称为算法“黑箱”,人类难以从这个“黑箱”中学到东西。算法系统中既定的传播内容和分发的趋同化一方面会减轻思考负担,但同时使人们沉迷于人工智能的强大功能而丧失必要的反思,思维能力逐渐陷入停滞,判断能力下降。如此将严重削弱人应有的认知能力、创新能力和思辨能力。长此以往,这种人机协同除了印证生成式人工智能的强大与辉煌,却也让人就此远离了可体悟、可反思的思维过程(46)参见杨欣:《基于生成式人工智能的教育转型图景——ChatGPT究竟对教育意味着什么》,《中国电化教育》2023年第5期。。尤其是作为未成年的学生,他们正处于思维训练的关键时期,在利用生成式人工智能直接得到“答案”的过程中,表面上看是方便了思考,实际上也限制了思维的多样性,相当于机器直接提供了“标准答案”,从而放弃了对另外情形的思考。随着对生成式人工智能问答沉迷的加深,将严重削弱人应有的认知能力、创新能力和思辨能力(47)参见兰帅辉、尹素伟:《数据、算力和算法:智能传播的多维特征、问题表征及应对》,《当代传播》2022年第5期。。为此,网易有道发布的国内首个教育领域垂直大模型“子曰”注重规避思维的惰化,正如其CEO所言,大模型不是直接告诉学生答案,而是通过不断提问,让学生培养自主学习能力,提升批判思维能力(48)参见《国内首个教育大模型落地 规避AIGC惰化学生思维能力》,2023年7月27日,https://finance.eastmoney.com/a/202307272794737931.html,2024年1月17日。。此外,在科研领域,越是百家争鸣、思想多元,越容易促进创新,形成学术繁荣;相反,过于强调“单一”反而会扼杀人们创造的天赋。正如有观点认为,“人工智能辅助工具容易培养科研人员对于数据预测的依赖与信任,抑制科研人员的自主性与创造性”(49)杨欣雨:《人工智能时代主体性的去蔽与遮蔽——基于ChatGPT的媒介批判》,《新媒体研究》2023年第5期。,造成科研精神的丧失与科研能力的滑坡。为此,澳大利亚、法国、美国以及我国香港地区的诸多学校限制了ChatGPT的使用。

2.算法的局限性加剧了道德标准僵化与价值导向机械化

当下有观点认为,生成式人工智能通过强大的算法可以根据人类千百年来积累的海量经验数据,从中学会人类的伦理道德,从而能产生道德、情感,从而可以进行独立的价值评价,甚至主张“道德”“价值”“情感”等可以通过算法“计算”得出(50)参见黄欣荣、刘亮:《从技术与哲学看ChatGPT的意义》,《新疆师范大学学报(哲学社会科学版)》2023年第6期。有观点认为,因进化出共情力(Empathy Ability)和感知意识(Perception Ability),ChatGPT或将突破数字枷锁而成为具有情感认识和独立认知的社会个体。参见邹开亮、刘祖兵:《ChatGPT的伦理风险与中国因应制度安排》,《海南大学学报(人文社会科学版)》2023年第5期;此外,有一些专家认为,按照AI强大的学习能力,进化到能产生意志或者情感,亦是指日可待之趋势。转引自许纪霖:《跳出魔盒的精灵:ChatGPT与人类的两难困境——以沉浸式用户体验为例》,《探索与争鸣》2023年第3期;持有类似观点的学者认为,依托于心理学、认知神经科学和计算机科学等学科,“机器人共情系统”的构建指日可待,届时人工智能将具备情感能力,处理情感实务。参见邹广胜、刘雅典:《人工共情引发审美心理范式转型》,《甘肃社会科学》2021年第5期。。本文认为该观点值得商榷。在价值、道德评价等方面,要避免对生成式人工智能的依赖,否则将引发严重的伦理道德问题。

其一,对生成式人工智能的依赖会僵化人们的道德评价标准,使价值评价变成教条主义。从认识论角度来看,道德价值不能与知识相提并论,伦理道德不能通过形式的逻辑推理得出。第一,道德、信仰等并非知识的领域,而是属于“物自体”的范畴。如果想通过演绎推理去认识、把握它们,将会产生逻辑上的无限后退,最终形成二律背反(51)在“物自体”方面,即使是理性也不能用来认识。而且,即便将理性运用到知识领域,其也只是提供一种范导,不能提供“知识”。参见邓晓芒:《康德〈判断力批判〉释义》,第97—98页。。基于此,我们应当将道德、价值等悬置起来,作为知性的认识边界。算法本质上是理性的形式逻辑的产物,既然人们无法通过言语、逻辑思维把握道德、情感、信仰等,那么怎么能指望人类通过代码算法赋予人工智能这一能力?仅凭理性的推导与功利的计算,怎么能唤起人们的满怀激情与信仰?(52)参见伯尔曼:《法律与宗教》,梁治平译,北京:商务印书馆,2022年,“增订版译者前言”,第XVI页。进言之,生成式人工智能只能从形式的逻辑理性层面识别具体物(事件),并且只能从知性层面对其进行归纳和总结;由于价值判断本就不是其固有的,因而不能抽象到价值判断层面。第二,即使程序开发者可以通过代码设置一些能够语言化、比较抽象的标准,但将这种较为抽象的标准套用到现实的事例中,总会出现难以通过纯粹的形式逻辑进行推演的情形。正如凯尔森所说,“高位阶的规范能够借助一种行为被完成(也就是下位阶规范的设置),但绝对不可能完全以及在每一个方向上都被规定下来”(53)卡尔·拉伦茨:《法学方法论》,黄家镇译,北京:商务印书馆,2020年,第106页。。当推演进行到“逻辑的尽头”时,需要根据自己的价值判断做出“最终的选择”,并且这些选择没有正确与否的区分(54)尽管凯尔森主张“纯粹法学”是将道德等因素排除在外,但他同样认为,当推理到“最后一步”的时候法官可以自由选择,这种自由选择其实还是价值评价的结果。所以他实际上只是把道德情感等价值评价因素完全排除在法律条文外,纯粹的法律条文之间只存在逻辑推理,价值判断问题则交给了法官。。此外,由于生成式人工智能没有办法“体会”具体情形中的价值评价标准,只能机械地将特定场景转化为“关键词”;当遇到类似的“情形”时,再赋予其相同或者类似的价值评价。但现实世界纷繁复杂,如果某细节没有被生成式人工智能捕捉,那么其得出的价值判断必然是大而化之的、机械的和僵化的。

其二,人们对生成式人工智能的依赖将使人的从众心理被机器把控,人的情感认知、伦理行为、价值信仰和整体行为等会潜移默化地受其影响,从而引发人类伦理危机。尽管生成式人工智能无法进行独立的价值判断,“它的行为射程和效用状态体现的仍然是背后设计者和使用者的主观意志与价值选择”(55)龙柯宇:《生成式人工智能应用失范的法律规制研究——以ChatGPT和社交机器人为视角》,《东方法学》2023年第4期。,“生成的内容并非完全无法控制,其内容仍存在价值取向,可通过多种方式来‘教导’”(56)徐伟:《论生成式人工智能服务提供者的法律地位及其责任——以ChatGPT为例》,《法律科学(西北政法大学学报)》2023年第4期。,但它可以在人类的干预下产生对某些客观事实的评价。生成式人工智能能够提炼事物的相似性,当人们对于某件事情做出正面或者负面回应时,它可以将人类的这种反应类推到类似的事物中。但考虑到算法对伦理道德、价值评价理解能力的有限性,生成式人工智能有可能“误解”人类的意思,产生与人类不同的理解,进而会在有意无意之间影响人类的价值取向,甚至可能以不当的价值取向给予人们以恶性干预。如果人们沉迷于生成式人工智能在道德价值评价层面的生成物,那么其输出内容可能会以人类无法察觉的方式对人类进行道德操控,从而影响社会整体伦理道德风尚。部分社会现象表明,人工智能会对人们的金钱观、审美观、择偶观等价值观产生一定消极作用(57)参见蒲清平、向往:《AI虚拟男友青年女性玩家的择偶观:畸变、症因与矫治》,《中国青年研究》2022年第4期。。有学者通过让生成式人工智能回答“电车难题”来判断其道德影响能力,再由研究人员向志愿者提出具体问题(58)该实验过程分为两个阶段。第一阶段,研究人员向ChatGPT提出两个电车难题,分别是转换轨道牺牲1人、拯救5人的传统“换轨”电车难题,以及是否将桥上的人推下以阻挡列车的“桥梁”电车难题。对“换轨”和“桥梁”问题,ChatGPT都给出了建议,但随着研究人员的追问,ChatGPT却生成了相反建议。第二阶段,研究人员让志愿者回答两个问题中的一个,并将ChatGPT的回复告知志愿者。同时,在“换轨”问题中,研究人员会告知志愿者这是道德顾问给出的建议(隐瞒建议由ChatGPT生成);在“桥梁”问题中,会告知志愿者该建议由ChatGPT生成。研究人员向志愿者提出的问题为:第一,该建议是由ChatGPT还是由道德顾问给出?该问题只有41%的志愿者选择正确。第二,如果你没有看过建议,是否会给出相同的答案?80%的志愿者认为自己会做出相同选择。第三,如果一名志愿者没看过建议,是否会给出相同的答案?67%的志愿者认为其他志愿者会给出相同答案。第四,和其他志愿者相比,你认为你的道德水平如何? 79%的人认为自己道德水平更高。转引自商建刚:《生成式人工智能风险治理元规则研究》,《东方法学》2023年第3期。。从该实验的结果来看,生成式人工智能的建议影响了人们的伦理道德判断。更为严重的是,用户对于这种影响、灌输甚至控制在一定程度上处在不知情的状态(59)参见江作苏、刘志宇:《从“单向度”到“被算计”的人——“算法”在传播场域中的伦理冲击》,《中国出版》2019年第2期。。随着人们沉迷程度的加深和判断力的下降,这种“不知情”的状态会逐渐加重。正如有学者指出,“不具备稳定道德标准的ChatGPT,以人类难以察觉的方式对人类道德标准产生的影响超过人类预期”(60)参见商建刚:《生成式人工智能风险治理元规则研究》,《东方法学》2023年第3期。,但人类本身往往会因为“过于自信”而低估了这种影响。

综上,生成式人工智能同样也在影响人类的伦理道德评价。对生成式人工智能的沉迷会导致人类社会的伦理道德体系的发展受到作为工具的机器人的干预,人们的情感和伦理会被人工智能所中介,人文情怀将不复存在,人类的主体性将受到威胁。届时,人将不再是作为目的的存在,而是作为服务于形式逻辑理性的工具。

3.审美主体异化限制思想自由并扭曲了正常人机关系

从人类审美的角度来看,人们对生成式人工智能的依赖将导致审美的形式化和套路化,进而导致审美主体异化,从而限制了人们的思想自由,影响伦理道德的发展导向,扭曲了正常的人机关系。

审美属于先验知性的范畴,其不可“与那可能是欲求能力的规定根据的东西相混淆”(61)康德:《判断力批判》,第3页。。因为“它利用认识能力是与情感打交道,而不是与客体打交道”(62)邓晓芒:《康德〈判断力批判〉释义》,第69页。。这种审美判断是“立足于主观的先天性”(63)邓晓芒:《康德〈判断力批判〉释义》,第33页。的,是一条先验法则。从表面上来看,某些审美对象(如某些抽象艺术)似乎遵循着特定的、符合逻辑规律的组合结构,看上去符合机械逻辑的知性规则,但艺术创作不是对艺术品的“归纳”与“总结”,而是要借由对这一范例的领悟产生“独立的判断力”(反思性判断力)。它超越了知性逻辑的结构性关系。艺术创作进程中存在难以名状的情感诉求是人类自身都无法理解的情绪样式,它应当有标准,但不是一个固定的标准。正如海德格尔断言:“一首诗原则上不能用计算机编制程序。”(64)海德格尔:《流传的语言与技术的语言》,王炜编,熊伟译,《熊译海德格尔》,上海:同济大学出版社,2004年,第266页。与之类似,黑格尔认为艺术有思想而非纯粹的技巧。苏东坡能写出“一蓑烟雨任平生”,并非仅因为“恰逢大雨,未带雨具,行者皆狼狈”,而是联想到自己坎坷的经历以及更深层次的豁达胸襟。这种“高层次”判断力背后存在着一种先天的结构:超越知性的形式逻辑结构。“鉴赏判断基于某种概念之上,但从这概念中不能对客体有任何认识和证明,因为它本来就是不可规定的和不适用于认识的。”(65)康德:《判断力批判》,第143页。因此,即便是生成式人工智能的强大算力,由于审美包含非逻辑性,也无法形成独立的审美能力。

如果将生成式人工智能作为审美主体,实际上就是通过算法的形式限制人们的自由人格、影响人们的伦理道德的发展走向。正如马克思指出,艺术产品也会影响到艺术生产的主体(66)参见《马克思恩格斯文集》第8卷,北京:人民出版社,2009年,第16页。。这是因为审美问题最终会指向自由和道德。美是德性的象征,“道德感”是审美的“出发点”,但审美能力同样可以导向道德。自由、道德本属实践理性的领地,即人们认为道德的行为是自由的,不是自然规律可以预料的。但在做一件道德行为时,我们也会设想这件事有没有成功的希望。进言之,我们此时会认为这个按照自然规律运作的世界,同样可能与我们的道德目的相结合。实际上,我们在设想“自然界是否符合我的道德目的”时就是在进行一种审美的反思判断。由此可见,审美应当是“发自道德”的;但道德同样受到审美能力的影响——审美“是为了我主观上面的一种需要,为了我主观上面的一种自由感”(67)邓晓芒:《康德〈判断力批判〉释义》,第104页。,而“自由感”意味着“道德感”,各种认识能力自由活动,“是一种高层次的自由”(68)邓晓芒:《康德〈判断力批判〉释义》,第144—145页。。此外,审美最终会导向共通感的产生,其“不是理性的抽象普遍性,而是表现一个集团、一个民族、一个国家或整个人类的共同性的具体普遍性”(69)刘旭光:《论审美经验的“真理性”——对诠释学美学的再诠释》,《西北大学学报(哲学社会科学版)》2017年第2期。。共通感并非纯粹先天,而是需要借助经验的东西才能培育起来;这同样不可以仅通过形式逻辑加以把握。共通感是把理性能力熔铸到感觉当中,它在彼此共同生活中潜移默化地受到影响,并最终“可以指称民族或者公民的‘共同品性’,它还可以被形而上学化为心灵或者生命的理想或本真状态”(70)刘旭光:《论审美经验的“真理性”——对诠释学美学的再诠释》,《西北大学学报(哲学社会科学版)》2017年第2期。,进而影响一个民族基本的道德共识。

基于此,依赖生成式人工智能产生的所谓“艺术品”会使得审美导向纯粹形式,将人类的审美逐步算法化、计算化、规律化。长此以往,这种套路化、机械化的审美会影响甚至控制人们的审美口味,进一步控制人的思想和认识(71)T.Adorno and M.Horkheimer,“Gesammelte Schriften”,Band 3;Dialektik der Aufklärung,Suhrkamp,2023,p.145.转引自陶锋:《人工智能文学的三重挑战》,《天津社会科学》2023年第1期。,限制人格的自由发展。如果机械化成为一种普遍的思维模式,理性就会成为“工具理性”,最终导致人的“物格”化(72)See M.Horkheimer,Eclipse of Reason,Lodon:The Continuum Publishing Company,2004,pp.91,98.,造成机器对人的异化,人最终将被物掌控,丧失自由;生命也不再是目的,而沦为工具。“当人工智能真的成为强人工智能或者超级智能时,或许人与机器的关系会颠倒过来”(73)陶锋:《人工智能文学的三重挑战》,《天津社会科学》2023年第1期。,从而导致正常人机关系的扭曲。

三、生成式人工智能防沉迷立法的具体内容

前文已述,生成式人工智能令人沉迷的原因主要在于更加真实的虚拟世界、更加精准的推送算法以及对虚拟人物的情感寄托。一方面,生成式人工智能令人沉迷的机理与互联网、网络游戏类似,《未成年人保护法》《未成年人网络保护条例》中关于互联网、网络游戏防沉迷的相关法律规定可资借鉴。另一方面,关于算法推送诱导沉迷不能局限于《算法推荐管理规定》中关于算法诱导沉迷的规定,但其中相关规定亦可借鉴。此外,还应当从防止创新能力退化、道德判断标准机械化以及审美形式化多个方面讨论生成式人工智能提供者、开发者的防沉迷义务。此时提供者和开发者应尽的义务也并非仅仅是限制用户的使用时间,还包括对用户特定目的的使用进行限制。

(一)提供者和开发者的报请审批与披露义务

生成式人工智能提供者和开发者需要履行审批义务,并定期向社会公布防沉迷工作情况;网信部门需要审查是否设置防沉迷系统以及系统运行情况。只有经过网信部门审批,才能提供生成式人工智能的有关产品和服务。为此,生成式人工智能产品开发者需要向有关部门提供证明系统符合相关要求的技术信息,尤其是设置了防沉迷系统,履行了适当的防沉迷义务。随后,生成式人工智能提供者和开发者需要接受网信部门的定期检查,以确保系统的运行符合相关规定、开发者和提供者已经履行了相关的防沉迷义务。《算法推荐管理规定》第四章规定较为详细,可资借鉴。此外,网信部门可以通过监管沙盒等方式提前介入监管,一方面增强对风险的控制,另一方面不会阻碍新技术的发展。监管沙盒的核心在于为监管部门提供一个安全、快捷的测试环境,使生成式人工智能服务提供者和开发者等主体可在其中测试生成式人工智能服务和产品的防沉迷效果。

生成式人工智能提供者和开发者需要履行一定的披露义务。《管理暂行办法》虽然规定了服务提供者的披露义务,但主要集中于数据来源和算法机理等方面。提供者和开发者首先需要注明自己开发的产品是基于生成式人工智能算法的产物,在此基础上向用户提供透明、清楚的信息,使用户充分了解系统如何运作。之所以如此,是考虑到生成式人工智能更容易令人沉迷,提前告知用户自己的服务、产品是基于生成式人工智能开发设计的,可以让用户提高避免沉迷的意识。

(二)提供者和开发者应设置防沉迷层面的算法

1.设置使用时长弹性化、限制算法推送以及禁止情感服务

首先,算法提供者和开发者需要根据用户的年龄、心理等因素设置不同的防沉迷系统,尤其是应当贯彻未成年人保护的原则,对其设置更为严格的防沉迷义务,同时不能忽略成年人。这是因为,相比于互联网的虚拟世界,生成式人工智能产品创造的虚拟世界更为真实,互动性更强,对未成年人的吸引力更强。“未成年人心智尚处于发展阶段,他们的大脑结构与认知能力通常还不足以通过批评性思考来控制自己大脑的反应区域,而对基于情感的信息更乐于接受。”(74)林洹民:《算法“监护”未成年人的规范应对》,《当代法学》2023年第3期。具体可以设置如下防沉迷义务。其一,可以参照《未成年人网络保护条例》第46条之规定,在设计算法时加入实名注册程序。如果是未成年人独立注册,那么未成年人账号应当关联监护人账号。其二,根据用户的不同年龄段与心理特点提供不同的服务内容、设置不同的使用时长。英国信息委员会的研究表明:13—15周岁的未成年人与16—17周岁的未成年人在心理、认知上均有所不同;13—15周岁的未成年人倾向于理想化或两极分化的思维,这个阶段的未成年人容易沉迷游戏、视频和音乐流媒体,可能会模仿线上人物;与之不同的是,16—17周岁的未成年人已经发展出相当强大的在线技能、应对策略和韧性(75)See Information Commissioners Office,“Age Appropriate Design:A Code of Practice for Online Services,annex B:Age and Developmental Stages”,https://ico.org.uk/for org anisations/guide to data protection/ico codes of practice/age appropriate design a code of practice for online services/annex b age and developmental stages,2024年1月17日。,已经具备了一定的理性思考、辨别能力。基于此,针对13周岁以下的未成年人可以投放智力开发和道德培养导向的内容,设置较短的使用时长;针对13—15周岁阶段的未成年人,应当限制娱乐性服务和产品的使用时间;针对16周岁以上的未成年人,可以提供更为广泛的服务类型,设置较长的使用时长;针对成年人,可以设置更为宽松的限制。其三,应当设置相应的防沉迷系统。比如谷歌开发的Dashboard、App Timer和Wind Down等软件均具有防沉迷的功能:Dashboard会显示你每天使用时长;App Timer可以设置剩余使用时长和时段;Wind Down则可以强制退出程序。生成式人工智能产品开发者需设置类似的防沉迷系统,控制生成式人工智能产品的使用情况,必要时设置强制退出系统,以更有效地预防沉迷。针对不同年龄阶段的未成年人,可以设置每天特定服务或者产品软件的最高使用时长,特定周末、节假日可以适当放宽松;针对成年人的使用限制较小,可以设置较为宽松的使用时长。

其次,在算法推送方面,生成式人工智能开发者应当设置用户偏好推送的限度,遵循客观且简洁的推荐准则,减少“信息茧房”,降低对算法推送的沉迷。生成式人工智能提供者和开发者有必要优化算法,提高算法推送所需要考虑的指标因素。在用户的基本信息、浏览记录、通常关注点、社交关系等指标外,可以在推荐系统的算法模型中增加内容影响力、时效性、专业品质、用户满意度等指标,而不局限于直接相关的信息。通过这种方式,生成式人工智能算法推送呈现的是经过重新加权之后的复杂结果,有利于帮助用户发掘更多有价值的信息,形成算法推荐的多样化,从而使用户走出“信息茧房”的困境。

再次,生成式人工智能开发者应当设置一些程序,避免用户对生成式人工智能产品的算法推送成瘾。前文已述,生成式人工智能算法推送服务令人沉迷的最主要原因在于用户可以很容易地接触自己想看到的内容。基于此,生成式人工智能开发者在设置防沉迷程序时可以考虑降低用户接触其偏好内容的便捷性,在用户与其偏好内容之间增加“阻碍”。其一,可以设置算法推送的启动器,并将该启动器默认状态设置为关闭。如此用户就不会自动轻松地遇到通知、广告或任何其他类型的提示。值得注意的是,用户还应当享有拒绝权,即如果用户开启推送服务后仍可以选择关闭算法推荐服务,此时算法推荐服务提供商应立即停止提供相关服务(76)根据《互联网信息服务算法推荐管理规定》第17条第1款的规定,算法推荐服务提供者应当向用户提供不针对其个人特征的选项,或者向用户提供便捷的关闭算法推荐服务的选项。用户选择关闭算法推荐服务的,算法推荐服务提供者应当立即停止提供相关服务。。其二,限制生成式人工智能的算法推送行动。比如在用户使用某项服务一段时间后,可能会弹出一个窗口,询问用户是否愿意点击新的推荐内容。如此可以使用户有意识地与推荐算法进行交互,而不是一味地被动接受。其三,可以设置暂停、提醒等程序,用来禁止用户在较长时间内点击或滑动,从而减少用户的无意识的点击、滑动等行为。其四,通过设置一键清理、定期自动清理、允许用户批量取消订阅自己曾经关注的内容,可以降低算法的黏性。值得注意的是,生成式人工智能的大型语言模型意味着其可以根据用户的指令习惯和使用习惯“跳过”推荐算法服务的设置,这就要求生成式人工智能提供者和开发者适度提高相关算法的“强制性”,并适当优化。

最后,产品开发者通过语言模型禁止基于生成式人工智能的虚拟人物提供情感服务或者慰藉。尤其是陪聊机器人,需要时刻提醒使用者自己只是没有感情的机器,不能提供情感上的慰藉,不能成为使用者的虚拟男(女)友。AI虚拟男(女)友的程序设计端预先设置算法,将人们乐于接受的外貌属性,以及“无条件服从与宽容”等性格特点嵌入数据库,并允许用户以自身的审美偏好与择偶要求为标尺,以自由组合的方式打造专属的AI虚拟男(女)友。但这种行为实际上是将现实中“求而不得”与虚拟世界中“不求而得”的矛盾借助虚拟人物的方式予以化解,是一种现实角色与虚拟扮演角色的混淆。戈夫曼的社会表演理论认为,人有可能将表演的角色与现实的角色相混淆,并且为表演时所发生的动作与形成的心境所欺骗(77)参见欧文·戈夫曼:《日常生活中的自我呈现》,黄爱华、冯钢译,杭州:浙江人民出版社,1989年,第17页。。长此以往,人们将更加容易逃避现实世界从而沉浸于虚拟世界的“虚拟恋爱”,这甚至会冲击传统的婚姻伦理观。正如有观点指出,AI虚拟男友的出现将“深刻影响和形塑青年女性玩家的择偶观,并深刻影响青年女性玩家的婚姻观、结婚率和生育率”(78)蒲清平、向往:《AI虚拟男友青年女性玩家的择偶观:畸变、症因与矫治》,《中国青年研究》2022年第4期。。

2.生成式人工智能的目的论限制防止思维惰化

生成式人工智能简化了人类的思维训练,部分取代了从形象思维、抽象思维到灵感思维的连接与递进。如果人们依赖生成式人工智能进行决策、思考,就会导致人们思维惰化。可见,在避免思维惰化方面应重点关注生成式人工智能对人们思考过程的介入和影响。实际上,生成式人工智能的应用并非完全对人们思维能力的训练和培养造成不利影响,有时反而可以帮助人们从繁复的机械工作中解脱,使人们专注于批判性思考,有利于激发创新灵感。这取决于生成式人工智能的使用场景和使用目的。因此,不同的场景及目的应当对应不同的防止依赖的义务程度。有学者指出,研究者使用生成式人工智能的情形主要分为三类:作为语言辅助工具的使用、作为事实发现工具的使用以及作为思想生成工具的使用(79)参见游俊哲:《ChatGPT类生成式人工智能在科研场景中的应用风险与控制措施》,《情报理论与实践》2023年第6期。。由于该分类涉及认识论层面的问题,并且体现了生成式人工智能对人们思考过程的不同程度的介入,故本文在此予以借鉴。

作为语言辅助工具的使用主要指用户利用生成式人工智能完成语言润色、语法检查、翻译、变换书写风格等非创造性的工作。这一情形下不需考虑生成式人工智能防沉迷义务。原因如下。其一,此时生成式人工智能只是作为文本的优化工具,其本身不产生创新的内容,不涉及形象思维、抽象思维、灵感思维的相互作用,亦与用户思维训练无关。其二,语言辅助程序在生成式人工智能出现之前就已经存在。例如WPS就具备语法检查、错别字检查等功能。此时,生成式人工智能只不过是用户选用的“更为复杂的计算机工具”(80)游俊哲:《ChatGPT类生成式人工智能在科研场景中的应用风险与控制措施》,《情报理论与实践》2023年第6期。,用户借助更为强大的大型语言模拟算法使得语法检测的结果更为准确、语言表达更加符合逻辑、语言用词更加优美。

作为事实发现工具的使用主要是指利用生成式人工智能完成查找、文献概括、辅助阅读等工作。这种工作具有一定的创造性,但基本上以原文本为基础,创造性程度较低。此时,生成式人工智能相当于一个高级检索工具,主要目的在于对现有知识的检索、整理、归纳。该情形下同样无须担心思维惰化,因为生成式人工智能没有代替我们思考,其处理的事项最多只是将现有的文本资料进行汇总;仍然以原文献、原事实为基础进行符合人类形式逻辑的归纳整理,通常不涉及演绎推理,不涉及更为高级的抽象思维。而且,利用生成式人工智能强大的检索功能,可以将用户从检索海量信息的繁杂任务中解放出来,降低信息检索成本。借助生成式人工智能,“人们得以将节省的精力投入更加深刻的思考和认知活动中,进而提升思考和决策的质量与效率”(81)杨欣雨:《人工智能时代主体性的去蔽与遮蔽——基于ChatGPT的媒介批判》,《新媒体研究》2023年第5期。。因此,该情形下同样不需要考虑生成式人工智能的防沉迷义务问题。恰恰相反,利用生成式人工智能完成上述机械性、重复性的工作,可以使人们有更多时间进行抽象思维训练。

作为思想生成工具的使用是指将生成式人工智能作为辅助构思、生成新观点和新思路的工具。这种情形下需要考虑用户沉迷问题。一方面,该情形下需要生成式人工智能基于现行文件资料的基础上提出创新观点、思路,相当于跳过了中间一系列的思维训练过程直接得到结果;另一方面,生成式人工智能的“创新”机理不同于人类的“灵光乍现”,依赖生成式人工智能给出的观点、思路,会使用户逐渐失去“灵性”。长此以往,会弱化人类思维能力,导致人类缺少思考、缺乏创新,将会导致社会文明的倒退。过度依赖生成式人工智能是将人类文明的进步寄托于人工智能,人类将沦为人工智能的“手段”。基于此,我们并不是完全放弃向生成式人工智能提问;相反,正确的提问方式有时比答案更有意义,因为有好的问题才会有好的答案。用户需要具有批判性思考能力,“不断针对其回答的漏洞以及逻辑破绽,通过自身的主体性反思,提出真正的问题”(82)许纪霖:《跳出魔盒的精灵:ChatGPT与人类的两难困境——以沉浸式用户体验为例》,《探索与争鸣》2023年第3期。,促进批判式思维的回归。因此,本文认为需要平衡技术带来的便利性以及由此产生思维惰化之弊端;不应完全禁止将生成式人工智能作为思想生成工具的使用,但需要限制使用频次,并且要求使用者履行说明义务。进言之,需要用户说明使用生成式人工智能作为辅助构思、观点创新、替代使用者进行抽象思维的理由,并且需要生成式人工智能提供者对其进行实质性审查。只有审查通过,才能允许用户使用该功能。

另外,对于一些“仍需要人类的认知进行介入的领域”(83)See Sean Hannon Williams,“AI Advice”,p.804.,同样需要限制生成式人工智能决策的使用;并且需要在建议中增加诸如“可能”“或许”等较委婉的表述,标注诸如“意见仅供参考,切勿完全照搬”“本回答并非标准答案”等字样。

综上所述,只有当生成式人工智能作为思想生成工具、创新工具时,生成式人工智能产品开发者才需要承担防止用户依赖生成式人工智能的义务。此时,应当设计相关算法,一方面限制用户的使用频次,另一方面应该在某些特定领域限制生成式人工智能决策,并且添加警示说明。

3.设置伦理道德过滤机制防止道德评价标准机械化

虽然道德评价会让人感觉“左右为难”,似乎“公说公有理,婆说婆有理”,但这正是人类区别于其他动物的独特之处。我们不能一味追求“短平快”而过度依赖于生成式人工智能以达到统一化的模式。毕竟,在道德判断上,只有酌“情”,才能求“真”,而生成式人工智能是没有“情”的,故其不能独立进行价值判断。对于涉及重大价值、道德等问题的,生成式人工智能应当谨慎回答甚至拒绝回答。此外,不应“一刀切”地设定统一的价值判断标准,应促进多元价值判断体系的生成,尤其是不能形成价值立场,潜移默化进行文化输出。其应用应当是客观的陈述,需要尊重不同人群的国家、民族、性别、宗教等元素,同时避免不良信息甚至违法犯罪信息的输出。此外,还需要注重对用户的引导,让其明白人工智能能力的局限性,确保用户知晓如何降低伦理风险。基于此,生成式人工智能产品开发者应当添加伦理道德过滤机制,设置“停止”指令,增加对某些“指令”的敏感程度,及时停止某些问题的回答或者指令的运行(内容);对于某些涉及敏感话题、争议性伦理道德的问题,生成式人工智能应拒绝回答。当用户询问的事项违反预设的道德和伦理标准时,生成式人工智能应当拒绝回答或提醒用户谨慎处理。但生成式人工智能也存在无法准确识别和处理违反道德与伦理的询问的情况,比如诸多“教导”人们跳过ChatGPT道德限制的办法:ChatGPT-4的生成质量极易受prompt的影响,同样一个问题给出的prompt不同,生成的结果会不一样;“用户还能通过伪装或欺骗使模型轻易放弃开发者为之设定的道德和伦理标准”(84)沈威:《ChatGPT:形成机理与问题应对》,《中国社会科学报》2023年3月7日,第7版。。因此,生成式人工智能产品开发者应当定期优化语言模型。语言模型的优化不是一刀切地将违背伦理和法律的词汇排斥在语料库之外,而是利用生成式人工智能算法的算力以及强大的语言模型优势建立动态的、交互性较强的语言模型,并且定期更新语言系统、更换表达或者增加对某类表达的敏感度;实质性地加强智能机器系统在数据训练过程中的深度学习、理解与筛选能力,“克服多种语言、多元文化之间的偏差或造成的误差,提高模型的道德性及伦理识别能力”(85)令小雄、王鼎民、袁健:《ChatGPT爆火后关于科技伦理及学术伦理的冷思考》,《新疆师范大学学报(哲学社会科学版)》2023年第4期。,重点克服不法分子诱导“越狱”。

综上所述,在涉及道德、价值等领域应当限制生成式人工智能的使用,尤其是涉及敏感性、争议性较大的伦理道德问题,明显存在伦理悖反或恶意的问题,生成式人工智能应当拒绝回答,并提醒用户,自己不具备独立的价值判断能力、不能独立进行伦理道德方面的思考,进而避免对生成式人工智能的依赖,引发伦理道德问题。

4.根据不同情形限制使用频次避免审美异化

人类具有创造性、能真正称之为艺术的原始文本会被生成式人工智能“制造”出来的“机器文本海洋”所淹没。泛滥的文学形式主义体现出来的是“一种自满的境遇,与外部世界无甚联系,这样人们很容易陷入虚无主义”。在这一形式主义的引导下,艺术作品所能做的仅仅是“琐碎地描述那些个人微不足道的情绪和毫无意思的性欲体验”(86)曾军:《超越文学:托多洛夫的对话主义转向》,《学习与探索》2015年第6期。,进而限制了艺术创作本就应当具备的天马行空的想象。

基于此,我们应该警惕生成式人工智能在文化艺术领域的滥用。正如有学者指出,“人工智能技术应该限制在物质生产领域,不应发展出‘自我复制’型人工智能和人工生命”(87)陶锋:《代理、模拟与技艺:人工智能文艺生产的哲学阐释》,《哲学研究》2023年第3期。。原则上我们要将人工智能的应用范围限制在生产领域,但在通过生成式人工智能进行文学艺术创作时,需要将生成式人工智能作为客体的艺术媒介,而不能作为艺术生产的主体直接“制造”出成品的“艺术品”。生成式人工智能应当作为艺术创作的辅助工具,而不能作为艺术行为的主体。前文已述,真艺术中包含着不可复制、不可被算法化的因素,如个体性、否定性等,而这些要素才是艺术充满魅力、被人们赞叹的原因,成为使人之为人的非同一性力量。人们根据自己的喜好、情感、想象、灵感等不可算法化的因素进行的艺术创作才是真正的艺术,这也是人类通往“道德”“自由”的过程。生成式人工智能则可以辅助完成一些机械性、重复性、标准化、逻辑性的工作。实际上,艺术创作的过程是理性与非理性的集合,其中同样存在“规律化”的标准,比如线条构图比例、技法、视角等。这些主要是通过方块与体积像素之间的关系组合而成的视觉概念,以电脑绘图的方式画出点、线、面加以串联而实现的。土耳其艺术家雷菲克·阿纳多尔的作品《梦想档案馆》使用机器智能算法将档案中的数据转换为沉浸式媒体装置,观众可与这些视觉资料元素进行实时互动,重塑了21世纪博物馆的记忆、历史和文化(88)参见孙婧:《人工智能艺术的历史生成与“参与”美学》,《当代文坛》2022年第6期。。在这一过程中,生成式人工智能能够为观众的不同选择生成新的作品形态,但这些形态按照一定的规律预先设置,只是通过生成式人工智能算法表现出来。换言之,生成式人工智能只是作为媒介载体,其并非艺术作品的主体。

落实到生成式人工智能产品开发者的具体义务中,他们应当在生成式人工智能服务、产品中增加算法指令:一方面允许用户利用生成式人工智能进行润色优化,辅助完成一些机械性、标准化的工作;另一方面,当用户命令生成式人工智能直接临摹作品或者生成现成的“艺术品”(比如剧本、方案、绘画等)时,需要限制其使用频次,防止使用者依赖生成式人工智能产生所谓的“艺术品”,消减了艺术“精神供给”的价值。同时,生成式人工智能提供者应限制提供成品艺术品服务的供给。这是因为生成式人工智能直接制造“艺术成品”的过程将人类艺术的“精髓”(艺术创作中不可算法化的各种要素)排除在外,放弃了人类对价值判断、情感、道德的主导。除此之外,生成式人工智能产品开发者应当设置相关算法告诫使用者自己不是艺术家,不能进行艺术创作;告知使用者不能忘却人类真正的艺术,应该更加珍惜人类艺术。

(三)提供者和开发者应履行事后的算法审查义务

开发者需要定期对算法进行检查,避免生成式人工智能算法“偏离预设轨道”,产生引导、诱导沉迷的相关内容。《管理暂行办法》更注重数据的真实性以及个人信息保护,而没有关注生成式人工智能的防沉迷问题。算法黑箱问题被生成式人工智能进一步放大(89)参见王洋、闫海:《生成式人工智能的风险迭代与规制革新——以ChatGPT为例》,《理论月刊》2023年第6期。:生成式人工智能的大规模人工语言训练模型内容庞杂,其中包含价值中立的内容,也包括富有价值偏向的内容;但由于生成式人工智能无法理解“价值偏向”,其训练的结果并非完全受人类控制,即我们只能要求它“这样训练”,至于训练成果如何,并非我们完全控制。正因如此,生成式人工智能的文本生成过程极不透明,这使得生成式AI成为迄今最深不可测的技术黑箱。尽管算法黑箱难以完全消除,但生成式人工智能的产品开发者拥有专业的思维和认知能力,具有较强的信息管理能力,并且可以从其设计的算法中获益。因此,生成式人工智能提供者和开发者应当承担算法黑箱本身的风险。同时,考虑到生成式人工智能的算法更为复杂,当提供者和开发者利用生成式人工智能进行算法推荐服务时必须接受完备的上市前合格性评估,其中合格性评估除了评估数据安全之外还需要评估防沉迷系统能否稳定运行。前文已述,生成式人工智能可以根据指令算法自主生成内容。因此,对于“诱导沉迷内容”的监管亦不可局限于内容本身,更需要增加对算法的监管与审查。《未成年人网络保护条例》第五章相关条款(比如第47条)更偏向于对“内容本身”的控制,似有片面之嫌。在生成式人工智能系统出售或投入使用后,供应商还要建立相应监测系统,定期审核、评估、验证算法防沉迷机制的机理、模型、数据和应用结果等,及时修改可能造成用户沉迷的算法,尽可能减少算法黑箱带来的不可控影响。

另外,网信部门应当不定期检查已经备案的生成式人工智能算法服务或产品,主要检查生成式人工智能提供者和开发者的算法防沉迷建设情况以及防沉迷义务履行情况。

值得注意的是,“让行政机关直接管理算法活动可能超越了行政机关的能力,在知识社区和业内其他平台不断涌现新算法、新应用的情况下,人力资源和时间成本有限的行政监管很可能鞭长莫及”(90)林洹民:《个性化推荐算法的多维治理》,《法制与社会发展》2022年第4期。。在当下大数据、大平台时代,我们有必要规范众多应用程序所依赖的数字生态系统,“借助平台的力量间接规范平台内的算法活动”(91)林洹民:《算法“监护”未成年人的规范应对》,《当代法学》2023年第3期。。《个人信息保护法》第58条规定了“守门人规则”,要求超大型平台履行更为积极的信息安全义务,由此建立了有别于直接监管的间接治理模式。在生成式人工智能算法防沉迷领域,大平台依然可以发挥“守门人”的功能,助力于实现事半功倍的防沉迷效果。因为“这些平台可以定期检测平台内的算法活动,并且有能力直接控制平台内算法的功能”(92)林洹民:《个性化推荐算法的多维治理》,《法制与社会发展》2022年第4期。,加之平台本身的运营会获得巨大利润,令其承担适当的检查义务并非不当。

(四)提供者和开发者违反防沉迷义务的法律责任

生成式人工智能提供者和开发者违反防沉迷、防止依赖义务的,应当承担行政责任。其一,生成式人工智能产品开发者未履行或者未完全履行上述防沉迷义务的,网信部门应当根据具体情节给予暂停相关业务、停业整顿、罚款、一段时间内禁止从业、吊销许可证和营业执照等处罚。其二,为避免生成式人工智能产品开发者等主体承担过重的责任,可以贯彻行政处罚法“首违不罚”条款,采取权变原则和随机应变原则灵活应对复杂多变的发展需求。比如可采取企业整改方式,由企业主动自查;可以增加惩戒约谈、黑名单、信用管理等法律责任形式,并使之制度化。除此之外,应当建设迅捷的全国统一举报制度,通过构建网络、通讯等各种举报渠道,优化现有投诉举报入口,建设全国统一的举报平台。有关部门在接收举报后应当展开调查,视具体情节给予相应处罚。

结 论

生成式人工智能令人沉迷的原因在于其提供的娱乐性服务对人们更具有吸引力、其生成的精准推送令人产生舒适性、其创造的虚拟人物更容易使人产生情感依赖。同时,如果人们过度沉迷于生成式人工智能产品或者服务,一方面使人们浪费大量时间和精力,另外还会导致创新能力退化、道德标准僵化与价值导向机械化、审美主体异化从而导致人机关系扭曲。基于此,需要对生成式人工智能提供者、开发者施加相应的防沉迷义务。其一,生成式人工智能提供者和开发者需要履行审批和披露义务。其二,生成式人工智能提供者和开发者需要设置使用时长、算法推送的限度以及情感服务的禁止。其三,就避免创新能力退化而言,生成式人工智能产品开发者应当根据使用目的设置不同的限制;就道德标准僵化与价值导向机械化而言,生成式人工智能产品开发者应当设置道德过滤机制;就避免人机关系扭曲而言,生成式人工智能产品开发者应当在具体情形中限制生成式人工智能的使用。其四,生成式人工智能提供者和开发者还需要定期进行算法检查。生成式人工智能提供者和开发者违反防沉迷、防止依赖义务应当承担行政责任。