人工智能发展的社会风险及监管路径研究

臧阿月

摘  要：人工智能技术的出现和发展必然会引发一系列潜在风险，包括伦理道德危机、技术滥用隐患、极化异化风险以及军事战争灾难等。与此同时，人工智能时代的到来也使得诸多法律问题陷入困境，如法律主体资格的确定、著作权的归属、侵权责任的认定、人格权的保护以及无人驾驶汽车和替代劳工的相关问题等。对此，必须深入探究未来人工智能发展的监管路径，采取塑造多元价值目标、构建伦理规范体系、建立法律监管制度和加强国际协同合作等措施，有效规避人工智能带来的社会风险和法律挑战，从而最大程度发挥人工智能的积极作用。

关键词：人工智能;社会风险;法律挑战;监管路径

中图分类号：D922.17        文献标识码：A          文章编号：1671-9255（2019）02-0047-05

近年来，人工智能（Artificial Intelligence，AI）技术日趋成熟，已经逐渐从封闭的科学实验领域进入开放的商业应用领域，人工智能产品也充斥于人们的日常生活，如智能手机、智能电视以及智能汽车等智能硬件和深度学习、图像识别以及语言处理等智能软件。虽然中外学界早已对AI技术的研究和运用问题给予高度关注，各国政府也纷纷出台相应的人工智能发展战略和政策，但人工智能存在的潜在风险和面临的法律困境却并没有得到足够重视，尽管已有不少著名学者、科学家和企业家一再发出警告，如斯蒂芬·霍金、埃隆·马斯克和比尔·盖茨一直坚持认为的“人工智能恶魔论”或“人工智能威胁论”。因此，基于人工智能技术的发展现状，当务之急便是探索多元化的监管路径来应对人工智能技術引发的社会风险和法律挑战。

一、当下人工智能发展状况

自21世纪初以来，人工智能浪潮以极其惊人的速度席卷全球。在IBM、Google、Facebook、Microsoft等国际领军科技企业和百度、阿里巴巴、腾讯等国内知名科技企业的带领下，我国人工智能水平急速提升。根据《2018-2024年中国人工智能行业市场深度调研及未来发展趋势报告》的数据显示，在AI市场规模方面，2015年全球约为74亿美元，预计到2024年将达到406亿美元，我国约为12亿美元，预计到2020年将达到91亿美元。[1]另外，根据《乌镇指数：全球人工智能发展报告（2017）》的数据显示，自2000年至2016年，在AI企业数量方面，全球新增8107家，我国新增1477家;在AI企业融资方面，全球约为288亿美元，我国约为27亿美元。[2]由此可见，人类将正式进入新的社会时代

——人工智能时代。

（一）国际社会高度重视

1956年，在由约翰·麦卡锡、赫伯特·西蒙、艾伦·纽厄尔、马文·闵斯基以及克劳德·香农等众多科学家参加的“达特茅斯（Dartmouth）会议”上，“人工智能”这一全新的标志性概念被首次提出，正式宣告着人工智能的诞生。[3]后经半个多世纪的发展，美国Google公司生产的AI机器人——“阿尔法狗（AlphaGo）”分别于2016年、2017年接连击败人类顶尖棋手李世石（韩国）、 柯洁（中国），将人工智能技术推向了迄今为止的历史最高点，引起了国际社会的广泛关注。随后，欧美等国和欧盟、联合国等国际组织顺应人工智能时代潮流，相继出台了新一轮的人工智能发展战略。

美国作为目前全球科技发展的头号强国，正在全面加强对人工智能技术的研究与开发。2016年，美国陆续发布了《为人工智能的未来做好准备》（下称《准备》）、《国家人工智能研究和发展战略计划》（下称《计划》）以及《人工智能、自动化与经济报告》（下称《报告》）等多份与人工智能相关的政策文件。其中，《准备》详细阐述了人工智能的现状、趋势、影响和对策;《计划》全面构建了美国人工智能未来的研发框架、战略和方式;《报告》深度剖析了AI技术自动化对经济和就业产生的影响。[4]继美国之后，欧洲各国也都纷纷着手部署人工智能战略。英国发展人工智能最为积极，分别于2016年、2017年、2018年发布了《机器人技术和人工智能》、《人工智能：未来决策的机会和影响》、《在英国发展人工智能》以及《人工智能行业新政》等诸多报告，旨在成为全球人工智能技

术的领导者;法国人工智能发展势头十分强劲。最新发布的《法国人工智能发展战略》将重点放在了未来几年法国人工智能技术的投资规模和应用领域方面;德国人工智能发展具有极强的前瞻性。2011年率先提出的“工业4.0”战略对人工智能发展做了基础预判。2018年发布的《联邦政府人工智能战略要点》更是表示要将人工智能技术提升到世界领先水平。

另外，国际组织尤为重视人工智能发展。早在2014年，欧盟便发布了《2014-2020欧洲机器人技术战略》来促进AI机器人行业的快速发展。由于该战略具有局限性，无法完全适用于整个人工智能行业的发展，欧盟于2018年4月发布《欧盟人工智能》报告，较为具体地制订了日后的AI行动计划。2016年，联合国发布了《关于机器人伦理的草案报告》，呼吁世界各国在AI领域加强合作，共同应对机器人引发的伦理问题和法律难题。

（二）国内持续蓬勃发展

现阶段，我国人工智能的发展速度相当迅猛，发展潜力极其巨大。

首先，在国家政策方面，我国近几年先后制订了若干人工智能战略规划以此来支持人工智能技术研发和产业发展。伴随《“十三五”国家科技创新规划》、《新一代人工智能发展规划》、《促进新一代人工智能产业发展三年行动计划（2018—2020年）》以及《人工智能标准化白皮书（2018版）》等文件的陆续出台和落地实施，我国人工智能已经迎来了政策红利期和发展黄金期。[5]其次，在技术研发方面，我国目前的数据资源十分丰富，计算机运算速度非常迅速。人工智能技术是对大量数据进行分析，通过不断调整寻求最佳结果的过程，数据资源丰富与否对于人工智能技术研发至关重要。21世纪初以来，我国互联网技术的广泛应用使得数据信息能够得以快速有效收集和储存，这为人工智能技术研发提供了海量的数据资源。此外，我国早在2013年就拥有了全球运算速度最快的计算机——“天河二号”，这为人工智能技术研发提供了有力的技术支撑。再次，在人才储备方面，我国AI领域的技术人才总量在国际上位居第二，仅次于美国。多年以来，我国特别重视教育发展，通过科教兴国、人才强国等战略的实施，培养了众多有着良好数理基础的研究型人才，为人工智能发展奠定了人才基础。最后，在市场需求方面，我国经济发展亟待人工智能这一新兴科技提供动力支撑。近年来，我国劳动力成本逐年上升，传统人口红利正在面临消失危机，产业结构转型升级已经刻不容缓，人工智能的崛起能够有效促进我国部分产业的自动化生产，从而有助于降低生产成本、解决人口红利危机、促进经济快速发展。

二、人工智能存在的社会风险

（一）伦理道德危机

人工智能技术的发展给人类社会崇尚的伦理道德带来诸多危机。一方面，人工智能产品在自主化运行过程中极容易出现妄言、乱举等违反人道主义的恶性事件。主要包括以下三种情形：第一，算法歧视现象。从表面上看，人工智能算法似乎仅仅只是一种由输入到输出的客观数学表达，与人类的价值观毫无关联，但实际上却内在隐含着各种主观歧视，包括性别歧视、种族歧视和职业歧视等，如在Google网站输入黑人名字进行搜索时，犯罪相关信息出现的概率要比搜索白人名字高得多。[6]与个人歧视的局部性不同，算法歧视是系统化的，一旦形成將对整个社会的公正伦理道德观造成严重影响。第二，人类情感危机。从现有研究成果看，已经出现了可以感知人类情绪包括分享人类快乐和抚慰人类悲伤的陪伴型机器人，未来还会出现伴侣型或性爱型机器人，这无疑是对人类情感需求和社会伦理道德的重大颠覆。第三，人文精神危机。从目前发展趋势看，互联网正在使人类变得愈发孤立、冷漠，可以预见，人类的自主行为在不久的将来会逐渐被人工智能的模拟行为所取代，人类生存和发展的意义将不复存在，人文精神也会日渐衰落。另一方面，人类与生俱来的优势心态，使其在使用人工智能产品过程中极容易出现侮辱、谩骂，甚至殴打、虐待等暴力行为，特别是当智能机器人无限接近于人类时，人类错误的价值取向必然很难坚守住社会伦理道德底线。

（二）技术滥用隐患

当人工智能技术逐步成为社会发展的主导力量时，一旦被肆意滥用，引发的社会危机则不可小觑。例如，AI机器人出现带来的失业危机和经济动荡，AI创作平台广泛应用造成的文化坍塌，甚至发展到一定程度后与人类生活息息相关的AI技术或将导致的政治变革。另外，人工智能技术滥用还会滋生信息泄露、安全风险、侵权行为以及网络犯罪等一系列社会问题。对此，OpenAI和Oxford、Cambridge等世界顶尖学府和其他多家知名机构联合发布了一份预警AI恶意使用的报告，报告中深刻分析了AI在未来5年内遭到滥用的各项风险，并提出了多种防范措施。[7]由此可见，人工智能技术滥用隐患必须引起人类足够重视，势必将其扼杀于摇篮。

（三）极化异化风险

对于极化风险，互联网背景下大数据时代的到来虽然给人工智能技术的研发提供了海量数据资源，但它带来的恶性现象或将是贫富极化。具体来说，未来人类社会地位和金钱财富的获得更多的是依靠占有数据信息和运用智能算法，而不再是仅仅依赖于劳动和投资，例如国外Google、Microsoft和国内阿里、腾讯等大型企业掌握的数据信息和算法技术是创业公司和小微企业无法望其项背的，它们就能够通过信息垄断和算法活用等手段在非常短的时间内获得巨额财富。

对于异化风险，国内外不少专家学者认为，人类目前正在无比积极、主动地创造一个比自身更为先进的强大物种，也就是说未来人工智能的智力水平或将远远超越人类。可以预见，随着技术不断成熟，人工智能的智商和情商发生异化与畸变的可能与日俱增，那时人类将无法完全预测其自主独立化的思维方式，一旦出现技术失控，对人类造成的影响和破坏将是毁灭性的。

（四）军事战争灾难

不难想象，成熟之日的人工智能必然要应用到军事战争领域，它将改变传统的军事战争方式，对人类造成的危险性和破坏性丝毫不逊于如今的核武器。也就是说，未来的战场上会有一批“智能武器”，如作战冷血、毫无恻隐之心的战争机器人，人类彼此之间正面交战的几率会逐渐减少直至为零，只需通过一个简单指令就能远程操控“智能武器”，各国摩擦会变得愈加频繁，战争门槛会变得更低。[8]从表面上看，智能武器在军事战争领域的应用貌似很大程度上降低了士兵伤亡的比率，但实际上智能战争的残忍程度和毁灭程度是传统战争根本无法比拟的。另外，“人工智能恐怖主义”或将席卷全球。

三、人工智能面临的法律挑战

（一）法律主体资格问题

在民法理论中，民事主体必须具有独立人格，也就是说，民事主体要么是具有自然属性的自然人，要么是具有法律属性的法人，因而在微观层面上，很难将智能机器人认定为民事主体。[9]从宏观层面看，智能机器人不具备法律主体资格的原因有以下几点：首先，智能机器人通常都是作为辅助角色存在于人类生活中。即便日后它具有了超强的自主学习能力，但就独立思维和价值判断来说，智能机器人只能是无限接近于人类，永远无法超越人类，因而赋予其人类享有的法律主体资格并不合理。其次，法律主体除了具有权利能力外，还应当具有责任能力，智能机器人根本没有经济能力去承担任何的法律责任。最后，在智能机器人还未实现完全自主化之前，其启动运行都是基于研发者的设定或使用者的操控，若将此种情况下产生的否定性法律后果直接归于智能机器人，即让智能机器人作为法律主体承担法律责任并不妥当。

（二）著作权问题

2017年，“微软小冰”（人工智能机器人）创作出人类历史上首部人工智能作品——《阳光失了玻璃窗》。由此引出一个新问题：人工智能生成作品能否受到《著作权法》保护？具体须作以下分析。

第一，智能机器人创作的作品是否享有著作权？答案是肯定的。《著作权法》保护的作品势必要具有独创性特征，并且该特征仅针对作品的表现形式，至于作品内在蕴含的信息、技法、思想以及价值等在所不问。[10]也就是说，智能机器人创作的作品，只要是由其独立完成，而非抄袭或剽窃他人作品，就应当受《著作权法》保护，即享有著作权。第二，著作权应归属于智能机器人还是智能机器人的研发者或所有者？毫无疑问应当归属于后者。由于智能机器人主要是依靠数据分析和算法技术进行创作，因而创作的技术路径完全都是由人类设定。据此，可以借鉴雇佣作品或职务作品的相关法律规定，将著作权归属于研发者或所有者。

（三）侵权责任问题

以智能机器人为例。一方面，如果是人类侵害智能机器人，就必须首先认定智能机器人是否具备法律主体资格。若持肯定观点，则侵权人必须承担民事侵权责任，达到犯罪程度应以故意伤害罪或故意杀人罪追究其刑事责任;若持否定观点，则侵权人亦须承担民事侵权责任，达到犯罪程度应以毁坏财物罪追究其刑事责任。另一方面，如果是智能机器人致人损害，可分两种情形：一是人类故意操控智能机器人给他人造成损害，此时侵权责任毫无疑问应由侵权人承担;二是智能机器人自主行为直接给他人造成损害，如工业机器人在生产中造成工人死亡，手术机器人在治疗中造成病人死亡等，这种情况下要看智能机器人的设计者、制造者以及使用者是否存有过失。若有，则可按照产品侵权追究相关人员的责任;若无，也就是说完全是智能机器人的“擅自所为”，此时可参照替代责任（如雇佣关系中的雇主替代责任）追究相关人员的责任。[11]

（四）人格权问题

人工智能技术的发展对人格权中隐私权的侵害最为严重。据报道，2017年5月，Google公司旗下的DeepMind（人工智能企业）大规模获取了英国三家医院数百万名万病人的隐私数据（包括艾滋病、吸毒、堕胎等信息），引起轩然大波。[12]由此可见，未来人类社会必然是“互联网+大数据+人工智能”的时代，人类将毫无隐私可言，就如作家洛丽·安德鲁斯在书中所述，未来社会将不再仅仅是无隐私或零隐私社会，而是负隐私社会。在传统社会，人类隐私泄露是个体性的，但在未来甚至现在隐私泄露就是集体性的、社会性的。因而，人工智能时代的隐私保护至少要做到以下三点：一为增强自我隐私保护意识;二为强化企业隐私保护责任;三为加快隐私保护立法进程。

（五）无人驾驶汽车问题

无人驾驶汽车给现有的交通法律体系带来诸多挑战。主要有以下三方面。 第一，规制对象发生转变。无人驾驶汽车的出现使得驾驶人概念逐渐消失。驾驶人的驾驶技能（是否通过驾驶证考试）亦不再是交通法律规定的准入资格。也就是说，交通法律规制对象不会局限于驾驶人，智能汽车的研发者或制造者也会被纳入规制对象范围。第二，责任体系面临重构。在传统的交通法律体系中，交通事故的责任认定一般以过错责任为原则。对于无人驾驶汽车造成的交通事故，根本无从考察人工智能汽车的主观过错，其责任认定只能看造成的结果。第三，监管重心出现变化。在传统驾驶中，驾驶人的驾驶技能是交通管理部门监管的重中之重，另外还包括汽车装置的安全性能。在智能驾驶中，交通管理部门的监管重心变成了智能汽车内部的一系列软硬件，如传感器系统、紧急避险系统以及智能感知技术（通过语音、视像识别“理解”驾驶人意愿）等。

（六）替代劳工问题

未来，智能机器人将大规模进入各个行业领域，虽然可以极大地提高社会生产效率，降低社会生产成本，但也会引发一系列社会问题，如最直接的失业率急速上升问题和严重威胁社会稳定问题。牛津大学的一份调研报告显示，未来智能机器人将会取代数以万计的非技术工种，包括收银员、快递员、信贷员、司机、文秘、工人、农民等。目前智能分拣技术已经进入快递行业。[13]智能机器人能否纳入劳动法调整范畴？这是肯定的。欧盟早在2016年就已经提交动议，要求赋予智能机器人以“工人”身份，享有劳动权。同时，又该如何保护大批下岗职工的合法权益？下岗职工更多的是依靠微薄的社会保障金维持生活，因此完善社会保障法律制度成为保护下岗职工合法权益的应有之义。

四、人工智能未来的监管路径

（一）塑造多元价值目标

塑造多元价值目标是制定人工智能监管措施的最本质追求。首先，塑造正义的普适价值目标。正义价值内在蕴含人格正义、秩序正义、法律正义、道德正义等。它是人工智能时代下构建伦理道德规范体系和建立法律监管制度的正当性基础，能够帮助消灭算法歧视和大数据“杀熟”等恶性事件。其次，塑造安全的核心价值目标。人工智能技术虽还未完全成熟，但人类对其即将引发的安全问题已经充满担忧，拟人之祸、滥用之患、异化之险以及军工之孽等都严重威胁着人类社会的安全与稳定，因而塑造以安全为核心的价值目标对监管人工智能发展极为重要。[14]再次，塑造创新的灵魂价值目标。面对人工智能革命，创新理念必须贯穿其中。无论是谋划宏观层面上的人工智能国家发展战略，还是制定微观层面上的人工智能产业促进政策，创新激励机制的构建必不可少。最后，塑造和谐的终极价值目标。人工智能产品的性能安全、人工智能技术的良性发展以及人工智能社会的安定有序都要求所有的人工智能监管措施都必须将和谐价值作为指引方向。

（二）构建伦理规范体系

近年来，由于各国针对人工智能监管的配套法律法规尚未成型，因而亟须构建一套切实可行的伦理规范体系。第一，各国应当在中央和地方分别设立“人工智能伦理委员会”，由其制定统一《人工智能伦理章程》，为人工智能技术研发预设道德标准;第二，人工智能行业组织（如日本人工智能学会）和公司企业（如Google）要在内部设置相应的伦理委员会，制定科学规范的伦理管理规章制度，包括对科研人员和专家学者道德约束，对技术研发和产品应用道德指引等，同时还应定期主动召开人工智能安全研发例会，并及时向政府人工智能伦理委员会汇报。

（三）建立法律监管制度

对于人工智能技术引发的一系列潜在风险和法律难题，必须建立全方位的法律监管制度。第一，事前应预防。构建前瞻性的安全监测预警机制，将未来人工智能技术可能造成的恶性事件量化为“特别重大、重大、较大、一般”四个等级，当恶性事件突发时立即对其发展动向和不良影响进行研判、评估和预防，并及时向社会发布预警信息。[15]第二，事中须管控。开发新型的人工智能测试平台，对人工智能系统和产品的各项性能（主要是安全性能）进行实时监测;建设动态的人工智能评价机制，对人工智能系统和产品的风险性、危害性等进行定期评估;实施全面的人工智能监管结构，对人工智能从研发到应用进行全程监管，包括设计问责、制造監督和使用管控。第三，事后必监督。新设专门的人工智能监管机构——“人工智能监管委员会”（可与“人工智能伦理委员会”合并为“人工智能发展委员会”）对人工智能技术进行监督，加大对技术滥用（如算法合谋、侵犯隐私）行为的处罚力度，同时督促行业和企业采取自律监管措施。

（四）加强国际协同合作

世界各国政府和全球国际组织应在未来人工智能监管中扮演组织机构的角色，协调各方利益冲突，构建全球治理联盟。[16]一方面，世界各国在不断加大人工智能研发投入力度的同时，也应划拨专项资金用于研究人工智能极化异化、技术滥用等国际安全问题，鼓励引导企业、公众（包括专家学者和普通百姓）等多方社会主体参与人工智能监管;另一方面，国际组织就人工智能发展方向与应用领域问题必须制定统一的国际条约，做出明确禁止性规定（负面清单），形成全球性的人工智能技术风险控制机制。另外，在人工智能时代下须强化“人类命运共同体”意识。各国都应在谋求本国人工智能发展利益的同时合理兼顾他国利益，最大限度防范人工智能技术的不可逆危机，共同推进人工智能社会安定有序发展。

五、結语

站在人工智能时代的风口，我国必须牢牢抓住发展机遇，积极主动作为，全面推动人工智能经济快速发展，但同时人工智能技术带来的诸多社会风险和法律挑战也不容我们忽视。因此，为了确保人工智能能够健康持续发展，必须做好前瞻预防和后续监管工作，其中，塑造多元价值目标是前提，德治（构建伦理规范体系）与法治（建立法律监管制度）相结合是关键，构建全球人工智能治理联盟是保障。总之，只有对人工智能技术发展采取多元化的监管措施，才能迎来一个美好安全的崭新时代。

参考文献：

[1]智研咨询.2018-2024年中国人工智能行业市场深度调研及未来发展趋势报告[EB/OL].[2019-01-02]. http：//www.

chyxx.com/research/201807/657002.html.

[2]乌镇智库.乌镇指数：全球人工智能发展报告2017 [EB/OL].[2017-08-10].https：//www.useit.com.cn/thread-16182-1-1.html.

[3]闫坤如.人工智能的道德风险及其规避路径[J].上海师范大学学报，2018（2）：40-47.

[4]尹昊智，刘铁志.人工智能各国战略解读：美国人工智能报告解析[J].电信网技术，2017（2）：52-57.

[5]潘敬萍.我国人工智能发展现状与应对策略研究[J].现代商业，2018（21）：25-28.

[6]周程，和鸿鹏.人工智能带来的伦理与社会挑战[J].人民论坛，2018（2）：26-28.

[7]搜狐网.OpenAI等机构发布《人工智能恶意使用》报告，利用AI来犯罪只是时间问题[EB/OL].[2018-02-24].

http：//www.sohu.com/a/223853051_651893.

[8]张敏，李倩.人工智能应用的安全风险及法律防控[J].西北工业大学学报，2018（3）：108-115.

[9]王利明.人工智能时代提出的法学新课题[J].中国法律评论，2018（2）：1-4.

[10]吴汉东.人工智能时代的冷思考[J].中国报业，2018（3）：60-61.

[11]雷悦.人工智能发展中的法律问题探析[J].北京邮电大学学报，2018（1）：17-24.

[12]搜狐网.即将进入手机人工智能时代，你的隐私安全谁来保护？[EB/OL].[2018-10-10].http：//www.sohu.com/

a/197491521_610727，2017-10-11.

[13]199IT.牛津大学：预测2035年美国数百万劳动力将被机器人取代[EB/OL].[2018-10-10].http：//www.199it.com/

archives/591916.html.

[14]吴汉东.人工智能时代的制度安排与法律规制[J].法律科学，2017（5）：128-136.

[15]党家玉.人工智能的伦理与法律风险问题研究[J].信息安全研究，2017（12）：1080-1090.

[16]马治国，徐济宽.人工智能发展的潜在风险及法律防控监管[J].北京工业大学学报，2018（6）：65-71.

Abstract： The emergence and development of AI technology will inevitably lead to a series of potential risks， including ethical and moral crisis， hidden dangers of technology abuse， risk of polarization and alienation， military war disaster， etc. At the same time， the advent of the AI era has caused many problems related to law， such as the determination of the qualification of legal subject， the copyright ownership， and the determination of tort liability， the protection of personality rights， issues related to driverless cars and substitute workers and so on. Therefore， it is necessary to deeply explore the supervision path for AI development in the future， and take measures to effectively avoid the potential AI-related social risks and legal challenges， such as setting up goals with diversified values， building a system of ethical norm， establishing a legal supervision system and strengthening international cooperation， so as to maximize the positive role of AI.

Key Words： AI （artificial intelligence）; social risk; legal challenge; supervision path