人工智能时代的法律因应

朱 体 正

(上海海事大学 法学院， 上海 201306)

一 、人工智能时代来临引发风险争议

2017年初，化名“Master”的人工智能棋手Alpha-Go再现江湖，并以60局不败的战绩轻取中日韩围棋高手，舆论不禁发出“被人工智能支配的恐惧感席卷而来”的慨叹。其后，“百度险胜最强大脑”“Libratus战胜德州扑克顶级选手”“人机大战第2季柯洁败给AlphaGo”的消息接踵而至，人工智能的进化速度和发展水平令人惊叹，尤其是在德州扑克这样与金融市场及大部分人类面临的通用场景相似的不完全信息博弈中能够胜出，预示着人工智能更为可观的发展与应用前景。实际上，不仅在游戏领域攻城略地，随着硬件设施、大数据、人工神经网络和机器学习等支撑条件的不断增强，人工智能循摩尔定律和云计算迭代更新，技术水平与实用性能与日俱增，应用范围极其广泛，“从健康医疗、交通出行、销售消费、金融服务、媒介娱乐、生产制造，到能源、石油、农业、政府……所有垂直产业都将因人工智能技术的发展而受益”[1]，从而给人们带来越来越多的便利和福利，一个日益影响人类社会生产、生活的“人工智能时代”正向我们走来。[2]

如同原子能、互联网、纳米等先进科技一样，人工智能也是一把双刃剑。而且，作为影响面更广的颠覆性技术，如果发展利用不当，人工智能将会给人类社会造成巨大的安全与伦理风险。牛津大学哲学教授尼克·博斯特洛姆指出，从先驱者优势理念、正交性论点和工具性趋同论点出发，人类创造超级智能机器可能会导致人工智能的“背叛转折”，进而造成地球上智能生命的存在性危险，应当通过对人工智能进行能力控制和动机选择(价值观加载)避免厄运的出现。[3]著名物理学家斯蒂芬·霍金也一再对人工智能的发展发出警告，呼吁必须取缔“机器人杀手”的研发和应用，并得到伊隆·马斯克、比尔·盖茨等科技界有识之士的支持。他们认为，人工智能发展如果不加控制、任由滥用，将不可避免地导致世界动荡、贫富分化、极权暴政乃至人类灭亡，出现科幻电影《终结者》中人类末日的景象并非杞人忧天。[4]在此背景下，新一轮的“机器威胁论”经由围棋界的“人机大战”再次引燃和弥散。乐观派则对此嗤之以鼻，甚至还把霍金、马斯克以及盖茨列为“卢德奖”(美国一非政府组织设立的反对科技进步奖)的获奖者，认为他们通过对人工智能兴起的预测来搅动“恐惧和歇斯底里”的情绪。[5]而机器学习的先驱、美国三院院士迈克尔·乔丹则认为：“霍金研究领域不同，他的论述听起来就是个外行，机器人毁灭人类的可能性，在几百年里不会发生。”[6]2017年1月由未来生活研究院(Future of Life Institute)组织“Benificial AI 2017”的研讨会，会后发布了《艾斯罗马人工智能基本原则》(Asilomar AI Principles，也被业界称为“AI 23条”)，以确保人人都能从人工智能中受益，同时保证AI研究和发展的正确方向。在联名支持该《原则》的名单中，除了马斯克、霍金外，还包括乔丹院士的弟子约书亚·本吉奥(Yoshua Bengio)、Facebook研究总监延恩·勒昆(Yann LeCun)以及谷歌、苹果等公司的研究总监等2000多名业界人士。此外，国际专业技术组织电气和电子工程师协会(IEEE)发布了多份人工智能伦理标准。可见，防范和化解人工智能的风险，是负责任地发展人工智能的应有之义，也正在成为越来越多人的共识。

在我国，国务院于2017年7月20日发布的《新一代人工智能发展规划》，从国家战略层面对我国人工智能未来发展的战略态势、总体要求、重点任务、资源配置、保障措施和组织实施等进行了具体规划，明确指出了人工智能发展的不确定性对于就业、法律与伦理秩序、个人隐私、国际关系准则等带来的风险与挑战，要求通过制定法律法规和伦理准则等保障措施最大限度降低风险，确保人工智能安全、可靠、可控的发展。这一战略规划对我国的法学研究和法制工作者提出了一系列新的课题，亟待深入研究，积极回应。

二、人工智能法律研究的状况、影响与不足

斯坦福大学2016年10月发布的“人工智能百年研究”首份报告《2030年的人工智能与生活》显示，人工智能目前还不太可能带来迅雷般的变化，也肯定不会立即对人类造成威胁，它将给我们生活中的交通、医疗、教育等多种领域带来重大而渐进性的变革。[7]变革孕育着机遇，也裹挟着风险，并给现有的伦理、法律与政策带来相应的冲击和挑战，引起了法学界、哲学与伦理学界等的广泛关注。西方发达国家和地区关于这方面的研讨起步较早，成效显著。美国学者自2012年起持续开展名为“We Robots”的机器人法律与政策专题年会(2017年会已在耶鲁大学法学院召开)，涉及就业与社会保障、知识产权保护、机器人损害赔偿、自主武器系统的合法性、创新激励与风险治理等广泛议题，吸引越来越多的专家学者参与这一跨学科问题的研讨。欧盟亦于2012年起开启了第七框架计划“机器人法”研究项目，由多领域专家共同研究智能机器人衍生的法律、伦理问题。持续深入的学术研讨活动对政府决策产生了积极影响：2016年以来，美国政府连续发布《国家人工智能战略》等3份AI报告，英国政府也连发两份AI报告，其中均提出要重视和研究人工智能发展应用的法律、伦理与道德问题；欧洲议会于2017年2月表决通过的决议敦请欧盟委员会在欧盟范围内制定法律和伦理框架以规制和约束人工智能和机器人的发展与部署；韩国于2008年制定了《智能机器人开发和普及促进法》，2017年7月有国会议员提出《机器人基本法案》；日本政府则讨论了人工智能创作出的作品的著作权立法问题。联合国教科文组织也正在制定人工智能伦理准则以引导全球各地人工智能的健康发展。

我国目前的人工智能企业分布密度和专利申请数量均居世界第2位，仅次于美国，并连续多年成为全球最大的工业机器人消费市场，服务机器人领域也有着广阔的市场空间。2017年2月在美国召开的人工智能界年度会议(AAAI 2017)接收了700多篇论文，其中半数以上有华人参与，会议还将原定日期推迟以方便华人过完中国春节后参会，充分显示了中国人工智能学术力量的崛起。在政府层面，国务院发布的《中国制造2025》、《十三五规划》及3部委《机器人产业发展规划》中均将智能制造与机器人产业置于重要战略地位，2017年的《政府工作报告》更将人工智能明确列为战略性新兴产业之一。中国在人工智能领域的进展正在引起世界的关注。美国政府的AI报告以及《纽约时报》的相关报道中，均指出中国在人工智能方面正在赶超美国。与欧美等国相比，我国目前关于人工智能和机器人的政策还是以产业发展规划为主，产业监管与风险治理尚显不足。值得注意的是，2017年3月的《政府工作报告》中提出“本着鼓励创新、包容审慎原则，制定新兴产业监管规则，引导和促进新兴产业健康发展”；国务院2017年7月发布的《新一代人工智能发展规划》则明确要求通过制定法律法规和伦理准则等保障措施最大限度降低风险。与西方相比，我国目前关于人工智能的法学研究尚显不足，较为系统深入的法学研究成果还相当匮乏。无论是与国外法学同行相比，还是与国内哲学、伦理学等其他学科相比，法学界对人工智能的关注与研究整体上还比较滞后。这或许是因为目前人工智能对于现实生活的影响和介入还不够深，关于人工智能法律问题的研究还缺乏强劲的实践动力。事实上，人工智能离我们的生活并不遥远，至少部分弱人工智能(Weak AI)已经悄然嵌入了日常生活与工作，譬如机器翻译、手机语音助手、导航软件、扫地机器人、餐厅服务机器人、医疗机器人、法官智能辅助系统等。随着技术进步和时间推移，人工智能将如互联网一样重构我们的生活。眼下虽然离成熟的智能社会(智慧城市)的到来还有相当长的一段时期(前述斯坦福大学的研究报告将这一场景预设为2030年北美的一个普通城市)，相应的制度变革与法律因应尚需因时而异，但这并不意味着一定要等到实践中涌现出大量的案例和疑难问题才进行研究，而应该在人工智能发展初期就根据实际应用情境及时进行前瞻性的研判和规范。何况目前司法实践中已然出现了快递机器人、无人机等的监管、罪责认定以及损害赔偿等现实问题，亟待相关法律决策的跟进。美国华盛顿大学助理教授瑞恩·卡洛呼吁，新兴的人工智能法(机器人法)应当汲取互联网法律发展的经验教训，如此才能避免当今互联网治理中出现的种种纰漏。[8]不仅法学界有所警示，机器人学界同样有此洞见：“我们的法律体系必须积极主动地收集专业知识和必要的手段来预测我们的机器人未来，讨论安全、责任、公平和生活质量这些最关键的问题，并且为21世纪创造一个可行的法律框架，而不是对更加巧妙的机器所发现的新的法律漏洞一一作出反应。”[9]准此以解，这种“可行的法律框架”，在法律效果上应当整体回应人工智能和机器人时代的法律需求，在外在形式上应当制定一部人工智能单行法并辅以配套的法律法规、法律解释及伦理准则，确保人工智能运行安全可靠，风险合理控制。可以预见，随着我国人工智能国家战略规划的发布，根据其中人工智能 “三步走”的发展步骤及相应的法律保障措施的需求，我国人工智能的法学研究、制度储备及对外交流与合作将会进入一个较为集中、活跃和繁盛的时期。

三、人工智能的主要法律问题及其应对

人工智能是一种新型的技术工具，也预示着一种新的生产生活方式、“成为经济发展的新引擎”、“带来社会建设的新机遇”，但我国《新一代人工智能发展规划》也明确指出，“人工智能发展的不确定性带来新挑战”，引发一系列伦理和法律问题。这里的“不确定性”，一方面是指人工智能本身的不确定性——模拟人类智力对不确定性的客观世界进行认知推理的机器、系统或网络也具有不确定性，[10]另一方面是指人工智能发展与应用后果的不确定性。前者涉及人工智能或机器人的加害“行为”与损害结果之间的因果关系以及责任主体认定等具体法律问题，后者则影响着人工智能的伦理约束、法律地位、监管规制等一系列法律问题。以下举要予以分析。

其一，人工智能的伦理约束及其法治化问题。伦理与法律既有区别，又有联系，一些伦理问题本身也是法律问题，在人工智能领域尤甚。由于人工智能技术的应用越来越普及，人们的日常生活和工作也会更加依赖于数据、信息、算法和智能系统的选择与决策，比如医疗诊断、证券交易、司法裁判、无人驾驶等，而“脑机接口”更是直接把人脑与外部设备连接起来进行信息交换，从而形成“数据主义”对人类自由意志的侵蚀，更勿论强人工智能对于人类智慧的超越。但无论技术如何发展，维护人类赖以存续的人文精神、人格尊严，而不是为人工智能所替代或统治，应当是人类发展和利用人工智能的起点和终点。此外，人工智能应用中也会遇到一些具体的伦理问题，如自动驾驶中紧急避险的利益衡量、性伴侣机器人的伦理审查等。因此，在人工智能研发过程中，应当引入“机器伦理”，促进技术设计伦理由隐性向显性的变化，引导技术产品“负责任”地为人类服务。[11]具体而言，首先需要各国政府和国际组织制定具有“软法”性质的人工智能和机器人伦理准则，使隐形或模糊的技术伦理成为明确、稳定和可操作的行动指南。目前较有影响的人工智能伦理准则，除了阿西莫夫“机器人三大法则”之外，还包括前述的IEEE、未来生活研究院、AI联盟等分别发布的伦理方案。我国应在参考这些方案的基础上制定与我国国情和人工智能发展水平相适应的伦理框架，同时加强国际合作。其次还应在机构设置上要求人工智能研发机构、制造厂商及行业组织设立人工智能伦理委员会，明确技术伦理规则的审查程序，并将其植入设计与制造过程之中。最后，应当促使伦理约束与法律规制有效衔接，使部分人工智能伦理准则转换为具有国家强制力的法律规范，实现人工智能从业者自律与他律、德治与法治的有机结合。从发展趋势来看，人工智能的伦理约束正在逐步实现相应的法治化转换，并强调法律政策与伦理准则的相辅相成。例如美国、英国在2016年分别以政府报告的名义发布了包含有伦理导向的人工智能政策，而欧洲议会在2017年2月通过的决议中更是要求欧盟委员会制定针对机器人和人工智能技术应用领域的法律框架。

人工智能伦理准则的法治化转换，一方面源于伦理约束与法律制度的功能区分和优势互补，另一方面也反映了人工智能迅猛发展对于资源优化配置与价值观负载的制度需求。在人工智能伦理法治化转换的实现路径上，实际上遵循着伦理道德对法律影响的基本模式，“或者是通过立法突然和公开地进入法律，或者是通过司法程序悄悄地进入法律”，尤其是在作出可接受的判决中，“在大多数制度中，支配解释的那种松散的和不断变化的传统或解释的法则，往往含糊地吸收了这些(道德)因素”。[12]在我国，专门的人工智能立法尚待时日，但关于人工智能的相关案件已然涌现，迫切需要发挥法律解释的能动作用，将安全、公平等人工智能的基本伦理观念透过法律解释实现个案正义与法律决策的总体导向。

其二，与人工智能的伦理约束相关的另一个问题是其法律地位问题。人工智能的发展目前整体上仍处于弱智能(Weak AI)阶段，对其界定仍然是以机器——物来定义的。即使在这个阶段，人工智能系统与一般的物还是有所区别，尤其是服务机器人逐步深化人机互动的工作模式，日益接近家庭宠物或具有人格象征意义的其他物品，因此在法律处置上应有别于其他物。如陪护机器人遭他人损害，应考虑精神损害赔偿之可能。从发展的眼光来看，智能机器人全球研发日新月异，机器人本身通过联网和深度学习，正在以惊人的速度提升智能化水平，如美国科学家已发明出能够欺骗其他机器人乃至人类的智能机器人。人工智能能否具备自我意识和推理能力，从而进化到强智能(Strong AI)阶段，甚至达到或超越人类智慧，科技界、哲学界对此意见不一。但无论如何，人工智能的进化及其与智能增强(IA)、纳米技术、生物技术等的融合，将进一步模糊人和机器、主体和客体的界限，影响权利义务责任的配置和利益分配问题，应结合人工智能发展趋势以及哲学伦理学等思想基础认真研判。值得注意的是，有观点认为应为机器人创设独立法律人格以使其自负其责，[13]欧洲议会的立法决议将其设置为“电子人”，以使其享有特定权利承担特定义务。这一取向虽显激进，但却直面人工智能的发展趋势，尤其是通用型人工智能平台的研发和应用不可不察。应当汲取人工智能独立法律地位争议中“肯定论”和“否定论”的合理因素，以强弱智能不同发展阶段看待机器人的法律地位问题，以合理分配各方风险和利益。

其三，损害赔偿以及可能涉及的刑事责任问题是人工智能研发者、投资者以及消费者最为关注的问题，也是影响未来服务机器人市场化的关键因素之一。至少以下因素使得既有制度难以应对机器人损害赔偿乃至公法责任的追究问题：人工智能赖以跃升的大数据强调相关性而非因果性，深度学习在很多方面还缺乏可解释的不确定性测量手段，技术系统和作业环境复杂难控(尤其是陪护机器人照顾智障人、儿童或高龄老人等特殊情境)，智能机器人往往会随情境转换呈现出一定的突现行为(Emergent Behavior)，具有一定的不可预测性；人机互动情境中服务机器人接受消费者或其他机器人的指令而做出反应，或者由第三方接口改造后造成损害等等。对此，应在损害救济、责任追究与技术发展之间寻求平衡，按照指令输入的节点分配生产者和消费者的责任，建立相应的保险制度和赔偿基金分担损失。但这需要建立起各类机器人分级登记管理制度和严密的机器人运行数据可追溯制度，以弄清到底在哪个环节和数据区域(包括省略的数据)出现的问题，从而倒逼机器人设计与制造的精细化管理。可借鉴日本经济产业省的立法建议，要求所有机器人“必须向中央数据库报告他们对计划帮助或保护的人造成的任何和所有伤害”。[14]尽管各类智能机器人的责任承担尚需具体认定，但一个显而易见的趋势是，消费端对于人工智能设备安全方面的干预或介入作用相对较弱，在人工智能造成他人人身或财产损害时，将更多地重视对产品缺陷的具体审视和认定。这点在应用前景广阔的智能车方面体现尤为明显。机动车交通事故责任将更多地由设计者、生产者承担，而不是像目前这样较多地考虑机动车驾驶人的责任。此外，责任保险的投保也将更多地从消费者转向经营者，保险责任类别也会更加注重对人工智能软件方面的责任保障。而今，无人机早已凌空飞舞，无人船也将泛波远洋，智能交通的新动向及其新问题值得理论界与实务界深入思考。

其四，除了横向的损害赔偿问题之外，对于人工智能的纵向规制与监管模式亦需与时俱进。美国华盛顿大学助理教授瑞恩·卡洛等人针对美国人工智能研发与应用缺乏有效监管的局面，建议在联邦层面设置一个统一的机器人委员会。[15]此举获得了决策层的迅速响应，美国白宫2016年5月宣布将成立“人工智能与机器学习委员会”，用于协调全美各界在人工智能领域的行动，而后发布的AI规划更为清晰地展示了政府层面规范发展人工智能的战略技术，引起全球关注。人工智能目前整体上仍处于开发利用的初级阶段，各国政府都面临着如何平衡创新与风控的共同问题。我国人工智能与机器人产业发展方兴未艾，产业结构尚未定型，各类人工智能程序和智能机器人纷纷涌入市场，质量水平参差不齐，给个人隐私、公共安全带来一定的隐患，而且各类机器人分业管理，因而面临着准入检测与联合监管的现实需要。我国《新一代人工智能发展规划》提出由国家科技体制改革和创新体系建设领导小组牵头统筹协调、成立人工智能规划推进办公室负责规划推进实施十分必要，有利于全国范围内人工智能发展协调行动、促进规划落实，也有利于促进各类人工智能产品接口便捷、数据整合和保障社会安全。在具体落实中，还应重点加强工业和信息化管理部门在产业发展中的引导与规范作用。

其五，自主武器系统(AWS)作战的合法性问题日益引起国际法学界的广泛关注。自主武器系统也被称为“杀人机器人”“战争机器人”，它是一种一经启动即可在无需人类操作员进一步干预的情况下选择和打击目标的机器人武器系统。AWS在未来的应用有利于减少战斗员的伤亡，但却能极大地提高打击的精度和密度，因而在国际人道法上的合法性引发热议。它不同于传统武器，也难以被认定是战斗员，虽然可以通过技术发展令其遵守国际人道法和武装冲突法中的武器与作战规则，尤其是攻击中的比例原则和预防原则，但仍不能避免对其合法性的质疑。对此，美国学者彼得·阿赛洛认为，我们应当将国际法视为不断发展的动态系统，而且其演变应当由道德考量加以型塑，要重视发挥现行国际武器公约中马尔顿条款(Martens Clause)对于新式致命性杀伤武器的限制作用，并根据自主武器的发展和应用制定新的规范。[16]当前国际格局正处于重组变革之际，自主武器装备的研发应用无疑会增加更多的不稳定因素，也给人类社会的生存与发展带来更大的风险，国际社会应就此开展对话与合作，共同应对其给人权与国际人道法带来的挑战。

除了上述5个较为引人关注的问题之外，人工智能发展还会引发其他的社会与法律问题，如“机器人换人”所造成的就业与社会保障问题、信息垄断与贫富分化加剧问题、人工智能系统的偏见与矫正问题、人工智能设备对个人隐私与信息的侵犯问题、人工智能创作物的归属问题、机器人自主购买违禁物品的法律定性问题、高频交易的法律规制问题、机器人执法及人工智能辅助裁判的可行性问题、无人船舶航行的法律障碍问题等。这些问题或近或远，或急或缓，随着人工智能的普遍应用将日益突显，需要我们慎思明辨、解疑释难。

四、历史回响与现实考量

遥想公元前10世纪的西周时期，穆王西巡，路遇偃师(工匠名)所制之男倡(偶人)。见其“趣步俯仰”，歌舞合律，“千变万化，惟意所适”，舞毕竟然还会向穆王身边的侍妾抛媚眼。王怒欲斩偃师，偃师忙剖开偶人，见其竟是由皮革、木头、颜料等材料制成，但五脏六腑、五官肢体俱全。王试废其心，则口不能言；废其肝，则目不能视；废其肾，则足不能步。穆王始悦而叹曰：“人之巧，乃可与造化者同功乎？”乃命载之以归。[17]历史典籍《列子·汤问》中记载的这一传奇故事反映了我国先人对于智能机器人的原初憧憬与可贵探索。时光荏苒，星移物换，如今，现代“偃师”们制造的各类“偶人”正活跃在社会生产生活的方方面面，它们术有专攻，各显其能，或孔武有力，或机智呆萌，人类千百年来对于人工智能的美好愿景正从梦想照进现实。与此同时，人工智能社会涌现的伦理、法律与政策论题，既是对工程师和企业家的技术与伦理考验，也是对立法造诣、执法技艺和法律解释方法的时代叩问。结合我国的人工智能发展战略，整合以上所论，本文从法律与政策角度提出以下建议，供相关决策者参考：

第一，在理论研究方面，响应人工智能国家战略的制度需求，从法理学到各部门法学全面检视其对既有法律制度带来的冲击和挑战；形成人工智能法学研究的专业组织和研究智库，全面开展与人工智能学界、哲学与伦理学界及国际人工智能与法律协会等的学术交流与合作，拟定我国人工智能研究者、操作者、使用者的伦理准则，为人工智能发展规划“三步走”的逐步实施提供示范性伦理规范和法律规范。

第二，在伦理约束方面，由科技部牵头、人工智能规划实施办公室落实，成立全国性的“人工智能伦理委员会”(区别于人工智能战略咨询委员会)，负责制定我国统一的人工智能伦理准则，负责全国性的人工智能伦理审查，指导行业性和地方性的人工智能伦理审查机构的设置和日常工作；要求人工智能研发、制造企业设置伦理委员会，制定相应的伦理实施细则，向主管机构提交人工智能产品及其数据收集方式和用途的详细说明，尊重消费者和社会大众的知情同意权。

第三，在安全防护和损害救济方面，按照自主化(autonomy)程度设立人工智能和机器人的智能等级和登记备案制度，要求人工智能企业建立算法与数据回溯机制，以备人工智能致害原因的查明；借鉴机动车交通事故责任机制，尝试建立人工智能和机器人强制责任保险及商业保险、赔偿基金与侵权责任相结合的损害救济体系。

第四，在国际合作方面，利用我国人工智能发展与应用的独特优势，开展与欧盟、美国等国家和国际组织的风险治理合作机制，制定全球性的人工智能伦理指南与国际公约，尤其是建立自主武器系统研发应用的约束制度。

科学技术是人类今天最基本的生活结构要素之一，在海德格尔看来，现代技术发挥着“去蔽”的作用，是一种真理的发生方式，但与此同时也可能给人类社会带来风险乃至造成人的异化，此于当前迅猛发展的人工智能同样适用。人类若要走出技术理性挖掘的深渊，从而与技术世界保持一种自由的关系，就要“踏上一条由事实本身出发而选择”的“沉思”的征途[18]，应对人工智能技术本身的不确定性风险，并且通过伦理约束和制度建构发展对人类有益且有意义的人工智能。

[1] 郭爽. 人工智能是第四次工业革命的重要推动力——访人工智能专家李飞飞[EB/OL]. (2017-05-22)[2017-05-23]. http://news.xinhuanet.com/2017-05/22/c_1121015050. htm.

[2] 杰瑞·卡普兰. 人工智能时代[M]. 李盼，译. 杭州:浙江人民出版社,2016.[3] 尼克·波斯特洛姆. 超级智能:路线图、危险性与应对策略[M]. 张体伟，张玉青，译. 北京:中信出版社,2015:143,179.

[4] 万成. “终结者”?霍金与马斯克都对人工智能表示担忧[J]. 华东科技,2015(3):15-15.[5] VANEESH P,“AI Alarmists” Stephen Hawking,Elon Musk Win 2015 Luddite Award[EB/OL]. (2016-01-20)[2017-01-20]. http://www.ibtimes.com/ai-alarmists-stephen-hawking-elon-musk-win-2015-luddite-award-2271986.

[6] 柴宗盛. 专访迈克尔·乔丹：几百年内AI不会觉醒[EB/OL]. (2017-01-05)[2017-01-20]. http://www.thepaper.cn/newsDetail_forward_1593901.[7] PETER S. Artificial Intelligence and Life in 2030[R]. Stanford： Stanford University,2016.

[8] CALO R. Robotics and the lessons of Cyber law[J]. California Law Review,2014,103(3):513-563.

[9] I·R·诺巴克什. 机器人与未来[M]. 刘锦涛,李静，译. 西安:西安交通大学出版社,2015:126.

[10] 李德毅,杜鹢.不确定性人工智能：第2版[M]. 北京：国防工业出版社,2014:1-7.

[11] 于雪,王前. “机器伦理”思想的价值与局限性[J]. 伦理学研究,2016(4):109-114.

[12] 哈特. 法律的概念[M]. 张文显,郑成良，等，译. 北京:中国大百科全书出版社,2006:199-200.

[13] WEAVER J F. Robots Are People Too[M]. Santa Barbara:Praeger Publishers,2013:17.[14] VERUGGIO G,OPERTO F. Roboethics[C]. Berlin：Springer Handbook of Robotics,2008:1499-1524.

[15] CALO R. The Case for a Federal Robotics Commission[R]. Social Science Electronic Publishing,2014.[16] ASARO P，NASCENDI J. Robotic Weapons and the Martens Clause[C]. Robot Law,Edward Elgar Publishing,2016:367.

[17] 列子. 列子·汤问[M]. 景中，译注,北京:中华书局,2007:163-164.

[18] 海德格尔. 海德格尔选集[M]. 孙周兴，选编. 上海:三联书店,1996:976.