人工智能治理相关问题初探

伦　一　中国信息通信研究院互联网法律研究中心副主任

1　引言

自上世纪50年代人工智能概念诞生以来，全球人工智能发展经历了数次浪潮。本次浪潮由大数据、机器学习、高速网络、资本市场等多重因素共同推动，呈现出跨界融合、人机协同、自主操控等新特征。作为一项新技术，人工智能固然能够显著提升社会生产力、为用户提供更多便利，但与此同时也带来了一系列的社会问题需要解决，如结构性失业、个人隐私泄露、法律冲突等等。因此，需要前瞻性探索和构建人工智能治理体系，对人工智能产业的健康发展形成有力支撑和保障。

2　从互联网治理到人工智能治理

从技术领域看，互联网领域最先采用了“治理”的概念。1998年，全球范围互联网关键基础资源的管理者ICANN与美国商务部签订谅解备忘录，由ICANN协调和管理互联网数字分配机构IANA服务，实现对全球互联网号码资源的分配和根区管理。2005年，联合国互联网治理工作组（WGIG）提出互联网治理的内涵，即“政府、私营部门和民间社会，根据各自的作用，制定和实施的，旨在规范互联网发展和运用的共同原则、规范、规则、决策程序和方案。”

与互联网相比，人工智能除了有渗透性强的共性特征，还具有数据量大、难以预测、难以控制的特点。一方面，人工智能依赖的核心技术是以深度学习为代表的机器算法，其产品和技术具备飞速的学习能力，谷歌研发的围棋程序AlphaGo仅在1年时间内就击败了人类所有顶级高手。另一方面，人工智能本身具有“黑箱化”的特征，机器通过自动运算输出结果，数据训练可能产生新的机器学习算法，导致产品和服务做出的决策难以预测和控制。总体来看，人工智能面临比互联网更多的未知因素，可能对监管机构、法律、伦理等均带来影响。

3　国内外人工智能治理相关探索

考虑到人工智能的特性和对治理体系带来的影响，美国、欧盟、英国、日本等发达国家在战略层面加快部署。美国在人工智能顶层战略中考虑人工智能治理的应对策略。2016年，白宫连续发布3份白皮书（《国家人工智能研究和发展战略计划》、《为人工智能的未来做好准备》、《人工智能、自动化与经济》），从制度、细则、社会等方面提出应对人工智能变革的策略。英国格外注重人工智能对伦理、法律等问题带来的挑战。2016年，英国下议院的科学和技术委员会发布了一份关于人工智能和机器人技术的报告，阐述了人工智能的发展与监管带来的潜在的伦理道德与法律挑战；英国政府发布《人工智能：未来决策制定的机遇和影响》报告，阐述了人工智能的未来发展对英国社会和政府的影响。联合国呼吁世界各国采用全新视角看待人工智能系统未来的监管问题。2015年，联合国教科文组织与世界科学知识与技术伦理委员会（COMEST）联合发布报告，重点讨论了自动化机器人使用所带来的挑战、机械伦理学、新的责任分担机制以及决策可追溯的重要性，建议各国监管者必须考虑科技发展的社会性限制因素，进一步完善治理措施。我国也已在顶层战略中专门强调了建设人工智能治理体系的重要性。2017年7月，国务院印发了《新一代人工智能发展规划》，在战略目标中对法律和伦理体系建设提出了“三步走”的目标，明确了自动驾驶、服务机器人等应用基础较好的细分领域应作为立法完善的关键领域。

除了政府在政策和立法层面加快人工智能伦理和法律规则的构建外，人工智能企业、标准化组织、研究机构等也从产业发展的角度提出了人工智能治理规则构建的思路。2017年1月，在加利福尼亚州举办的阿西洛马人工智能会议上，知名物理学家史蒂芬·霍金、特斯拉CEO埃隆·马斯克及近千名人工智能和机器人领域专家联合签署了阿西洛马人工智能23条原则，呼吁全世界在发展人工智能的同时严格遵守这些原则，共同保障人类未来的利益和安全。电气和电子工程师协会（IEEE）则主要聚焦人工智能领域伦理道德标准的研究，于2017年12月发布了第2版“人工智能设计的伦理准则”白皮书，其目的就是为了从标准化角度出发对伦理问题进行设计，使人工智能系统以人为本，服务于人类价值和伦理准则。目前，在IEEE的倡导下，成立了面向所有人开放的IEEE P7000™标准工作组，下设数据隐私处理、算法偏见处理等10个具体研究组，推动伦理问题转化为技术标准。

当前各国除了关注更加宏观的人工智能治理问题，对具体应用领域规则制定的关注程度也日益提升，在交通和金融领域尤为突出。

3.1　自动驾驶

自动驾驶是人工智能应用最早落地的领域之一，产业发展基础相对成熟，目前全球自动驾驶立法正在不断推进，包括联合国、美国、德国、英国等在内的国际组织和国家正在积极修订原有法规或制定新的法律政策，为自动驾驶技术的部署清除法律障碍，取得了积极进展。

联合国《维也纳道路交通公约》一项有关车辆自动驾驶技术的修正案于2016年3月23日正式生效。这项修正案明确规定，在全面符合联合国车辆管理条例或者驾驶员可以选择关闭该技术的情况下，将驾驶车辆的职责交给自动驾驶技术可以被应用到交通运输当中。

美国建立联邦与州协同的监管模式。在州层面，推动自动驾驶测试法案出台，明确测试条件、要求、范围等，目前已有22个州颁布实施了46份涉及自动驾驶的法案和行政命令；在联邦层面，2016年9月颁布《联邦自动驾驶汽车政策》，进一步明确各州订立自动驾驶法案的要求，以及联邦与州监管的分工；2017年7月，美国众议院通过《自动驾驶法案》，旨在发挥联邦职能，通过鼓励自动驾驶汽车的测试和研发以确保车辆安全；同年9月，NHTSA又发布了最新的《联邦自动驾驶系统指南：安全愿景2.0》，强调自动驾驶的安全性和消费者教育。该指南将作为最新版本取代FAVP，以更灵活的方法来推进自动驾驶汽车安全技术的创新发展。

德国政府于2015年已允许在连接慕尼黑和柏林的A9高速公路上开展自动驾驶汽车测试项目。立法机构2016年对《德国道路交通条例》所规定的“驾驶员在车辆行驶过程中全程保持警惕”、“驾驶员的手不能离开方向盘”等条文启动立法修正。2017年5月，德国通过自动驾驶汽车法案，为自动驾驶汽车路上测试扫清了障碍，其规定：第一，司机必须始终坐在方向盘后，以便在自动驾驶汽车请求时进行控制；第二，允许路上测试，司机可不参与驾驶行为（意即可以上网、发邮件等）；第三，安装“黑匣子”，记录驾驶活动；第四，明确司机和制造商的责任分配，即，司机参与驾驶的，依其注意义务和过错承担责任，否则制造商承担责任。

我国也已开启自动驾驶测试规定的立法进程。自2017年年底开始，北京、上海、重庆、深圳等地率先开启自动驾驶路测立法。2018年4月，工信部、公安部、交通运输部联合发布了《智能网联汽车道路测试管理规范（试行）》，从国家层面再次对自动驾驶汽车的道路测试指明了方向。从最新发布的规定来看，进一步明确了我国自动驾驶汽车的技术路线为“智能网联汽车”，对测试主体、测试驾驶人和测试车辆分别设置门槛，规定了测试申请及审核程序，以及交通违法和事故处理的方式等内容。国家层面规定的出台，意味着自动驾驶汽车所面临的一部分治理问题得到了解决，同时也为后续其他省市出台路测规定提供了重要参考。

3.2　智能投资顾问

智能投资顾问（以下简称“智能投顾”）是人工智能技术与金融服务深度结合的产物。该服务模式诞生于2008年，自2011年开始在美国等市场发展速度显著加快。目前，国内外理论和实务界对于智能投顾尚未形成权威和统一定义，在业务边界和范围上各国的实践选择也不尽相同。

从业务定义来看，美国证券交易委员会（SEC）和证券业自律监管组织美国金融业监管局（FINRA）定义较为宽泛，将智能投顾业务类型界定为“通过移动设备或个人电脑，获取广泛的自动化投资工具，包括个人财务规划工具（如在线计算器）、投资组合选择或资产优化服务（如特定账户的配置建议服务）、线上投资管理程序（如进行投资组合筛选和管理的智能投顾）等。”欧洲三大金融监管机构——欧洲银行业管理局（EBA）、欧洲证券及市场管理局（ESMA）、欧洲保险与职业年金管理局（EIOPA）认为在证券市场中发展较为成熟的智能投顾是指“在投资顾问业务中应用的自动化工具，由投资者提供个人信息，自动化工具结合客户信息，通过算法为客户提供金融工具的交易建议。”澳大利亚证券与投资委员会（ASIC）则在第255号监管指引中采用“数字建议”（Digital Advice）一词指代智能投顾所提供的服务，包括普遍性和个性化（结合某个客户具体的投资目标、财务状况和实际需求）建议，既涵盖范围较为狭窄的资产组合设计，也包括综合全面的财务管理计划。我国目前也对该项业务进行定义，如人民银行、证监会等五部委于2018年3月发布的《关于规范金融机构资产管理业务的指导意见》指出，智能投顾属于“金融机构运用人工智能技术、采用机器人投资顾问开展的资产管理业务”。由此可见，各国对于智能投顾的定义方式并不一致，既包括了为用户提供投资建议的助手型工具，也包括了帮助用户实现全自动化财务投资的理财工具。

国外监管机构已经开始了对于智能投顾的监管探索。美国、英国、日本、香港等国家和地区将现有的监管规则直接适用于智能投顾业务模式的监管；法国、荷兰、新加坡等国正在评估是否需要专门针对智能投顾制定补充性规则或保障性措施；而加拿大、澳大利亚、中国等已经针对智能投顾出台专门指引或规范性文件。例如，五部委发布的《关于规范金融机构资产管理业务的指导意见》对于该项业务还是采取了较为谨慎的管理思路，要求经营该项业务应当经金融监督管理部门的许可，取得相应的投资顾问资质，充分披露信息，报备智能投顾模型的主要参数以及资产配置的主要逻辑。

4　人工智能治理应考虑的重点要素

结合国内外治理规则的动态，以及人工智能技术和产业发展的特点，笔者认为人工智能治理需要着重考虑以下问题：

一是业务准入和形态界定问题。人工智能涉及业务范围广泛，应用形态演进迅速，特定行业管理部门需要准确界定人工智能产品或服务范畴，确定监管对象和监管重点。以自动驾驶汽车为例，其主要技术路线包括了“智能化”和“网联化”两种，前者更加强调单车的智能，而后者需要人、车、路、云等多个要素共同推进。采用智能化路线的自动驾驶汽车可能只需要考虑汽车本身的准入问题，采用网联化路线的自动驾驶汽车还要考虑车辆通信标准的制定、数据传输安全、道路基础设施的完善等问题，两种技术路线虽然都可实现自动驾驶功能，但准入的要求和后续监管难度大不相同。简而言之，人工智能是一个大的概念，在此之下有无数的技术和应用分支，可能涉及不同的治理规则，对于政策制定者来说是一个很大的挑战。

二是人工智能算法公平性问题。算法本质上是“以数学方式或者计算机代码表达的意见”，人工智能系统的设计者、开发者可能在设计阶段将人类的偏见嵌入算法系统，系统本身也可能在交互过程中产生无意识的歧视行为。由于算法歧视具有难以预料的特点，使得识别问题根源或解释问题的难度进一步加大。例如，谷歌公司的数码相册软件曾将深色皮肤的人群错误标记为大猩猩，显示了科技错误如何在无意之间转变成伤害，进而导致社会的不安与仇恨。关于解决方案，企业和政府都已经进行了相关探索。例如，在欧盟《一般数据保护条例》中，严格禁止对个人造成歧视的数据分析行为。微软公司则认为算法透明能够提高公众对于人工智能的信赖程度，承诺将提高自身算法透明度，满足人类理解和监管的需求。

三是人工智能中的个人隐私保护问题。人工智能的发展有赖于利用数据训练算法，在这个过程中需要收集、分析和使用大量的数据，而数据的收集和处理过程很大程度上是由机器自行完成的，用户是毫不知情的。此外，人工智能产品和服务往往由多个主体共同参与提供，个人信息收集和使用的边界并不明晰。对于医疗等敏感数据，这项风险更加突出。2017年7月，谷歌DeepMind公司曾和英国NHS医疗服务机构联合开发一个名为Streams的智能手机应用程序而共享数据，NHS并没有向患者明确他们的医疗信息将被如何使用，也没有询问患者是否同意DeepMind处理自己的医疗数据，它们之间的数据交易被英国信息专员办公室ICO认定为“没有遵守数据保护法案”。如何合法合规地收集和使用个人信息，成为智能应用产业链上的每个主体要面对的重要问题，需要各国进一步制定规则予以规范。

四是人工智能责任划分问题。产品责任划分的承担问题伴随人工智能的发展而来，尤其是感知智能领域的产品责任问题。从传统法律责任理论来看，过错责任是法律责任中最普遍的形式，并且是占据主导地位的法律责任，传统的侵权法中也是以过错责任为主要归责原则。当高度自主、脱离人类控制且独立运作的智能机器人造成人身或者财产损害，如何分配并承担法律责任，成为当前需要思考的重点问题之一。2016年5月，美国佛罗里达州曾发生一起特斯拉汽车自动驾驶模式的事故，车辆未能识别转弯卡车，导致特斯拉轿车司机当场死亡。2017年1月，美国国家公路交通安全管理局（NHTSA）发布调查报告，宣布特斯拉汽车为这起事故中的无过错方，原因是特斯拉汽车仍属于自动驾驶中的初级阶段-“辅助驾驶”，受害者在驾驶过程中双手离开方向盘，明显违背了车辆安全使用要求。这个案例反映出了人工智能产品责任认定的复杂性，尤其是当前以人类行为者为中心的侵权责任和以产品生产者、销售者为中心的产品责任，在应对这一问题时，侵权法、合同法等法律规则的不充足性和局限性将逐渐显现出来，未来需要探索构建结构合理的责任体系。

5　关于人工智能治理问题的初步思考

与互联网技术带来的治理问题相比，人工智能技术范围更广，与其他领域融合的态势也更强。人工智能治理问题既包括了这项技术本身带来的治理问题，如算法的可解释性、产品或服务的准入等；也包括了这项技术与其他领域融合带来的综合性治理问题，如安全风险、就业冲击等。因此，很难以统一的治理框架来应对所有遇到的问题。在考虑人工智能所带来的治理问题时，应把握好治理原则，确立底线思维和监管红线，同时赋予企业相应的自主权，保证产业创新活力。具体而言，笔者提出以下四点建议：

一是理清政府、企业的权责边界。法律是现实社会运行的规则，而代码则是网络空间运行的法则。在现有法律规则可以适用人工智能治理，或技术规则可以有效弥补法律规则缺失的情况下，监管部门没有必要针对每个新的问题出台一部新的规定，而应该更好地发挥已有法律规定的作用，加强企业自律，考虑将部分技术规则上升为法律规定。

二是将处理好安全和发展的关系。现阶段人工智能发展仍处于初级阶段，主要还是为了实现辅助功能，离不开人类的介入和控制，发展是当前人工智能产业的“第一要务”；人工智能进入高级阶段后，其决策难以被预测和解释，如果对其没有有效的控制手段，将可能产生重大的公共危险和对私人权利的侵犯，不仅应该高度重视人工智能安全问题，还可能需要对人工智能的“发展”进行一些限制。

三是加强对经济社会影响的评估。对人工智能治理问题的讨论，不应该是臆想和假设，需要建立在翔实的数据和案例基础之上。例如，在处理人工智能带来的就业问题上，需要构建覆盖各个行业的、科学的评估和测算体系，为政府决策提供支撑。

四是处理好国内立法与国际规则的关系。人工智能的发展在全球带来的挑战是同步的，也有赖于制定共同遵守的规则。因此，在国内立法的同时更应该跟踪、参与和推动国际规则的制定，以应对人工智能对全人类带来的机遇和挑战。