国家治理法治化语境中的精准治理

【摘要】人工智能技术在国家治理现代化的过程中有着广泛的应用前景。通过打造统一的政府信息平台，并在此基础上借助机器分析海量数据，可以为政府决策提供精准的信息支持。同时，更多的动态数据掌握在平台企业手中，公共信息与市场信息的互通和共享是实现精准治理的前提条件之一。在打造好大数据基础设施的前提下，人工智能技术可以给治理工作带来许多创新手段，比如社会信用治理和预测性执法。同时，我们也应当看到这些新的治理手段带来的结构性变化以及对公民权利的冲击。因此，法治保障也应当紧紧跟上技术发展的步伐。

【关键词】人工智能 大数据 精准治理 法治 权利

【中图分类号】D63 【文献标识码】A

【DOI】10.16619/j.cnki.rmltxsqy.2018.10.004

物联网时代的到来使得数据量呈几何级数增长，存储技术的迅猛发展在提升数据存储能力的同时极大地降低了数据存储的成本，量子计算机和并行计算的出现使计算能力得到几何级数的提升，智能算法不仅使数据处理和数据分析变得更加精准，还进一步以大数据为学习素材而迅速提升着机器的智能。这一系列技术领域的发展首先改变着生产力和生产关系：传感器、智能算法和执行器的结合催生了3D乃至4D打印技术，改变着制造业的生产模式，还使得无人驾驶汽车全面取代人类驾驶的时代日益迫近；同样的技术也已经被应用到农业领域，精准农业定点解决方案已经成为新的发展方向。如果说机器取代人的体力劳动是工业革命以来一直延续的趋势，那么人工智能在医疗、金融和法律等服务业领域日益广泛的应用则是这一轮技术革命的新特点。精准医疗、金融科技（FinTech）、预测式执法日渐成为社会生活的现实。去中心化的区块链技术来势汹汹，其鼓吹者号称要消灭交易环节的所有的中介，由此，银行和律师将首当其冲地被取代。在改变人类社会的经济基础的同时，这一系列信息技术也改变着上层建筑，算力正在成为与政治权力竞争的新的权力形态，算法正在侵蚀法律的领地。面对这些远远超出技术范围的深刻而复杂的变化，国家治理的顶层设计、底线思维和中层机制显然都需要全方位的调整。一方面，技术为治理提供了新的工具，使得治理有可能变得更加精准和智能化；另一方面，技术也增加了治理的难度，使主权国家面对着商业力量、境外大数据掌控者和黑客在影响和控制人的行为方面的多重竞争。本文旨在从法律的角度厘清人工智能技术给国家治理现代化带来的机遇和挑战。文章的第二部分梳理智能化的精准治理的可能模式，第三部分讨论如何把这种新的治理模式限定在法治的框架之内。第四部分是结论。

人工智能与精准治理

人工智能技术是计算机技术发展的新阶段。以往的计算机编程模式的特点是将复杂问题简单化从而写入代码并且让软件执行编程者所设定的任务，神经网络、遗传算法等智能算法使机器具有了自主学习的能力，从而能够直接处理复杂问题，在输入端越来越接近人类认知界面，比如可以理解人类自然语言，能够识别图像和语音，在输出端可以提供准确的判断、预测乃至决策，而不是简单地罗列搜索结果或计算结果。机器甚至已经能够自我编程：剑桥大学和微软的Deepcoder[1]、彭博和英特尔的AI Programmer[2]以及谷歌的AutoML[3]都是已有的自我编程系统。这些自我编程算法都是结合了神经网络或遗传算法架构和网络搜索，从人类程序员的编程经验中去学习，从而在特定场景中达到超过人类程序员的编程水平。正如业内人士所言：“授计算机以数据，够它用一毫秒；授计算机以搜索，够它用一辈子。”随着可供机器学习的各类数据的迅猛增长，计算机在人类涉足的各个专业领域都将获得超越人类的“智能”。对于这种正在迫近的未来图景，乐观主义者认为这将极大地强化人类能力，使人类最终得以借助数码技术超越生物学规律，迎来智能飞跃的“奇点”[4]；悲观主义者则认为这意味着机器将成为人类无法控制的力量，人工智能对人类社会构成了“最大的生存威胁”，对人工智能的不加约束的应用就好像是在“召唤魔鬼”。[5]

无论是对人工智能的未来发展前景持乐观主义还是悲观主义的立场，都不得不面对这种技术迅猛发展和广泛应用的现实。技术是导致经济——社会变革的重要变量之一，而且是不可逆转的变量。法国哲学家德布雷写道：“归根到底，唯一跳出星球运转的循环意义外的革命不是政治革命而是技术革命，因为只有它们才是不复返的。有了电流后就不再用蜡烛，有了汽轮船就不再用帆船。然而有了十月革命还是回到了东正教。”[6]率先完成第一轮工业革命的国家利用船坚炮利的优势将东方文明古国变成自己的殖民地，这是尽人皆知的历史。同样，在新一轮信息技术革命中取得优势地位的国家如何利用这种技术来影响他国政治，也是一个不断出现新鲜实例的当代史。比如，2009年古巴移动（Cubacel）的一名员工偷偷摸摸地把50万个古巴手机用户的号码发给了一位在西班牙定居的古巴移民，这位海外古巴人随后免费把这些数据交给了美国国际开发署（USAID），该机构又把数据给了自己的承包商Creative Associates International。这家营利性公司随后“创造性”地建立了一个自动化的手机短信发送平台，先向古巴境内的这些手机用户免费发送足球、娱乐和天气信息。等到订户数量稳定下来之后，再向他们发送政治信息。用美国国际开发署官员的话来说，这样做的目的是“重新调整国家与社会之间的权力平衡”。换句话说，这是为了在古巴境内煽动政治动乱，促成“古巴之春”。这套被称为ZunZuneo的古巴版twitter系统应用智能算法来分析用户对不同类型信息的反应，将他们归类为“支持革命的”“不关心政治的”和“反对革命的”，并且针对不同类别的人发送不同的信息。[7]它一直运转到2012年中，因为经费用完才终止。

层出不穷的实例让我们看到，面对人工智能的大潮，如果不去主动掌握它、应用它，就会被它（实际上是被掌握它的国家、商业组织和个人）所掌控和利用。驯服一匹烈马的办法不是挡在它面前，而是奮力骑上它，在驾驭的过程中驯服它，同样的道理也适用于人工智能这种新技术。要使人工智能成为国家治理现代化的技术手段之一，需要理解它的性质和可能应用场景。

智能政务的顶层设计。在提到人工智能的时候，许多人会想到机器人或人形机器，但有形的智能机器（无论是不是人形）都只是人工智能的终端、外设或执行器，而不是人工智能的“智能”所在。人工智能研究的先驱者之一马文·明斯基曾经指出：人工智能就是“让机器能够做人类需要运用智能来做的那些事情的科学。”[8]这是一个功能主义的定义，它覆盖了可以实现“让机器具备智能”这一功能的全部科学和技术手段。实际上，这一功能主要是依靠算法（即软件或程序）来实现的。如果要用机器人来打比方，我们可以说“如今的算法是拥有自主适应和学习能力的数码‘机器人”[9]。从这个意义上来理解人工智能，就可以发现它早已进入我们的日常生活。从百度到淘宝，从微信到携程，各个平台企业都在利用海量的用戶数据训练自己的“数码机器人”，然后再用这种无形的“机器人”来分析用户数据、预测用户行为、向用户投放量身定制的广告和产品推荐。智能算法所提供的个性化服务不一定都是符合用户利益的，“大数据杀熟”“抢票软件”等都是商家运用智能算法利用客户弱点从而使其利益最大化的新现象。政府必须服务于公共利益，在将人工智能这种蕴含着不可控风险的技术应用于国家治理工作之前，需要先进行可行性研判。

世界各主要国家都已经针对人工智能技术在政府工作中的可能应用前景进行过纵观全局式的初步分析。比如，美国奥巴马政府曾经委托国家科技委员会全面研究了如何做好准备迎接人工智能技术所主导的未来，其中对政府提出了这样几项具体建议：（1）加大对人工智能基础和应用研究的投入；（2）充当人工智能技术及其应用的早期客户；（3）支持前沿技术项目并提供真实世界场景中的试验场所；（4）强化公众获得数据的能力；（5）设立人工智能领域的创新奖项，激励技术发展；（6）识别并迎接“巨大的挑战”，为人工智能发展确立雄伟而可实现的目标；（7）营造一方面繁荣创新另一方面保护公众免受伤害的政策、法律和规制环境。这份报告同时指出，美国联邦政府应用人工智能技术来改善公共服务的能力受到各部门接触创新的机会、自身资源和研发能力以及与私营部门创新团队的关系等因素的影响，呈现出极度不均衡的状态。有些部门，比如国防部下属的国防高级研究计划局（DARPA）和国家医疗卫生研究院都拥有数百亿美元的研发预算，而劳动部则只有1400万美元的预算，这会导致各部门的“智能化”程度严重失衡。[10]

我国政府也陆续发布了《中国制造2025》（2015年5月）、《国务院关于积极推动“互联网+”行动的指导意见》（2015年7月）、《机器人产业发展规划》（2016年4月）、《“互联网+”人工智能三年行动实施方案》（2016年5月）、《新一代人工智能发展规划》（2017年7月）和《促进新一代人工智能产业发展三年行动计划（2018～2022）》（2017年12月）等一系列基于宏观战略研究的政策性文件。其中《新一代人工智能发展规划》在“推进社会治理现代化”部分提出要“围绕行政管理、司法管理、城市管理、环境保护等社会治理的热点难点问题，促进人工智能技术应用，推动社会治理现代化”。此外，在“利用人工智能提升公共安全保障能力”部分也指出了社会综合治理、新型犯罪和反恐等需要应用人工智能技术的重点领域。教育、医疗、养老等迫切民生需求领域也被提及，作为人工智能技术亟需进入的重点领域，以便“为公众提供个性化、多元化、高品质服务”[11]。但这一类政策性文件侧重于营造人工智能技术和产业发展的支持性制度环境，而对技术应用的现实制约因素和应用过程中蕴涵的风险和不确定性缺乏分析。随着人工智能技术的进一步发展以及应用场景的不断增加，风险防范和法律规制应当成为顶层设计的重要组成部分。

政务数据基础平台。如上所言，人工智能的核心是机器学习，而机器学习的素材是大数据。虽然AlfaZero所使用的强化学习技术突破了AlfaGo依赖人类经验的深度学习方法，在只学习规则而不学习棋谱的情况下通过自我博弈完败了基于大数据的机器学习，但这种技术目前只适用于规则明确、信息完备的博弈场景，还不能用来解决人类社会中的复杂性问题。尤其是政府工作中所使用的人工智能，不能离开人类经验和人类需求去寻找数学上完美的优化解决方案，因此，汇集各类政府工作信息的大数据平台是政务智能技术开发的前提条件。

早在人工智能成为大众关注的热点概念之前，我国已经全面展开了政府工作信息化（即电子政务）的建设。电子政务，是指国家机关在履行政府职能的过程中全面应用现代信息技术、网络技术以及办公自动化技术等进行办公、管理和为社会提供公共服务的一种工作方式。[12]人工智能等新一代信息技术促使电子政务向“智慧政府”发展。[13]如果说电子政务发展的早期主要是利用互联网作为政府与公民之间的信息沟通渠道从而解决信息不对称问题、实现政府信息公开、方便群众网上办理注册登记、报税、缴费等简单业务的话，智慧政府所应用的信息技术则不再只是中立和被动的平台，而是能够学习、分析、预测甚至决策的智能算法。但是，智能算法的分析、预测准确性取决于数据的数量，大数据是智慧政府的基础设施。

目前，我国尚未建成统一的政务信息平台，政府信息存在分散化和区隔化的特点。以司法信息为例，如今，无论律师、检察官还是法官，大多是用计算机来完成文书写作，但各部门还是要求提交纸面材料。随着智慧检务、智慧法院建设的开展，又要求对办案流程中的各种文书进行扫描存入系统，这不仅造成了很大的资源浪费增加了行政成本，而且公安、检察院和法院各自建设自己的数据库，整个办案流程中的数据无法实现整合。除了部门区隔外，各地方的政务和司法数据是相互分割、无法共享的。同时，不同的政府部门以及地方政府使用的可能是不同服务商所提供的政务云服务，这进一步给数据整合造成了困难。如此零散的数据限制了智能算法学习治理经验的素材，使人工智能技术在政府工作中的应用大为受限。因此，建设智慧政府的前提条件是打破数据壁垒，实现政府信息的纵向与横向整合，打造政务信息平台。

人工智能时代的“编户齐民”。对人口和财产进行统计、认证、分类和评分是国家治理的基础，其中的认证能力被学者称为“国家基础能力的基础”。[14]“所谓‘认证就是在数据与人或物之间建立一一对应的关系。”[15]现代社会人、财、物的快速流动给认证带来了很大的挑战，同一个人在不同的场景会以不同的假名、行为方式和表达方式而出现，乃至有人戏称“在互联网上没人知道你是一条狗。”但人工智能技术为互联网时代的“编户齐民”提供了新的技术手段，使“社会计算化”成为可能。“所谓‘社会的计算化，是指随着互联网的普及，越来越多的社会活动都通过互联网进行，人类因此而在互联网上留下海量而且相互关联的数据足迹，基于这些数据足迹，大量原本不可追踪、检索、汇编、计量和运算的社会活动，变得可以追踪、检索、汇编、计量和运算。”[16]与过去由政府主导的认证工作不同，如今的社会计算化主要是由商业力量推动和控制的，这给治理工作带来了新的问题。政府一方面需要与平台企业合作来获取数据、购买产品和服务，另一方面又需要作为企业与消费者之间的中立第三方来对企业进行监管。

由于人的大部分线上活动都不是在政府平台上进行的，而是通过搜索引擎、购物平台、社交网络等由私人企业运营的商业平台进行，这些平台借助帐户注册、用户协议和平台管理而掌握了比政府所掌握的更多的个人数据，并且借助智能算法追踪、汇集和分析个人行为的电子踪迹，从而能够对个人进行数字画像，准确预测个人行为，并根据历史数据对账户进行信用评级。从表面上看，政府掌握着个人从出生、入学、就业、婚姻、生育到死亡的全流程信息，但这些信息是静态的、孤立的和表面化的，在实时动态性、连续性和完整性方面都远不如商业平台所掌握的反映个人行为轨迹的信息。政府虽然可以在行政、司法和执法的过程中要求企业提供特定的个人数据，但这种要求只能在具体个案中针对特定人物提起，而不能成为可供机器学习的大数据。而且，即使是在这种场合，也可能遭到企业以保护商业秘密或合同关系为由的拒绝。比如，苹果公司曾经因拒绝政府要求披露用户信息而获得自由主义者们的普遍赞誉。2015年12月2日，美国加州圣贝纳迪诺发生了美国本土自9·11之后最严重的恐怖袭击，宣誓效忠“伊斯兰国”的赛义德·法鲁克（Syed Rizwan Farook）和塔什芬·马利克（Tashfeen Malik）在开枪射杀14人、射伤20多人后被警察击毙。联邦调查局查获了法鲁克的iphone手机，为了获得犯罪调查和反恐所需要的信息，它在获得法院授权的情况下向苹果公司发出了解锁该手机的要求。但苹果公司拒绝合作，公司总裁蒂姆·库克还在公司网站上发布了一封公开信，谴责联邦调查局的要求“破坏了我们的政府旨在保护的那种权利和自由。”[17]对苹果公司而言，这是一次成功的公众形象宣传，而对于美国的国家安全和公众的生命安全而言，这显然不是件好事。

企业一方面以拒绝与政府合作披露用户信息的姿态来维护自己的公众形象，另一方面自己又偷偷摸摸地滥用着个人信息。大数据分析公司“剑桥分析”利用Facebook泄露的5000万用户的帐户信息帮助特朗普竞选团队量身定制地投放政治广告从而帮助特朗普在2016年美国总统大选获胜的新闻，便是这方面一个现成例子。[18]

基本公共服务（包括国防和治安）领域的公、私权力关系是未来治理需要解决的首要问题。以政府为主要规制和防范对象的现有公法体系需要考虑技术革新和权力结构变化所带来的新问题，一方面将透明、公开、程序合法、说明理由等对公权力行使者的要求延伸到实际上行使着“准公权力”的平台企业，使算法等技术化的监控和决策手段不再是无法被问责的“黑箱”，另一方面调整传统的公法概念（包括“公共服务”）和规制手段，以应对现时代公私合作、公私共治的普遍现象。

分类、评分和社会信用体系。机器学习的“推理”方式是基于统计学方法的归纳推理，目前的智能算法善于从海量数据中找出规律和模式。如果再由人工给不同的行为模式贴上标签，比如反社会倾向、潜在恐怖主义分子或者政治上激进等，就可以由机器来针对某种标签所代表的人或行为进行监控、预测，甚至自动采取“行动”（比如断网、断电、列入某类服务的“黑名单”，等等）。智能算法还可以根据平台用户的搜索记录、购物记录、点赞记录等对用户进行评分，授予不同的VIP等级和相应权限。而政府也可以利用政府信息平台上的可得信息来对個人进行社会信用评级，确定需要重点监控的对象，甚至剥夺某些失信者的特定民事权利和自由，比如，国家发展改革委员会、中央文明办、最高人民法院等八部门于2018年3月联合发文，决定限制特定严重失信人乘坐火车。严重失信人包括严重影响铁路运行安全和生产安全者（比如在动车组列车上吸烟或者在其他列车的禁烟区域吸烟的人）、违反税收法规者、在财政资金管理使用领域中有弄虚作假等严重失信行为者等。这种让当事人在已承担法律规定的责任之后额外背负“失信”标签并承受相应后果的做法是否符合立法保留、比例原则和正当程序原则，这是法学界关心的问题。

如果应用得当，人工智能可以使信用评分更加精准、动态化和语境化。传统的个人信用和风险评分是商业银行和保险公司针对个人信贷或保险客户的违约风险、健康风险、职业风险和行为风险等所作的评分，用以支持贷款或保费决策。随着个人商业活动和社交活动的网络化，平台企业开始借助自己所掌握的账户活动信息而进行更加精准的信用评分。以回归分析为主要方法的统计学模式，最近邻法、决策树法和数据包络法等非参数方法，以线性规划法为主要方法的运筹学方法都随着计算机技术的发展而得到强化，同时，神经网络和支持向量机等智能算法的出现进一步解决了传统方法的小样本、线性化、无反馈等问题。但是，技术上存在可能并不意味着实践上一定能达成。人工智能评分系统的准确性取决于前期的人工投入，政府人员需要与技术人员合作列出参数和指标，确定它们的权重，确保违背法律和伦理的评价指标（比如种族、民族和性别歧视因素）不会进入算法。如果没有这种前期的把关和持续的监督，智能算法就可能变成“数学杀伤武器”[19]。类型化和标签化固然有助于管理，但其中也蕴含着固化、歧视和简单化的倾向。从脑科学角度来看，贴标签是认知弱化而不是智能的体现。比如，网络空间中给中年男性的“油腻”“猥琐”标签，便是人云亦云、盲从跟风的结果。[20]机器学习的素材是用语言和符号表达的人类经验，其中也包含人类偏见。一旦这种偏见用算法的形式固定下来，便会逃过人们的审视和反思。

2017年6月23日，由上海市第十四届人民代表大会常务委员会第三十八次会议通过的《上海市社会信用条例》是规范大数据时代社会信用评分的比较有代表性的地方性立法。该条例将社会信用信息定义为“可用以识别、分析、判断信息主体守法、履约状况的客观数据和资料”，并且将社会信用信息区分为公共信用信息和市场信用信息。该条例不仅提出了公共信用信息的互通、共享要求，还提出要建立公共信用信息与市场信用信息的互通、共享机制。此外，该条例也规定了信息主体所享有的权益以及相应的救济程序。这是将社会社会信息的收集、分析和利用法治化的有益尝试。随着社会信用评分日益成为一种常规化的社会治理手段，全国性的《社会信用法》也应当及时出台。

预测性执法。基于大数据的人工智能技术可以比较准确地找出某一类人或被重点监控的某一个人的行为模式，并对未来的行为作出比较准确的预测。在美国，相关实证研究表明，大多数犯罪行为都是一小部分惯犯所犯下的，因此剥夺这一小撮人的犯罪能力可以指数级地减少犯罪率。兰德公司的一份报告因此提出了“有针对性地剥夺犯罪能力”（Selective incapacitation），指出：“有针对性地剥夺犯罪能力是一种战略，它旨在使用客观的精算证据来提升既有系统识别和羁押那些对社会构成最严重威胁的人物之能力。”[21]预测性执法在预防犯罪、禁毒和反恐等领域已经得到普及。

从法律的角度看，预测性执法涉及到违反正当程序、系统性歧视和侵犯隐私等问题。哥伦比亚大学法学院哈克特教授专门写了一本叫做《反对预测》的书。他提出了三点理由：首先，根据对未来犯罪行为的预测来执法会削弱执法本身的首要目的，即减少犯罪；其次，对概率论方法的依赖会造成数据偏差，过分针对被监禁人口，而忽略了未被监禁的人口；第三，精算方法的广泛应用扭曲了人们对何谓公正惩罚的认知。刑法的规范价值被忽视了。[22]不过，如果不采取预先拘禁和搜查等明显侵犯个人权利的强制措施，而是采取在据预测可能发生犯罪或恐怖袭击的地方加派警力巡逻、在犯罪高发地区加装照明和摄录设施、动员基层群众自治组织或发动群众盯控可能的犯罪分子等非干预性的手段，则可以在强化法治的前提下维护秩序。

基于大数据的人工智能技术的发展正在使孔德在一个半世纪前试图建立的“社会物理学”成为可能。按照孔德的设想，随着理性的科学认知的不断推进，社会科学最终将发展到物理学的“成熟状态”。人们将可以通过观察、统计和分析而发现近似于自然规律的社会规律，从而“研究现状以便推断未来。”[23]在孔德的时代，由于技术手段的欠缺，他的野心还无法变为现实。基于有限样本的统计分析还远远无法使社会预测达到物理预测那样的精准性。但大数据存储和人工智能分析已经使样本分析有可能为整全数据分析所取代，并且日益实现动态化和分析者与对象之间的互动化。正如当代社会物理学的鼓吹者彭特兰所言：“社会物理学是一门定量的社会科学，旨在描述信息和想法的流动与人类行为之间可靠的数学关系。社会物理学有助于我们理解想法是如何通过社会学习机制在人与人之间流动的，以及这种想法的流动最终如何形成公司、城市和社会的规范、生产率和创意产出。”[24]在社会物理学当道的世界，事后追责型的人类法律将被数理定律所取代，物理性和生物性的安排将取代制度性的安排。脸书创办人马克·扎克伯格曾经指出：“基本的数学法则主导着人与人之间的关系，它控制着我们心之所系的盈亏。”[25]而他也的确利用算法实现着对人心和人的行为的操控。人工智能正使我们越来越接近于发现这些数学法则，并借此控制人的行为乃至动机。人工智能的进一步发展则可能使人类连编写代码、设计算法的工作都省了，由机器来自我编程，建构“完美可控”的人间秩序。[26]在这种背景下，我们不能只看到人工智能在助力精准治理方面的作用，同时应当考虑如何用法治来引导它的发展方向，从而使它服务于社会公共利益。

国家治理现代化与智能法律

黨的十八届三中全会提出：“全面深化改革的总目标是完善和发展中国特色社会主义制度，推进国家治理体系和治理能力现代化。”[27]现代化的国家治理体系的主要外在形式就是法治，“国家治理法治化是国家治理现代化的必由之路。”[28]我国推进国家治理法治化和现代化的过程很碰巧地与新一轮信息技术革命同时发生，人工智能是这一轮技术革命中最为引人注目的领域。在利用人工智能技术来建设智慧政府，实现精准治理的同时，需要把人工智能的各种应用场景，包括治理工作，纳入法治轨道。要实现精准治理的法治化，需要落实以下几方面的制度安排。

算法可解释性。在美国，已经有案例涉及到算法黑箱问题。2013年初，威斯康辛州指控艾瑞克·鲁米斯（Eric Loomis）五项刑事罪行，都和一起驾车枪击事件有关。鲁米斯否认自己参与了枪击，但承认自己在案发当晚驾驶过那辆车。在辩诉交易中，他承认了两项较轻的罪名：“企图逃避交警以及未经车主同意擅自驾车”。在量刑阶段，法院收到州政府罪犯改造部门提交的一份量刑前调查报告（PSI），其中包含再犯风险评估内容（COMPAS）。在初审判决中，法院在量刑部分援引了COMPAS评估的内容，并且部分基于这一评估判处鲁米斯6年监禁外加5年监外管制。在申请定罪后救济动议（motion for post-conviction relief）被拒后，威斯康辛州上诉法院批准了向州最高法院上诉。鲁米斯的上诉理由是法院对COMPAS评估的依赖侵犯了他的正当程序权利。正当程序权利包括获得个别化量刑考量的权利（the right to an individualized sentence）以及基于准确信息而受量刑的权利（the right to be sentenced on accurate information）。由于COMPAS评估报告提供的数据是类型化的，未能充分体现个人特殊性，同时由于作出评估的方法是COMPAS算法的提供者Northpointe公司的商业秘密，其可靠性无从判断，鲁米斯主张自己的上诉两项权利受到了侵犯。此外，他还声称该算法评估将他的性别作为一个因素加以考量，侵犯了他的平等权。[29]

威斯康辛州最高法院支持了初审法院的判决。在安·布拉德利（Ann Walsh Bradley）大法官撰写的多数派意见中，鲁米斯的正当程序和平等权主张被一一否定。首先，法院认为性别因素是作为提升评估准确性的目的而非歧视目的而进入算法参数的，而且鲁米斯无法证明法院在量刑时的确考量了性别因素，因此他的平等权并未受到侵犯。其次，因为COMPAS所分析的数据是记录在案的公共数据（犯罪纪录）和被告自己提供的数据（他对137个问题的回答），因此，被告在算法评估结果出来之前本来就有机会否认或解释相关信息，也有机会验证相关信息的准确性，因此质疑信息准确性的主张站不住脚。最后，关于量刑个别化问题，法院承认COMPAS算法评估的结论揭示的是与鲁米斯相似的一类人的再犯风险，但指出该评估结论不是法院作出量刑判决的唯一依据，由于法院拥有在其认为适当的情况下不同意评估结论的裁量权和相关证据，因此该量刑判决是充分个别化的。[30]

从这个案例可以看出，当算法涉嫌针对个人作出了歧视性的或错误的评估或决策的时候，至少在美国，法院倾向于保护算法产品厂商的商业秘密，这种权益被视为没有争议的前提，法院不会要求厂商公开算法代码，也没有要求厂商用自然语言解释算法的设计原理、功能和目的。但算法可解释性是“算法的法律”可以成立的前提。人不可能控制或约束自己不懂的东西。之所以说人工智能算法进行深入学习的过程是个黑盒子，主要的原因除了它的保密性外，更重要的是即使公开了法官和律师也看不懂。算法可解释性乃至可视化是一个可以用技术解决的问题，一旦法律提出了相关要求，技术界便会想方设法使算法成为可解释的。比如，在2018年3月7日，谷歌大脑团队的克里斯·欧拉（Chris Olah）公布了一项题为“可解释性的基础构件”的研究成果[31]，该成果解决了神经网络这种最令人难以捉摸的算法的可视化问题，谷歌将其比喻为人工神经网络的核磁共振成像（MRI）。如果说神经网络算法所处理的海量数据及其复杂运算过程会使人脑“超载”的话，这种可视化解释技术简化了相关信息，使算法的工作状态回到了“人类尺度”，能够被普通人看懂和理解。谷歌还对这种“解释算法的算法”做了开源化处理，使其他技术人员能够在此基础上编写适用于不同算法和场景的解释性算法。

由此可见，法律进入算法不能靠立法者和规制者的单方面努力，而需要法律人与技术人员的合作。正如李彦宏等人在《算法革命》中所指出的那样：“……也许真要靠算法的顶层设计来防止消极后果。人工智能技术可能不只是理工科专业人士的领域，法律人士以及其他治理者也需要学习人工智能知识，这对法律人士和其他治理者提出了技术要求。法治管理需要嵌入生产环节，比如对算法处理的数据或生产性资源进行管理，防止造成消极后果。”[32]法律人可以向技术人员解释法律规则的要求，而技术人员可以设计出符合法律要求的算法。法律和技术都是非自然的“人工”造物，两者都服务于使人类生活更加美好的目的。在人工智能时代，一种新的职业——法律知识工程师——正在诞生，这种职业是由能够用技术解决法律问题的人士和能够用法律服务技术发展并将技术套上法律缰绳的人士共同组成的。人工智能是能够在给定问题的前提下通过深度学习和强化学习寻求最优解的智能算法，它需要人类提出正确的问题，对错误问题的正确解答可能带来灾难性的后果。法律就是用来划定问题域之边界的，它不能确保最佳问题的出现，但可以防止最邪恶问题的提出。

矫正正义。法律，尤其是私法，所体现的核心价值是交换正义和矫正正义。对于自愿的交易，法律旨在确保承诺的履行，合同法便是为了实现这一功能而出现的。对于非自愿发生的初始状态改变，对损害给予救济的侵权法原则和对不当得利予以返还的民法原则（restitution）是主要的法律介入形式。将矫正正义的形式法则应用于各种事实场景的技艺被认为是法律的独特技艺所在，体现了柯克所说的“人为理性”。[33]影响甚大的多伦多大学新形式主义法律学派将矫正正义的概念化、类型化和系统化处理视为法学维持自身独立品格、避免受法律和社会科学交叉学科侵蚀的关键所在。[34]

矫正正义模式通过事后追责的救济手段给技术创新保留足够的空间，在人工智能的应用领域，这意味着继续以传统的侵权法—司法救济模式来保护个人权利。大数据对个人自治的威胁最集中地体现在一个领域，这就是“完美个人化”（perfect personalization）。完美个人化所要做到的就是使个人变得越来越“可识别”，这在欧洲显然会遭遇个人数据保护法的严格限制，乃至于不可能发生。但中美两国却已经在这方面走得很远。正如美国总统科技顾问委员会（PCAST）在2014年提交的一份报告中指出的那样，“各种类型数据的融合以及实时处理产生出一种力量，在这种力量帮助下，政府和企业可以在个人表达需求、甚至意识到需求前向他们准确提供量身定制的信息、产品和服务……不幸的是，‘完美个人化也会给定价、服务和机会方面隐秘或者公开的歧视留下空间……随着像数据融合这样的使大数据分析变得越来越有力的技术不断发展，人们目前的隐私预期也受到越来越严峻的挑战”[35]。这份报告同时提出了一套包含五个环节的应对方案。第一，法律和政策回应不必针对大数据的搜集和分析，而应针对大数据的实际使用，也就是对个人权利产生实际不利影响的具体事件和案件。法律和政策不应指定特定的技术化解决方案，而应当点明具体的政策目标，把解决方案留给技术界去寻找。第二，在发展大数据分析技術的同时，政府和业界应鼓励发展大数据背景下的隐私保护技术，同时开展大数据普及教育，培育大数据时代的隐私权意识。第三，禁止利用大数据分析来进行歧视性的分类和评级。种族、民族、性别等宪法上可疑的分类标准不能被写到“算法”和程序中去。第四，提高大数据分析的透明度，强化大数据使用的问责机制。第五，数据是一种公共资源，应用于公共利益目的，应当使越来越多的人有机会分享智能化大数据分析所带来的利益。

在政府利用人工智能技术对个人数据进行分析处理并实现精准治理的场合，矫正正义模式要求有确定的政府机关为此负责，从而使公民可以通过行政复议和行政诉讼获得救济。《上海市社会信用条例》第36条提供了明确的救济渠道：市公共信用信息服务中心是责任单位，信息主体认为社会信用信息的归集、采集、保存或者提供存在错误、遗漏等情形或者侵犯其商业秘密、个人隐私和其他个人信息等合法权益的，可以向该中心提出异议。此外，根据信用信息作出具体行政行为的机关也可以成为行政诉讼的被告。

预防模式。对于一种深刻改变着社会而其中包含的风险尚无法确知的技术，损害发生之后的司法救济显然无法确保社会的公共利益。因此，许多国家都试图设立专门的规制机构来负责人工智能研发和产品化过程中的风险评估、风险沟通和风险管理。比如，在签署欧洲议会报告过程中便提议设立一个“欧洲机器人和人工智能局”来统筹该领域的风险规制工作。2017年12月，美国众议院讨论了由议员约翰·德莱尼提出的《人工智能的未来法案》，其中的主要内容也是要求在商务部内设立一个“联邦人工智能发展与应用顾问委员会”，就人工智能涉及的技术、商业、国家安全等问题进行综合研判并向政府提供立法和规制建议。该法案特别强调了促进人工智能发展与防止其负面影响之间的平衡问题，指出人工智能人工智能技术的持续发展对于美国的经济繁荣、社会稳定和国家安全具有至关重要（critical）的意义，不能因为担忧其不可控的风险就采取过多的抑制措施。

当一种新技术对社会的影响在科学上尚无定论的时候，如果这种影响有可能是负面的、巨大的和不可逆转的，决策者就应该假定它会造成这种影响，并据此来制定相关和政策和法律。这就是“风险预防原则”（Precautionary Principle）。对该原则的最广为人知的表述出现在1992年的《里约宣言》中，该宣言的第十五条原则指出：“在严重的或不可逆转的损害威胁存在的领域，缺乏充分的科学确定性不应成为暂缓采取有成本效益的措施来防止环境恶化的理由”。[36]这一原则现在也正在被适用到人工智能领域。

机器学習以大数据为素材，采取预防模式的欧盟选取了数据这个源头作为切入点来杜绝可能带来权利侵害的算法。即将于2018年生效的《一般数据保护条例》一体适用于对个人数据的自动化（即算法处理）和非自动化处理（第二条），其目的在于保护数据流动和数据处理过程中自然人所享有的数据权利（第一条）。而个人数据的定义十分宽泛，包括与已被识别出（identified）或可被识别出（identifiable）的自然人相关的任何信息。其中对“可别识别出的”个人数据的保护对算法设计者提出了很高的要求，包括采取匿名化等一系列使数据无法被关联到具体个人的技术手段（第四条）。对个人数据的处理要符合合法、公平、透明、目的具体且有限、准确、安全等原则（第五条）。除非是在法律明确规定的条件（比如数据主体明确同意）下，处理数据的方式不得显示出个人的种族、民族、政治观点、宗教或哲学信仰、工会成员身份，等等。处理的对象不得包括基因数据、使某个人被识别出来的生物计量学数据、健康数据以及性生活或性取向数据（第九条）。[37]该条例明确列举了数据主体的若干具体权利，包括充分知情权、要求更正权、要求删除权（被遗忘权）和限制处理权（第15～18条），旨在强化数据主体对涉及自身的所有数据的控制能力。在鼓励创新和保护权利之间，欧盟立法者选择了后者，预先给智能算法的发展划定了界限。[38]

不仅如此，控制机器学习可用的数据来源的做法基本忽视了智能算法的现有技术状态。对个人身份的已识别或可识别状态往往是数据分析的结果而不是起点，现有的智能算法已经能够对海量的无结构数据（包括百度搜索记录、淘宝购物记录、手机GPS信息等各种电子痕迹）进行分析和处理，最终实现“完美个人化”，即准确识别出某一特定个人的身份、社会属性和偏好。从数据是否已包含个人身份信息入手来规制算法无法达到保护个人权益的目的。我国目前尚未通过《个人数据保护法》，在制定这一类法律的时候应当更多地听取法律专家、人工智能专家和大数据平台企业等多方面的意见，平衡技术创新、国家—社会治理和个人权利保护三方面的利益。

结论

首先，主流的法治理论认为法治与法制的主要区别在于：后者是工具主义的，法律被当成统治的工具，但无法约束统治者本身；后者是权利本位的，法律不仅约束公民，更约束公权力。在这种法治框架下，政府成为法律（尤其是公法）的监控对象。但大数据分析技术和人工智能正在改变社会的治理结构和秩序生成机制，谁掌握了数据和分析数据的技术，谁就能影响和控制人的行为。大到总统选举，小到日常购物，智能化的数据分析和行为诱导机制在其中发挥着越来越大的作用，而背后的操纵者往往不再是政府。新技术的发明者、投资者和鼓吹者们往往会夸大技术带来的“解放”效应，宣称人工智能和区块链等技术将使一切中心和中介变得没有必要，从而瓦解人类社会的金字塔结构，使有序的人际关系变得越来越呈网状分布，每个人都是中心，每个人也都不可能控制整个网络。但实际结果却是，金字塔依然存在，基底依然是芸芸众生，但塔尖却分裂成了政府、资本力量和技术力量。这三种力量有时会合并起来，有时又相互对峙，但它们之间的关系并不受基座的影响。藐视政治权威的技术达人（黑客）并不会解放全人类，而只会破坏既定的法律秩序。与政府讨价还价的商业力量也不会“制衡”公权力，而只是追逐利润。对“数力”（vires in numeris）的迷信与对暴力的迷信一样是无助于实现社会正义的。上文中提到的“剑桥分析”公司助力特朗普赢得美国总统大选的例子表明，大数据掌控者已经不只是通过数据分析来进行预测，还有能力将某些预测变成自我实现的预言。同时，法律所建构起来的公与私、政治权力与商业力量之间的区隔已经变得弱不经风。因此，法治在人工智能时代面对的首要问题是重新界定权力和权利，一方面用公共权力来驯服算力，让它为公共利益服务，另一方面赋予公民新的数据权利，以制衡无限扩张的算力统治。

其次，在技术日益智能化的时候，法律的日益技术化会使它很容易被技术所取代，而如果两者都趋向于只讲手段不问目的的工具理性，则人类将被引向不可知的未来，这个未来很可能是万劫不复的深渊。工具理性取代价值理性的趋势在现代化的早期便已经暴露无疑了，现代政治思想的奠基者霍布斯系统打造了人类无中生有地创造和管理世界的理论，法律和工程技术都是这种“创世”工作的工具。奥克肖特敏锐地指出了“意志与人造物”在霍布斯思想中的核心地位，他发现霍布斯“通常不会提及理性，这一将人与上帝联系的人类心智的神性光亮；他提及的是推理（reasoning）。”[39]霍布斯十分明确地写道：“旧道德哲学家所说的那种极终的目的和最高的善根本不存在。欲望终止的人，和感觉与映像停顿的人同样无法生活下去。幸福就是欲望从一个目标到另一个目标不断地发展，达到前一个目标不过是为后一个目标铺平道路。所以如此的原因在于，人类欲望的目的不是在一顷间享受一次就完了，而是要永远确保达到未来欲望的道路。”[40]从某种意义上讲，人类的欲望种类从未改变，只是满足欲望的技术手段越来越先进。没有方向和目标地追求欲望的满足在以人工智能作为技术手段的时代比任何时候都更危险。法律和公共政策不能一味地追求用新的技术手段来实现对人的控制，而应当体现公平、正义和民生福祉等基本的价值目标。

最后，人工智能所体现的技术理性有明显的化约主义倾向，我们可以借助它来提高效率，取代一部分无需创造性和价值判断的工作，但不能由它来作出事关人类福祉的最终决策。法律所调整的是人与人之间的关系，因此法律不必去直接规制技术，而应当规制使用技术的人。从更深的层面上讲，法律应当去规制被技术改变后的社会中的人，从而使技术对人类社会的影响能够朝着善和正义的方向去发展。人不应当允许自己的自我认识被技术所左右；他应当象反抗任何导致主体性丧失的支配关系一样去反抗对技术的依赖；如果他想要拯救自己的人性和自主性，他就应该把自己从技术和支配所导致的异化中拯救出来。因此，尽管人工智能技术可以被用来设计出自动决策系统，但这种系统只能被用来处理事实和价值方面没有争议的简单事项，比如闯红灯罚款，而在涉及事实争议和价值选择的复杂问题上，人工智能只能被用来强化人类智能，而由人来作出最终的选择和判断。

注释

[1]MatejBalog， Alexander L. Gaunt， et al.， "Deepcoder： Learning to Writing Programs，" ICLR 2017会议论文，https：//www.microsoft.com/en-us/research/wp-content/uploads/2017/03/main.pdf.

[2]http：//www.sohu.com/a/193242602_473283.

[3]www.automl.org/.

[4] RayKurzweil， The Singularity Is Near： When Humans Transcend Biology， New York： The Viking Press， 2006.

[5] Samuel Gibbs， Elon Musk： "Artificial Intelligence Is Our Biggest Existential Threat"， GUARDIAN （Oct. 27， 2014， 6：26 AM）， http：//www.theguardian.com/technology/2014/oct/27/elon-musk-artificialintelligence-ai-biggest-existential-threat [https：//perma.cc/SZD4-7WCL].

[6][法]雷吉斯·德布雷、赵汀阳：《两面之词：关于革命问题的通信》，张万申译，北京：中信出版社，2015年，第23页。

[7]Desmond Butler， Jack Gillum， and Alberto Arce，US Secretly Created" Cuban Twitter" to Stir Unrest， Associated Press， April 4， 2014.

[8]Minsky， in M. Yazdani and A. Narayanan， Artificial Intelligence： Human Effects， Chichester， UK： Ellis Horwood， 1984.

[9]Cary Coglianese and David Lehr， "Regulating by Robot： Administrative Decision Making in the Machine Learning Era，" 105 Georgetown Law Journal， 1147 （2017）， p.1148.

[10]Executive Office of the President National Science and Technology Council Committee on Technology， Preparing for the Future of Artificial Intelligence， October， 2016， pp.15-16.

[11]《国务院关于印发新一代人工智能发展规划的通知》，国发[2017]35号。

[12]汪玉凯：《中国政府信息化与电子政务》，《新视野》，2002年第2期，第54～56页。

[13]金江军：《智慧政府：电子政务发展的新阶段》，《信息化建设》，2011年第11期，第16～17页。

[14]欧树军：《国家基础能力的基础》，北京：中国社会科学出版社，2013年。

[15]王绍光：《序一》，欧树军：《国家基础能力的基础》，北京：中国社会科学出版社，2013年，第1页。

[16]冯仕政，陆美贺：《社会计算如何可能？》，《贵州师范大學学报·社会科学版》，2016年第6期，第27～30页。

[17]Tim Cook， "A Message to Our Customers"， APPLE （Feb. 16， 2016）， https：//www.apple.com/customer-letter/.

[18]Carole Cadwalladr and Emma Gaham-Harrison， "Revealed： 50 Million Facebook Profiles Harvested for Cambridge Analytica in Major Data Breach"， Guardian， 17 March 2018， https：//www.theguardian.com/news/2018/mar/17/cambridge-analytica-facebook-influence-us-election.

[19]Cathy O 'Neil， Weapons of Math Destruction： How Big Data Increases Inequality and Threatens Democracy， New York： Crown Publishers， 2016.

[20]蒋建国：《油腻中年男的媒介呈现、认知标签与社会化戏谑》，《探索与争鸣》，2018年第1期，第123～127页。

[21] Peter W. Greenwood and Allan Abrahamse， 1982. Selective Incapacitation. Santa Monica， CA： Rand Corporation， 1982.

[22] Bernard E. Harcourt， Against Prediction： Profiling， Policing， and Punishing in an Actuarial Age， University of Chicago Press， 2007.

[23] [法]奧古斯特·孔德：《论实证精神》，黄建华译，北京：商务印书馆，2001年，第12页。

[24][美]阿莱克斯·彭特兰：《智慧社会：大数据与社会物理学》，王小帆、汪容译，杭州：浙江人民出版社，2015年，第7页。

[25] Michael Rundle， "Zuckerberg： Telepathy is the Future of Facebook，" Wired UK， July 1， 2015， http：//www.wired.co.uk/article/facebook-zuckerberg-qa-the-future.

[26] Jason Tanz， "The Rise of Artificial Intelligence and the End of Code"， Wired， June 2016.

[27] 《中共中央关于全面深化改革若干重大问题的决定》，北京：人民出版社，2013 年，第3 页。

[28] 张文显：《法治与国家治理现代化》，《中国法学》，2014年第4期，第5～27页。

[29] State v. Loomis， 881 N. W. 2d 749 （Wisconsin， 2016）.

[30]State v. Loomis， 881 N. W. 2d 749 （Wisconsin， 2016）。还可参见：Jason Tashea， "Calculating Crime： Attorneys Are Challenging the Use of Algorithms to Help Determine Bail， Sentencing and Parole Decisions，" 103 A.B.A Journal 54 （March 2017）， P.P. 54-60，该文提到了若干与Loomis案类似的涉及“算法量刑”的案例。

[31] Chris Olah， "The Building Blocks of Interpretability"， https：//distill.pub/2018/building-blocks/.

[32] 李彦宏等：《智能革命：迎接人工智能时代的社会、经济与文化变革》，北京：中信出版集团，2017，第312页。

[33] Charles Fried， "Artificial Reason of the Law or： What Lawyers Know"， 60 Texas Law Review， 35 （1981）.

[34]Ernest J. Weinrib， The Idea of Private Law， Oxford University Press， 1995； Ernest J. Weinrib， Corrective Justice， Oxford University Press， 2012； Stephen Waddams， Dimensions of Private Law， Cambridge University Press， 2003.

[35] Executive Office of the President， Big Data： Seizing Opportunities， Preserving Values， The White House， May 2014.

[36] United Nations Environment Programme （UNEP）， Rio Declaration on Environment and Development， Principle 15， Rio de Janeiro， Brazil， June 14， 1992.

[37]http：//gdpr-info.eu.

[38] 郑戈：《在鼓励创新与保护人权之间：法律如何回应大数据技术革新的挑战》，《探索与争鸣》，2016年第7期，第79～85页。

[39] Michael Oakeshott， "Hobbes on Civil Association"， Indianapolis， IN.： Liberty Fund， 1975， p.27.

[40] [英]霍布斯：《利维坦》，黎思复、黎廷弼译，北京：商务印书馆，1985年，第72页。

责 编/杨昀赟