风险视角下对算法偏见的双轨治理——自动决策算法中偏见性因素的规制研究

□肖梦黎

（1.华东政法大学 法律学院，上海201620；2.华东理工大学 法学院，上海200237）

一、问题的提出

我们每个人都被各种各样的算法所笼罩，各种超级平台收集着我们的身份信息、联系人信息、违法信息、生物数据甚至政治评论，点击“拒绝”即无法访问。算法形成了“全景敞式”的权力，每个普通人都在被“一种不间断的书写日夜跟踪”[1](p215)。在工作招聘、申请教育机会、信贷额度、绿卡排期甚至是犯罪预测中[2](p674-671)，算法的自动决策无处不在。算法的核心是基于现有行为对用户的未来行为进行预测，赋予相对人以数字人格，对其未来的机会产生影响[3](p37)。通过不同企业与政府主体间数据库的购买与算法判断的导入构成了算法使用的扩散，并可能导致一种人们尽力使自己的生活方式符合算法的新模式，从而最终形成了算法对人类社会的规训。

随着算法工具化与算法行政不断扩展的趋势，自动化决策中隐含的算法歧视会产生波纹式的扩大影响。算法与经济社会深度融合，从自动驾驶、信用评级到司法裁判中的应用，逐渐成为一种自带判断的区分方式[4](p181-182)。算法当然会存在偏见：一方面，算法使用的大量数据本就来源于社会本身，这种镜像式的结构自然也会将社会中的歧视与偏见如实地带入算法。比如当贷款公司将征信系统的数据分析源逐渐拓展到淘宝、eBay等的交易评价、微博与Facebook的好友人数以及LinkedIn的人脉对象时，居住在富裕板块的人会更容易获得贷款，而女性申请者则会获得较低的额度①美国Movenbank，国内支付宝的花呗、京东白条等都在应用此类技术。。另一方面，作为技术的算法也是一种生命体，技术与发明技术的人类间存在所谓的“相夫差异”[5](p49)，算法因此会产生新的偏见。比如在招聘算法中，通勤时间较长的员工该项评分就会呈现为负值，而少数族群由于经济条件上的弱势会居住在远离市中心的地方，就会导致一个较低的录用率，从而实质上构成对该群体的歧视[6](p84)。算法编写者可能会利用数据主体弱点进行数据杀熟，或者根据敏感信息（如政治倾向）等对特定群体进行结果操纵。更令人担忧的是，算法决策正在侵入越来越多的公共领域，在诸如自动税收与行政许可的“秒批”中，算法已经在做出具有即时生效性的具体行政行为[7](p65)。在美国，算法评估正在取代现金保释[8]。苏州市2015年就建立了覆盖91种违法行为的犯罪预测系统②马德林：《互联网技术带给中国社会治安“全新可能性”》，载《中国新闻》2016年10月13日。。算法广泛应用带来的是接连出现的“算法丑闻”，这些以数学形式表现的“杀伤性武器”可能会随意关闭使用者的未来机会之门[9](p6-10)。人类无法期待自动化决策系统自行解决问题，因此对算法的规制就显得尤为重要。

对于自动决策算法中偏见性因素的规制，法学界的讨论大致围绕算法透明原则、算法解释权以及设置数据保护官与数据监管局[10](p49-52)等几种路径。算法治理则主要存在欧盟的《通用数据保护条例》（下简称“GDPR”）中的个体赋权模式，美国《算法问责法案》中的外部治理模式以及本土化的设置平台义务模式[11](p21-25)。在寻求算法透明化的过程中，强制算法公开与控制算法结果的路径显然存在问题。一方面，算法的强制公开可能导致商业秘密与知识产权的泄露；另一方面，源代码的公开也无法真正使普通公众理解、获得救济。在对自动决策算法中的偏见性因素进行问责的过程中，受算法影响者（数据主体）享有包括对算法知情、质询和申诉的权利。而算法的设计与使用者（也就是数据控制方）相应的有披露数据来源、解释算法过程与接受算法审计等一系列义务。

法学界讨论的算法规制更多是方法论上的，从法律适用上进行条分缕析。但在计算机技术不断更迭的时代，算法透明原则的实施效果往往取决于法律价值与技术实现两个层面，技术治理可以为法律治理提供新的洞见。本文将就如何通过法律价值引导下的技术手段具体讨论实现算法透明的原则，将规制方法从事后追责、将算法工具化的方式转成以风险识别为前提、技术治理与法律治理并重的规制方式。

二、风险理念下的算法透明与预防性规制

算法透明原则指涉的是一种基于规则的“透明度模型”，具体包括“输入数据、系统在推理和决策（规则制定）层面所包含的规范性、做出的该决定的背景和进一步影响，以及负责的参与者”等方面[12](p433)。对于机器学习与自动决策而言，透明度原则并不是一种可见性的程度，而是一种看到相关目的的能力。就像某些学者所言，算法透明原则仅在少数情形下适用，而在多数情况下既不可行也无必要。披露对象的技术能力、自动决策下算法的不可知与干扰项披露等应该都会影响算法透明的实效[13](p20-21)。“数据驱动的自动化解码”的透明度是基于这样一种理解：透明度不能被视为纯粹的开放性，而应该是一种交流行为。从这个观点来看，透明度也是一种治理方式。

在自动决策算法的规制中，技术治理与法律治理是无法分割的[14](p63-65)。在新型“监视资本主义”的场景下，技术化统治也要靠技术手段来化解。从“白箱”算法到“灰箱”算法、“黑箱”算法，直至自动决策化不断加深的“感知”算法与“奇异”算法，将法律价值嵌入到技术治理中是一种更为有效的应对算法霸权的规制方式。技术治理的理念主要是预防性的，面向未来风险的，因此在算法透明原则的实践过程中尤其要注意算法风险的分类。

（一）风险分类的规制前提

针对不同风险应该采取分类治理的规制方式。正如GDPR在第22条规定，如果某项算法会对相对人产生法律影响或与之相类似的显著影响，数据主体就有不受仅依赖于自动决策的权利。接下来的问题就是如何将算法区分为会产生法律影响或与之相类似的显著影响与其他类型的算法。GDPR在第29条工作组指南中规定了何种应视为对个体产生重要影响：比如信用贷款审批、电子招聘、医疗服务、教育或自动化决策显著影响了个人的习惯或选择；通过自动化决策的应用达到取消合同、取消住房福利等的后果；以及在定向广告中，利于数据杀熟或政治倾向等的敏感信息[15](p398-404)。如果自动决策算法不会对数据主体产生重大影响，算法相对人可以行使GDPR第21条的退出权；若自动化决策本身会对数据主体产生重大影响，则算法使用者应该保障人工介入自动决策，以及数据主体对自动化决策提出质疑的权利。

与之相类似，美国《公平信用报告法》否决了在信用评分中应用自动化决策的决定。美国国会2019年4月提出的《算法问责法案》也对高风险算法进行了列举式界定，其中包括对个体隐私安全等造成严重不利后果的算法，涉及种族、肤色、政治观点、宗教、工会身份、生物数据、性别、性倾向、犯罪记录、逮捕记录的算法，以及在公共场所进行系统性监督的算法①《算法问责法案》共规定了五种类别的高风险算法，笔者在此重新归纳。其中有些虽然是高风险算法，但是由于应用特别广泛，实际上无法进行有效控制。比如基于个人的工作表现、经济状况、个人偏好、地理位置和行为轨迹而做出的影响个人权利的算法等。。对于这些高风险算法，算法的设计与使用者应该对算法的设计、训练数据的收集和想要达致的目标等方面做出详细说明。

（二）对于低风险算法的监管沙盒与责任豁免

对于风险较低的算法而言，出于运营成本与保护创新的考虑，应该使其自主发展，并在数据保护一端赋予算法相对人（数据主体）以退出权。在此仅介绍监管沙盒（监管音盒）的创新型举措：监管沙盒（Regulatory Sandbox）是英国金融行为监管局（FCA）创设的一种针对金融科技配套豁免规则的监管模式。监管沙盒由监管委员会运营，提供受监视的试验环境测试算法，从技术维度评估算法风险，从而提供一种区别于代码核查、模型比对的动态监管机制。监管委员会可以设立专用数据库，从中随机生成真实数据和干扰数据，进而对算法进行校验，以测试算法的准确性、可信度、风险性以及对用户决策的干预程度。

对于监管沙盒而言，目前多是由监管部门对初创行业进行遴选，从而实现对海量训练集数据的校验与一定程度的算法责任豁免。但是若将准入门槛修改为依申请加入，不做主观筛选，也就成为法国模式下的监管音盒（Regulatory Soundbox），从而使得对于不同企业的监管强度更加均衡[16]。监管沙盒在自动决策算法领域的应用可以在风险规制与创新友好间寻求平衡，支持小微初创企业进行低风险、突破式的创新。

（三）对于高风险算法的技术验证与人机回圈

对于高风险的算法应该遵循事先审查与事后可解释的算法透明路径。欧盟的《通用数据保护条例》规定了“至少应为数据主体提供关于自动化决策中所运用逻辑的有用信息、该处理的重要性与其对数据主体可能造成的后果”①详见欧盟《通用数据保护条例》第13条第2款f项、第14条第2款g项、第15条第1款h项。。美国的《算法问责法案》则规定，针对某些高风险算法，应详细说明算法决策，包括算法设计、训练数据和算法目标等信息②2019年4月10日，美国国会两院议员提出《算法问责法案》（Algorithmic Accountability Act），要求大型科技公司评估并消除其“自动决策系统”给个人信息隐私和安全带来的风险，以及因种族、肤色、宗教、政治信仰、性别或其他方面差异带来的歧视性偏见。该法案将适用于年收入超过5000万美元的企业，持有至少100万人口或设备数据或主要扮演数据经纪人角色的组织。。算法可解释原则若想顺利实施，必须符合两个要求：其一是可以找到某项固定不变的因素，显著性地导致算法输出结果中的偏见；其二是需要保证算法不会被后续编写者篡改。事实上，算法是很可能被篡改的，因此应该运用加密承诺的方式。而找寻算法中某个固定不变的导致输出结果产生偏见的要素的途径就是有效的算法验证。

1.自动决策算法的可验证性。软件验证是一种运用数学证明来表明软件具有某些特性的技术。其既可以通过分析现有代码，也可以通过使用专用工具提取被证明为正确的不变性约束条件③在计算机科学中，invariant就是在程序的执行过程或部分执行过程中，可以认为绝对正确的条件。它是在执行的某个阶段中总是true的逻辑断言。所谓invariant，就是针对某个主体（对象、方法等）的一些“绝对真理”式的约束，不论该主体处于何种状态或阶段，都必须满足这些约束条件。它们不受状态和阶段的转移影响，即所谓不变性。因而将invariant翻译成“不变性约束条件”。。与静态分析（旨在检查已编写的代码是否存在错误或偏离其规范）或软件测试（旨在通过在特定配置中执行软件来验证软件是否满足特定的功能需求）不同，软件验证可以从逻辑上解释算法在不同条件下的运作行为。经过验证的程序附带一个数学证明，证明它们具有某些不变性约束条件，因此不必对这些不变性约束条件进行测试[2](p662-665)。

加密承诺就是一种提供算法可验证性的重要方式，未来区块链技术的广泛应用将使得通过时间戳的验证程序成为可能。公私钥密码学可以在不预先共享私钥的前提下发送加密信息，以保障不同节点间的数据记录不可伪造与被篡改[17](p85-86)。可以说，区块链技术是密码学的重要应用，而究其原理而言，加密承诺是由第三方或在安全的地方保存的密封文件的数字等价物。它将提交者绑定到被提交对象（信封内的对象）的特定值，以便稍后可以显示该对象，并且任何人都可以验证承诺是否与该数字对象相对应。加密承诺与信封中的信件类似。一旦一个对象“在”密封的信封中，观察者就看不到它，任何人也不能改变它。特定的承诺可用于在特定时间锁定对秘密的了解，而不泄露秘密的内容。同时仍然允许稍后在法庭等场所披露该秘密，并保证该秘密在过渡期间不被更改。而该加密承诺在密封后也会产生一个密钥，用于验证承诺。加密承诺有助于实现自动化决策的程序规则正当性，确保每个决策都使用同样的策略。做出自动决策的公司或机构随后将在确定的日期在公开场所对承诺进行公开，也可以在遭遇质询后向法院等监督机构披露源代码和公开密钥，以证明其在承诺时拥有特定的源代码[2](p662-667)。

自动决策算法中随机数的公平性也应该是可验证的，随机过程的设计不当也会导致后续的算法解释遭遇困难。因此在处理会对相对人产生重大影响的决策时，为了防止算法的滥用，应该由可信的第三方提供一个种子值，然后通过种子产生可复制值的加密算法实现随机过程。这些种子值应该预先设置与一些不能更改的信息标识相对应，比如身份证号、社会保险号或者受试者姓名等，这样既可以在系统中保持随机性的好处，也可以保证涉及重要权益的种子值不会被算法设计者篡改。

2.人机回圈。就可能对相对人产生重大影响的自动决策算法而言，另一个行之有效的纠偏方式就是加入“人”的因素，为算法决策过程注入民主化。人机回圈（human-in-the-loop）原则认为，当在算法决策中遇到诸如伦理、道德风险、偏见等机器学习仍无法获得最优解的问题时，就需要通过人类智慧的补足来优化算法，从而为机器学习提供一种民主的或者说是非设计者的“滤镜”[18]。设定缓刑期限算法的程序员可能并不十分了解法律本身，而训练集与编程中的偏差则会带入到算法中，并作为自动决策结果出现。在这一过程中，行业专家与有道德判断能力的公众的引入、人机交流技术与用户申诉等机制的设置可以有效打破技术专家对算法决策权的垄断。《自然》杂志上就公布了一个针对自动驾驶面临的困境所做的调查，该调查囊括了来自233个国家与地区超过4000万份问卷，总结了不同地区针对自动驾驶的不同态度，从而对如何发展全球性的、社会可接受的机器伦理的原则进行了论述，为人机回圈的适用提供了有益的范例[19]。

三、以算法审查与算法解释权为核心的事后规制

算法解释权与算法透明原则是一体两面的制度，只有在算法透明原则的框架下，个人方可提出并行使算法解释权。算法透明原则可以视为对算法设计与使用方的义务设定，而算法解释权则是对受算法影响者（数据主体）的一种具体赋权。算法的设计与使用者负有对数据输入、逻辑过程、特定因素权重等某一项或某几项的披露与解释义务，受算法影响者因而享有对算法的知情权、质询权与申诉权。对于算法审查与算法解释权的原则性探讨已经有很多，但仍未解决的问题则是如何打开“黑箱”进行审查，是基于何种方式进行解释，继而再回答司法救济中如何解决算法歧视认定的问题。

（一）通过零知识证明原则进行的算法审查

由于算法设计者、使用者作为消费者的信息受托人负有忠实义务与注意义务[20]，因此应该由行政机关或第三方机构对算法进行审查，从而避免对公众的权利侵害。算法审计包括非侵入用户式审查（Noninvasive User Audit）、借助傀儡审查（Sock Puppet Audit）、层层打开式审查（Scraping Audit）与联合审查（Collaborative Audit）等[21](p197-202)。现阶段已经可以通过一些技术方式实现对于算法执行过程的审查。通过算法设计者内部的数据活动顾问与外部的数据活动监管局对接的二元监管方式可以有效进行算法歧视性的审查。“数据活动顾问从企业内部对算法进行设计与使用的评估控制，而数据活动监管局从外部对数据活动顾问提供必要的援助和监督。”[10](p43)

算法审查面临的棘手问题就是通过何种方式对复杂性极高，且存在于“黑箱”中的自动决策算法进行歧视性审查。零知识证明原则可以证明实际使用的决策策略，或在特定情况下达成的特定决策具有特定属性，但不必揭示如何知道该属性或决策策略是什么①一个经典例子是假设两个百万富翁出去吃午饭，二者同意更富有的人应该支付费用。不过，两人都不愿意向对方透露其财富数额。零知识证明可以让他们两人都知道谁更富有（因此谁应该支付餐厅的费用），而不必透露两者的价值。See Danielle Keats Citron，Technological Due Process，85 WASH.U.L.REV.1249，1256（2008）（describing systemic errors in the automated eligibility determinations for federal bene⁃fits programs）.。与前述的加密承诺相对应，假设决策者做出A、B、C三个承诺（commitment）：A代表算法设计者对于非歧视性政策的遵循承诺，B代表在特定情况下输入A的承诺，C是对在该情况下实际达成时做出的自动化决策的承诺。这些承诺可以事先发送给监管机构或者是可信的第三方，从而保证在算法实施期间不被篡改。当用户提起算法审查时，算法设计者、使用者就可以公布密钥，算法审查机关通过零知识证明原则使公众验证A、B和C确实相互对应。也就是说，当提交的策略A应用于输入的数据B时，结果就是提交的结果C。如此就可以由公众与特定审查机关完成对自动决策过程的核实。所有这些验证过程都不披露决策政策本身，也不披露可能包含在输入或结果中的私人数据。

更为重要的是，如果特定的自动决策受到质疑，法院或其他监督机构可以迫使算法制定方披露其所使用的实际策略和输入数据，用以核实算法是否符合其公布的承诺。其核心在于算法设计方虽然是在自动决策中，但也应该是遵循了某种统一的策略。例如，若被试的性别被颠倒，信用评分将是相同的。在这种情况下，零知识证明原则可以展示输入与输出关系的性质。

（二）算法解释权

1.基于算法相对人诉求为中心的算法解释权。如果想要对算法进行解释，可以提供两种解释思路：一种是以模型为中心的解释（MCEs），另一种是以主体为中心的解释（SCEs）的解释方式[22](p18-20)。以模型为中心的解释关注的是模型本身，以了解自动化决策背后的逻辑、语境、变量与演绎表现。该解释方式可以解决一些算法决策所涉及的程序规则性的问题，但无法兼顾对于单个数据主体对特定“有意义的信息”的解释要求。以主体为中心的解释模式是建立在输入记录的基础上并围绕输入记录形成的，只能在给定的查询做出时予以提供，该查询可以是真实的、虚构的或探索性的。

GDPR第13、14条规定，当数据主体的个人数据被算法使用时，应拥有获得算法解释的权利①对于算法解释权，欧洲委员会基于对自动决策危害的顾虑，建议将解释权放置在第20条，欧洲议会建议放置在序言第58条，欧洲理事会则认为不应当包含这项内容。最终妥协结果是将该内容纳入序言第71条。转引自程莹：《元规制模式下的数据保护与算法规制——以欧盟〈通用数据保护条例〉为研究样本》，载《法律科学》2019年第4期。，也就是数据主体拥有掌握其信息的权利。序言的表述则更加清晰，若某项算法会对个人权利产生重要影响，那么数据控制者需要参与并审查自动化决策。GDPR第12条规定，算法控制者应当以清晰和平白的语言，以一种简洁、透明、易懂和容易获取的形式“为数据主体提供关于自动化决策中所运用逻辑的有用信息、该处理的重要性与其可能对数据主体产生的后果”，可认为GDPR采取的更多是一种基于算法主体为中心的算法解释。基于个体本身的算法解释权可以回答敏感度的问题，比如更换哪些输入值会使结果发生相反的变化，也可以解释分类聚类的合理性问题，比如用于训练集的哪些数据记录与我的最相似，像我这样的人被错误分类的次数是多于还是少于平均水平[22](p51-53)。

以算法相对人主体为中心的解释更多关注的是如何在算法与受算法影响的主体间建立一种关系，从而为个体提供更有意义的解释。该种解释其实是在机器学习的场景下，致力于提供一些设计中的“接缝点”，将注意力从算法内部的复杂性转向关注其输入与输出这样的接缝点，从而有效回避了商业秘密、知识产权的冲突，解决了部分算法不可知的问题。基于个体的算法解释权对应的是模型不可知系统（pedagogical system），也就是基于个体查询得到的相关信息，不太会侵犯知识产权，也不易被逆向地模仿或重塑。

因此算法解释权应该被理解为：当数据主体认为算法决策得出的结果与自己预期不相符合时，有要求对算法设计以及运行（数据的分析处理过程）进行解释的权利。权利主体为数据主体，而义务主体为数据控制者。解释内容应该依据GDPR第22条第1款以及第4款所述的包括数据画像及有关的逻辑程序和有意义信息在内的相关内容，以及此类处理对数据主体的意义和预期影响。解释的内容应符合两个标准：第一，具有相关性，即必须与相对人所受的具体自动化决策相关；第二，相对人能够理解。

2.算法说明书与无条件反事实解释。如果要进行算法解释，那么如何解释就需要考虑法律规制与技术规制两个方面。对于公众而言，无可能也无必要对每项涉及自身权益的算法都提出解释需求，因为这样也等于部分告别了算法统治下的现代社会。如果公布算法或者解释算法逻辑与内部结构、各种因素权重确实有困难，是否可以制定类似药品说明书的算法说明书。就像虽然制药工艺受专利法与商业秘密保护而免于公开，但是功能主治与禁忌说明应该公开。在算法设计方向使用者公布隐私条例时，应该对主要使用算法的逻辑、目的等加以公布，对涉及的敏感因素予以提示。

如果算法相对人一旦提出了算法解释的需求，也可以遵循无条件反射事实（unconditional counter⁃factual）解释的方法：即不需要解释内部“黑箱”的运算逻辑，而是将算法依赖的外部因素加以解释[23](p860-861)。在不打开算法“黑箱”的条件下，了解某项算法是否存在某种价值与伦理的前置性要求，继而实现问责①比如针对为什么减税是适当的这一问题，政策逻辑的回应是因为减税的先决条件是高通货膨胀和贸易逆差，而目前的情况显示了这些因素。而反事实解释则是如果通货膨胀率降低，减税就不可取了。如果没有贸易逆差，就不建议减税。正常逻辑下的算法模型刻画起来难度较大，即使在单变量的情况下，也很难解释函数如何随着输入的变化而变化。若转换为无条件反事实解释，就转而采用端到端的综合方法来解决问题，函数的输入输出与决策逻辑就非常清楚。。我们对反事实解释的概念取决于相关概念：无条件反事实原则不致力于解释这个世界的因果关系，而是提供更具信息性的一组反事实解释，从而提供反事实所对应的结果附近的不同选择[23](p878-882)。算法模型的刻画难度较大，即使在单变量的情况下，也很难解释函数如何随着输入的变化而变化。反事实解释的方法是以提供能够改变决策的最小信息量的方式编制的，不需要理解算法的内部逻辑。一个单一的反事实可以显示某个决定是如何基于某些数据做出的，而这些数据在决策做出前不会被改变，接下来只要通过计算机算出有意义的反事实。包括神经网络、向量机和回归器在内的许多机器学习的标准分类都是通过在一组训练数据上找到使目标最小化的最优权重集来进行训练的②在这个数据集中，种族（race）是使用一个离散变量建模的，该变量只能接受标签0或1，分别对应于“白色”或“黑色”。反事实显示“黑色”学生会得到更好的分数。对于“黑人”学生来说，种族确实在计算出的反事实下有所不同，显示出决定和种族之间的依赖性（这通常是受法律保护的属性）。Wachter，Sandra，B.Mittelstadt，and C.Russell“.Counterfactual Explanations without Opening the Black Box：Automated Decisions and the GDPR.”Social Science Electronic Publishing（2017）.。比如在根据种族、法学院之前的平均分数和法学院入学考试分数（LAST）来预测法学院学生的第一年平均分数中，反事实显示黑人学生会得到更好的分数，从而显示这一决策与种族之间的依赖性。要求算法的设计者与使用者建立一个因果模型，并将其传达给非专业的公众是非常困难的。反事实绕过了解释复杂机器学习系统内部工作的实质性挑战，而转变为向数据主体提供信息。这些信息既容易理解，又对决策原因的理解、挑战决策与改变未来行为等卓有成效。

3.退出算法决策或者要求订正的权利。当讨论算法解释权时，更重要的一点是赋予受算法影响者退出决策或者修改决策输入的权利。也就是说，算法解释只是开端，而当算法的设计者和使用者对自动决策做出解释后，受算法影响者还有修正决策的权利[24](p73)。比如GDPR中赋予了数据主体更正、清除个人数据的权利，以及限制、拒绝算法设计者与使用者处理个人数据的权利[25](p51-52)。GDPR同样赋予了数据主体以被遗忘权，被遗忘权不仅仅只是要求算法使用者删除数据，也包括使其进行数据脱敏、增殖或消减数据等（比如通过增加与敏感信息并列的一系列虚构信息对抗算法，或者使某些搜索结果劣后出现）的做法[26](p150-151)。算法解释权其实是一种通过赋权来合理分配风险，弥合算法使用者与受算法影响者间权力鸿沟的治理工具。

（三）司法审查中对歧视性因素的认定方式

如果在算法解释中发现了歧视性因素，也并不能直接认定算法设计者需要承担相关责任。美国司法审查中就形成了对基于主观故意的算法歧视审查与基于无过错的算法歧视审查两种模式。针对算法歧视中存在主观故意的模式，原告需要证明被告（算法设计者）存在主观上的歧视意图或与歧视相关的刻板印象，如能证明，被告就需承担责任。这一原则确立于“麦克唐纳道格拉斯公司诉格林”（McDonnell Douglas Corp.v.Green）①McDonnell Douglas Corp.v.Green，411 U.S.792（1973）.一案，而在“冈萨雷斯诉谷歌”案中，法院遵循的逻辑也是如此。该种模式的核心在于审查算法是否存在故意的不同待遇，而这种针对特有群体的不同待遇与刻板印象需要对算法决策起实质性作用。在原告可以用间接证据证明的情况下，就可以被认定为存在算法歧视。

由于受算法影响者对于主观过错的证明非常困难，于是美国法院逐渐演化出了对无过错情况下的算法歧视审查。即不考虑算法的主观意图，而是观察其客观结果是否导致差异性影响，从而认定是否构成算法歧视。美国联邦最高法院在“康涅狄格州诉迪尔”（Connecticut v.Teal）案中确立了该原则。受算法影响者往往不具备真正理解算法的能力，因此应采取过错推定原则。这种情况下算法控制方会以商业必要性为抗辩理由，原告方即需要提出被告有可替代的算法程序再行反驳。在这种模式下，法院需要综合三个方面的因素做出认定：其一是差异性影响：算法对原告产生的不利影响大于对其他一般公众产生的不利影响。其二是商业必要性审查，考察算法行为的选择与商业目标间是否存在直接相关性。其三是可替代算法决策评估：若存在非差异性影响的算法，就应该认定歧视②参见“阿尔伯马尔纸业公司诉穆迪”（Albemarle Paper Co v.Moody）一案。。

四、结语：在算法时代重塑规制理念

针对自动决策算法中形成的“全景敞式”的权力与可能产生的各种偏见性因素，需要采取包容审慎的风险治理的规制理念。将鼓励创新与保护用户权益通盘考虑，提升国家的数据治理能力，重点解决算法应该如何“透明”的法律技术问题。自动决策算法可以划分为对算法相对人有重大影响的与风险较低的两种类别：对于低风险算法，出于运营成本与保护创新的考虑，应使其自主发展，保障算法相对人的退出权，并考虑引入监管沙盒（音盒）等方式进行一定程度的责任豁免。若算法可能对相对人产生重大影响，则应该采取加密承诺、公平的随机过程等在内的软件验证方式；注重人机回圈，为算法决策过程注入民主化，增加用户体验的反馈环节。在事后规制中，可以通过零知识证明原则、无条件反事实解释等方法在避免打开“黑箱”的情况下对提出解释权请求的当事人进行算法的解释与审查，并与司法诉讼过程中差异性影响的审查方案相衔接。

本文对算法透明原则、算法解释权与算法审计等原则的探讨从原理拓展到具体的技术方案。在对自动决策算法进行规制的讨论中，实质上也是在技术治理与法律治理中加以选择，某种程度上也是在探索科技与法律的关系。技术治理遵循的是自我偏好的逻辑，而法律治理遵循的是社会共识的逻辑。这两种路径其实都包含技术治理与法律治理的思维，只是含量、侧重点有所不同。对于算法规制这一问题而言，技术治理是不可或缺的。该考虑的是如何平衡这两种治理手段，使得法律治理得以对技术发展做出较好的引领和归化。