反算法歧视：理论反思与制度建构

□张恩典

一、问题的提出:反算法歧视面临的一个前提性理论命题

以大数据与机器学习算法为主要驱动力的人工智能革命席卷而来，在全面而深刻地改变经济、社会和生活方式的同时，也开启人类社会的第四次工业革命①德国学者克劳斯·施瓦布认为，我们当前正处于第四次工业革命的开端。其特点在于:“同过去相比，互联网变得无所不在，移动性大幅提高；传感器体积变得更小，性能更强大、成本也更低；与此同时，人工智能和机器学习也开始崭露锋芒。”关于第四次工业革命的论述，参见[德]克劳斯·施瓦布.第四次工业革命:转型的力量[M].李菁，译.北京:中信出版社，2016:3-11.。大数据算法决策的核心功能在于预测。为了提高决策的精准性，商业机构和公共部门纷纷运用机器学习算法模型作出各种决策，算法自动决策在公私领域的广泛运用，显露出其替代人类决策的趋势，人类已经逐渐进入“算法社会”[1]。随着算法治理术的广泛运用，算法歧视的问题也逐渐显露出来②关于算法治理术的研究，参见Mireille Hildebrand.Privacy，Due Process and Computational Turning:The Philosophy of Law Meets the Philosophy of Technology[M].New York:Routledge，2013:143-167.。在国外，警察在侦查活动中广泛运用由算法模型系统主导的预测警务系统引发了社会民众对种族歧视的担忧[2]。在国内，近年来，“大数据杀熟”引发社会广泛关注和争论[3]。这些关注与争论，实则从不同侧面反映出算法歧视问题的严重性和紧迫性。置身于“算法为王”的评分社会场景之中，如何保障和实现那些全方位渗透、影响甚至操纵人类公私事务的算法决策的公正性，是一个亟待解决的重大理论和现实问题[4]。为了克服和缓解算法歧视，包括法律学者在内的专家学者正在进行积极探索算法歧视的规制方案和路径。从研究现状来看，目前对于算法歧视的规制方案的研究主要从两个维度展开，即技术维度和法律维度。前者将算法歧视的根源归结为技术问题，认为是数据采集和算法模型设计的不合理，导致算法歧视的发生，并希冀透过算法模型技术的改进来提高算法公正性，进而解决算法歧视问题[5]；后者则将算法歧视的根源归咎于法律制度的缺失，并寄望于通过完善相应法律制度来寻求缓解和规制算法歧视的制度方案[6][7]。

客观而言，算法歧视的规制离不开技术支撑和制度规则的建构。有关算法歧视规制的研究进路和具体路径对于缓解算法歧视问题无疑具有重要意义，也为我们进一步探索算法歧视的规制方案提供了有益参考。然而，以上两个维度的算法歧视规制方案的探索均忽略了一个重要的前提性理论命题，即反算法歧视究竟应当遵循何种反歧视法理学和反歧视理论?现有研究进路的问题在于，要么未能从反歧视法理的视角来审视算法歧视的问题，要么忽略算法歧视的特征和特殊之处，在未经检视的情况下径直将传统反歧视法理嫁接到算法歧视的场景之中。由于现有算法歧视规制研究在歧视理论上缺乏应有的理论自觉，导致无论是算法模型的技术规制路径，还是制度建构维度的研究，均缺乏适当的反歧视法理的理论奠基，而容易在反算法歧视的算法技术设计和制度建构中出现偏颇，乃至出现“水土不服”的情况，进而使得规制方案难以真正发挥反歧视的作用，甚至有可能加剧大数据时代的歧视和不平等①值得特别指出的是，目前也有学者对算法歧视引发的平等权保护模式问题进行反思性研究，并在一定程度上触及反算法歧视的法理问题。相关研究，参见崔靖梓.算法歧视挑战下平等权保护的危机与应对[J].法律科学，2019(3):29-42.。

笔者以为，无论是透过算法模型改进的技术规制路径，还是透过法律制度完善的规制方案，均需要以适当的反歧视法理为前提预设，因为算法模型设计与算法歧视法律制度规则设计首先要面对的基本问题，便是算法歧视的判断与识别问题，而这又涉及反算法歧视的种种规制方案究竟意欲达致何种“反歧视”目标等根本性问题。基于此，笔者不揣浅陋，以人工智能时代为背景，在描述大数据算法歧视的类型和特征基础之上，检讨传统反歧视法律理论在因应机器学习算法模型所产生的各种歧视问题方面存在的不足之处，进而提出合理调适传统反歧视理论的思路，并据此提出相应的算法歧视的制度规制方案，以期对人工智能时代的反算法歧视理论研究和制度建构有所助益。

二、人工智能时代的算法歧视:类型与特征

人工智能时代，各种以海量数据为原料“喂食”而成的机器学习算法正在广泛介入私人生活和公共治理领域。在私人领域，互联网巨头借助各种推荐算法模型所作出的精准营销在很大程度上影响人们的消费偏好；银行机构运用算法模型对我们进行信用评分，决定着人们的信用声誉；公司运用算法模型来判断求职者的岗位匹配度，并据此作出是否雇佣的决策。在公共治理领域，公共部门正逐渐运用机器学习算法模型来决定各种公共物品的配置与分配。算法模型不仅被运用于城市公共安全治理和食品安全监管活动中，而且被运用于扶贫资源的分配中②关于大数据、人工智能技术在城市公共安全、食品安全和精准扶贫等公共治理领域中的运用，请参见赵家新.江苏深挖大数据打造智慧警务[N].人民公安报，2018-3-27(001)；郑小梅，宣应，鄢留宝.为食品安全监管装上“智慧大脑”[N].嘉兴日报，2019-4-2(3)；段虹.用大数据助力精准扶贫[N].经济日报，2017-2-17(15).关于人工智能技术在公共治理领域的运用及其引发的行政法治隐忧的分析和阐释，参见张恩典.人工智能算法决策对行政法治的挑战及制度因应[J].行政法学研究，2020(4):34-45.。由此可见，我们已然置身于“一个数据评级无所不在的世界，我们很多人的日常生活都被处理成了‘信号’，并作为实施奖惩、给予利益和施加责任的依据”[8]32。客观而言，机器学习算法模型设计和运用，蕴含着设计者和使用者对效率和公正价值的追求，希望借由算法模型来克服人类决策的偏见与歧视，提高公私决策的客观性和公正性，优化公私资源配置。但是，必须看到，大数据算法决策并非如同算法设计者和使用者所鼓吹的那般天然具有公正性和客观性，那些未经合理约束和控制的算法模型非但不能提高效率，促进公正，给人类带来福祉，反而有可能给个人基本权利带来严重损害，成为剥削和压制、制造社会不平等的“数学生化武器”[9]3-22[10]。在大数据算法决策大行其道的今天，我们需要追问和反思的一个问题是:大数据算法是否彻底根除了潜藏在人类灵魂深处的偏见与歧视，抑或只是为人类的偏见与歧视提供了看似中立客观的技术性包装而已?其实，伴随着算法决策的兴起，算法歧视的问题和争论一直如影随形，并引发持续的高度关注。下面，笔者将对算法歧视的类型与特征加以分析。

(一)算法歧视的类型分析

从算法歧视的形成机理上，可以将算法歧视加以类型化。算法歧视主要有如下几种类型:一是用于训练算法模型的历史数据本身存在偏见，一旦将这种存有偏见的、受污染的数据集用于机器学习，所训练的算法模型很可能会存有偏见。二是将种族、性别等具有显著歧视性的数据用于算法模型的训练，从而导致歧视的发生。三是利用“代理”变量用于训练算法模型，例如运用邮政编码或者位置信息作为识别特定对象的身份、能力和偏好的代理。四是特征选择所导致的歧视。目前，机器学习算法模型的训练主要是监督式机器学习，即首先由算法工程师对用于训练的数据集进行标记。数据标记的主要任务是对训练数据进行特征选择，然后将标记后的数据集用于算法模型的训练，并对机器学习过程进行监督纠正。算法工程师在对训练数据进行特征选择的过程中，容易将个人的偏见和歧视植入特征选择的过程之中。第五，数据质量不高导致算法歧视。算法工程师收集的用于训练算法模型的数据集质量不高，导致算法模型预测的精准性不高，从而引发算法偏见和歧视。

由此可见，算法决策并非如同算法模型开发者和运用者所标榜的那般客观公正，而是潜藏着各种歧视和偏见；同时，需要指出的是，以上是从形成机理视角对算法歧视进行的类型化分析，旨在表明算法歧视通常容易由以上几种方式产生，但并非意味着算法歧视就必然发生，其是否构成歧视仍需根据反歧视的法理来加以判断与识别。从理论层面，根据行为主体主观上是否具备“歧视”意图，将歧视界分为“主观”的差别性待遇歧视与“客观”的差别性影响歧视①美国学者塔尔·扎尔克主张歧视的三分法，即将歧视界分为显性歧视、隐性歧视和差别性影响。这实际上是将差别对待这一故意歧视进一步区分为显性歧视与隐性歧视。参见Tal Zarsky，Understanding Discrimination in the Scored Society[J].Washington Law Review，2014，89(4):1384-1404.。客观而言，上述两种歧视类型均有可能在算法决策中出现，并且在算法场景中，歧视总体上呈现出向客观的结构性、差别性影响歧视转变的趋势。

(二)算法歧视的特征描述

大数据算法决策机制与人类决策机制具有显著差异，而算法决策的特征也在很大程度上决定了算法歧视呈现出不同于人类歧视的特征。

首先，算法歧视具有结构性特征。所谓算法歧视结构性，意指大数据算法决策所产生的歧视中相当一部分是源于历史数据中所隐藏的歧视，这些歧视经由机器学习过程而被植入算法模型之中，从而使得算法模型自动生成的决策中延续了历史数据中的偏见。美国计算机学者斯维尼将这种由于历史统计数据所产生的歧视称为结构性种族主义[11][12]272-278。算法歧视的结构性特征给歧视的判断和识别带来了困难，由此也引发了一个争论，即算法模型的设计者和使用者究竟是否需要对由具有偏见和歧视的历史数据训练的算法模型所产生的歧视后果负责。

其次，算法歧视具有高度隐蔽性。算法决策具有高度模糊性特征。有学者将算法决策的过程形容为“算法黑箱”，其决策过程难以为普通人所理解和洞悉[8]10-12。而算法决策的黑箱效应则源于算法决策的模糊性特征。根据美国学者珍娜·布雷尔的一项研究成果，算法自动决策的模糊性主要源自于以下三个方面:第一，由于商业秘密或者国家秘密所导致的不透明性；第二，由于技术了解程度所导致的不透明性；第三，算法本身的复杂性所导致的不透明性[13]。算法决策的模糊性特征使其能够以高度隐蔽、常人无法察觉的方式对个人加以区别对待。例如，在刑事司法领域，算法刑事司法的运行方式通常意味着很少有机会以熟悉的方式进行故意歧视，而算法模型训练的特征选择过程创造了通过将种族作为输入选项，或有意省略种族变量以产生歧视类型，或以模仿相同效果的方式选择数量不足的变量的机会。但是，客观而言，这种掩盖将很难发现[14]。由此可见，算法模型的复杂性和算法决策过程的高度不透明为算法设计者和使用者提供了掩盖歧视行为的遮羞布，而个人因无法知晓其决策过程，只能被动接受算法开发者和运用者以“科学客观”之名所作出的具有差别性影响乃至带有歧视意图的决策结果。

第三，算法歧视具有高度单体性。以大数据分析为基础的算法决策具有高度的分析能力，能够对事物和人进行分类，并对个人行为进行高度解析。大数据算法对个人的高度解析，破坏乃至消解了个人的完整性，也使得社会演变为所谓的“微粒社会”。德国学者库克里克为我们描绘了微粒社会的理想图景:“最理想的情况下，数据会使我们更加清楚并更加精确地定义自己的需求，我们究竟需要什么来让我们感到舒适。数据同时将揭示我们自身，并使得生活环境尽可能确切地适应我们的需求成为可能。这就是微粒社会的终极理想。”[15]13在由算法模型主导的微粒社会中，正在发生着一场差异革命。而这场差异革命的结果则是造就一个个由各种分散的数据碎片所拼凑成的单体，具有主体性的个体被算法所肢解，并逐渐被单体所取代。在算法设计者和使用者眼中所呈现的只是一片片数据或数据集，以及根据这些海量动态数据碎片所勾勒出来的用户画像。

借助算法模型，公共组织和商业机构得以对以单体化形式存在的决策对象进行完美歧视。“大数据杀熟”便充分地向人们呈现了算法歧视的单体性特征①关于大数据价格歧视的识别认定与法律规制研究，参见付丽霞.大数据价格歧视行为之非法性认定研究:问题、争议与应对[J].华中科技大学学报(社会科学版)，2020(2):95-104.。在小数据时代，如何根据消费者的偏好需求来对其进行差异化定价，实现所谓的精准营销，一直是各大商家孜孜以求的愿望。商家受制于有限的信息获取途径和高额的信息获取成本，只能基于有限的信息对消费者的保留价格作出估计，采取所谓的不完全价格歧视。然而在大数据时代，借助于差别化定价算法模型，“从前粗放式的歧视定价行为已演化为更为精准的消费者分组。在这个过程中，商家会为我们贴上一个个标签，他们既会考察消费者的价格敏感度和消费习惯，也会综合社会阶层和脾气秉性对分组的影响。”[16]此时，作为个体的消费者不见了，呈现出来的是消费数据碎片以及根据这些数据碎片内容所进行的各种形形色色的分组。电商平台利用算法模型对所收集的海量数据信息来对消费者进行用户画像，精准定位其消费偏好，并据此尽可能逼近消费者的保留价格，以制定差异化的价格，实现所谓的完全价格歧视和完美的行为歧视，最大限度地攫取消费者剩余。

第四，算法歧视具有高度系统连锁性。虽然目前大多数机器学习算法是在人类工程师的监督下进行的，但不可否认的是，机器学习具有相当程度的自动性，这也使得算法决策在一定程度上呈现出取代人类决策的趋向。具有自动性的机器学习算法能够发现、揭示隐藏在海量数据中的相关性，这意味着，一旦个体被算法模型判断为来自某个受保护阶层的成员而被标记，其在某个场景中的数字化形象会被保留下来，并会被其他领域中的算法工程师作为训练数据用以训练新的算法模型，而这一新的算法模型会延续之前的偏见与歧视，从而在个人身上发生系统性歧视连锁反应，从而加剧社会的不平等。“如果有人一旦被贴上了‘懒惰’‘不可靠’‘极端’或者更加糟糕的标签，那么他的人生可能就此毁了。”[8]46这是因为其他领域的算法模型将极有可能参照先前算法所运用的分类标准对个人进行分类，再次将其归入不良信用者、好逸恶劳者或边际消费者之列。

综上所述，在大数据时代，歧视问题仍然存在，其仍然根植于人类的脑海之中，隐藏于算法模型和数据代码之中，并借助数学和工程学所营造的科学、中立及客观的形象，对普通民众尤其是那些来自弱势群体的人们进行区别对待，产生差别性影响。在算法社会中，算法歧视所呈现出来的高度隐蔽性、结构性、单体性、连锁性等一系列特征无疑增加了歧视识别、判断和审查的难度，给经典反歧视法律理论带来深刻挑战。

三、算法决策语境下传统反歧视理论的适用困境

平等一直是人类不懈追求的重要价值之一，而根植于人类内心、深入并固化于社会生活中的歧视则成为人类实现平等的主要障碍。为了捍卫平等价值，法律一直将反歧视作为重要使命。反歧视的法理与制度并非铁板一块，而是受到平等理念的深刻影响。

按照经典理论，可以将平等界分为形式平等与实质平等，基于这一区分，反歧视理论进路界分为反分类歧视理论与反从属歧视理论。反分类歧视理论以康德义务论为哲学基础，并以形式平等为价值追求，强调人与人之间形式上的平等，主张不能基于人的种族、性别、宗教信仰等因素而对人加以区别对待。在歧视的判断标准上，以义务论哲学为基础的反分类歧视理论主张将是否具备歧视意图作为认定歧视的一个基本判断标准，因此，在歧视判断标准上，反分类歧视理论遵循所谓“差别待遇”标准[17]。

相较而言，反从属歧视理论则以功利主义后果论为哲学基础，并以实质平等为价值目标，强调结果上的平等，主张不能以反歧视的目的而使人受到差别性影响，进而使其在社会中处于从属地位。简而言之，反从属歧视理论旨在反对立法和决定所产生的差别性影响。在歧视的判断标准上，以功利主义后果论为哲学基础的反从属歧视理论主张以客观上是否产生歧视后果、而并非以主观上具备歧视意图作为判断是否构成歧视的基本判断标准，故而在歧视判断标准上，反从属歧视理论坚持所谓“差别性影响”判断标准①关于反分类歧视理论和反从属歧视理论的分析，参见Reva B.Siegel.Equality Talk:Antisubordination and Anticlassification Values in Constitutional Struggles over Brown[J].Harvard Law Review， 2004， 117(5):1470-1547.Jack M Balkin， Reva B Siegel， Jack M Balkin， Reva B Siegel.The American Civil Rights Tradition:Anticlassification or Antisubordination?[J].University of Miami Law Review，2003，58(1):9-11.关于两种反歧视理论政治哲学基础的分析，参见Tal Z.Zarsky.An Analytic Challenge:Discrimination Theory in the Age of Predictive Analytics[J].A Journal of Law and Policy for the Information Society， 2017，14(1):11-36.。

反分类歧视理论与反从属歧视理论脱胎于美国种族歧视问题的政治法律论争。从上述两大反歧视理论在种族歧视问题突出的美国社会的运用来看，以差别待遇理论为判断标准的反分类歧视理论和以差别性影响为判断标准的反从属歧视理论实属两大主流反歧视理论，对反歧视制度建构和司法实践产生了深刻影响，并且伴随着显性歧视向隐性歧视的转向，反从属歧视理论因其判断标准的客观性而具有更为广阔的应用前景。两大经典反歧视法律理论虽然源自美国种族歧视，但是由于上述反歧视理论分歧的背后实则是形式平等与实质平等之争，因而其理论的影响力是世界性的，包括欧盟和我国在内的诸多国家地区的反歧视理论探索与制度建构均未超越上述两大反歧视法律理论的基本范畴。目前我国关于就业歧视、身份歧视等问题的讨论仍可整合进上述两大反歧视理论之中②关于美国反歧视法律理论对我国反就业歧视立法和司法实践的影响，参见阎天.重思中国反就业歧视法的当代兴起[J].中外法学，2012(3):560-577.郭延军.就业性别歧视的法律判断标准——基于美国法律实践的考察[J].环球法律评论，2011(6):29-42.。因此，本文将以上两大反歧视法律理论作为检视对象，将其置于人工智能算法决策场景之下加以全面考察、反思，以揭示其适用困境。

在人工智能算法自动决策兴起的背景之下，人们在享受大数据算法带来的便利的同时，也面临着新技术引发的各种新的不平等问题。基于大数据算法所产生的各种歧视现象亦不断涌现，既在很大程度上加剧了社会不平等，也给传统反歧视理论带来相当程度的挑战。下文中，笔者将结合算法歧视的本质特征来检视算法时代两大反歧视理论所面临的适用困境。

(一)反分类歧视理论之困境

第一，算法歧视的隐秘性特征给反分类歧视理论带来挑战。正如前述，反分类歧视理论在价值目标上追求“形式平等”，主张立法、决策和行为均应对所有人同等视之，不能基于个人的种族、性别、肤色、宗教信仰等而对其加以差别待遇。在大数据时代，个人数据信息被公私机构广泛收集，其中不乏涉及个人隐私的敏感数据，并且这些敏感数据信息连同普通数据信息一起被作为“训练数据”，用于机器学习算法模型的训练。然而，由于目前算法模型生成阶段和决策阶段都具有高度隐秘性和模糊性，缺乏基本的透明性，算法决策模型所运用的数据无需公开，算法歧视以一种隐秘的方式进行。在算法决策缺乏基本透明性的情形之下，反分类歧视理论将很难发挥作用，而且更为重要的是，按照传统反分类歧视理论，将种族、性别、肤色等具有显性歧视特征的因素排除大数据收集范围之外，并禁止将其作为机器学习算法模型的训练数据，也仍然难以达到消除歧视影响的目的。因为大数据算法能够借助其他替代性数据，让那些不具有显著歧视特征的数据作为“代理”变量，仍然能够实现歧视的目的。

第二，算法歧视的结构性特征消解了反分类歧视理论确立的“差别待遇”判断标准的歧视识别功能。反分类歧视理论是一种典型的主观主义的歧视理论，这一点充分反映在其所确立的“差别待遇”这一歧视判断标准上。从司法实践观之，“差别待遇”标准坚持从决策主体的主观状态出发，要求决策主体必须具备主观上的“歧视意图”(discriminatory intent)，方才构成歧视。然而，这一具有鲜明主观主义特征的歧视判断标准在算法歧视场景中，却面临着被悬置的极大可能。究其原因，在人工智能算法决策背景之下，“歧视意图”这一反分类歧视要件的识别和认定将变得异常困难。一方面，从机器学习算法模型训练角度观之，算法模型训练所运用的数据集相当一部分是历史性数据，这些数据形成于特定的社会、经济、文化背景之中，其中很有可能带有特定社会场景中的歧视烙印。那么，如果数据训练者将这些历史数据作为算法模型的训练数据集，是否能够就据此认定算法模型的运用者具有“歧视意图”呢?在笔者看来，按照目前的反分类歧视理论，那些由具有一定偏见的历史数据所训练的算法模型所作出的算法决策，即使从结果上可能会产生歧视性后果，也不能就此反推算法模型的设计者和运用者就具有“歧视意图”。这意味着，算法歧视中，由于缺乏歧视意图这一主观要件，以“差别待遇”为判断标准的反分类歧视理论将面临适用困境。另一方面，从算法决策机制看，算法决策所具有的自动性和模糊性无疑增加了歧视识别的难度，意欲证明算法模型的设计者和使用者具有“歧视意图”将变得极为困难。

诚如学者所言:“通过机器学习或深度学习将训练数据转换为新的分类方案，并没有明显地映射到熟悉的人类意图形式上。”[14]这意味着，在算法自动决策场景中，歧视行为变得更为隐蔽和不可察觉，传统以“差别待遇”为标准的反分类歧视理论面临着严峻挑战，如需发挥作用，亟须加以适当调整。

(二)反从属歧视理论之困境

客观而言，相较于呈现高度主观主义色彩的反分类歧视理论所面临的严峻挑战，具有显著客观主义特征的反从属歧视理论，因其契合了算法歧视的结构性和系统性特征，在算法决策场景中展露出更大的适用空间。美国部分学者基于算法歧视的结构性和系统性特征，主张将差别性影响作为算法歧视的判断和识别标准[5][18]。但是，这并不意味着，以“差别性影响”为判断标准的反从属理论便是完美无缺的，相反，在算法决策场景中，其也面临着适用上的困境，亦存在着被架空的危险。

第一，强调群体公正的反从属理论无法回应算法歧视的单体性特征。反从属歧视理论是一种结构主义的歧视理论，它更多聚焦于政治、社会、经济层面的结构性因素所导致的系统性、结构性歧视问题。相较于专注于“个体公正”的反分类歧视理论，反从属歧视理论更关注“群体公正”。目前，公共和私人部门运用算法模型作出的决策正在导致对社会弱势群体的结构性排斥和歧视，许多设计糟糕的算法模型正在加剧、恶化弱势群体的生存境遇[9]113[19]。将专注“群体公正”的反从属歧视理论运用于算法决策之中，确实有助于改善那些受到算法决策系统性排斥和歧视的群体的社会地位，在一定程度上有助于缓解长期以来存在的结构性排斥，改善其生存境况。但是，需要注意的是，以“群体公正”为导向的差别性影响标准，忽视了个体公正。

在算法决策之中，除了结构性歧视问题之外，仍存在严重的个体公正问题。正如前文所述，算法自动决策表面上追求所谓“个性化”，然而，透过所谓个性化推荐、精准化服务的光鲜外表，我们会看到，“这并不是真正针对个体的服务。模型在我们看不到的地方仍然把我们归类为各种各样的群体，以各种行为模式为指标。不管最终的分析正确与否，这种不透明性都会导致欺诈。”[9]190实际上，这是将个人行为和特征进行高度解析之后再分别纳入不同的组群之中，所遵循的仍是一种去个体化的逻辑理路和操作方式。而其导致的必然后果则是个体公正被忽视，因为在算法模型的设计者和运用者眼中，个体已经不再重要，重要的只是碎片化的数据而已。诚如美国学者卢克斯所言:“在当今的数字时代，自我的概念主要依赖于算法的结果。人们将个人的特点与具体‘可知性’的特点的大型数据集进行对比，寻找二者的相关性。从某种意义上讲，这种做法其实就是自我的公式化。有的算法异常复杂，需要收集特定个体尽可能多的数据，才能得出结果。有的算法采用‘归谬法’，就像在抽象派艺术中采用最粗略的‘模糊人影’来表示人一样，追求简单化。”[20]在算法自动决策场景，单体化特征是算法歧视的基本特征。意欲规制算法自动决策的单体化歧视，首先需要将个人作为完整的个人加以看待，关注个体公正，而并非仅仅聚焦于群体公正[21]。然而，以规制系统性、结构性歧视见长的反从属歧视理论却因聚焦群体公正，关注统计上的平等(statistical parity)，忽略了个体公正，难以有效回应大数据时代个体所面临的具有高度单体性特征的歧视类型[22]。

第二，反从属歧视理论的差别性影响标准在算法决策场景中容易被架空。不同于反分类歧视理论的差别待遇标准的主观主义特质，反从属歧视理论的差别性影响标准是从特定决策行为所产生的外部影响上来判断行为人是否构成歧视，而并不关心行为人主观上是否具备歧视意图，即只要当特定行为造成受保护阶层不成比例地承受负面结果，造成所谓差别性影响，便极有可能构成歧视。但是，为了防止差别性影响标准在实践中的泛化，在适用差别性影响标准判断歧视行为时，还增加了一个豁免条件，即行为人如能证明其所作出的决策行为是考虑了与其决策的“相关性”因素，便不构成歧视。换言之，即使决策在客观上造成了差别性影响，决策者仍然能够借由证明其行为考虑了与特定决策相关因素而得到豁免，进而被判定为不构成歧视。以雇佣决策为例，按照差别性影响标准，雇主如果能够证明其在雇佣决策中是在考虑与工作相关的因素的基础上所作出的决策，即使其行为导致大量弱势群体不成比例地被拒绝雇佣，其雇佣决策行为仍具正当性而不构成歧视。

相较于具有高度主观性的“歧视意图”而言，差别性影响标准具有高度客观性。在算法决策场景中，依据这一标准将使得歧视更容易判断识别。反从属理论所秉持的这一客观歧视标准，相对更适合算法自动决策场景中因为历史数据和数据质量不高所带来的大量的结构性和系统性歧视。但是，目前，差别性影响标准附加的考虑决策“相关性”因素的豁免条件，使得算法模型的开发者和运用者可以以“相关性”为由主张歧视豁免，亦即即使其运用算法模型作出了导致实质性不平等后果，造成所谓“差别性影响”的决策，亦不构成歧视，无须承担法律责任。

综上所述，随着人工智能算法决策的兴起，算法自动决策所带来的歧视问题给反分类理论和反从属理论这两大传统歧视理论均带来相当程度的挑战，两大歧视理论及其歧视判断标准在算法决策场景中均存在适用上的困境，亟待加以合理调适，以因应人工智能时代的算法歧视问题。

四、基于算法决策场景的反歧视理论调适

面对两大经典歧视理论在大数据算法歧视的判断和规制实践中所面临的适用困境，需要对传统歧视理论加以适当的修构，期待借由理论的进一步完善，能够适应算法自动决策场景，并发挥反歧视理论在反算法歧视方面的功能，以遏制人工智能时代算法歧视肆意蔓延的态势。

(一)反分类歧视理论之修构

在算法自动决策场景中，算法歧视的结构性特征确实导致传统反分类歧视理论的适用空间被大幅压缩，但是，这并不意味着反分类歧视理论便完全式微，笔者认为，在经过适当调适之后，该歧视理论在大数据时代仍能够焕发强大生命力。其具体完善路径分为微观和宏观两个层面。

首先，在微观层面，宜对反分类歧视理论加以适当调整，放宽差别待遇判断标准，将间接的隐性歧视(implicit bias)纳入其中。根据歧视行为主观性的程度差异，可以将歧视分为显性歧视(expilict bias)、隐性歧视与差别性影响。其中，显性歧视是直接的、故意的歧视；隐性歧视是间接的、非故意的歧视；差别性影响则对歧视行为实施者的主观态度不做要求，而从客观后果上对歧视行为加以判断。隐性歧视与显性歧视的关键差别之处在于:显性歧视直接将种族、肤色、性别作为区别待遇的考量因素，而隐性歧视往往采用其他更为间接的因素作为区别对待的考量因素，因此其在歧视意图的认定上也更为困难。现实中，从主观上看，在隐性歧视中，与显性歧视直接进行歧视、并追求歧视后果的发生不同，歧视行为实施者在主观上更多呈现出间接放任或疏忽大意的态度。在算法决策场景中，隐性歧视大量存在。根据美国学者塔尔·扎尔克的研究，在算法决策场景中，隐性歧视主要包括掩饰、潜意识歧视、依赖受污染的数据集和工具和公然的运用“代理”变量四种类型[23]。此时，由于并未将种族、肤色、性别直接作为变量，主观上缺乏故意的歧视意图，按照现有反分类歧视理论难以认定其构成歧视。为了回应算法决策场景的歧视判断难题，可以考虑引入隐性歧视概念，并在歧视意图判断标准上适当放宽，将算法开发者和运用者在算法决策中的间接故意和疏忽大意也纳入歧视意图范畴之中。具体而言，在算法歧视的判断中，不要求算法模型运用者在算法决策中必须具有直接故意歧视意图，只要其未尽到审慎的审查义务，将那些与种族、肤色、宗教信仰等特征高度关联的“代理”变量运用于算法决策之中，不顾及歧视后果发生可能性，便构成间接歧视意图，进而构成隐性歧视。歧视意图标准的放宽，将使得证明算法模型的设计者和运用者具有主观上的歧视意图的难度显著降低，证明其行为构成歧视的难度亦将会随之降低，从而避免出现大量的实质性算法歧视行为因难以证明其主观歧视意图的存在而无法追究责任的情形。

其次，在宏观层面上，宜将反刻板印象歧视理论吸收整合到反分类歧视理论之中，实现反分类歧视理论的更新。“刻板印象最基本的定义是，他们是对群体特征的确信”[24]。刻板印象的形成有着深厚的认知心理学基础，人类对于外部事物的认知和理解常常借助于固有的观念。作为人类与生俱来的一种认知方式，刻板印象因具有深刻的认知基础而难以克服，但是，一旦这种刻板印象转化为具体的行为、并有可能对他人造成歧视时，则需要纳入法律的调整范围[25]。反刻板印象理论旨在反对这种基于经济、社会、文化等因素所形成的刻板印象而对特定主体进行差别对待。例如，在女性就业问题上，雇主通常是长期以来基于特定经济社会文化所形成的对女性群体的固定刻板印象而作出某一特定的女性个体是否适合该份工作的判断，进而作出是否雇佣的决策。反刻板印象歧视理论认为，这种基于对女性群体的刻板印象来看待特定女性的做法对该女性而言显然是不公平的。近年来，反刻板印象歧视理论也逐渐成为一个重要的反歧视理论，并在反歧视司法实践中日渐受到重视①Missouri v.Jenkins， 515 U.S.70， 120-21(1995).。在美国法院审理的J.E.B.v.Alabama ex rel.TB.案例中，法院认为“那种旨在认可和延续关于男女相对能力的令人不快的、过时的和过分的刻板印象歧视违反了平等保护”②511 U.S.127，137-46(1994).。笔者认为，鉴于算法歧视的单体性特征，宜将反刻板印象理论整合进反从属理论，将反刻板印象作为反算法歧视的一个重要目标。理由如下所述。

一方面，两者具有重要理论渊源，为理论整合提供了可能性。两大反歧视理论具有重要理论渊源表现在:无论是反分类歧视理论，还是反刻板印象歧视理论，均是广义上的反分类歧视理论，即都反对参照特定的分类来对人加以差别对待；两者都要求平等对待个体。从宽泛意义上，反分类歧视理论蕴含着将个人作为独立的个体而非某个特定群体的成员来对待的要求，由此，反刻板印象歧视理论构成了反分类理论的下位概念。由于共享相同的理论渊源，将两者进行理论整合具有了可能性。当然，从核心含义上，两者存在着一定的差别。反分类歧视理论要求对来自不同的群体的个体进行平等对待，如对来自男性群体中的A与来自女性群体中的B平等对待；而反刻板印象歧视理论则要求将来自某一群体的A作为个体来加以对待，以使得A从人们对某一群体所形成的刻板印象中摆脱出来[21]。换言之，反分类歧视理论中的平等对待是无论种族、性别、宗教信仰等因素的平等对待，而反刻板印象歧视理论的平等对待是将特定主体作为个人来加以对待，而非基于特定群体的统计数据所形成的刻板印象来对待个人，这就使得个人得以从分类化的群体中独立出来，被作为个人来加以对待，有利于保证个人的完整性。

另一方面，反刻板印象歧视理论具有的反算法歧视功能为理论整合提供了必要性。正如前述，在由机器学习算法所主导的算法社会中，大数据算法决策所遵循的是物以类聚、人以群分的分类逻辑，算法社会是一个典型的分类社会[26]。大数据算法决策的分类逻辑是去个体化，在此过程中，个人的完整性和自然秉性被算法模型借由各自分格技术高度透析、消解。在算法决策场景中，机器学习算法模型通常运用各种数据参数来建构一个标准的、并符合算法设计者预期的完美“主体”形象，然后将这个完美的主体形象用以评价真实的个体，这个由算法模型生成的完美的主体形象实则成为评价个体的基本参照系。以算法雇佣决策为例，雇佣算法模型的开发者在算法模型的训练过程中，需要事先运用各种历史招聘和员工日常工作表现等数据参数训练出一个理想的“好雇员”模型，然后按照这一“好雇员”模型来判断应聘者是否符合该模型，进而作出是否雇佣的决定。然而，这一由机器学习算法所生成的“好雇员”模型本身可能是基于对特定弱势群体的刻板印象。由此可见，在机器学习算法模型的生成过程中，算法模型设计者所试图建构的标准化形象，以及据此所收集用以训练算法的数据集等一系列行动，均有可能是在对特定弱势群体持某种负面刻板印象的前提下展开的。

在机器学习算法大行其道的今天，算法模型的设计者和使用者得以隐秘地将其对特定群体的刻板印象植入算法模型之中，进而透过算法自动决策对特定个人和群体加以差别对待。反刻板印象歧视理论则旨在要求将个体与其所从属的类别区别来看，将其作为独立的个体来加以对待，而不能将那些业已形成的对其所从属的群体的刻板印象作为评价其个人的判断标准。反刻板印象歧视理论这一将个人作为个体来加以看待的基本教义，与以分类为基本特征的算法社会正在兴起的一项重要权利类型——请求作为个人加以对待的权利——可谓不谋而合③关于统计歧视与请求作为个人加以对待的权利的关系的分析，参见Kasper Lippert-Rasmussen.We are all Different:Statistical Discrimination and the Right to be Treated as an Individual[J].The Journal of Ethics， 2011， 15:47-59.。反刻板印象歧视理论因其主张将个人作为独立的个人而非分类群组中一员来加以对待，从而使得个人得以在很大程度上摆脱那些基于刻板印象的算法模型所作出的决策[21]。当算法设计者基于对特定群体的刻板印象而收集带有偏见的数据，将其运用于训练算法模型时，并运用该算法模型作出针对该特定主体的决策，该特定主体可以基于反刻板印象歧视理论主张算法模型的设计者或使用者的行为构成歧视，并要求其承担相应责任。

(二)反从属歧视理论之修构

在算法自动场景中，反从属歧视理论相对而言具有更为广阔的前景。但是，正如前述，其也面临被架空的威胁。反从属歧视理论的差别性影响标准在具体实践中采用“相关性”的豁免条件时，决策者能够以特定因素之考量与决定之间具有“相关性”为由，证明其行为的正当性，因此不构成歧视，其决策对特定群体造成不成比例的负面影响而无须承担相应责任。实践中，差别性影响标准宽泛的“相关性”无法缓解算法歧视问题，反而可能加剧算法歧视。

通常而言，相关性豁免条件只需要证明特定因素或变量之考量与某一决定之间存在统计学意义上的相关性即可。相关性是一个非常宽泛的标准，这对于大数据算法决策而言更是轻而易举，大数据算法模型的核心功能就在于能够发现海量数据之间潜藏的相关性。但是发现事物之间的统计学意义上的相关性并不意味着两者之间就存在因果关系，更不意味着对这种相关性运用就具有正当性。诚如学者所言:“算法发现某种相关性，并不一定意味着我们就可以利用这种相关性”[12]275。例如，大数据算法模型发现黑人具有较高的再犯率，是否据此就能以种族、肤色作为判断其再犯风险的相关性因素呢?答案显然是否定的。必要性豁免条件要求决策者证明其在特定决策中将某一因素或数据变量纳入考量范围，对于改善决策结果、实现特定的决策目标而言，具有显著的正当性。例如，某一特定因素或数据变量真实地、准确地显示其影响到决策的绩效，根据必要性豁免条件，要求算法模型的开发者和运用者证明其在算法决策中所考量的因素或者运用的数据变量与特定决策之间具有正当性，真实准确地揭示出两者之间的关联，将其纳入考量范围是合理甄别而非歧视。较之于宽泛的相关性豁免条件，必要性豁免条件则更为严格。对于算法模型的开发者和运用者而言，必要性豁免条件要求其对造成差别性影响的特定决策的合理性和正当性作出解释说明，实则是对其苛以更高的证明标准，无疑增加了证明难度。因此，为了充分发挥差别性影响标准在识别、判断以及规制算法歧视的功能，宜提高差别性影响标准的豁免门槛，以更为严格的“必要性”豁免条件替代宽松的“相关性”豁免条件。

以雇佣决策为例，按照必要性豁免条件，算法模型的设计者和使用者仅证明某个数据变量与雇佣决策具有“工作相关性”(job-relateness)是不够的，算法模型的使用者和设计者还应当证明在算法模型的设计中使用的这些数据变量具有“业务必要性”(business necessity)。换言之，单纯以统计学上的相关性并不足以证明算法模型的使用者和设计者作出雇佣决定的正当性，而是需要证明其运用雇佣算法模型训练的的某一因素或变量与工作绩效之间存在显著的关联性和必要性，而且当原告能够证明存在歧视后果更少的替代性措施时，作为雇佣算法模型运用者的被告以“业务必要性”的理由请求豁免承担歧视责任的诉求将不能成立[21]。提高差别性影响标准的豁免门槛，旨在防止大量对弱势群体产生不成比例的负面影响的歧视行为出现逸脱现象，真正发挥差别性影响标准在识别、判断和规制算法歧视中的重要功能。

五、反算法歧视之制度建构

在算法自动决策中，“受优待和受歧视的群体主要是在计算的过程中才能被区分开来。法律不再是为平等的人而撰写，我们需要生产出‘平等者’，使得他们服从这样的规则”[15]120。这意味着，大数据算法正在逐渐改变歧视的产生方式，而且对于歧视的规制也日益依赖于算法模型开发设计中的伦理植入。诚如学者所言:“对算法嵌入伦理道德的价值是有必要的，它强调设计符合伦理原则的算法，为人类提供帮助或者算法自身在某种程度上具有伦理决策的能力。”[27]技术专家和伦理学者在算法歧视规制中无疑占据重要地位，但仍离不开相应的制度支撑。笔者认为，在反算法歧视的制度规则的建构中，应以反算法歧视理论价值和反歧视目标定位为基本遵循，贯彻“通过设计实现公平”的规制原则[28]，根据算法歧视类型、特征加以类型化制度建构。具体而言，一方面，以反分类歧视目标为宗旨，建立健全数据清洁制度，强化对算法模型训练数据的事前清洁处理；另一方面，以反从属歧视目标为宗旨，尽快建立算法歧视影响评估制度，通过对拟投入使用的算法模型的潜在歧视风险进行预测评估。同时，建立算法模型运行动态审查制度，根据两大反歧视目标，对算法模型进行全过程动态审查，以发现歧视后果或潜在歧视风险。

(一)建立数据清洁制度

在大数据算法决策场景中，形式平等仍然是算法社会的重要追求，算法自动决策仍需满足形式平等的要求。为了实现算法自动决策的形式平等，应当建立算法模型的事前数据清洁制度，明确算法模型的设计者的数据清洁义务和责任，禁止将具有显著歧视性特征的数据作为算法模型的训练数据。这意味着，在特定算法模型训练和设计之前，需要对用于算法模型训练的数据进行清洁。首先，将诸如种族、性别、年龄、宗教信仰等具有显著歧视性特征的数据排除；其次，对于算法模型设计者在算法使用“邮政编码”“地域”等数据作为“代理”时予以禁止，这些数据在歧视性程度上虽没有种族、性别、年龄等显著，但其仍然具有明显的歧视特征，因此，对于这些具有“歧视特征”的数据应当予以排除，禁止将其作为算法模型的训练数据，以尽可能确保算法模型在种族、性别、年龄、宗教信仰等方面的“中立性”。尽管有学者认为，禁止种族、性别、年龄、宗教信仰乃至于地域等与种族具有高度关联的“代理”数据运用于算法模型的训练，将会造成算法决策的准确度降低，不利于算法自动决策功能的发挥，甚至会抑制创新[29]。客观而言，将上述具有显著歧视性特征的数据排除算法模型之外，确实在一定程度上会降低算法决策预测的精准性，但是，笔者认为，算法决策预测精准性的提高不能以牺牲公民所享有的平等保护这一基本权利为代价，不能单纯为了提高所谓的决策效率而让人们遭受不平等的区别对待，而应当在确保形式平等的基础上，追求决策效率。从这个意义上而言，针对算法自动决策中存在的差别待遇歧视，建立事先的算法数据清洁制度尤为必要，这是保证算法决策形式平等的重要机制。

(二)建立算法歧视动态审查制度

机器学习算法具有高度的自动性，算法模型能够发现海量数据之间潜在的相关性，并在算法训练和运行过程中，产生算法设计者意想不到的歧视后果。针对这种情形，宜建立复合性算法动态审查制度。首先，在审查方式上，宜采取定期审查与不定期审查相结合，以发现算法模型和算法决策中的歧视。其次，在审查内容上，宜采行过程审查与结果审查相结合，一方面，对算法模型的输入数据和过程是否具有歧视进行审查；另一方面，对算法模型所输出的结果即算法自动决策后果是否具有歧视进行审查。第三，在算法歧视审查标准上，应当坚持差别对待标准与差别性影响标准相结合，既要审查算法模型设计中是否具有差别对待的主观歧视，又要审查算法模型的输出结果是否对受保护群体产生不成比例的歧视后果。同时，鉴于算法自动决策场景中结构性、系统性歧视大量增加，宜将这种客观、隐性的歧视作为审查重点，采用上文修改后的差别性影响标准，对此类算法歧视进行识别和规制[30]。

(三)建立算法歧视影响评估制度

在大数据算法决策场景中，歧视具有高度的隐蔽性，歧视的判断和识别在算法模型的遮蔽下变得更为困难，此时往往需要从算法模型输出的后果上加以判断和识别。面对算法自动决策给受保护群体造成的系统性歧视后果，反算法歧视还需要以实质平等作为重要价值追求。因此，在具体制度建构上，可以参酌环境影响评价制度，建立算法歧视影响评估制度[31]。算法歧视影响评估制度是采取算法平权行动的重要步骤[32]。这一制度要求在算法模型设计完成后、投入使用前，由专门机构对算法可能造成的潜在歧视影响进行事前评估，尤其要对其是否将对特定受保护群体产生不成比例的差别性影响加以评估。如经过评估后，发现拟投入使用的算法模型将产生潜在的歧视性后果，则不得将此算法模型投入使用。为了确保算法歧视影响评估制度真正发挥作用，需要对该制度加以合理建构。

具体而言，第一，在算法歧视影响评估主体上，从保证算法影响评估中立性和专业性角度而言，宜由专业的、第三方评估机构进行评估。第二，在算法歧视评估范围上，一方面是针对拟投入运行的算法模型的歧视性影响进行评价，另一方面，需要除算法模型决策之外的替代性方案的潜在歧视性影响也应纳入评估范围，从而判断算法模型决策是否是优先选择。第三，建立算法歧视影响评估报告披露制度。为了保证算法歧视影响评估活动的公开透明，算法歧视影响评估机构应当以适当的方式对特定算法模型所作出的评估报告予以披露，披露对象主要是针对潜在受算法决策影响的主体。第四，建立算法歧视影响评估公众参与机制。算法歧视影响评估公众参与机制是保障算法评估活动公正、透明的一项重要制度。在由专业机构主导算法歧视影响评估活动中，选择一些具有较高专业知识背景、且受到算法模型决策潜在影响的公众参与到算法模型评估活动中，能够在一定程度上发挥监督算法歧视影响评估活动、表达合理利益诉求的功能。

上述算法歧视规制制度的建立，能够形成一套贯穿于算法模型设计和算法自动决策全过程的算法歧视识别与规制方案，有助于缓解算法自动决策造成的歧视，并在很大程度上实现算法公正。当然，在算法歧视规制实践中，需要根据反歧视的目标预设，有针对性地选择运用相应的制度方案。如果在具体算法决策场景中，算法研发者和运用者更多地追求形式平等，要健全机构内部数据清洁制度。例如设立负责内部数据清洁的组织或人员，完善数据清洁流程，以保证数据清洁工作落到实处。如果在特定算法决策场景中，算法研发者和运用者更多地追求实质平等，则要建立健全机构内部的算法歧视影响评估机制。数据和算法管理部门则要尽快出台数据清洁和算法歧视影响评估方面的规范指引，以为算法开发和运用机构展开反算法歧视的内部合规管理活动提供规范引导。

六、结语

平等是人类不懈的价值追求，在漫长的人类社会中，人类为争取平等付出了艰辛努力，乃至殊死的斗争。反歧视法律理论正是人类长期以来通过法律反对歧视、寻求平等的智慧结晶。置身于由大数据算法驱动的人工智能时代，人类反对歧视、寻求平等的理想愿景并没有因此改变。在很大意义上，大数据算法技术承载着人类追求公平和效率的美好愿景，但是，我们不能因此陷入“技术乌托邦”之中，而应看到，大数据算法模型不仅潜藏着各种歧视与偏见，而且在一定程度上改变了歧视呈现的样态，并给传统反歧视法律理论带来深刻挑战。究其本质，目前算法歧视的治理是一种面向弱人工智能体的道德嵌入，并遵循“通过设计实现公平的治理原则”[33]。而这种嵌入的过程无疑需要法律理论和制度层面的有力回应，时下法学界对人工智能法律主体资格和责任承担方面的研究便是明证。面对算法决策场景和算法歧视呈现的新特征，对歧视法律理论和制度加以合理调适与建构，同样具有重要的理论和现实意义。在算法社会中，随着算法自动决策日益广泛而深入地介入就业、医疗、教育、社会保障乃至执法等各类决策过程之中，影响乃至决定公共资源在不同社会群体之间的分配，算法决策的平等性和公正性将成为一个利益攸关的重要问题，反算法歧视必将成为所有追求平等的人们关注的一个焦点话题，也将成为包括法律人在内的各学科学者肩负的重要使命，我们必须认真对待，并透过伦理、制度和技术多维度的共同合作，寻找适当的治理方案，加以有效应对和解决。