算法歧视的法律规制:动因、路径和制度完善

张莉莉 朱子升

摘    要：算法内置性编码凝视、支撑算法运行的训练数据之偏差以及算法黑箱带来的程序透明度缺失是導致算法歧视的技术性原因，进而引致权利失衡，使权利成为缺损状态。为保障权利行使，本文认为应当确立算法公平理念，并明晰算法歧视法律规制的技术环节，建立以权利失衡的矫正为中心的法律规制模式作为算法歧视法律规制的路径选择，并从明确筛选训练数据的标准化制度、建立算法透明性和可解释性的审查机制、完善算法问责机制三方面予以探究。

关键词：算法歧视;权利失衡;路径选择;制度完善

中图分类号：D 913        文献标识码：A        文章编号：2096-9783（2021）02-0015-07

大数据时代，算法通过其程序以及运算规则作出决策。相对于传统决策领域，其对人工干预的需求甚少，因而多被认为能够为人类社会提供公正的纠纷解决方式和决策论断。几乎可以肯定的是，在算法实际运用的过程中，智能算法因其特殊编码所有的自主数据分析机制，会加速并放大现存的价值偏好、歧视认知，使得数据在经算法编码程序分析后形成的决策附有“算法歧视”，导致不公现象产生，从而会对社会秩序造成冲击[1]。在此背景下，本文拟就算法歧视法律规制的核心、路径和制度完善予以探讨。

一、算法歧视法律规制的动因：基于技术构造的权利失衡的矫正

算法以其高度发达的信息系统融入人们的生活，现代社会在发展过程中也逐渐离不开算法对于计算便利性提升的帮助。正因为算法歧视面向对象之广及其影响之深，需加以重视，其中法律系统对于算法歧视的回应更应给予高度重视。

（一）算法歧视的技术性原因

相较于人工在决策过程中占据主导地位的传统决策路径，人类在智能算法决策的过程中，能够产生直接影响的范围随着信息技术的发展而逐渐缩小，决策更多地通过算法本身程式对于数据理解后的运算得出，而非人脑对数据的分析，这一自主决策系统使得算法歧视存在技术性原因。

首先，算法内置性编码凝视。所谓编码凝视（coded gaze），即是外界固有偏见被嵌入到代码系统中，成为算法天生所有的偏见。算法是以数学程式或者计算机代码表达意见，其设计理念、数据使用规范、决策输出标准等都是开发者的主观选择，算法开发者在代码输入的过程过也因此可能将自己原有的偏见嵌入算法系统之中，从而表现为一种故意为之的歧视。即便开发者想尽一切办法规避自身原有价值观对于算法设置的影响，但只要生活在这个社会，每个人都无法成为一座“孤岛”。由此，内置性编码凝视有可能表现为无意识的偏见摄入，即由于群体观念的裹挟而不可避免的存在自我偏见。在算法程式建立完成后，由于预设偏见的存在，数据在通过算法编码后成为“污染数据”。由这类污染数据循之产生的污染结果会通过同一套算法不断反复，使偏见数据的不良影响不断扩大，最终产生带有偏见的智能算法结果。可见，开发者的素质、价值水平的高低，以及算法本身编码的特性，使算法内置性编码凝视成为算法在走向公正之路上不容忽视的环节。

其次，支撑算法运行的训练数据之偏差。除了上述外部性社会文化、个人主观偏见的影响，一些具有歧视性意味的结论源于支撑算法运行的训练数据的缺陷带来的偏差。第一，样本数据中“少数族群”的存在。现实中的数据远不止几类、几十类的区分种类，面对多元、复杂、区分界限模糊的数据源，通常为了设计简便、减少运行成本，智能算法会选择“技术逃避”，不自觉地把一些特征不太明显的少数数据，直接认定为错误（或噪声）数据，或是将全新的数据信息归于大致类似的数据群中作为后续分析的基础，一些稀有、缺失的现象（即涉及少数群体的数据）很难被选中，从而导致数据算法结果更青睐于在统计上的多数样本群，形成马太效益，资源跟随算法不断地向样本更加丰富的数据群集聚，导致少量但是并非无用的数据在往后的算法决策之中消失不见，影响算法样本数据多样化的实现[2]。第二，样本质量可能存在问题。因算法的特殊性质，数据是必不可少的输入，其对于数据质量的要求相较于其他的编程技术来说更加严格。但是因为算法的训练数据是通过不同的方式和渠道形成的集合，集合中缺失、重复、失效、造假的“脏数据”可能对数据样本带来污染，使算法出现误解而导出歧视性结果。由于数据算法对数据依赖程度之高，训练数据的优劣与否深刻影响着算法本身的公正性。

再次，算法黑箱引起的程式透明度的缺失。在信息技术领域，“黑箱”一词指的是当信息技术专业人员对计算系统进行理解和测试时，并不知道也无法查看计算系统的内部工作情况，因而无法在出现问题之后找出具体的环节或代码链条[3]。相比传统的机器学习通过特征提取、判定进行推理得出结果的程式，算法深度学习是通过剖析事物原始特性并进行归纳总结之后得出的结果，是一种更为高级的认知方式。正是这一种从原始特征出发的认识范式，存在着我们无法洞悉的隐层，即“算法黑箱”。这里的“黑箱”并不仅意味着不能观察，还意味着即使计算机试图向我们解释，面对晦涩的代码链条我们也无法理解。由于算法黑箱的存在，其运行过程变得愈加模糊，可能通过不成比例的数据联结出相关性，带来令人不安的隐形歧视。例如，将男性与机械、计算机技术相连，女性与文职、家政服务相连，对某些表面不敏感但存在某些敏感特性的数据中建立相关性，而这一活动的具体过程是我们所不知道的。即使是在开发者非常小心的情况下，他们仍然可能通过原有模型影响歧视性结果，而这些模型在无意中会为受保护的类别挑选代理变量，其创造的关联性带来进一步的伤害。由于黑箱的不透明性在现代科技目前发展中还无法得到解决，算法输出结果、决策中可能存在的隐形歧视将成为现代科技之暗伤。

（二）基于算法歧视技术构造的权利失衡

数据时代除了对普通个体生活便利性提升带来影响之外，还有另外一个深层影响，即个体的全面数据化[4]。且在不久的将来，数据将不仅仅涉及单个个体的状态与活动，每个人的信息点将会通过交互系统汇成一条大河，用户的数据将变得更加多元化、多样化。在这种个体数据化、数据多元化的发展过程中，用户数据背后的商业价值也变得越来越大，数据涉及的权利保护也会点面临更大的挑战。在力量悬殊巨大的互联网与网民之间，权利的让渡似乎成为一种必然。而在权利让渡之后，由于算法歧视的存在，权利失衡就此产生，亦即，权利人基于理性而对自己利益的主张遭到没有正当理由的拒绝;其权利既得不到周围人的承认，也得不到政治国家的有效保障;权利人的利益遭受侵害后缺乏有效救济，因而其权利处于缺损状态的现象[5]。算法歧视引致的权利失衡，不仅是抽象层面平等权的失衡，还包括具象层面隐私权、选择权的失衡。

内置性编码凝视以其前置存在的特点，使得算法用户在使用的过程中不可避免地使自己的基础信息、行为足迹等數据进入海量的训练数据之中，并在算法设计者的编码程序中进行运转。如此，算法开发者与算法用户之间的地位悬殊极大，开发者以其拥有的解释权和海量数据库占据绝对优势地位，而用户只能在其制定的规则之下活动，通过让渡部分权利获得使用权限的便利性，而导致二者之间的权利失衡。如果开发者利用与用户之间极度的信息不对称并不履行相应义务，会进一步加剧权利失衡。

同时，用户在让渡权利后，算法开发者应遵循相应行业自律守则，不越过法律、道德所允许的边界。但由于原则、行业自律规则的不确定性和缺乏强制性规制，规制措施的缺乏与用户对生活便利性的要求发生了强烈的冲突，特别是在用户与那些掌握并利用甚至可能出卖他们的隐私数据的算法开发者之间，这样的“交易”天然是不平等的。

此外，黑箱内容的不确定性使得用户的权利无法得到保障。由于计算机系统内部工作情况，具有在专业人员进行理解和测试的过程中无法知晓的特征，引起人们关于算法权利行使的担忧。例如，一家名为“剑桥分析”的英国公司，在未经用户许可的情况下违规获取Facebook上5 000万名用户个人信息数据。在曲折迂回的算法运行过程中，由于黑箱本身内容的无法确定，为权利让渡过程变得模糊不清。用户在其权利受到侵害的时候也只能选择在该应用框架内寻求解决办法，这使得算法开发者一方在某种程度上获得了裁定用户使用资格、使用程度的特殊权力。例如，当算法歧视、算法错误等情况发生时，开发者往往以技术错误或者用户已知情等理由逃避承担对用户的损失赔偿责任，使得用户不得不自行承担由于算法歧视、算法错误带来的损失。

综上所述，基于自主决策系统的技术特殊性，算法歧视的实质在于主体权利的让渡失衡。信息提供者（即算法用户）以及技术提供者（即算法开发者）之间存在的“力量”悬殊，使得权利让渡后的公正行使变得困难。因此，算法歧视的法律规制的动因就在于矫正权利失衡，赋予和保障算法用户对算法提供选项内容的选择权、对算法决策生成过程的知情权、保障开发者和用户之间平等权，等等。

二、算法歧视法律规制的路径选择

（一）确立算法公平理念

算法歧视引致的权利失衡实质是算法公平的缺失。因此，对算法歧视予以法律规制，首先必须确立包括结果公平和程序公平在内的算法公平理念。针对算法歧视问题，需要的不仅是消除算法歧视本身所有的偏见，更要求对公平作出更加准确的定义，以使相关法律规制有迹可循[6]。公平作为法律所追求的基本价值之一，意味着其能够在公正、无偏见的背景下对法律行为作出评价。将这一概念引申到算法领域，即是通过公正、公平的运算过程和透明的运算决策结果，来保证多方利益的平衡和权力的对等。

算法结果公平，即算法输出结果的公平性可以从群体和个体角度进行探讨。算法中的群体公平，是指算法一般不做个性化的探讨，以人数的多寡分配名额，在稀有与非稀有族群以人口比例作出相称的决定。例如，某种职业的从业人员男女比例达到2：1，那么在进行招聘时严格按照2：1进行简历的收纳和录取。尽管这样一种分配方式在大概率上不影响群组中标几率的变化，但是从个体的视角来看，以此可能导致特定少数族群中个体中标概率显著偏高或者偏低，而带来另外一种意义上的不公。算法中的个体公平则是在相近的个体中分别对数据内容作出判定，考虑个体化之间的差异。这种公平理论对个体之间的分类更为谨慎，通过行业要求的特定特征对个体进行分类，而非单纯依靠人口数量的正负相关性。比较而言，群体公平着重于群体之间概率上的公平，而个体公平更侧重于在决策做出之后相关个体所可能受到的影响公平与否。算法作为一个根据数据特征作出决策的计算机程式，个体公平更加契合算法设计的初衷，即通过个性化定制获取信息并向用户提供便利。

但是，关注算法结果公平的同时，也要注重对决策过程本身的关注，即对于算法公平中程序公平的关注。程序公平，侧重于程序的输入前数据的筛选，输入中数据运行的透明度以及输入后决策作出的监管，通过加大算法程式运算过程中的透明性、可解释性，为算法决策的公信力背书。算法中的公平并非只是对单个群体或者个体权利义务的调整和救济，算法面对的人群是庞大的，除了一部分实际使用者外，由于算法可能存在的间接影响，而不可避免的存在着大量的潜在用户。尽管结果对于关涉主体的具体特征予以了考虑，但是对算法结果的过多关注，可能导致过程中各个环节对外界可能产生的影响被忽略，而产生另外一种微观层面的不公。因此，通过人口统计或者群体特征筛选是远远满足不了算法对于公平性要求的。公平存在于法律上的意义并非狭义的人人对等，法律中对于可理解性的要求也远高于可阐释性，算法公平很大程度上取决于在算法决策做出后，能否为所产生的一系列权利义务关系的变动，提供可查证、可解释、可救济的具有公信力的记录。而算法程序公平理论中所涉及的源头筛选、程式中的可解释性、决策后的可救济性对算法公平的实现更具有可操作性，可以避免对单一个体结果的过多关注，实现整个程式内容的可视化。因此，在算法歧视的法律规制的各个环节，贯彻算法程序公平的理念，是更合理并符合实际的。

（二）明晰算法歧视法律规制的技术环节

在大数据时代下，算法作为大数据技术发展下的重要引擎，力图从海量的数据世界中，对有意义的数据进行挖掘、加工，消除不确定性，重还世界一个新的“秩序”，这就是大数据技术的本质所在[7]。然而算法歧视往往扭曲了算法的原本意义。如前文所述，算法歧视的产生与运行主要由三个问题引发，即算法内置性编码凝视、训练样本数据偏差、算法计算领域的黑箱，或者由于其中一个问题的出现，或者多个问题同时出现导致算法歧视。由于其相对应的三个环节为数据输入、数据运行、数据监管，可以从这三个环节入手，对算法运行过程中有可能出现的问题予以规避，以达到算法真正为人类服务的预期目的。

首先，数据输入涉及算法训练数据的筛选。由于数据内容的质量和种类对算法程式样本数据的完善与否有着直接的关系，算法种类过少直接可能导致算法输出结果可信度的降低，算法质量、内容缺失带来的数据污染则可能带来算法计算结果的瑕疵。数据作为算法程式的立身之本，只有在样本数据建立初期，通过对源头数据大规模的筛选，保证样本数据多样化与数据内容的非导向性，才能在算法程式运算源头有效避免不公现象的产生。

其次，数据运行主要是关于算法透明性、算法黑箱可解释性的规制。通过可被理解的方式解释算法、提高算法的透明度，以使其运行更加公开公正。在数据出现纰漏或是算法权重设置有误时，及时提供救济。算法透明性的要求不仅仅针对于内置性编码凝视所带来的隐形歧视，更因其内部复杂以及商业机密的外衣而具有黑箱特性，使其成为必要，尤其是算法在信用体系中的应用，关乎公众在社会生活中的根本。正如学者所指出的，对消费者信用进行评分作为涉及消费者切身权益的半公共产品，不仅要有足够的预测准确率，还要具有可解释性[8]。为避免数据失真，歧视决策可能带来的不利影响，以及分配责任模糊等问题，有关算法透明性、可解释性需要得到法律的回应。

最后，数据监管则指向算法问责制的确立和完善。由于至今科学上都没有完美解答算法黑箱歧视问题，因此除了在算法本身进行规制之外，算法之外的规制也必不可少。但是，在算法责任归属中，由于算法责任难以测量，由于算法多个环节共同作用所造成的算法危害难以追踪，算法设计的关涉人员“碎片化”使得人的责任难以分配，算法责任的分配与承担出现困境。在此，只有创建并完善算法问责制，才能使公民在遭受算法歧视的时候，知道这一事实及救济方式。所谓算法问责制，即必须有人处理算法所造成的危害，相关责任主体有解释的义务和对算法决策负有责任，并应当由责任主体减轻任何负面的社会影响或者潜在危害，毕竟仅仅指出问题而不进行改正只是做了无用功而已。在国际计算机协会（ACM）的算法透明度和问责性七原则中，也指出了算法运行必须有监管机制，以纠正对个人造成的损害结果和在算法中发现的偏见。现今算法监管远远落后于算法编程技术的创新，对日益增长的数据流监管不力，亟待实践过程中法律予以回应。

（三）建立以权利失衡的矫正为中心的法律规制模式

从国际立法来看，目前规制人工智能算法歧视的法律模式主要有两种，即欧盟的以数据保护为中心的规制模式和美国的以算法责任为中心的规制模式。

早在1953年，《欧洲人权公约》中就对个人的数据保护予以了规定，其第8条提出各人都有权享有自己生活、通讯得到尊重的权利[9]。随着互联网技术的不断发展，传统的隐私权保护已经不能够满足要求，于是2016年《通用数据保护条例》对个人数据的保护提供了支撑，其前言中提出算法控制者所需要承担的避免包括有关于种族、性别、性取向、宗教信仰等敏感因素，所可能造成的歧视影响的责任[10]。正如前文所述，训练数据作为算法运行的支撑，对于算法的意义犹如水之于木，欧盟以数据保护为中心的规制模式更多的是从源头开始对算法歧视所进行的规制，通过规避敏感因素所可能造成的歧视影响而降低算法歧视出现的可能性。不过在对敏感信息进行筛选的过程中，大量个人数据的筛出可能导致算法决策准确性的降低。除此之外，剔除敏感社会信息后的算法训练样本，算法在通过大量间接样本对个人画像进行补足的过程也存在着一定的不确定性。面对这些问题，传统的算法筛出也许并不能解决算法歧视问题，算法歧视有关规制或许更应该依靠算法审查所具有的筛选功能[11]。

相对于欧洲大陆，美国是以算法责任为中心的规制模式。2014年白宫发表的《大数据：攥住机遇，守护价值》[12]中开始提出对于算法歧视的法律规制问题，希望政府解决这一问题所有可能带来的社会危害。2016年1月，美国FTC（联邦贸易委员会）发布《大数据：包容工具还是排斥工具？》[13]中通过对大数据所存在的利弊分析，以及相关消费者保护法律的运用法则，对大数据中间商和使用企业的实践提出相关建议。2017年发布了有关算法透明性、可责性的声明，提出了包括算法可问责、可解释、可审计及验证等为中心的七项原则。最后于2019年初部分国会议员提出了《算法责任法案》[14]，希望赋予联邦贸易委员会有要求具有一定经济实力或者社会影响的企业，出具其自动化决策系统以及数据运行所带来影响的评估的权力，这一评估包括对自动决策可能带来的风险，以及数据运行可能带来的歧视性影响等文件。以这种自查方式规避有可能的算法歧视，并置以高额的违规惩罚。尽管这一法案尚未通过，但对于理解美国算法规制模式和算法规制啟示有借鉴作用。

在我国，尚未出台的《个人信息保护法》《数据安全管理办法》 1和2019年《电子商务法》可以说是从数据和算法两个方向规制算法歧视的努力，但目前算法歧视法律规制仍处于草创阶段。笔者认为，对于算法歧视的法律规制可以选择以矫正权利失衡为中心的模式，在借鉴域外相关制度的基础上，建构我国算法歧视法律规制制度体系。这一模式具体包括三个部分，即权利确认、权利保护、权利救济。首先，权利确认通过保护数据提供者的平等权，保证各个群组，各种类型的信息毋论大小、多寡经过公正筛选之后，都能够充分的参与到算法样本数据中来，在算法决策中得以体现。其次，通过实现权利主体的知情权和选择权来实现权利保护的内容。由于算法程式的特殊性，权利主体的知情、选择权往往由于技术或者其他因素的限制怠于实现，通过法律系统的积极回应，实现算法程式、内容以及输出结果的透明化和可解释性以保障主体权利的实现。再次，权利救济是对算法疏于监管的现状作出的积极调整，通过算法问责制的构建给予权利主体可靠的救济途径而促使算法程式的不断完善。

三、算法歧视法律规制的制度完善

相较于欧美法律系统内简单的事前事后规制，权力失衡的矫正程序通过各个环节的联动合作，构建有关算法歧视的法律规制。

（一）明确筛选训练数据的标准化制度

这一环节是确认主体平等权，对各种信息筛选标准进行完善，即权利确认的内容。如前文算法歧视的技术构造得知，算法歧视产生的一部分原因就是因为算法训练数据存在偏差，由此导致的数据污染随着算法因为原始数据本身的盲区而越来越大。算法数据的样本如果一直轻视小样本、稀有样本的声音，为了追求效率而忽略掉少数族群的“呐喊”，带来的社会效应将会极其糟糕，部分人的声音不再是人们所能听到的声音。面对训练数据的质量以及面向族群的缺陷，在训练数据筛选的过程中应尽可能的纳入多样性为筛选标准。由此，算法多样性并非单称网络数据的多样性，在筛选标准、族群、性别、内容偏向方面也应当具有多样性，只有在多方力量维持多样平衡的同时，算法上的公正才能得到保证。

就具体内容而言，首先，筛选标准上，除了对主流数据进行筛选之外，面对容易被识别为“噪音数据”的少数数据应当设计更加精细的标准，不能让少部分人的声音因为微弱而被忽略。其次，在设计人员的组成上，尽可能吸纳不同年龄、性别，甚至种族的设计人员，对设计人员的组成和监督人员的设置投入多样性评分机制，通过不同性别、种族之间的差异平衡因为单一设计人员可能带来训练数据准入标准的偏见[15]。再次，在训练数据的内容偏向性上，除了对与需要得到的算法结果正相关的数据之外，部分关联数据也应当考虑进来，在大数据时代信息与信息之间相互链接，信息的摄入单纯考虑到正相关的训练数据不足以反应真实的社会声音。综上所述，在算法设计前期，法律应当对算法前期主要的数据构成和设计程式进行规制，提出多样性的要求，最大程度的规避“偏见数据”进入算法程式之中。

（二）建立算法透明性和可解释性的审查机制

这是以算法透明性、可解释性为切入点保护主体知情权和选择权，即权利保护的内容。近年来，国际电子协会以及欧美国家有关立法机关都开始着手对算法透明性和可解释进行规制。为了平衡公平与便利的矛盾，我国需要对算法透明及其可解释性作出规定，不能仅仅依靠行业自律对算法市场进行规范。算法解释要求算法决策系统的使用者对算法遵循的程序和特定结果进行解释。随着科学技术的发展和专业人才的增加，公布和监管算法内容和结果并非完全不可能的事情，但需要注意的是，由于算法运营者有时通过其算法系统进行商业运作，算法公平的要求与保护商业秘密、个人隐私以及防止第三方机构欺诈等存在冲突。此外，算法代码通常多而复杂，对其进行全面测试的成本也很高，随着数据时代的到来，或大或小的算法程式只会越来越多，对每一条算法进行监管是不现实的。

对算法内容、输出结果进行审查和公开对于算法公平虽是必不可少，但是不能简单的要求一律公开，应当建立标准完善的审查机制。在我国的具体实践中，也有对智能投顾领域的算法透明性的规定，有学者将其概括为算法的穿透式监管，但是这种监管手段的发起方和实施方都是公权力主体，第三方介入的方式几乎微乎其微[16]。在当前背景下，第三方机构对于算法运行机制的熟悉程度往往是高于公权力主体的。应当适当准入第三方机构对算法内容、输出结果中的技术性内容进行审查，通过设置相关的技术性机制对算法训练样本、内置性编码凝视等问题进行筛选和解释，并由公权力主体进行主导和监督，即通过技术手段，对算法运行机制中的筛选标准和最终结果进行解释，以此最大程度地推进算法公平在三方之间的实现。

（三）完善算法问责机制

建立算法问责机制，对算法决策所带来的不利影响进行追责，这是权利救济的内容。为尽可能避免算法歧视，除了对算法进行训练样本的筛选和运行过程中的监督之外，算法的问责机制也同样重要。算法问责要求算法使用者对算法产生的结果负责，而不论是否能够详细解释该结果为何产生，并要求在设计算法时就遵循法律、政策的要求，使算法对法律的目标负责。建立算法问责机制需要明确算法歧视的责任主体、归责原则、法律责任三个部分。

首先，明确算法歧视的责任主体。为算法歧视承担法律责任的，主要是那些注入歧视因子或有义务却未能及时排除歧视因子的主体，在算法歧视形成的过程中，有关开发者、运营主体在将具有偏见的歧视因子纳入算法结果生成过程中，但是却任由之影响算法结果的生成没有及时排除不利影响，则需要承担责任。

其次，确定算法歧视的归责原则。算法歧视会给被歧视者造成精神或物质层面的损害，理应受到侵权法的规制。由于算法设计准则与算法用户之间存在着天然技术壁垒以及前文所提到的权利不对等的现象，因此，在算法责任适用的过程中，无过错责任原则能够最大限度的保护使用者的权利，以此保持平衡。在归责原则得到确认的前提下，算法歧视的因果关系认定规则以及在算法开发者内部的责任划分也是亟待解决的问题。第一，在无过错责任原则这一归责背景下，仍有两种情形，一种是在当事人都没有过错的情况下根据实际情况分担过错，承担赔偿责任;另一种是在诸如产品责任、环境污染、饲养动物等特殊情况造成损伤的情形下，致害人即使无过错仍承担民事责任。正如前文所述，在算法开发者与算法用户之间存在着数据、技术鸿沟，双方权利地位处于极度失衡的状态，因此对于算法责任的因果关系认定应当类比产品责任的认定，算法用户在证明算法歧视给相同背景下的算法用户进行了区别对待，并这一区别对待损害用户的利益即视为因果关系成立。第二，在算法歧视的责任人内部，算法开发者可以分为对算法程式熟练掌握的算法设计者、将算法技术纳入公司运营用以谋求利益的算法运营者两类，自此责任划分也应当分为几种情况。首先，若算法设计者在设计程式时，已经竭尽当下技术水平所能及排除歧视因子对于算法用户权利的侵害，而算法运营者在运营的过程中纳入歧视因子。应由算法运营者承担主要责任，算法设计者承担补充责任。其次，若设计者和运营者在歧視因子的排除过程中都起到了消极作用，则两者应对损害结果承担连带责任。最后，若设计者未将歧视因子筛出即予算法运营者使用，在这一情形下由于算法运营者对算法程式掌握程度远不如设计者，应由算法设计者承担主要责任，算法运营者承担疏于筛查的补充责任。

再次，确立数据算法的法律责任，数据算法的法律责任包括事前责任和事后责任两个方面。事前责任即为算法训练数据、算法编码的内置编码凝视以及运算过程中出现的算法歧视现象，通过设置警示、惩罚机制，通过定期整改、罚款、停用等规制措施，对具有纰漏的算法进行规制。事后责任即为在发生算法歧视所导致的不良结果之后，对于相关责任人的追责原则。在事后责任方面可以引入“纯粹经济损失”原则，歧视结果可能带来的各种间接、直接的经济损失相较于现实世界中的冲突更加难以把握。正如前文所言，由于开发者、运营者与用户地位的天然级差，通过“纯粹经济损失”可以最大程度的拉长损害赔偿的因果关系链条，最大程度的避免用户权利、利益受到侵害后的投告无门[17]。

参考文献：

[1] 杨学科.论智能互联网时代的算法歧视治理与算法公正[J].山东科技大学学报（社会科学版），2019，21（4）：33-58.

[2] 张玉宏，秦志光，肖乐.大数据算法的歧视本质[J].自然辩证法研究，2017，33（5）：81-86.

[3] 高学强.人工智能时代的算法裁判及其规制[J].陕西师范大学学报（哲学社会科学版），2019，48（3）：161-168.

[4] 彭兰.假象、算法囚徒与权利让渡：数据与算法时代的新风险[J].西北师大学报（社会科学版），2018，55（5）：20-29.

[5] 冯卫国. 权利失衡视野下的农民工犯罪[C]. 中国犯罪学学会.中国犯罪学学会第十七届学术研讨会论文集.中国犯罪学学会：中国犯罪学学会，2008：132-133.

[6] Solon Barocas， Andrew D.Selbs. Big Data's Disparate Impact'[J].California Law Review，2016，104（3）： 671-732.

[7] 季洁.算法歧视下的金融风险防控[J].上海金融，2018（10）：60-64.

[8] 刘新海，陈道富，孟祥锋.担保圈风险的大数据实证分析[J].清华金融评论，2016（10）：71-72.

[9] 项焱，陈曦.大数据时代欧盟个人数据保护权初探[J].华东理工大学学报（社会科学版），2019，34（2）：81-91.

[10] 胡嘉妮，葛明瑜.欧盟《一般数据保护条例》[J].互联网金融法律评论，2017（1）：28-120.

[11] 汪庆华.人工智能的法律规制路径：一个框架性讨论[J].现代法学，2019，41（2）：54-63.

[12] “Big Data：Seizing Opportunities，Preserving Values”， https：//obamawhitehouse.archives.gov/sites/default/files/docs/big_data_privacy_report_may_1_2014.pdf，2019.

[13] “Big Data：A Tool for Inclusion or Exclusion？”FTC Report，January 2016，retrieved from https：//www.ftc.gov/system/files/documents/reports/big-data-tool-inclusion-or-exclusion-understanding-issues/160106big-data-rpt.pdf，2019-08-05.

[14] H.R. 2231-Algorithmic Accountability Act of 2019，introduced04/10/2019，retrieved from https：//www.Congress.gov/bill/116th-congress/house-bill/2231/text，2019-08-05.

[15] 鐘书平，刘庆振，牛媛媛，陈疆猛.智能媒体语境中的信息囚徒、算法悖论及其突围路径[J].教育传媒研究，2019（3）：16-21.

[16] 周仲飞，李敬伟.金融科技背景下金融监管范式的转变[J].法学研究，2018，40（5）：3-19.

[17] 王夙.人工智能发展中的“算法公开”能否解决“算法歧视”？[J].机器人产业，2019（3）：17-22.

Legal Regulation of Algorithmic Discrimination： Motivation， Path and System Improvement

Zhang Lili，Zhu Zisheng

（School of Law， Hohai University， Nanjing 211100， China）

Abstract：The built-in coded gaze of the algorithm， the deviation of the training data that supports the operation of the algorithm， and the lack of program transparency caused by the algorithm black box are the technical reasons that lead to algorithm discrimination， which in turn leads to an imbalance of rights and makes rights a state of deficiency. In order to ensure the exercise of rights， this article proposed that the concept of algorithmic fairness should be established， and the technical aspects of legal regulation on algorithmic discrimination should be clarified. A legal regulation model centered on the correction of rights imbalances should be established as the path choice for algorithmic discrimination legal regulation. The system will be improved in three aspects： clarification of the selection standardization of the training data， establishment of a review mechanism for algorithm transparency and interpretability， and improvement of algorithm accountability mechanism.

Key words：algorithmic discrimination; right imbalance; path selection; system improvement