大数据时代算法歧视的风险防控和法律规制

陶雪芹

〔安徽大学 法学院，安徽 合肥 230601〕

一、问题的提出

随着社会信息化的快速发展，加上机器学习技术与迅速增加的数据量相结合，人们能够非常便利地利用算法分析技术处理复杂的问题，大数据挖掘正在深刻地影响人类的生活。算法的影响力在人工智能时代下被无限放大，如今的社会俨然成为“算法社会”。[1]在社会生活的众多领域，如消费、招聘、住房、信贷、司法等，算法都是人类决策的新推手，它决定着我们喜欢看的新闻头条和喜爱购买的产品，它决定着我们的贷款请求是否能得到批准，它帮助招聘部门决定是否雇佣或解雇员工，甚至帮助法官评估刑满释放人员再次犯罪的可能性。算法在一定程度上能够使人类的决策更加客观，也带来了更为复杂、隐蔽的新型歧视。可以说大数据时代算法歧视普遍存在，并且由于其天然的隐蔽性而不易为公众察觉，在无形中给大众和社会造成潜在风险。为保证算法在社会中的正常运行，建立算法的公共信任，需要对算法的发展进行良性引导，通过法律规制减轻算法歧视的风险。目前算法歧视的法律规制还是一个相对较新的议题，如何有效规制算法歧视就成为亟待深入研究的问题。

二、算法歧视的类型化分析

1.消费领域的算法杀熟

大数据环境下，由于人类行为具有可记录和可分析性，加上计算机的深度学习能力，企业在获取消费者职业、喜好、消费能力、购买经历等多种数据的基础上，对消费者进行数字画像，并根据不同消费者所能承受的价格对消费者“贴标签”，进行价格歧视和特定推送。算法杀熟的典型特征是企业针对不同消费者制定“千人千面”的营销策略，这种区别性对待必然会对特定主体的权益造成损害。传统“同物同价”的定价模式已经被企业“看人下菜碟”的做法所取代。淘宝网、天猫超市频频被曝对消费者杀熟，有网友截图显示，同一产品同一时间段，88VIP用户的购买价格比普通用户更高。还有网约车商家对消费者的杀熟，不同消费者使用同一打车软件，路线和车型都相同的情况下，所要支付的价格却因手机品牌而异。

2.不特定群体的特征选择歧视

与算法杀熟相比，特征选择这类算法歧视所侵害的客体是不特定群体的利益，它是传统社会固有的歧视观念在算法领域内的反映和再现。现代网络社会主要存在性别歧视和种族歧视两大类,一旦种族、性别歧视观念被输入系统，得出的数据信息或决策就会进一步强化这种歧视。美国教授阿米特·达塔使用定制软件测试出谷歌公司创设的职位推荐算法中存在算法歧视：在其他外部条件和信息相当的情况下，男性收到高薪职位信息的次数远高于女性，这是算法在编程中受到重男轻女思想影响的结果。在谷歌图像处理软件中，一名黑人程序员与另一位黑人朋友的合照被标注为“大猩猩”，事后谷歌公司仅对“大猩猩”的标签进行了删除，并未根本解决该问题。这也反映了种族歧视的观念在算法中仍大量存在，并且不断影响算法决策。

3.特定群体间的关联歧视

在这类算法歧视中，即使算法决策者并不具有歧视性意图,采用的是非歧视性的客观中立数据，这些数据组合在一起却会导致歧视性的结果。典型事例有公司招聘员工时将员工的通勤时长作为重要考量因素，原因是公司为了降低员工上班成本以提高工作时长。但是这很可能间接地带来对居住在郊区的低收入通勤群体歧视的后果。[2]在此类算法歧视中，即使员工的通勤时长是合法的，由于特定群体的敏感性正好存在合法获得的数据之中，就使得这些数据与特定群体之间建立了某种关联，产生对此类群体的歧视。需要引起注意的是这种关联歧视与其他歧视类型相比，更不易被发现，因此需要我们以更加谨慎的态度对待这种隐蔽性极强的算法歧视。

4.经营者行为的竞争性歧视

2000年，谷歌发布IE浏览器的谷歌工具栏第一个版本，这个版本中最吸引人的便是所有用户都可以看到当前浏览网站的得分，这一得分正来自于著名的PageRank算法。PageRank算法主要根据本网页中是否有通往其他重要网页的链接和其他重要网页是否有通往本网页的链接来给一个网页打分，分数越高的网页越能占据谷歌搜索结果的前列，可以获得更多的流量。当谷歌上架了具有购物比价功能的Google Shopping后，谷歌把自己的商品排除在PageRank算法之外，因此在搜索的结果页中谷歌旗下的商品总是出现在显眼位置。此外，2010年在针对谷歌的反垄断调查中，Foudem、Ciao、ejustice.fr三家网站投诉谷歌利用搜索服务对他们的业务进行打压，将特定网站在搜索结果中故意滞后甚至彻底删除，因为这些公司的服务对Google的收入形成了竞争性威胁。经营者利用算法限制其他经营者的正常经营行为，实际上是算法歧视的体现。

三、算法歧视的现实风险：对个人、社会、国家的影响

1.对个人信息获取和价值认同的影响

第一，信息同质化。个人浏览某类信息次数较多时就会被算法“记住”，算法就会自动推送符合用户喜好的信息，推送的初衷本是为了满足用户需求。但实际上不是根据用户主观的意愿和想法，而是算法推送下的某类固定信息的强行灌输，使得用户步入“井蛙”困境。[3]算法推荐应用越来越广泛，说明用户被锁定在更加单一化、固定化、同质化的信息空间中越严重。更加严重的是受竞价排名影响的算法推荐，市场环境下各公司平台为了追逐利润,通过算法推荐影响甚至决定了个人信息的获取。最典型的就是“魏则西事件”，魏则西在百度搜索医疗机构时，该平台以竞价作为医疗机构排序标准，且未对其推荐的医院做严格审核，致使魏则西误信推荐的医院，最终酿成悲剧。

第二，信息极端化。信息同质化会进一步引发信息极端化效应，在封闭的信息圈中不断重现甚至循环相同类型的观点和信息，个人无法获取全面的信息，无法对事实做出正确判断。封闭的信息空间会使得个人产生求同心理，更愿意接受与自己思想相同或相似的观点，排斥甚至抵制与自己相异的观点，久而久之会使得群体信息获取出现极端化现象。[4]此外，同类型信息的循环出现会强化片面信息，助长个人已有的观念，并形成永久性偏见，最终造成个人更加狭隘、自负、偏执的心理。

2.对消费者权利的影响

第一，损害消费者知情权。在大数据算法杀熟的情形下，买卖双方信息处于极不对称的境地。我国《电子商务法》第十八条第一款明确禁止区别定价的算法歧视行为，该条款明文规定:进行个性化推荐时，必须一同提供不针对其个人特征的推荐服务，这一规定无疑是对消费者知情权的切实保障。但是不包含个人特征的推荐服务是否真正脱离对个人特征的参考，消费者则无从得知。《电子商务法》第四十条要求对根据竞价排名的搜索结果给予明显的提示，但是很多电商卖家采用策略性低价制造价格幅度、拓宽商品可被搜索范围等方式，实际上削弱了法律的实施效果，消费者的知情权依然得不到切实保障。

第二，侵害消费者公平交易权。随着线上销售的不断发展和电商平台不断增多，算法杀熟成为商业交易过程中商家常用的牟取利润的不诚信行为。算法杀熟本质上是一种价格歧视，商家惯用杀熟套路，对新老顾实行差别定价，违背了商业道德，在消费者对商家区别性定价不知情的情况下，更是对消费者公平交易权的侵害。随着《电子商务法》的实施，这种价格歧视行为已经被法律明确禁止，但是算法杀熟等价格歧视问题在交易中依旧存在，为保障消费者的公平交易权不受侵犯，需要法律上和具体实践上的进一步细化。

3.对法律价值的影响

第一，平等权受损。在大数据时代，个体化规则和“私人定制”成为可能，法律面前人人平等原则被个体化规则刺破，这种个体化规则必将形成实质的不平等。[5]例如算法决策中可能包含的种族歧视造成白人黑人之间的实质不平等，性别歧视造成男女之间的实质不平等，算法杀熟的区别性定价造成消费者之间的实质不平等，谷歌利用优势地位通过算法限制竞争造成经营者之间的实质不平等。立法对于算法侵权规制具有滞后性，不能及时精准地针对算法歧视进行权利救济。此外，算法的不透明性、复杂性、智能性和专业性等特征也给传统平等权法律保护模式带来难题。算法歧视具有特殊性，传统平等权保护已经无法充分应对，如果不完善算法歧视法律规范体系和司法体系，必将导致平等权受到侵蚀。

第二，司法偏倚。我国司法系统也注重将人工智能技术应用到法院审判工作中，以达到提高办案效率、辅助法官审判等多重目的。司法智能辅助系统有助于解决我国案件多而人员不足的难题，但因为几乎没有同时精通法律与程序开发的人才，在法院通过智能系统对案件进行评估时，往往会带着智能机器固有的偏见，做出歧视性决策。致使司法智能辅助系统产生歧视性决策主要有两个原因：(1)某一群体性的劣势数据经过算法训练后作出决策会将此劣势继续作为评价同类对象的评估依据，从而造成歧视。(2)辅助系统一般由法院外包给算法研发公司，算法开发人员会将主观偏见带入被开发的系统中，这也说明了辅助系统会受到开发人员的研发水平、知识背景等因素的影响，造成司法偏倚。

四、算法歧视的规制路径

1.完善算法歧视规制的法律规范体系

第一，确认立法原则。(1)一般性规则。算法歧视本质上是社会偏见在人工智能系统中的折射，规制算法歧视与规制社会偏见一样均可适用平等权保护条款的一般性规定。与过去清晰可察的歧视不同，由算法造成的歧视会引发“交易不公”“司法偏倚”等一系列问题。我国应当采用一般性禁止歧视的平等原则来规制算法歧视。《宪法》第4条、第33条、第48条等分别规定民族平等、法律面前人人平等、男女平等，须将这些规定落实为更加具体的法律。(2)特定性规则。算法歧视作为一种新型歧视显示出以往歧视所不具有的特性，对实践中具有产生算法歧视风险的算法决策应当作出特殊规定。主要包括涉及消费者个人信息的算法，根据个人的工作表现、经济状况、健康状况、居住地位置、偏好而做出的影响个人权利的算法，与种族、肤色、性别、政治倾向、民族、宗教、犯罪记录、性取向等有关的算法,[6]对此要详细说明算法决策内容，主要包含算法设计、数据和目标等。同时遵循数据最小化使用原则，算法决策者应尽可能少地获取个人信息并减少信息与决策结果存储的时间。明确规定算法决策相对人对决策内容应当享有获取的权利。

第二，确立算法侵权责任分配机制。(1)明确侵权责任主体。由于算法是由算法设计者研发设计，并由算法使用者投入使用，因此算法设计者和使用者应当对算法歧视造成的侵权结果承担一定责任。算法设计者负有两方面的义务：一是数据公开和解释义务，算法设计者应当详细记载数据的来源、收集方式和内容；同时应当详细解释算法的技术原理，尤其注重对数据内容和数据特征选择理由进行解释；[7]二是恶意研发问题算法的责任。若算法设计者恶意设计问题算法并损害社会公众利益，就应当承担相应的侵权责任。算法使用者与算法服务接受者的联系更加密切，更容易出现侵害后果。算法使用者在为算法服务接受者提供服务时，应当禁止实施损害接受者切身利益的行为。互联网公司为研发算法需要收集海量个人信息，导致大部分公众的个人信息面临着被泄露的风险。因此，算法使用者在分析数据时，应当负有谨慎注意义务，以防数据泄漏。(2)确立侵权责任承担方式。算法歧视会给算法服务接受者带来人身和财产的潜在损害。为了对算法侵权进行规制，应当对算法歧视侵权责任承担方式进行规定。①算法歧视对他人造成损害时，被侵权人可以向算法设计者和算法使用者请求损害赔偿。若是使用者有过错，算法设计者承担赔偿责任后可以向使用者追偿，反之同理。②在使用过程中发现存在歧视问题，算法设计者和使用者应当采取停止使用、召回等补救措施。怠于采取补救措施的，设计者和开发者应当承担相应侵权责任。③对遭受精神损害的受害人，算法设计者和使用者还应承担赔礼道歉、消除影响、恢复名誉等侵权责任。④由于算法自主决策，设计者对歧视结果不存在过错的，可以免除设计者的侵权责任。

2.健全算法歧视司法规制体系

第一，引入集体诉讼制度。受歧视的算法服务接受者可以向法院提起诉讼，要求算法决策者改变决策或对其进行惩罚，以维护算法服务接受者受社会平等对待的合法权利。我国《宪法》包括其他法律法规中都有禁止种族歧视和性别歧视的内容，但大都是原则性规定，实际可诉性和可操作性较低。歧视性经常存在于招聘决策和司法决策中，具有系统性和可重复性，更易造成群体性的不公正。此外，由于算法偏见具有隐蔽性，算法服务接受者更无法通过私力救济维护自身权益，引入集体诉讼制度更加符合现实需要。[8]

第二，成立算法解释机构。实践中处理算法歧视案件时首先要对算法进行解释。由于普通大众很难理解专业的编程知识，一般的司法人员无法对算法结果进行准确解释。算法设计者虽然负有对算法解释的义务，然而算法实质上是复杂的代码，简单要求算法设计者披露代码并不具有普适性，算法设计者通常会以商业秘密等理由拒绝披露。参与算法设计以外的专业编程人员也很难完全理解成千上万行代码中的复杂机制。因此，为了提高案件审理过程中解释工作的效率，有必要在司法系统内部成立专门的算法解释机构，同时聘请参与算法设计的编程人员和其他权威的编程专家共同对算法进行解释，以达到互相监督的效果。不但可以避免非专业人士受编程知识盲点的困扰，还可以阻断算法设计者对算法源代码的保护，避免其不公布甚至虚假公布源代码的行为发生。

第三，开展司法预警活动。由于算法歧视具有高度智能性、复杂性和隐蔽性，社会公众没有关注或者尚未意识到算法歧视对个人和社会的危害。司法机关应当采取多种宣传手段向社会公众发布算法歧视的风险信息，帮助公众加深对算法歧视风险的了解。司法机关可以通过公布算法歧视的典型案件，为公众带来更加直观的分析预警。开展司法预警活动可以使公众以更加审慎的态度对待算法自动化决策机制,也对试图通过算法自动化决策机制进行算法歧视或放任算法歧视造成不良后果的经营者起到一定的威慑作用。

3.强化算法歧视执法监管力度

第一，建立算法事前审查监管模式。算法代码和决策标准应当经过决策者、专家和公民的审查和评估以后，确认其不存在显性的或隐含的歧视性因素，才能投入使用。算法公平性审查应当贯穿算法设计开发的始末，不管是与公民利益相关的重要程序，还是仅涉及日常活动的程序。具体实施上，对于投入市场的算法，其开发者应当事先向有关政府部门提交算法核心功能的代码及技术说明，进行登记备案，政府部门抽查算法是否按照技术说明运行，以实现事前监管的效果。[9]建立算法事前监管模式，在决策过程中避免种族和性别等敏感属性造成歧视，可以纠正隐蔽性更高的其他歧视信息，强化算法歧视的执法监管力度。

第二，建立算法歧视共同监管模式。为有效进行算法歧视监管，监管主体应当多样化，由行业、政府协同共治。在行业监管层面上，针对算法歧视，计算机协会应当自主进行行业约束，通过制定算法基本原则，规范决策运行，避免算法给社会带来歧视和危害。比较典型的是美国计算机协会为加强算法歧视的自律性规制，规定了包括算法透明、算法救济、算法负责、算法解释、算法数据可靠性、算法可审查等在内的七项算法基本原则。[10]

政府监管是行业监管的后置性保障。算法歧视的频繁发生，严重侵犯了公民的权利，仅仅依靠行业自律难以真正规范算法决策。具体到实践中，劳动部门应当对劳工招聘中使用的算法进行审查，如果发现招聘中存在种族、性别、宗教、政治观点等信息，就应当判断该招聘违法。卫生部门应当对医药健康领域的算法自动化决策过程进行监督。同理，相关部门对本领域内的算法负有审查监督的责任，一旦发现算法产生了歧视性影响，应当立即责令算法使用者停止使用。

第三，建立定期监测和报告公示机制。由于当下算法商业化程度逐步加深，拥有算法话语权的经营者通过算法操作对其潜在竞争对手进行打压以限制竞争的行为屡见不鲜。在算法登记备案的基础上，市场监管部门应对企业所运行的算法进行定期、动态的审核与监测，避免经营者通过事前审查后擅自改变算法内容，才能充分保护其他经营者的合法权益，规范市场秩序。此外市场监管部门应当公布定期检查报告，一方面可以便于社会监督，另一方面可以将报告的质量作为经营者的考核指标，并在国家企业信用系统中公示，从而树立执法权威，对潜在的问题经营者进行威慑，同时也对遵守市场秩序进行良性竞争的经营者予以鼓励。

五、结语

随着社会环境日益复杂化，社会治理的方式和手段也需要不断迈向多元主义。人工智能环境下的算法自动化决策所产生的歧视问题是多层面、多领域的，算法歧视更是具有隐蔽性、不透明性等特征，需要采用多元化的治理机制和治理方式,全面采取立法、司法以及执法等多维监管措施对算法歧视进行风险防控。作为新兴科技产物的人工智能算法有着无限广阔的发展前景，对其规制不应矫枉过正而限制算法发展。在算法歧视的治理中，应当把握好权利保护与科技创新之间的平衡。既能够较好地缓和公民权利保护与科技进步之间的矛盾，又能够充分发挥算法的积极作用，推动我国经济社会的持续健康发展。