人工智能算法歧视的法律规制研究

李 超

(华东政法大学 法律学院，上海 200042)

一、概念：什么是算法歧视

随着人工智能的不断发展，不同领域内日新月异的算法技术正在帮助政府机关、企业，甚至是个人作出各种决策。它们以大数据、云计算、AI等先进科技为载体，通过对海量数据进行筛选分析，从而实现对人的行为的精准预测[1]。

目前，算法正逐渐被广泛应用到政府管理、市场经济运行之中，给人们的生产生活带来了巨大影响。然而，科技是一把双刃剑，算法技术在为人类提供便利的同时，也存在不同程度的算法歧视问题，有违人人平等的宪法精神。所谓歧视，是指针对特定主体实施的不合理的差别对待措施[2]。关于算法歧视的定义，有学者认为大数据时代的算法歧视具有较强的隐蔽性，很难直接对其进行定义[3]，也有学者认为可以将算法歧视拆分为“算法”与“歧视”的方式来进行理解，即它是一种应用抽象数学架构而产生的不合理对待[4]。上述学者对算法歧视的定义都在一定程度上揭示了算法歧视的内涵，但是仍然没有较为全面系统地回答什么是算法歧视。结合人工智能发展的特征，笔者认为，算法歧视是指人工智能机器在决策时按照预先设定的算法逻辑对目标群体进行划分，并实施的一种差别对待行为，这种差别对待并不具备合理性的基础。

二、介入：算法歧视法律规制的必要性

算法作为一种计算程序，其运作遵循其本身的规律，但是，任何事物的发展并非漫无边际，世界上也没有绝对的自由，算法运行过程中产生的算法歧视问题具有潜在的严重的危害性，法律介入予以规制实属必要。

(一)算法歧视妨碍市场经济有序运行

随着算法的应用与推广，算法歧视也逐渐深入市场交易之中，利用大数据“杀熟”是一种典型的表现。所谓大数据“杀熟”，是指生产经营者通过大数据技术对消费者的消费爱好、偏向、财产收入、支付能力等因素进行分析，利用忠诚用户的信息不对称，就同一商品索取高于新用户售价的行为[5]。商家通过算法进行精准分析，预测出买家心里的预期价格，从而实现自身利润的最大化。大数据“杀熟”实际上就是一种披着新技术外衣的价格歧视行为，利用算法“杀熟”已经不单纯是针对熟客杀价的商业伦理问题，它导致了价格歧视这一法律问题的诞生[6]。在算法利用数据“杀熟”这一问题上，数据本身并无好坏之分，问题就在于如何利用搜集来的数据，使之避免沦为商家“杀熟”的工具，而解决这一问题的关键就在于运用法律手段进行规制，通过法律来防控算法歧视，促进市场主体之间的平等交易，保障市场经济的有序运行。

(二)算法歧视影响政府决策有效作出

科技先进性使得算法不仅存在于市场交易之中，在政府决策中亦能发现其身影，比较典型的就是公共安全算法在预测性警务中的适用。我国公安信息化建设过程中，公安大情报系统和警务地理系统建设是当前预测性警务发展的重要方向，该系统包含犯罪预测、可视化调度、情报分析等功能，推动了我国警务模式的创新发展[7]。北京市公安局怀柔分局借鉴美国警方犯罪预测的项目经验，开发了犯罪数据分析和犯罪趋势预测系统[8]，苏州公安部门也于2014年正式上线了“犯罪预测系统”[9]。这些犯罪预测系统通过海量的翔实数据，为精准预测犯罪提供了充分的条件。但是，在美国警方预测性警务算法中，突出强调邮政编码的重要性，可能会将非裔美国人社区与犯罪社区相关联，使得该社区成员成为具体的犯罪预测目标。(1)See Sandra G．Mayson,Bias in，Bias Out，128 Yale L.J．2218，2223(2019)．此外，公共安全算法决定某个人是否具有犯罪嫌疑，它的依据可能是其与某犯罪分子同名，前者可能会因此受到警方多次调查。综上所述，由于算法歧视的存在，它在一定程度上会影响政府的决策，使政府在作出决策时有失公允，从而削弱政府决策的有效性。

(三)算法歧视损害司法公平公正

2019年7月22日，最高人民法院办公厅发布了《关于做好2019年智慧法院建设的通知》(以下简称“《通知》”)。《通知》中明确要求要进一步推进智能化服务，完善现代诉讼服务体系，提高诉讼的智能化水平，促进智慧法院建设，这对推进司法信息化、防治司法腐败、深化司法体制改革起到了巨大作用。但是，当我们看到人工智能系统在法院建设中的广阔前景时，也应当注意到算法在适用过程中存在的隐患，毕竟司法是维护社会公平正义的最后一道防线。目前，我国智能司法辅助系统尚处于初级阶段，美国许多法院已实现人工智能系统办案[10]，其中也存在一些问题，比如部分法院使用的COMPASS这一犯罪预测系统被证实存在种族歧视。黑人被错误评估为犯罪分子的概率是白人的2倍，同等情况下黑人犯罪会被判处更重的刑罚[11]。即使智能司法辅助系统在审理案件时会克服法官判案时的主观性而力求公正，但是建立在算法基础上的智能司法系统也不可避免地存在歧视情形。如果纵容算法歧视在司法中的应用，无疑会对司法公平公正造成破坏，损害司法权威，因此，对其进行法律规制显得尤为必要。

三、我国算法歧视法律规制的现状

当前在算法歧视的问题上，我国并无专门的立法，但宪法法律中均有对平等权、个人信息、个性化推荐、数据流通等方面的规定。这些规定大多较为分散，尚未形成完整的体系链，然而仍可借助其来管窥我国算法歧视法律规制的全貌，这对于日后算法歧视规范体系的完善具有重要意义。

首先，我国《宪法》中的平等原则为规制算法歧视提供了宪法依据。《宪法》第33条规定：“公民在法律面前一律平等。”这是平等原则在宪法中的直接体现，平等原则要求相同情况相同对待，不同情况不同对待，在实施差别对待时，要具备合理性的基础，禁止一切歧视行为。宪法作为根本大法，具有最高的效力，其他法律法规是宪法规定的细化。平等原则是宪法的基本内涵，也为法律法规在算法歧视问题上的规定提供了合宪性依据。

其次，当前立法企图通过规定数据主体的权利来规制算法歧视。一方面，《网络安全法》第41条规定了网络运营者的安全保护义务，明确了运营者在收集、利用个人信息上的行为准则。另一方面，《民法总则》中专门规定了自然人的个人信息权，从条款设置来看，第110条规定的是隐私权等一般人格权，第111条规定个人信息权。可以看出，立法者将个人信息权从隐私权中进行了剥离并试图构建以个人信息为核心的数据权利。数据的预先偏见是产生算法歧视的原因之一，因此，立法通过对数据收集、流通、利用的规定来尽最大可能避免算法歧视产生。

再次，2018年3月修订通过的《电子商务法》第一次明确了个性化推荐规则。其中第18条规定电子商务经营者者根据消费者兴趣爱好、习惯等提供商品或服务的搜索结果时，要注意尊重和平等保护消费者的合法权益。需要注意的是，该法在起草过程中，第三次送审稿规范的个性化推荐是电子商务者的“推销”行为，而在最终颁布的版本中，这一规定却被删除。“推销”和提供“搜索结果”，虽然从营销的角度来看，并无明显区别，但是从交易角度来看，两者存在较大区别。“推销”机制是由电商经营者触发的，即消费者在不知情、不自愿的背景下接受广告推荐，有学者称其为不可抗拒的要约[12]。而“搜索结果”这一机制是由消费者触发的，虽然这种信息经过网络服务平台算法处理，但也是消费者根据其意愿主动获取的信息。《电子商务法》第18条将“推销”改为“搜索结果”，可以看出在这一问题上立法的价值取向：在平等保护消费者合法权益的基础上，允许商业个性化推荐。《电子商务法》对个性化推荐的限制，一定程度上抑制了算法权力的扩张，将对算法歧视的规制纳入法治框架。

四、缘起：算法歧视的成因

要解决算法歧视，只有对算法歧视的成因予以追溯，方能对症下药，而之所以产生算法歧视问题，既有算法本身的原因，也有来自数据的原因。

(一)算法公平性存疑

大数据时代，算法代替人类作出各种决策，从社会一般性认知而言，人类在决策时不可避免地会受到各类因素的影响，从而使得决策带有主观性的色彩。这种主观性因素的存在削弱了决策的公平性，因此，人类寄希望于智能机器，力求决策的公平客观。但是，在算法决策逐渐流行的今天，算法能够保证绝对的公平吗？笔者经过研究发现，算法至少在以下四个方面的公平性存疑。一是公平作为一个带有主观价值判断的词语，其本身并不是明确具体的，通常需要结合具体的场景进行价值判断，那么它能否被量化？能否被翻译为具有可操作性的算法符号？二是如果公平是算法决策的目标，那么机器遵循算法进行决策时，又该考虑哪些因素，该怎样考虑？我们知道，算法不是自动进行运算，需要人工的事先设置，既然有人为因素，那么该怎样确保人行为时的公平性呢？三是公平若被量化为一个数学问题抑或是计算问题，它会不会存在一些潜在的风险呢？比如智能机器的僵化式运作可能存在忽略利益衡量的情况。四是如何让机器在运算过程中具有公平意识，摒弃片面的机械化思维？并将这种公平意识自主地运用到数据分析之中？基于以上四个方面可知，新的时代背景下算法公平性受到很大挑战。

(二)算法透明度欠缺

算法黑箱导致算法的透明度欠缺是算法歧视产生的另一个重要原因。黑箱是控制论中的一个概念，是指人们无法从外部窥探其内部运作系统，智能机器的深度学习技术就是一个黑箱[13]。从法院裁判角度来说，法官在做出最终裁判时，会经历法庭调查、法庭辩论环节，并在充分的说理基础之上做出裁判，整个环节都有当事人的参与，充分保证庭审的透明与公开。算法的运作则不同，它往往只输出一个简单的数字，比如犯罪系数、信用等级等，并不会给出判断的理由与依据，受影响的当事人也不能参与其中。算法黑箱的形成，一定程度上削弱了算法决策的公平性。算法不透明性主要表现为三种形式：一是涉及商业秘密或个人隐私；二是由于非专业人员的技术认知障碍；三是算法适用测量中产生的不透明[14]。算法透明度的欠缺，一方面减少了当事人的参与，为算法运作的不公平性留有空间；另一方面算法运作不透明机制的存在，本身也是对算法决策公信力和效力的一种挑战。这种不透明使得人们很难去了解算法的运作流程与决策机制，因此对算法运作的监督就无从谈起，这对于非计算机专业人士而言更为突出。

(三)算法监管的乏力

互联网技术日新月异，带来了巨大的监管难题。当前对于算法歧视问题，人们日益明晰其危害性，要求各方加强对算法歧视的监管。然而，当前对算法这一新兴事物的监管力度存在明显的不足。首先，当前算法监管的条块化不能满足监管需要。目前，多数互联网公司是跨区域和跨行业运作的，而现有的监管仍然止步于条块分割的初始状态，行业和地域化的监管体制使得部门之间、区域之间在监管上存在政策不一致、方式不协调等问题。其次，监管的技术手段不能赶上算法的发展速度。传统重审批轻监管的模式已不能适应新时代科技的迅猛发展，算法高度的复杂性和隐蔽性也对监管的技术手段提出了更高的要求。虽然网信办发布了一系列政策来加强对互联网行业的技术监管，但是仍然存在一定的不匹配性。监管的理念、方式和策略的不足，以及现代化信息监管人才的缺乏，造成了算法歧视现象的日益加剧。最后，算法监管的力度不足。大数据时代，政府与市场及个人之间的关系日趋复杂，各种利益纵横交错。我国目前缺乏对算法监管强有力的措施，使得算法歧视野蛮生长，大数据“杀熟”、机器偏见、算法黑箱等问题悬而未决，这些都亟须监管部门作出有力回应。

(四)数据的预先偏见

算法只是运算的一个步骤，它本身并不提供数据，而算法运算的前提就是数据的存在，如果预先存在的数据存在偏见，在导入算法后，便会产生算法歧视。也就是说，先前的数据偏见不仅会影响算法设计者选择何种算法，而且还会通过嵌入的方式进入算法运算之中，即定义目标变量嵌入算法[15]。因此，在数据的分类与筛选中，分类标准的不同、数据抽样的偏差，以及设置权重的不同也在一定程度上导致算法歧视。算法决策的客观与准确，是建立在数据的客观准确且完整彰显所预测的个体之上的。然而，数据并不总是客观准确的，往往裹挟着不公正的因素，例如大数据的“杀熟”行为，就是一种典型的数据偏见。此外，即使数据是客观准确的，若未能完整彰显所预测的个体，也就是所选的数据不具有代表性，也会带来数据偏见，从而导致歧视的产生。可见，数据作为基础，在算法的公平性上扮演了重要角色。想要规制算法歧视，必须对数据进行严格控制与科学管理，尽量排除预先偏见。

五、回应：算法歧视的法律规制路径

在科技日新月异的今天，想要借助法律手段妥善解决算法歧视问题，必须把握好两个方面。一是必须明确法律在对算法歧视规制时的基本原则，这对于解决算法歧视具有指引性作用。二是必须以创新的视角，结合算法运作的具体特征来提出解决方案，使规制的路径更具有可行性。

(一)明确算法歧视法律规制的基本原则

无论算法技术怎样发展，算法都是人的设计成果的表达，算法的出现无法脱胎于人类的智慧。法律无论是对算法进行规制还是对算法歧视问题予以管控，最终还是要落实到对人的行为进行规制。2019年实施的《电子商务法》第二章通过规定电子商务经营者的权利义务来实现对算法运用行为的监管。同样，针对算法歧视，我们依然可以遵循“用规制人的思路来规制算法”这一原则。人类思维具有灵活性、复杂性与创造性，这种特性是当前任何智能机器都无法模仿和超越的，但是我们可以通过对人行为的规制从而实现对算法歧视的有效规制。由于智能机器的算法运行注重程序，因此，对算法进行法律规制时，只要使得算法运算的目标与法律规制的价值目标一致，算法决策的结果便会因符合法律的价值目标而具有正当性。此外，对算法歧视的法律规制还应当遵循“综合治理，重点突破”的原则。由于算法在应用上涉及众多领域，在每个领域制定具体细则来规制算法歧视难度较大，为此，可以通过制定一般性规则来对总体的算法歧视问题予以回应，解决各个领域普遍存在的歧视问题。针对关系政府决策、司法领域或者国民经济安全等重要领域，可以制定具体的实施细则来落实算法歧视的规制问题，实现各领域综合治理，关键领域重点突破。最后，要建立事前审查、事中监管和事后救济原则。将算法歧视的法律规制落实到事前、事中、事后各个方面，改变传统重审批轻监管理念，对于算法规制具体机制的展开与建构具有重要的指导意义。

(二)制度化治理确保算法公平

如前所述，产生算法歧视的原因之一在于算法并不是绝对公平的。算法决策的公平性受到很大程度的质疑，要解决这一关键问题，必须通过制度治理的方式，将算法治理予以制度化。这样方能为规制算法歧视提供强有力的支撑，具体包括三个方面的内容。首先，应当明确在人工智能发展迅猛的今天，算法的核心价值是公平。算法在问世之初，被应用于科学技术产业，极大地带动了经济发展，效力成为其核心价值。但是，随着人工智能技术的不断深入推进，人的主体地位不受侵犯的呼声日益强烈，算法歧视的危害性也逐渐凸显，各方均要求主管机关出台相应政策予以规制。虽然不可否认算法的效率价值，但是公平作为算法核心价值已成为各界共识[16]。其次，必须坚持多元共治算法歧视。在各种利益复杂交错的当今社会，将某领域内的问题交由某一方治理已困难重重，也不符合治理体系和治理能力现代化的建设要求。针对算法歧视问题，也必须通过多方主体共同治理，方能达到规制的预期目标。在算法治理领域，可以由政府主导，发布算法歧视的规制政策，并听取社会各界的意见，广纳民智，吸收群众参与社会治理。此外，在行业自律方面，科技行业可以制定相关反歧视的规则，明确行业各方主体反算法歧视的责任。最后，要培养公民算法意识，提升算法素养，及时发现并识别存在的算法歧视问题，增强对算法的认知，促进算法公平。

(三)多途径发力保证算法透明

增加算法透明度是杜绝算法黑箱的必然要求，在新的时代背景下，必须通过多种途径，来保证算法运作之透明。首先，应当公开算法的运作流程，并向公众披露设计此算法的目的与方式，以及设计此算法时的考量因素，将算法从设计、运作、决策的各个流程都予以公开，保证算法最大限度地透明。但是，考虑到部分算法在公开时可能会侵犯第三人隐私，可能涉及商业秘密和国家秘密，对这部分算法，可不予以公开，但必须充分地说明理由。其次，为了让算法决策更易懂，增加技术操作上的透明度，必须坚持算法的事前和事后公开。所谓事前公开，是指在智能机器运转之前，对算法决策的程序进行解释。事后公开，是指事前不知决策程序，但通过事后对智能机器绩效的检测来知悉决策程序[17]。最后，为了进一步保证算法的透明度，必须对人工智能机器的整个运作过程予以记录。比如，德国《自动驾驶法》中就要求智能汽车必须安装类似于飞机“黑匣子”之类的装置，来对汽车的驾驶情况进行如实的记录，以便交通事故发生后，及时明确责任的承担。同理可知，在规制算法歧视过程中，为了增加透明度要求，必须对整个运作过程予以记录，确保运作程序的公正透明。

(四)存档备查克服数据歧视

人工智能技术发展过程中，数据作为算法运作的基础，其数量与质量的优劣在一定程度上决定了算法决策的优劣。数据对于防范算法歧视的作用主要体现在两个方面：一是在数据数量上，限制数据的数量能够减少算法带来的泄露公民隐私的风险；二是在数据质量上，高质量的数据能够使算法规避歧视性数据从而避免算法歧视性决策。基于此，必须通过建立对数据的存档备查机制来克服数据歧视，从源头上力求数据的公平性。当数据具有倾向性时，便会增加算法歧视的风险，因此，对输入数据的监管应当是重中之重。可以由商业主体将输入算法的数据内容与数据收集、数据筛选、歧视性数据剔除等活动都予以完整记录并保存，建立数据库档案，以备审查。当政府主管部门审查是否存在数据歧视时，商业主体应及时配合调查，将存档的数据予以提供，以证明己方在数据运用、算法运作过程中充分尽到了合理注意义务，从而排除在数据环节的过错。

六、结语

随着机器学习算法的深入，尤其是其中无监督学习算法应用深度和广度的推进，人类在享受科技带来便捷的同时，人类自我的主体地位必然会受到冲击和威胁，因此，对算法的法律规制就显得尤为必要。鼓励新技术发展无可厚非，但是需要对技术发展过程中出现的各类问题予以及时回应。诚然，当前人工智能技术的发展还远未至成熟状态，技术本身也充斥着诸多不确定因素，法律对其进行类型化界定与规制困难重重。因此，应当树立适度监管理念，创新监管思路，丰富监管手段，结合算法歧视出现的不同场景有针对性地破解疑难问题。