人工智能时代的算法歧视及其治理路径

刁生富，张 艳

（1. 佛山科学技术学院 法学与知识产权学院，广东 佛山528000；2. 佛山科学技术学院 马克思主义学院，广东 佛山528000）

数据、算力与算法是人工智能最为基础的、不可或缺的三个要素。数据是人工智能的“能源”，犹如工业时代的煤炭、石油和电力等一样重要，为人工智能的发展输入源源不断的力量，这也是为什么大数据的发展完善促进人工智能的“第三次崛起”之缘由。算力是指计算能力，从最早的计算机开始，提升计算能力就一直是科研人员的目标，因为它直接关系到机器的反应速度和运算的价值。进入智能时代，人工智能技术的运算能力已经远远超出了前人的预期。算法，是指存在于智能机器中的一系列解决问题的方法、策略和模式。人工智能发展需要算法，算法的优劣直接导致了人工智能的水平高低。对于AI 项目来说，算法几乎是灵魂。人工智能之所以能够发展到今天，全是因为如上三个方面的要素得到了不同程度的发展和完善，并通过整合的方式共存于智能系统之中。但是，随着人工智能的发展，人们逐渐发现，当它得到广泛应用并不断深入到人们生活时，“杀熟”“偏见”与“性别歧视”等现象逐渐显露出来，迫使人们不得不关注“算法歧视”的问题。

一、概念辨析：智能算法歧视的概念与特征

智能算法，是指存在于人工智能机器中的一系列解决问题的方法、策略和模式。简单地说，智能算法就是一个“既开放又封闭”的容器，开放性体现在人人都可以从中寻找输入的问题的答案，但对于这个答案获取的过程，又是封闭性的，大多数时刻并不对所有人公开，或者无法公开。所以，算法就是一个问题的“求解”模型。譬如，最简单的计算器，当其算法模型开始工作时，很显然能在特定的范围内输出预设的答案。这是智能算法中最为简单的一种运算模型。那么，智能算法的本质又是什么？计算机科学认为，智能机器所具有的算法，是指由众多运算法则支配下的“状态转换”，即回答怎么输出答案的问题。所以，总的来说，智能算法就是基于一整套运算法则的问题与问题求解的中间过程，它能够实现特定的目的和结果。歧视，是指不平等的对待，这种不平等的对待是以这两种方式展现出来，一是在某一特定群体或类别中，基于成员的身份而对其施以不合理的待遇［1］；二是不同的规则适用于类似的情况，或同一规则适用于不同的情况［2］。从歧视的内涵界定来看，人们默认为会发生歧视的主体是人，所以才将“身份”“待遇”“规则”等词汇用作诠释歧视本身。歧视对于人类而言，包含无数的特殊意义，且绝大多数情况下是以负面的形象出现的，如性别歧视、就业歧视、职业歧视、身高歧视、残疾歧视、年龄歧视、种族歧视、地域歧视与户籍歧视等。歧视是自人类诞生以来就一直存在的社会现象。经过理性思考的人，通常情况下能够发现此种情况的存在，但往往不能阻止该现象的发生，原因在于这种现象植根于人的深层弱点之中，与人类自身的利益直接挂钩。这种歧视的直接危害是，很容易将他人置于危险的境地。

从算法与歧视的概念解析来看，算法歧视的内涵逐渐明晰。算法歧视，又可称之为机器歧视、算法偏见、算法偏差等，是指借助人工智能算法来达到区别对待以获取最大利益的目的。算法歧视表现在两个方面：一是以多种算法规则为基础，区别对待不同身份的人；二是将相同的算法规则用于不相同的应用场景。最终的结果一旦被算法服务的对象发现，将会造成严重的不公平感和愤恨感，会损害被歧视对象心中最基本的自尊和信任。从根本上来说，算法歧视所承载的并不是社会的公平和正义，它更多地倾向于在区别对待中达到利益最大化。

根据算法歧视的对象属性，可将之分为算法身份歧视和算法非身份歧视：算法身份歧视是指直接歧视人类本身，可能直接是伤及人的权利、价值与尊严的歧视，如年龄歧视、种族歧视、性别歧视等，导致算法公平、算法身份的污名化与隐私泄露等问题；算法非身份歧视是指间接歧视人类的算法，如价格歧视、数据杀熟等，导致不同的人在相同的卖家市场遭到不公平对待等歧视性问题。

依据算法的本质属性，可以归纳出算法歧视的四大特征：导向性、非价值判断、歧视性和复杂性。导向性是指这种算法本身的存在，具有一定的价值导向作用，无论这种价值是正向的还是负向的，它只负责达到导向的目的，并不关乎导向的价值判断；算法歧视的非价值判断是指算法的无意识性，它本身的存在并不能判断“此刻”的运行准则是“向善”还是“向恶”，它永远处于无知的状态；算法歧视的歧视性是它的核心属性，决定了算法歧视本身的正义与非正义属性，其本身就是在表达一种不公平的生存理念，抑或是强调“选拔”与“适者生存”；算法歧视的复杂性特征，是由算法服务对象的复杂性所决定的。

算法是人工智能中的智能的技术之源，它之所以能够得到广泛的社会应用与承认，是因为它强大的算法模型可以将其本身的能力全部展现出来，从而达到人类无法与之匹敌的程度。正是如此，人工智能算法模型将会被应用到各种场景，但人们却不能完全保证算法的“纯洁性”与“合法性”。所以，它的歧视与偏见，是非常复杂的存在。

二、现象分析：现实存在的算法歧视

智能时代的算法歧视，其实应该从“杀熟”说起。“杀熟”是源于大数据，但它延伸至人工智能领域，并进一步演化为算法歧视的问题。关于“杀熟”，最早的消息可以从亚马孙的价格实验开始说起。亚马孙当时主要是对新老顾客实行价格差额的方式，从而达到吸引新顾客进入其服务领域的目的。但这种对相同商品实行不同收费标准的方式很快就被消费者发现，并对其服务提出质疑。所以，亚马孙便改变了这种“价格实验”的销售策略。这便是技术“杀熟”最早期的消息。

这种“杀熟”的方式，本质上就是通过一定的算法筛查策略，将新老顾客的信息进行区分与服务的供给，典型的一个端口两套服务模式。这种简单的算法歧视套路，能够吸引外围新顾客的进入，也容易导致老顾客的流失，所以公司不得不对此作出改变。但事实上，关于消费“杀熟”，商业界并没有忘记它的“优越”所在，并随着人工智能的深入应用逐渐被世人所知。仅2018 年上半年，在出差旅行、外卖套餐、在线买票、出行乘车等领域，仍然出现显著的“杀熟”现象。

“杀熟”是算法歧视最早期的形式，如今已成为一种与算法歧视相伴而生的社会现象。之所以从“杀熟”说起，因为这是一种最简单的算法歧视形式，它便于将算法歧视与人的生活和经验联系起来，易于进一步理解由算法歧视带来的深层次的危害性问题。简单来说，在“杀熟”领域涉及的算法歧视问题，造成的影响仅停留于企业和用户层面，仍需对此深入挖掘。

除商业领域利用算法歧视导致杀熟现象产生以外，很多其他领域也同样出现算法歧视的现象，甚至问题更加严峻。2015 年，谷歌和雅虎曾经错误地将黑人程序员标记为“黑猩猩”，从目前的人工智能算法发展来看，这种因为算法本身的问题引发的“算法歧视”问题非常值得重视。就像之前的Uber 公司的无人驾驶汽车致人死亡一案，人工智能算法居然没有识别出正前方有人的存在，这是一件非常可怕的事情。同理，人工智能算法将黑人同胞标记为“黑猩猩”这样的事情，如果真的发生在实际应用场景中，将会造成极其恶劣的社会影响。

2019 年11 月，苹果公司的信用卡算法歧视事件引发强烈的社会反响。根据华尔街监管机构介入的调查发现，相同的信用卡面向同一对夫妇进行贷款额度发放，但是丈夫的信用额度是其妻子的信用额度的十倍，而另一对参与调查的夫妇，丈夫的信用额度是妻子的二十倍。由此可见，算法歧视的确在某种程度上已经与性别歧视挂上钩，而且还是由某些大型公司“亲自操盘”。

从“大数据杀熟”中的算法歧视，到大型企业的算法工作招聘时的算法歧视，再到可能存在的人脸识别领域的算法歧视，再到广告推送的算法歧视，从一定程度而言，这些仅仅是算法歧视的一个缩影。从目前来看，算法歧视已涉及政治、经济、文化与社会等各个方面。众所周知，问题的产生往往是与它的危害性直接相关，但能被公之于众，还得依靠媒体，包括国家舆论网络、新闻媒体平台、微信公众号、腾讯新闻等。这些媒体都有关注人工智能领域的算法歧视问题，通过给予人们高度的信息知情权，将算法歧视的问题“摆在门面上来说”。

总的来看，算法歧视会导致算法杀熟、性别歧视、种族歧视等歧视性问题，给人工智能的发展与应用抹上了“污名化”的标签。至于今后，会不会继续因为算法歧视而带来更大的社会风险，“算法牢狱”“算法暴政”等问题是否也会随之出现，目前并不能就此下定论。但无论是何种歧视性问题的存在，归根结底，还是要回到算法歧视的诱因中去寻找根源。

三、成因探讨：智能算法歧视的诱因

算法的“非价值判断”特征，凸显它的价值中立位置。也就是说，它本身并不是歧视的根本原因，而是源自算法以外的客观或主观的因素。在算法的概念解析中，显示出算法的优势是精通解决封闭式的问题，固定式的解决问题的套路让其几乎不会出错，但其缺点就在于此，它并不善于回答开放性的问题。因此，当它被应用于开放性的问题领域时，只能让人给他输入无数多的预设答案，它的歧视主要就是存在于这些预设的答案之中。

简单来说，现存于各种社会现象中的算法歧视，是现实社会中的歧视在技术领域的显形，从而将原本的“预设”摆在人们可追溯的地方，成为一种能够被追溯到的技术性歧视。从这个层面来说，算法歧视是社会歧视的技术映射，隐藏于算法中的歧视问题并不是无中生有，而是“算法易受人为的操控”［3］，进而承载着某些特定人群的“价值指向”。

不妨回头再看看各大公司的产品中出现过的算法歧视现象，就能在现实中找到相应的佐证材料。所以，导致算法出现歧视的第一个原因，是社会潜在的歧视规则在算法中的映射。从一个较为狭隘的层面来理解，社会中的歧视无处不在，这种潜在的社会规则无疑会在潜移默化中影响人们的行为，这应该就是指落后的、消极的文化带来的影响。正是因为这种潜在的社会规则和秩序没被打破，导致其在智能社会运行的底层技术架构的人工智能算法中作祟，在无形间继承了这种社会运行规则，进而衍生出系列算法歧视的现实问题。

值得深思的是，转移到智能算法中并带有歧视性的社会规则，它仅仅只是导致算法歧视的原因之一。另外一个更主观的原因，在于人的价值歧视。之所以映射于算法歧视的问题域的系列现实因素会引起人们的严重不适，是因为智能算法从两个层面打破了原有的“无知状态”下的“和谐”：一是基于技术载体把潜在的歧视公之于众；二是社会正义的力量驱使算法服务对象包括媒体在内的相关群体的良知，让他们感受到改变社会歧视的一次机遇正在到来，众人的知情使得算法歧视的问题尤为刺耳。“无知状态”是一种默认环境下的和谐，“沉默的大多数”让这种歧视确实得以延续于人类生活的各种形态之中。换言之，存在于人类自身的某种歧视与偏见，成为一种社会潜规则的根源与痼疾，挥之不去之时只能弃置不顾——“默认”。那么，固有的存在于人类身上的歧视会有哪些因素构成呢？自然包括算法歧视中反映出来的一切歧视性问题。

算法歧视是如何传承了人类自身的局限性？在人类发明人工智能机器之时，算法歧视性的问题其实已经隐匿其中。人们熟知，人工智能是人类智能的延伸、增强和发展，它不仅能够延伸和增强人的优越性，也能延伸和增强人的局限性。如此说来，算法歧视的根本诱因逐渐“浮出水面”——人类本身的歧视。

人类本身的歧视，是人性的弱点的构成部分，人们往往会避之而不谈，所以这种歧视性的问题通常会借助其他手段辅助实现，就如经典马克思主义所认为的“剩余劳动力以工资的形式出现时就隐藏了资本家压榨工人的一面”的道理一样深刻。所以，数据、程序员和资本都成为替代歧视的工具。数据是算法的能量之源，但当人们收集用于训练算法模型的数据之时，数据的收集、选择、存储与使用等过程都隐含人类价值观，自然会导致算法的歧视。这就是数据中预先存在的歧视因素，数据中预先存在的偏见导致算法歧视。此类歧视通常在创建算法系统之前就已存在，算法只是将其反馈出来。换言之，“先前存在的偏见”不仅可以无意识地影响算法设计者选择使用哪些算法，还可以通过个人或机构有意识地或无意识地进入算法，即通过定义目标变量而嵌入算法［4］。

数据收集人员的歧视，更为突出的是表现在算法编程人员身上，因为他们是算法的直接建构者。根据众多报道，算法编程领域的男女比例失衡问题已经不足为奇，特别是在专门开设算法编程专业的学校，班级的男女比例更是令人吃惊，有的班级甚至没有出现女性的身影，即便是在企业，负责算法编程的程序员，男女比例也在12:1 左右。因此，在算法编程的过程中，程序员难免会从自己的认知领域思考程序代码，以及算法的逻辑框架，久而久之便将女性排除在考虑范围之内，从而引发算法歧视中性别歧视问题的出现——“算法造成的性别歧视实质上是现实世界长期存在的性别歧视观念在虚拟世界中的延伸［5］。”

更有甚者，“消费歧视”的现象也在助长算法歧视。譬如，某大型公司需要引进一种算法模型，用于该公司人力资源部的招聘简历筛查工作，自然而然，他们可能会更倾向于购买那些能够带来更大资本收益的算法，所以间接助长了算法歧视问题的“壮大”。“消费歧视”导致的算法歧视问题，隐含一个本质的驱动因素——资本驱动。毫无疑问，资本的贪婪并不止于某个领域，而是蔓延至社会的各个领域，人工智能应用领域也不例外。一方面，它直接或间接地拉动了它的发展，但也助长一些算法歧视的问题出现。之前，根据澳洲的一个Facebook 的广告客户透露，他们的智能算法很容易抓取到用户的生活状况，包括你的情绪和压力，以及你的财富状况。正基于这些隐私数据，各大广告商得以向那些感到具有“巨大生活压力的年轻人”推送智能游戏、虚拟社交和容易上瘾的产品，从而达到获取巨额回报的目的。

算法歧视是人类固有弱点的延伸，与人工智能的发展相伴相生，在数据隐藏的歧视、程序员潜在的价值歧视、资本驱动歧视、社会潜规则转移的条件下，不可能完全避免算法歧视事件的发生。然而，人们也不可能置之不顾，而是要积极寻解应对策略，以消解其存在的危害，从而实现算法价值最优之目的。

四、治理路径：从“歧视”到“公正”

面对算法歧视的问题，社会各界给出了各种各样的消解策略，可谓：“仁者见仁，智者见智”。但我们认为，最具争议性的一种策略是“呼吁”用“算法透明”与“算法公开”的方法实现“算法公正”。在技术发展还未成熟之前，这种透明与公开的方式或许还会带来更多的歧视问题。另当别论的是，这种方法并不一定能起到威慑作用，反而会给算法歧视打开方便之门，使得算法歧视所有者在公开算法之前，会做一个歧视性价值判断，对于不涉及歧视的算法则公开，但对于涉及歧视的算法则隐藏。如此说来，呼吁之举很难实际发挥约束作用。因此，需要具体进行规范性治理，仍需回归到多元主体之中去探讨。

首先，算法歧视受害者。算法歧视产生的危害，无论从哪个层面来讲，最终都容易导致个人利益受损的问题。所以，要积极应对算法歧视的问题，就需要广大受害者群体提高权利意识，积极反馈可能涉及的侵权经历。面对算法歧视，受害者的包容和沉默，将成为算法歧视制造者更加肆意妄为的资本。因此，建议广大算法歧视受害者，应该加强学习关于算法歧视方面的知识。歧视不止于现实空间，还在进一步向虚拟空间中推展延伸。面对人工智能算法歧视的这种违规行为，应该坚决维护自身的合法权益，向有关的部门如政府、媒体和消费者权益保护机构等反映具体的情况，做好“知情”“敢为”两个方面的工作，让算法歧视最大限度地从生活中受到限制。

其次，企业层面。从前面的案例来看，目前的算法歧视的“始作俑者”大多是企业，原因在于企业所提供的智能服务已经渗透人类社会生活的各个方面，在整个服务链条之中，企业属于服务链条的最前端，最懂得用户和消费者的现实需求，也是最容易掌握用户最新消息的社会组织。从某种程度上来说，这就为企业从中赚取利润开启了“方便之门”。因此，企业在整个算法歧视治理链条之中，应该承担最为重要的责任，并积极“采取内部反算法歧视原则、措施，这是行业自我规制、自我监管的反算法歧视的治理策略”。［6］从传统的观点来看，企业是为营利而诞生的社会服务机构，但很多企业在发展的过程中忘记了社会的人本价值属性，纯粹将商业利益摆在社会的最前端而不顾用户的体验和满意度，这是一种极具反噬性的生存之道，很容易遭到消费者的口诛笔伐。事实证明，如今的社会正在淘汰那些不站在消费者和用户的角度思考问题的企业。总的来说，企业在参与算法歧视的治理问题时，应该从三个方面尽到自己的责任：一是建立企业商品与服务的信息反馈渠道，一旦涉及算法歧视问题的服务，立即展开问题处理，给消费者一个满意的答复；二是要从根本上关注算法歧视问题，杜绝带有算法歧视的服务进入企业层面，并做好同行业的监督职责，尽到企业的社会责任；三是开展企业层面关于歧视问题的监督与宣传教育，积极引导员工和管理者自律。尤其是企业自身在设计与研发相关算法时，应该“积极开发各种在不降低预测结果准确性的前提下减少人工智能偏见的工具”，［7］从企业自身的长远发展维度进行技术治理，以期超越和摆脱潜在的算法歧视带来的可能危害。

再次，媒体和政府层面。媒体是信息传播的中介和载体，往往承载着相关的价值导向，媒体的职责就是通过自身的努力，让社会受众群体能够得到最大程度的知情权。历史地看，很多社会问题的解决，都是得益于媒体的力量。通过媒体，人人都可以成为社会活动的参与者，人人都可以成为社会公共决策的倡言者。从这个方面来说，媒体对于治理算法歧视问题具有重要的作用。媒体的演变形式很快，但总方向是朝着便民利民的角度发展的，如今正值智能媒体阶段，各种信息爆炸的年代，各种新媒体从中担当传播和筛选信息的作用。首先，要担当算法歧视知识普及的任务，尽最大的努力将这个潜在的智能危害性问题进行讲解，让人们明白算法歧视的概念和形式，以及它如何让公众受到歧视的作用原理；其次，要客观公正地报道已经存在的算法歧视的问题，让公众以最快的方式获取到相关的信息，以便于大家做好相应的应对措施；最后，还需要揭露算法歧视的隐蔽性问题，对于那些“换一张面孔”出现手段干预算法歧视问题的责任主体，使其进行算法迭代以弥补原有的技术局限。未来的算法歧视治理，政府应该做好如下几个方面的工作：一是建立健全算法歧视的责任机制，并设立专业的机构或人员负责监督和处理因算法歧视带来的问题；二是政府应当加强对智能商品或服务的监管，有关部门可以建立伦理审查制度，重申公平的价值理念，对智能产品的开发设立伦理红线，同时可以建立动态监测机制，对人工智能的应用实现跨平台、全流程跟踪监管，针对屡次触碰红线、造成严重危害的企业，可以将其纳入黑名单中［8］；三是加强算法歧视的制度性治理工作，出台相关的治理制度，包括《算法透明和可问责制度》《算法歧视的奖惩机制》《智能商品与服务的算法伦理审查制度》等。

最后，算法建构者的职业伦理。2016 年，《自然》杂志发表社论，用“偏见进，则偏见出（Bias In，Bias Out）”的描述方式，表达了对存在的算法歧视的看法［9］。广义上说，偏见即是歧视，所以“偏见进，则偏见出”的说法对等于“歧视进，则歧视出”。从这个层面来说，算法歧视问题的产生，源于算法建构者本身所带来的歧视，他们没有做好算法歧视“把关者”的角色，反倒成为“直接助推者”的角色。为此，要进行算法歧视的治理，需要重新建构算法建构者的职业伦理：一是明确算法歧视的责任主体要为该行为承担相应的法律责任，主要是那些注入歧视因子或有义务却未能及时排除歧视因子的主体。一方面，如果算法本身就包含歧视内容，则算法编制者是责任主体；另一方面，数据的选取者、收集者、输入者，在对数据进行选取、收集和输入的过程中，如果故意有歧视性操作并造成算法歧视后果的，也应承担法律责任。［10］二是要完善责任主体的追责制度。算法歧视的责任主体将是该问题的主要担责人员，一旦出现算法歧视的社会危害性问题，需要进行算法溯源与责任溯源，所以要在算法中嵌入技术正当的程序，加强自动化决策系统中透明性、可责性以及被写进代码中的规则的准确性［11］，让算法建构者明确地认识到“建构具有歧视性的算法”意味着什么。三是加强对算法建构者的职业伦理监察。一方面，算法建构者所接受的教育中，应该包括算法伦理道德的相关课程，并进行学分考核；另一方面，应该设立算法职业资格证，让算法建构者持证上岗，对于那些违背职业伦理道德而进行算法歧视活动的职业人员，应该严肃处理，对于那些情节严重的算法建构者，给予吊销职业资格证，并让其承担相应的法律责任。