招聘算法歧视的法律规制

蓝亭亭

(华东政法大学,上海 200042)

一、问题的提出

在大数据时代,算法技术的应用渗透至劳动关系各个阶段,并且根据不同阶段的特征产生相应的适用模式。在劳动关系建立阶段,即用人单位招聘阶段,人力资源领域实现了算法技术的深度参与,以期提高招聘效率,减轻企业招聘负担。领英、智联招聘、前程无忧等以算法利用为核心的网络招聘平台成为各大企业人才招聘的主要路径之一。用人单位在雇佣决策上对算法技术的依赖性不断提高。由理性精确的算法进行雇佣决策看似排除了HR 的主观偏见,但是招聘算法技术真正做到无偏见、无歧视了吗?

数据来自于对社会现象的总体记录,算法是于虚拟世界中解决现实问题的策略机制。“技术中立”无法为“算法中立”背书,算法自诞生伊始,便背离了“价值中立”原则。算法歧视指依靠数据挖掘与机器深度学习(deep learning)的自动决策系统对信息主体进行分析、作出决策时,由于非中立性训练数据或设计偏差,对信息主体进行差别对待进而导致的歧视性后果[1]。算法思维的固有缺陷、算法设计者主观认知偏差、算法技术本身的数据漏洞与样本偏差、算法“黑箱”等问题导致算法歧视具有普遍性、隐匿性和顽固性等特点[1]。因而在人工智能为人类活动带来通讯便利、降低成本、提高效率等一系列益处的同时,潜存的算法歧视却逐渐成为了其新创优势下的隐忧。

在国外,算法决策和偏见、隐私和数据保护等相关问题受到各国相关规制机构在立法上与学术上的关注,力图采取措施缓解算法技术运用于招聘过程中可能产生的偏差。在国内,算法技术运用于招聘时产生的歧视风险属于新兴研究领域,国内研究成果较少。我国司法实践目前虽未出现因算法技术运用于招聘时所产生的歧视案件,但是随着算法技术在劳动用工领域进一步发展,算法参与招聘决策所引发的就业歧视将会成为劳资争议焦点。基于此,本文试图梳理可能产生的风险与解决之道。

二、招聘算法技术的应用与歧视性风险

算法技术应用于招聘过程的一大卖点是承诺提高招聘质量,显著消除招聘过程中的人为偏见与主观性,改善如残疾人、女性、高龄劳动者等就业弱势群体的雇佣前景,被合理规制的人工智能将有利于发现社会中的就业歧视现象[2]。

(一)招聘算法技术的应用

在招聘过程中,算法技术可以深度参与“招聘漏斗”(recruitment funnel)的四个阶段,即“寻找、筛选、面试与选择候选人”[3]。目前,许多大型公司都将算法招聘工具作为提高招聘效率、降低招聘成本的利器,主要通过数字广告投放、简历分析系统、视频面试系统这三个程序贯穿用人单位招聘的全流程。

1.数字广告投放

在“招聘漏斗”的“寻找”阶段,算法会从用人单位的角度出发寻找匹配程度较高的劳动者。算法基于对海量数据的学习,形成稳定预测模型,进而对新输入进行输出预测。最常见的便是各大购物软件通过对用户历史浏览进行收集分析后,提供特定的商品推荐。同理,在人力资源领域使用该种定位工具,针对性投放广告将助长就业歧视。例如,2017年,美国通信公司Verizon 在Facebook上投放了一则仅针对居住于美国首都或者最近访问美国首都并对金融展现浓厚兴趣的25 至36 岁人群的广告[4]。此外,用人单位还可以通过现有员工“人物画像”来定位人力市场里的“酷似受众群体”[5],利用算法进行信息匹配从而提高数字招聘广告投放的针对性和有效性。

2.简历分析系统

在“招聘漏斗”的“筛选”阶段,算法会扫描求职者的简历,识别与成功招聘相关的关键词和特征信息,如工作经历、历任雇主、学历证书等,之后算法衡量每一个指标的分数并为每一个候选人进行评分排序。而只有算法判定简历与所招聘职位相匹配时才有机会被用人单位查看。在这个过程中,算法是否完全中立呢? 据路透社报导称,亚马逊停止了预期实现招聘流程自动化的人工智能招聘工具,因为他们确定该工具对妇女有偏见。公司发现,在这套人工智能招聘工具的运用中,性别成为了一项区分标准,软件开发人员和其他技术职位候选人的评分单因性别便会产生差异,算法偏好于男性候选人,如果简历分析得知求职者毕业于女校或者带有“女性”字样,便会受到算法的负面评价[6]。国内智能招聘网站也正在进行向数字化招聘的转变。例如,线上招聘平台“云聘会”主打核心功能便是简历采集与解析,针对用人单位所需岗位画像推荐合适人才。

3.视频面试系统

在“招聘漏斗”的“面试”与“选择候选人”阶段,用人单位可以使用视频面试系统对求职者预面试进行初步筛选。算法通过分析求职者在录像视频中的面试表现(包括其面部表情、语音语速、眼神交流等)进行数据收集、处理与分析,判断求职者的工作风格、勤勉度、忠诚度与所求职岗位匹配的“成功可能性”并进行评分和排名[5]。例如,2020年5月,网络求职平台“智联招聘”推出“AI易面”这一功能,旨在通过对求职者进行语义分析、神态分析、智力评测、性格测试等一系列结构化测试,智能评判求职者是否符合预设的候选人画像,借此快捷完成人岗匹配。

(二)算法招聘应用的歧视性风险

1.基于训练数据的歧视性风险

算法技术具有实证主义属性,以数据挖掘和信息处理作为决策基础,通过量化而非质性的手段解构人类行为与社会现象,通过数理分析的方式构建模型识别不同属性的因果关系和相关关系。存在偏差的训练数据会直接导致算法模型表达偏差,这便是算法技术“偏差输入,偏差输出”的问题[7]。当算法分类和决策基于不准确、不全面的信息时,歧视会体现在算法的表达之中,这些表达往往是人类偏见的延续,通过训练数据嵌入算法决策,不断形成一个闭环。普林斯顿大学艾琳·卡利斯坎(Aylin Caliskan)等学者使用内隐关联测试(IAT)量化人类偏见时发现,在利用高频沟通语言对算法系统进行训练时,机器学习程序从文本语料库中自动推导的语义中包含了类似人类思维中的偏见[8]。算法从人类社会习得对受保护属性(protected attribute)的歧视,并将其嵌入决策体系之中,算法应用的高歌猛进将在更大更深的社会层面渗透算法歧视的影响力。

2.基于设计偏差的歧视性风险

在分年龄和分性别进行回归的基础上，为了更好地考察新老两代不同性别农民工的差异，本文对农民工群体同时进行了年龄和性别的分组回归。结果发现，新媒体使用对于新生代女性农民工的工作匹配表现出了显著影响，并且与前一回归结果类似，社交媒体使用时间与APP 下载种类数量都与新生代女性农民工的工作匹配呈现出了明显的倒U型影响趋势。从系数的绝对值上看，社交媒体使用时间(0.039)即新媒体使用的深度比APP下载种类数量(0.005)对工作匹配的影响更为重要。

设计偏差产生的原因可能来源于“技术偏见”和“社会偏见”两种方式。“技术偏见”来源于目前算法技术本身限制、不精准的模型和错误的设计决策。“社会偏见”则根植于“社会制度、实践和态度”,在设计过程中被嵌入代码系统,成为算法技术天生的歧视,即“编码凝视”[9]。当个人存在有意识或无意识的偏见时,这种偏见会被投射进算法系统设计和开发之中,并在算法决策时有所表征。机器学习建立于不同类别的数据集基础上,通过算法设计者手动分类的数据标签不可避免地存在主观因素,而且通过数据记录并不能可靠和准确地识别、标记各种跨文化的情感和情感表达。

三、招聘中算法歧视的归责困境

基于通说,一般将“歧视”解释为“因某些特征对个体区别对待,如依据种族、年龄、性别、国籍、宗教信仰、社会出身等因素,人为地在人们之间制造差异、不平等对待,其结果是损害了机会平等和待遇平等,其实质是对人生而平等原则之违反”[10]。在现有法律法规规制下,一般将就业歧视视为侵权行为对其规制,其侵害的客体是公平就业权利[11]。算法技术引入职场领域后代替用人单位对招聘作出自动化决策时,显现出的“歧视性行为”相比于传统就业歧视而言是一种新型侵权行为,在现行法律框架之下是否能找到既有法律资源进行规制成为亟需关注的问题。因此,有必要探讨是否将上述算法技术在招聘过程中展现的歧视类型纳入现行法律制度框架内,并审查现有法律规制是否存在规制漏洞或偏差,以此为基础考虑是否对现有法律制度进行调整与解释。

(一)算法招聘歧视问题的立法罅隙

从立法上看,基于训练数据与设计偏差的歧视性风险,算法招聘歧视陷入因果关系和责任认定的难题,传统侵权责任的适用陷入困境。目前法律法规对算法招聘歧视的规制仅来源于综合性法律。《个人信息保护法》《网络安全法》等法律提出透明性原则、最小侵害原则等数据处理原则以期确保数据挖掘与利用的合法性与正确性,同时赋予个人信息所有者访问权、更正权、删除权等数据处理的权利,对个人信息处理者的行为进行事前规制[12]。《互联网信息服务算法推荐管理规定》制定更具有针对性的算法推荐规定,明确了算法推荐服务提供者的主体责任。其中第4 条明确了算法推荐服务的公平公正原则,第20 条“算法推荐服务提供者向劳动者提供工作调度服务的,应当保护劳动者取得劳动报酬、休息休假等合法权益,建立完善平台订单分配、报酬构成及支付、工作时间、奖惩等相关算法”是对劳动用工领域的精准规制,但局限于劳动关系存续期间平台用工中对劳动者劳动报酬、休息休假等权益的保护,并未提及招聘阶段的就业歧视问题。而与事前规制相比,我国对事后规制的研究与实践尚未成熟,法律未对招聘中所发生的算法歧视的责任承担予以明确,劳动者在受到算法招聘歧视后将陷入求法无门的困境。

(二)众说纷纭的算法归责问题

在理论学界,学者对于算法歧视的归责问题莫衷一是。有学者坚持适用如产品责任等传统责任框架的规制路径[13],将产品责任中的谨慎标准延伸至人工智能产品领域,提议健全完善谨慎算法标准进行算法归责[14]。然而产品责任以产品的缺陷为基础,证明产品存在缺陷以及缺陷与损害结果之间的因果关系对于受歧视的求职者来说意味着技术上与经济上的双重负累。另外,囿于技术的开放性、迭代性与法律的兜底性、滞后性之间的冲突,如何定义谨慎义务的合理标准仍然是一个开放性论题。也有学者认为侵权行为的责任主体应该是人工智能,而不是具体操作者。理由是具有自我辨认能力与控制能力的人工智能拥有行为的选择权,应该独立承担责任,若将侵害他人的行为完全归责于研发者与使用者实为不妥[15]。但是,如何判断何为真正的“人工智能”? 达到怎样标准的“人工智能”切实具有自我选择权? 这些问题尚未明朗之际便将责任规于“人工智能”并不能使得被侵权者获得救济。在“人工智能”还未取得明确法律主体地位前,应该确保算法歧视的责任能够追溯到自然人或法人主体。也有学者认为《个人信息保护法》第24 条规定“个人信息处理者利用个人信息进行自动化决策,应当保证决策的透明度和结果公平、公正”体现立法者的技术治理思路,直接将平台算法作为法律监管对象,而不再纠结主观过错与违法结果等传统法律归责的认知,确立了平台算法问责制与以平台治理为核心的算法自动决策治理框架[16]。此种观点将平台的注意义务从算法设计扩张至结果输出,贯穿算法自动决策的设计、部署、运行与结果全过程以保证自动化决策结果的公平性与合理性。平台责任追究的对象已然穿透平台的技术面纱,直抵平台技术的底层逻辑——算法。然而对于技术治理的解释极其容易匿于算法黑箱之后。算法系统的自我解释性差,艰深复杂的运行规则如同一个“黑箱”,给出的只是一个冰冷的数字。它是如何得出结论,依据什么,难以被审计与监管。

目前,立法实践和理论学界关注点多聚焦于算法技术在应用过程中的事前规制,对于算法技术事后规制的关注稍有不足,对于算法归责问题也各抒己见,未成统一论调。故有必要结合算法技术在招聘过程中的应用场景与技术特征对传统侵权责任规制机制进行扩展性研究与探讨,检验于既有法律框架之下算法归责的腾挪空间和创新路径。

四、招聘中算法歧视的责任规制

(一)招聘中算法歧视的责任主体

如前文所述,在“人工智能”还未明确取得法律主体地位之前,直接将责任归于算法本身言之尚早。开发人员认为,算法是中立的,只是容易嵌入有偏见的数据或陷入被社会不当使用的错误环境中。而使用者声称算法很难识别,更不用说理解了,因此排除了使用者在使用中道德含义的任何罪责[17]。但是我们应该认识到,歧视首先是一种道德行为,只有道德主体才能够对他人进行具有价值判断与价值选择色彩的歧视行为,而一个道德主体最基本特性就在于能动性[18]。从用人单位使用定位工具进行广告投放,到基于训练数据输入偏差的歧视,最后到源自设计者固有认知偏差与逐利思想的歧视,都可以看到“人”的能动性。所以,算法招聘歧视的责任主体应当是“人”,主要是算法设计者与算法使用者(用人单位),而非人工智能算法本身。

我国对于算法歧视归责体系的建构尚未形成统一的观点,产品责任、人工智能担责、平台问责等理论都试图用一个较为宏大的理论解决错综复杂的算法责任问题。但是,算法会由于适用对象、适用主体、所涉目的的不同存在巨大差异,机械的使用产品责任、平台问责等原则均未结合具体场景具体分析[19]。所以,在不同算法招聘歧视场景下,各个主体参与程度与方式不同,需要运用算法规制的场景化原理,结合具体场景进行分析。

1.广告定向投放场景的责任主体

2.简历分析与视频面试场景的责任主体

而在简历分析系统与视频面试系统这两个场景中,虽然算法分析结果呈歧视性,但是用人单位在这两个系统运作过程中的参与度很小甚至未参与其中,用人单位并未作出直接或者有意识的决定来排除某一个求职者,这时算法歧视的责任主体又为谁? 用人单位需要对此负责吗? 算法越是被构造为令人难以理解的自主系统,就越能将责任归因于算法和设计算法的公司。

美国作为算法规制的先行者,自算法歧视等社会问题出现至今,已经发布多项法案进行规制,例如,2017年美国公共政策委员会(USACM)联合欧洲公共政策委员会发布的《算法透明度和责任声明》、2019年的《算法问责法案》、2021年的《算法正义和在线平台透明度法案》,通过一系列法案建立算法问责的外部治理与实践模式。总之,美国将算法歧视所带来的损害后果归责于算法设计者和算法使用者[20]。我国国务院于2017年发布的35 号文件《新一代人工智能发展规划》中明确要求“实行设计问责和应用监督并重的双层监管结构”,说明在算法责任框架下规制算法设计的责任获得考虑。在简历分析系统与视频面试系统中,为算法歧视承担法律责任的,应该是那些(有意或无意)注入歧视因子或有义务却未能及时排除歧视因子的主体。首先是基于训练数据偏差而导致的歧视,相关人员在挖掘、收集、处理个人信息数据时,应保证数据用于自动化决策结果公平公正。数据的处理者在选取、收集与输入的过程中的歧视性操作导致歧视性结果的,应当承担相应的法律责任。另外是基于设计偏差的歧视,算法设计者在数据标签标注时惩罚受保护属性以及设计过程中其他歧视行为所导致的算法决策歧视后果的,也应对此承担法律责任。此外,在算法后期自我更新、迭代进化过程中需要进行定期评估与核查。如果是核查者玩忽职守甚至于忽略算法自我进化后呈现新的歧视倾向,则要承担相应法律责任[21]。

基于歧视来源的不同场景考虑不同的责任承担主体,无法完全列举出歧视行为产生的具体情形,也无法穿透算法技术黑箱进行责任规制。《互联网信息服务算法推荐管理规定》于2022年3月1日正式实施,第24 条规定了算法推荐服务提供者履行备案手续的义务,备案信息包括名称、服务形式、应用领域、算法类型、算法自评估报告、拟公示内容等信息。此时可以考虑完善备案制度防患于未然。一个算法系统可能是多个算法程序的集合,每个底层算法程序嵌入对应的“法律识别标识符”,对编码进行充分的审计记录,这样才能为之后可能发生的责任规制提供依据,避免多方主体推诿的情形出现。

(二)算法招聘歧视应适用无过错责任原则

算法歧视给平等原则带来了巨大的挑战,不仅关系到求职者机会平等的问题,更牵涉经济发展与社会正义之间的博弈。我国主流平等观的价值追求以用人绩效为中心,认为歧视的本质是否定“量能就业”,并据此构建起反就业歧视法的“侵权法模式”[22]。

1.过错原则与过错推定原则的适用难点:劳动者举证责任过重

我国侵权责任的归责原则主要有三种,分别为无过错原则、过错推定原则与过错原则。虽然我国侵权责任大部分经由过错责任进行规制,但是过错责任原则并不当然适用于招聘过程中的算法歧视情形。过错责任原则下,劳动者对招聘歧视的证明责任除了证明用人单位存在歧视行为、自己遭受损害结果和其间的因果关系外,还需证明用人单位存在歧视的主观故意,这样的举证证明责任分配机制缺乏合理性。算法背靠能够简化问题分析与弱化责任归属的技术黑箱,即使将各项指标与数据的的输入与输出可视化,但藏于其后的还有错综复杂的伦理判断与法权关系,要求受到歧视的求职者透过算法背后近乎匪夷所思的原理与互动机制[23]去判断算法设计者的主观状态实为强人所难。而过错推定原则通过举证责任倒置看似加重了算法设计者的证明责任,减轻受害者的诉讼负担,但是算法设计者拥有高深的专业知识与雄厚的财富能力,只要坚称“算法模型结构合理,信息数据完善”,外人也难以考证。即使是相关领域的专业人员,在算法技术更新迭代速度迅猛的背景之下,对于其详细运行规则与输出结果有时也难言其道。过错责任与过错推定责任在招聘中的算法歧视均面临适用困境,很难在招聘算法歧视的事后规制上发力,反而成为被歧视的求职者寻求法律救济的障碍。

2.无过错责任原则的适配性:倾斜保护劳动者

从利益考量上,无过错责任原则在招聘算法歧视场景下的适用,倾斜保护劳动者这一弱势群体,符合法律追求正义的主流价值观。基于通说,无过错责任原则不问行为人主观上是否有过错,只要有侵权行为、损害后果以及二者间的因果关系,责任主体就应承担民事责任。算法招聘歧视具有隐蔽性特征,证明用人单位在其中的主观故意与劳动者而言负担沉重,不具有可操作性。认定算法招聘歧视的责任时,应当关注侵权行为的客观影响,而非歧视的主观故意。无过错责任原则抑制用人单位权力边界扩张,减轻劳动者证明责任,使反招聘歧视制度设计更加平衡劳资双方力量,于弱势劳动者而言是一种维护自身权益的武器,于用人单位而言是一种提高注意审慎义务的警醒。其实,从我国《个人信息保护法》第24条的规定“个人信息处理者利用个人信息进行自动化决策,应当保证决策的透明度和结果公平、公正”也能看出立法者不再将主观过错作为算法设计者的担责条件,突破其“技术中立”的抗辩,要求算法设计者为算法结果公平公正承担责任,需保证算法自动化决策公平合理。综上所述,基于保障求职者平等就业权利与保证算法技术公平公正的角度出发,招聘过程中所出现的算法歧视情形应当适用无过错责任原则。

(三)算法招聘歧视的责任方式

当算法设计者或者算法使用者进行招聘歧视行为,除精神损害赔偿与公开赔礼道歉等侵害一般人格权担责方式外,还应承担惩罚性赔偿责任,以完善算法招聘歧视的责任承担方式。算法招聘歧视会给求职者带来精神损害与物质损失,包括但不限于工作机会丧失,因性别、年龄等受保护属性被算法惩罚等,上述侵害理应受到侵权责任的规制。那么算法招聘歧视应该适用何种归责方式,即相关责任主体依照何种进路为招聘中的算法歧视承担法律责任? 通过具体案件析理提升招聘歧视责任承担的清晰度。从最高院发布的第185 号指导案例可以看出,法院将用人单位侵害劳动者的平等就业权视为人格权侵权,要求用人单位承担公开赔礼道歉、赔偿精神抚慰金及合理维权费用的民事责任。算法招聘歧视本质上也是对劳动者平等就业权的侵害,算法是招聘歧视的一种方式,但这种方式具有其独特性。基于招聘算法引致的招聘歧视或许只表现为算法输出的一个判断或者决策,并未“直接”侵犯求职者的人身和财产权益,但是毋庸置疑,招聘算法歧视间接、客观地使求职者承受了巨大的财产损失,侵害其平等就业权利。所以,如因算法歧视损害他人人身、财产安全,被侵权人除了有权请求算法设计者、算法使用者承担损害赔偿、赔礼道歉、恢复名誉、消除影响等一般侵权责任[24]外,还可以根据算法招聘歧视的侵害规模调整惩罚性赔偿数额。从制度价值与运用机理上,惩罚性赔偿制度具有鲜明的实用主义倾向,其意义在于增加算法设计者与算法使用者的违法成本,对抗资本侵袭。

五、结论

在技术驱动的算法语境下,完善招聘时算法歧视的责任规制顺应了国务院《新一代人工智能发展规划》的要求,也回应了大数据时代新技术应用对法律提出的挑战。我国目前规范算法技术的法律法规体系聚焦于事前规制,囿于个人信息数据保护与个人信息权益维护的思维,难以覆盖招聘时算法技术广泛利用个人信息数据以及本身设计偏差所导致的算法歧视风险,以及后续对算法歧视的法律救济。算法歧视治理目前或陷入“技术治理的解释性难度过高”的操作困境,或沉于“产品责任的审慎义务标准难以明确”的桎梏之中。招聘中的算法歧视需要更加细致的规定,从不同发生场景判断算法歧视的责任主体,明确算法歧视的无过错责任原则以及具体担责方式。依靠算法技术,招聘歧视进入了一个新的场景,呈现出新的方式,法律很难行至科技之前,但法律的治本之道永远不会被时代抛弃。《个人信息保护法》已经为算法歧视发生后的事后追责与侵权救济指明了方向与路径[25],明确招聘中算法歧视的责任框架才能让求职者在权利被侵害时有法可循,有法可靠。将算法技术应用于越来越重要的社会和经济决策,除了被视为一种风险,还能被视为一种潜在的机会。法律总是在为技术进步所产生的影响做最后一道防线,希望社会在追求技术进步的同时也不忘为那些被技术进步所影响的人提供法律救济,兼顾高新技术发展与人类权益保障才能实现社会整体的“帕累托最优”。