信息系统自动决策机制中的算法歧视

向 杰

西南科技大学，四川 绵阳 621000

一、问题的提出

自动化决策在为我们带来公正、客观、高效的同时，也伴随着难以觉察、难以获知、难以证实等特点。但由于其本身会带来的历史数据偏差，以及算法设计者本身的主观性［1］，算法会不可避免地出现歧视性，甚至错误的决策。如2008年的B公司“竞价排名”事件、2016年的“魏某西事件”，再到2018年的“网约车价格歧视事件”等。信息系统的自动化决策机制正在通过各种领域，直接或间接地影响着人们的各项基本权利。

大数据时代，自动化决策机制得到了广泛的运用，但现实社会的迫切法律需求是：当自动化决策机制作出了错误的或歧视性的决定时，处于不利地位的相对人如何获得有效的救济?与之对应的是所产生的责任由谁进行承担?在利用算法进行决策的领域，哪些应该得到开放，哪些则应该进行限制，算法决策的边界在哪里?在我们对算法进行审查的同时，对于企业的商业秘密如何进行有效的权衡?

为此，通过法律途径［2］保证算法自动化决策机制的合理性、公共性以及正当性，减少算法歧视造成的群体极化现象，应该成为当前法律关注的焦点问题。在对自动化决策造成的现实问题进行剖析的同时，应结合我国当前的法律制度，以及欧美的人工智能治理经验，以期在算法歧视的背景下，寻找出应对自动化决策机制的法律途径。

二、算法歧视的类型性分析

（一）算法歧视的含义

算法一词，起源于《周髀算经》，而Algorithm（算法）则来自于9世纪的波斯数学家alKhwarizmi，由其在数学上提出了算法这一概念。算法，指的是为了应对解题方案的完整且准确的描述，是解决问题的一系列指令，即用系统方法解决问题的机制。算法通常具有五个特性，即：可行性、有穷性、确定性、输入性和输出性。而算法通常用来解决结构化问题与非结构化问题，即定义良好的问题与定义不清的问题。

歧视，是由偏见的态度和认识引起的，是指对于偏见目标和受害者所采取的否定性的行为表现。其中，由全国人民代表大会常务委员会所批准的《1958年消除就业和职业歧视公约》的决定第一条表明：歧视是由于个体的身份属性，表现出来的不合理的评价和主观的区分，主要表现为三个要素：不合理对待、造成不良后果以及欠缺法律理由。

算法歧视，是指算法在运行过程中所出现的重复性的、系统性的错误，同时基于这些错误对某些群体或个体产生了不公平的算法结果，由此损害其正当利益。算法歧视的发生，在主观性上既可以表现为无意识也可以表现为有意识，其主体既可以是算法本身，也可以是算法设计者或算法使用者，而对于结果的发生通常都是难以觉察、难以获知和难以证实的。

（二）算法歧视的特征

随着算法在大数据时代的应用，算法歧视也发生了日新月异的变化，而算法歧视本身也被赋予了鲜活的时代特征。

1.算法歧视的隐秘性。隐秘性需要从两个角度进行解读，一方面，从内部特征而言：算法本身具有“黑箱”特性，而它在运行过程中所表现出来的“相关性”难以被社会大众所理解，所输出的结果是无法追溯的，在此过程中算法被理解为一种“黑箱”。从外部角度而言：算法本身所涉及的内容，大都为一个公司的商业秘密，因此算法的使用者往往基于信息程度上的强弱差异，对算法的结果进行掩盖，而这种掩盖的结果往往难以被发现。

2.算法歧视的复杂性。算法歧视之所以复杂，一是基于算法技术本身的复杂性，算法是基于底层决策的模型而进行运作的，同时算法模型可以进行“自主学习”，随时间的变化而日趋完善，其复杂性不言而喻；二是算法的运作逻辑在于“人机互动”，不同类型的数据在不同的环境中，会表现出不同的差异性，而算法最终的结果增加了算法歧视的复杂性。

3.算法歧视的类型性。由于“数据池”基数的庞大，在算法运作过程中需要根据算法的使用目的以及数据特征，进行有序的数据排列，从而对数据值进一步的赋予权重比例。于是算法标签与歧视性结果便产生了关联，而这类算法对特征性的群体则具有类型性的特征。

（三）算法歧视的类型表现

算法歧视根据是否涉及身份关系，大致可以分为两类：身份性歧视与非身份性歧视。前者指的是社会集群的身份属性［3］，后者指的是不涉及身份属性的算法歧视。

1.身份性歧视。此种类型划分下，包括性别歧视与种族歧视。在数据化的时代背景中，由于性别观念以及种族偏见等逐渐演变成了算法的内在运作机理［4］，而在数字化的作用下，其偏见正在不断地固化与加深。同时由于技术的“非中立性”，在“黑箱”效应的影响下受歧视的群体难以察觉，更难以得到救济。

2.非身份性歧视，包括价格歧视与排名歧视等。此种类型的歧视，主要指的是虽然个人不受到身份的影响，但却仍然遭到了不公平的对待。算法的使用者通过搜集有关顾客的终端操作系统以及个人喜好等个人资料，通过算法搭建模型，从而实现对每一位客户的“精准营销”，以及在算法的作用下，利用“算法排名”壁垒，进行不正当的竞争，破坏市场竞争秩序。

三、算法歧视的法律适用难题

（一）《电子商务法》适用上的不足

算法歧视作为大数据时代的产物，在使用环境上也属于线上交易，但在《电子商务法》中，却存在适用上的不足，具体而言：

1.《电子商务法》第十八条对算法做出了针对性措施，但未禁止算法的使用。这样的做法，虽然使消费者的选择权得到了保护，但是并没有赋予信息主体算法的拒绝权，算法的使用者以及设计者仍然可以通过算法来造成算法歧视这一现象的产生。

2.《电子商务法》第二十四条规定了信息主体对于其个人信息的收集使用以及使用方式的决定权，学界统称为“知情—同意权”［5］。但在实际的使用过程中，很难得到贯彻落实。信息的收集使用往往是通过隐私政策的方式进行实现的，但在实际情况中，用户往往未实际阅读其中的内容，便同意了相关的条款。同时，信息的收集者在信息的搜集过程中也未预料到信息的全部使用方式，无法切实完全履行告知义务。

（二）《消费者权益保护法》适用上存在争议

在《消费者权益保护法》上的争议，主要是来自于对算法歧视在法律上如何定性的争议。一方面，经营者有义务向消费者表露商品或服务的价格，但却在同一情况下以另外的更高或更低的价格，展示给另一消费者。

这种价格上的差异，打破了我们对于“同一价格”的传统认知，但这一行为是否违反了法律，还需要进一步的解释。另外一个争议，则是算法歧视行为是否侵犯了关于消费者的知情权。这一争议的关键在于经营者是否有义务向消费者提供其他人交易时的价格信息，这一问题在法律上还未做出规定。

（三）《个人信息保护法》在实践运用上的不足

《个人信息保护法》第二十四条规定：在自动化决策中，个人信息处理者在利用个人信息时，应当遵守相应的规则，其设立目的在于自动化决策的特殊性，在个人享有知情同意权的同时，个人信息处理者应当保障个人知情同意权，以及履行相应的法定义务。但问题的关键在于，当算法侵害了个人信息权益，造成了算法歧视时，在实践中应当如何运用《个人信息保护法》的规定，保障个人的合法权益呢？首先，违反《个人信息保护法》第二十四条关于透明度与结果公平合理的要求时，可以直接要求算法使用者承担相应的责任。但是，此时仍然存在着一个新的难题，即决策透明度的标准为何，以及如何判断结果的公平合理？其次，《个人信息保护法》第六十九条规定了信息处理者应当负的民事赔偿责任，但值得细究的是，此条规定的侵权损害赔偿，是否包括精神损害赔偿责任以及如何认定相应的数额呢？同时，我国的《民法典》对侵害个人信息权益的侵权责任适用哪种归责原则并没有进行明确。

四、算法歧视的认定及其民事责任

（一）算法歧视的认定

进入大数据时代，数据资料的生产为我们带来了巨大的便利。但是，如若对算法歧视采取一个严格的审查标准，无疑会扼杀掉大数据的创新价值。为此，在司法和监管的这一层面，建立起对算法歧视的认定标准［6］就显得尤为重要。目前，学界关于算法歧视的认定标准主要有三大类：

1.在主观态度上，着重分析算法歧视这一行为是基于使用者的错误感知还是基于使用者的偏好。如果算法的设计条件是根据客户的不同喜好而设置的差异化选择，这种情况下是有利于资源的优化配置。反之，歧视的发生导致了使用者的错误感知，这种算法则属于一种歧视，损害了使用者的利益。

2.在使用环境上，需要观察市场的透明度。即算法主体是否知晓或者能否知晓自身受到了歧视，这种情况下更能被认定为违法行为。

3.在具体的行为上，需要分析这种具体的算法行为是属于歧视性算法还是属于歧视性杠杆［7］。从而判断算法的使用者或者设计者对自身的产品或服务是否附加了歧视性的算法在其中。

在当前的法律中，这一思路能够一定程度上对算法歧视进行认定。但是，随着算法随时代不断变化这一趋势，我们可以尝试通过一些原则性的认定标准，来更好地对算法歧视进行认定，具体而言：一是差别性的影响标准。通过观察算法的最终结果是否产生了差异性的影响，而在此过程中，不需要考虑算法的使用者或设计者是否有歧视意图。二是不同待遇标准。当算法的使用者或设计者有主观的歧视故意时，通过不同的待遇标准来对算法歧视进行认定。

将两者进行综合考虑，显然前者的认定标准更有利于算法主体来维护自身的合法权益，在算法歧视中，使用者或设计者的主观意图具有很强的隐蔽性，往往不会表现出强烈的意图，这使得对其认定十分困难。在不强调使用者或者设计者是否存在歧视意图的前提下，重视算法所产生的结果是否具有歧视性，能够对司法和实际的审查提供更好的参考价值。

（二）算法歧视的民事责任

随着算法决策在日常生活中的广泛应用，算法歧视也引起了普遍的关注。从时间维度的角度上来看，目前学界应对算法歧视主要有事前预防和事后救济两种模式。显然，事前预防较之后者更为重要，但是在欠缺统一标准的情况下，事前预防这一举措会受到很多的限制。为此，在传统民事的框架下，通过事后追责的救济模式，是最为可行的方式。

自动化决策，是指计算机算法依据个人信息进行自动化决策。在此过程中，算法的使用者或设计者违反了相关的义务，应当承担相应的民事责任。

1.违法性。个人信息的处理者或设计者在自动化决策中，一旦违反了法定义务，就具备了违法性，反之，如若是依法进行的自动化决策，即使产生了损害，也不承担相应的责任。具体而言：一是违反了公平合理性。这是基础性的要求，行为者在自动化决策中，没有履行相应的告知义务，导致了不公平的后果，造成了个人权益的损害。二是提供了个人特征的权利选项。使用者在商业活动中，向不特定的公众在选项中提供了真实且具有可识别性的个人特征，而没有进行隐私保护。三是没有提供拒绝方式。个人没有办法拒绝行为者在此过程中所提供的商业推送或服务，使用户无法依据自身的真实意思表示而进行拒绝。四是未经信息主体同意，公开决策结果。未经个人同意的授权，向公众公开了自动化决策的个人信息，具有违法性。五是泄露个人信息的决策结果后未采取补救措施。一旦个人信息泄露，行为者必须及时采取补救措施，防范风险的进一步扩大，未及时通知相关部门和权利主体的，可认为具有违法性，没有履行有关的义务。

2.损害事实。自动化决策的行为主体在实施了相应的违法行为之后，造成了权利主体的利益受损，就产生了相应的损害事实，其中包括财产利益和精神利益。一方面，财产利益的损失可依据行为主体所拥有的财产和因其自动化决策所获利益来进行判断。另一方面，精神利益的衡量则可以依据《民法典》第一千一百八十三条的“严重损害”来进行判断。

3.因果关系。在利用自动化决策，造成算法歧视的案件中，应适用“相当因果关系说”。即自动化决策中的行为主体利用自动化决策实施了某种违法行为，造成了某种损害后果，同时自动化决策主体正好实施了此种行为，且造成了该种后果。则两者之间具有因果关系，成立该要件。

4.主观过错。这是其主观要件，当权利主体要求自动化决策的行为者承担赔偿责任时，适用过错推定原则。通常情况下，自动决策的行为主体在其决策过程中，无视了权利主体的合法利益，实施了违法行为，放任了结果的发生，在主观方面具有过错。反之，如若行为人证明了自身已经尽到了合理的注意义务，则无需承担责任。