人工智能下算法歧视审查机制的建立构想

徐承栋

（山东建筑大学，山东 济南 250000）

一、算法歧视的概念界定与基本类型

（一）算法歧视的概念

随着计算机和信息技术的广泛应用，人类已然步入了大数据时代，以算法（Algorithm）为核心的人工智能正深刻改变着人们的生活。算法是计算机程序运行的数学公式，如果将人工智能视为大数据的输入与数据分析结果的输出，那么算法就是将输入值（Inputs）转化为输出值（Outputs）的关键步骤。［1］

算法歧视（Algorithmic Discrimination）指由数据分析导致的对特定群体的系统性的、可重复的不公正对待。［1］不同于一般的歧视，一方面人与人工智能之间的交互联系并非依靠人类的惯有逻辑方式，导致算法歧视难以预测；另一方面，由于人工智能技术主要依靠专业的计算机技术，难以实施有效的安全保障，因此对于算法歧视的监管也更加困难。

（二）算法歧视的基本类型

目前，算法歧视的类型主要包括以下三种。

1.特征选择的歧视。这类算法歧视一般将敏感特征数据直接输入算法系统，系统进而强化这种固有偏见，这是传统歧视方式在人工智能中的一种体现。

2.关联歧视，又称偏见代理的算法歧视。这类歧视通常具有较强的隐蔽性，算法决策者并不一定具有发生歧视结果的主观目的，决策者有可能使用了客观中立的数据，但这些客观中立的数据相互组合最终却导致了歧视结果的产生。

3.算法杀熟，即人们熟知的大数据杀熟。这种歧视一般体现为特定推送和价格歧视，计算机通过对个人历史数据记录的记忆学习，从而较为隐蔽地对不同群体进行区别对待。

二、算法歧视审查机制建立的必要性

（一）“算法黑箱”加深歧视

佩雷尔和埃尔金科伦认为，“算法在很大程度上就是一个黑箱子，普通人根本不知道算法决策是如何出来的，也不知道算法决策依据的具体数据和遵循的决策原则是什么”。算法本身具有较高专业性和技术复杂性，这意味着算法内容难以公开透明，而现实中除了少数算法决策者之外，一般的相对人无法了解算法的设计运行流程，造成信息过度不对称，这导致普通个人不得不依附于算法精英，双方的权利失衡最终形成“数字鸿沟”。由于算法黑箱的存在，算法决策很难被审查、质询，人们受到算法歧视后，也难以获得有效救济。［2］

（二）审查标准尚未明确

平等权作为一种价值秩序的同时，更应当是一种由个人可以向国家主张的权利。［3］从法理学角度而言，存在歧视意味着平等权的缺失。基于宪法意义上对平等权的保护，结合我国目前的司法实践，法院对于以姓名、性别等要素为主的反歧视案件审理较为常见，然而算法歧视因其本身复杂的技术构造，对于不同的算法歧视往往难以形成明确的审查标准，这严重阻碍了法院对于具体案件的进一步审理。算法歧视的审查标准在一定程度上是对个体平等保护的反映，如果审查标准存在模糊，人工智能系统中的“偏差”难以被察觉，最终导致算法歧视的恶性循环，受歧视群体将会遭受更大的权利风险。

（三）监管治理困难重重

我国目前对算法歧视的规制方式主要采取政府规制和行业规制两种。政府规制主要是借助法律法规、国家政策，指引人工智能技术走向正确的发展方向，对于侵犯隐私、数据滥用行为进行惩戒，是一种他律性规制；行业规制则是依托于算法数据可靠性原则，即算法的设计者需要对基础数据的来源及可靠性进行说明，并且不得使用来源违法的基础数据、敏感性数据和产生歧视性后果的数据。［2］在我国主要体现为知情同意原则的应用，即信息处理者在对个人信息进行收集利用时必须经过用户的明确同意，是一种自律性规制。但在实践中对于算法歧视的监管治理方式仍然亟待完善，例如企业利用掌握的数据信息对用户进行分类，进而采取差别化对待以寻求更大利益，这并没有违背隐私政策，但却无疑在一定程度上产生了算法歧视。

三、算法歧视审查机制建立的路径构想

（一）引入技术性审查环节

为了保障人的权益，应当加强法律对技术的归化。［4］算法歧视的产生与运行主要由三个问题引发，即算法内置性编码凝视、训练样本数据偏差、算法计算领域的黑箱。［5］因此对于审查机制而言，引入技术性审查环节的必要性不言而喻。以算法黑箱为例，由于算法决策缺少透明性和可解释性，一般的相对人无法了解算法的设计运行流程，最终导致算法决策者与一般相对人出现权利失衡，如果算法审查缺少技术性环节，同样会面临无法揭示其内在因果关系的窘境。算法审查不可能将所有算法都纳入审查范围内，也不可能实现全部算法的透明化与可解释化，因此从技术层面规制算法歧视，不仅需要开发具备反歧视意识的算法技术，更需要将法律化的技术伦理内化于算法技术之中。［6］

（二）明确审查标准

基于算法歧视的最大特点在于隐蔽性，因此可以根据不同类型的算法歧视明确不同的审查标准。

1.特征选择的歧视——差异性对待标准

在特征选择的歧视中，常常将种族、性别、宗教等敏感特征数据直接输入算法系统，系统进而强化这种固有偏见，歧视者主观上具有明显的歧视意图。因此对于这类歧视的审查可以采取差异性对待标准，即通过判断对不同主体对待上的差异是否符合正当性，进而得出是否存在算法歧视的结论。

然而值得警惕的是，并非所有的特征选择歧视都依赖于较为敏感的特征进行区分对待，算法决策者还可能通过公然替代因素（Blatant Proxy）进行差异化分类，使歧视更具有隐蔽性，不易被察觉。例如美国禁止种族歧视，算法设计者采用邮政编码作为种族的替代因素，通过邮政编码来辨别和筛选是白人或黑人。

2.关联歧视与算法杀熟——差异性影响标准

对于算法决策者并不一定具有主观歧视意图，算法设计未必没有中立的关联歧视与算法杀熟而言，审查的重点在于判断对不同主体影响上的差异是否符合正当性。但应注意的是，法律上并不否认合理的差别对待，因此对于该差别影响是否符合正当性可以参照“合理、必要、合比例”的判断依据。

（三）建立专门审查机构

目前我国主要是由网信办负责互联网信息管理工作，针对算法歧视的复杂性，可以在网信办中设立算法审查委员会，从事前、事中、事后三个阶段以健全监管机制。

1.事前备案。即专门机构认真听取算法设计者提供的算法决策理念、内容、依据的说明，并实行备案制度。

2.事中监督。即专门机构在算法实施的过程中应做到不定期地抽查检验，起到早发现、早纠正的良好监督效果，降低忽略算法错误的可能性。

3.事后问责。即专门机构应当对受歧视群体的算法质疑，并进行必要的解释说明，拓宽算法歧视的申诉渠道，构建完善的算法歧视问责机制。

四、结语

算法自动化决策是一把双刃剑，正以惊人的速度改变着人们的当下和未来，目前我国尚处于人工智能的草创阶段，还没有形成完善的算法歧视法律规制体系，也缺少与信息社会相适应的制度保障。身处以算法为中心的世界，法律人当以更开放的思路规制算法歧视，探寻人工智能的治理之道。