破解公权力领域的算法歧视：权力正当程序的回归

2022-11-01 06:44胡晶晶

知识产权 2022年4期

胡晶晶

内容提要：算法排他权通过赋予私人市场独占期来换取对算法的行政监管，以期克服公权力领域算法歧视问题。但其关于算法透明和5年算法保护期的做法不可行；其旨在平衡公共利益与算法拥有者私人利益的尝试不合理。其实质是借私权外衣来维护公共利益，这混淆了公私法界限，不符合公法介入私法的正当性标准。破解公权力领域算法歧视的关键不在于技术层面如何避免形成歧视性算法决策，而在于权力层面如何避免歧视性算法决策上升为算法权力。公权力领域算法权力的特殊性（公权力属性和权力生成的间接性）为其正当程序的构建提供了基本思路：算法权力须纳入公权力运行轨道中，算法须始终保持工具地位，公权力机关须始终掌握对算法决策的质疑和否定权，只要阻断歧视性算法决策向算法权力转化，算法歧视问题便迎刃而解。

引言

早在20世纪50年代，算法自动化决策就开始应用于政府行政部门。近年来，算法在我国公权力领域的应用也日益常态化。2019年1月，国务院办公厅印发了《关于全面推行行政执法公示制度执法全过程记录制度重大执法决定法制审核制度的指导意见》，其中第17条就明确要求“要积极推进人工智能技术在行政执法实践中的运用，研究开发行政执法裁量智能辅助信息系统”“有效约束规范行政自由裁量权，确保执法尺度统一”。

公权力部门应用算法自动化决策辅助行政决定或司法裁判、预测调配资源，算法技术与公权力由此紧密结合在一起。算法在增强公权力运行效率的同时，也引发了人们对算法歧视的警惕和担忧。政策辅助系统或司法智能系统自动输出的决策可能会导致权利分配不公平，对不同群体造成区别对待或影响，此即算法歧视。如果歧视性算法决策得不到纠正，算法决策会不断重复和加深对特定人群的歧视，损害其公民权利，引发更深层次的社会问题。

针对算法歧视问题，学界提出了多种解决方案。从最初的“算法技术监督路径”到“算法权力规制路径”，学者的视角从表层的技术转向了其背后的权力。近期出现的算法排他权主张则试图将市场垄断与技术监管相结合来制约算法权力。

本文聚焦于公权力领域的算法歧视问题，在分析评价算法排他权的基础上，揭示公权力领域算法权力的特殊性，并厘清歧视性算法决策与算法歧视之间的关系，进而指出算法权力回归正当程序才是该问题的破解之道。

一、算法技术规制的创新：算法排他权制度的困境

针对算法应用于公权力领域而产生的算法歧视问题，有学者指出构建算法透明度和算法可解释规则的方案都存在着缺陷，主张将药品数据的管制性排他权移植到算法保护中，允许算法拥有者以公开算法（源代码备案）为代价来换取5年的市场排他权，从而增加算法透明度，克服算法监督困难。该制度追求算法透明和算法拥有者个人利益最大化的双重目标。其试图兼顾公共利益与私人利益的初衷值得肯定，但结果可能适得其反。以行政手段干预市场竞争，刻意制造市场垄断的做法，既不利于算法创新，也无法有效维护公共利益。

（一）算法排他权不可行

算法排他权不可行的理由有二。第一，算法排他权追求算法透明这一目标，但回避了两大难题：算法透明在技术上难以实现；算法透明不等于算法可解释性。第二，算法排他权为算法统一划定了5年保护期，但这种“一刀切”的做法无法适应算法的技术发展要求。

算法透明的实现有两种技术方式：一是主动公开，即开发者将算法所涉及的数据和步骤进行全面具体的公开；二是被动公开，即采取反向工程破解算法。但无论何种方式，都不可能完全打开“算法黑箱”（Algorithmic Black Box），公开所有的算法运行细节。

在客观方面，具有深度学习能力的算法不再是纯粹的工具，而是逐渐形成了自己的“生命力”。即便是制造算法的技术人员也不能完全知晓和掌握该算法自行生成的内在逻辑和步骤。为了完成模型拟合的任务，算法会不断地自我进化，自动生成越来越复杂的模型变量，变得更加错综复杂和不透明。算法黑箱只能依靠不断试错来破解，但鉴于模型和数据的无限可能性，逐一试错排查并不现实。

在主观方面，算法拥有者通常拒绝公开算法。即便公开数据和算法步骤，也可以通过刻意掺入大量的无用信息来制造数据废墟，致使公布的信息数量庞大且质量良莠不齐，要从中发掘出这些重要信息并非易事。算法开发公司有足够的动机采取这种策略，因为对于他们而言，其核心算法是实现商业成功的重要“秘密武器”。

即便我们假设算法透明在技术上可以实现，算法歧视问题也不会迎刃而解，因为算法透明不等于算法可解释。“看见”不等于“理解”。普通人难以理解算法，不仅因为计算机程序本身极为专业复杂，而且因为大数据的逻辑关系是相关性，而非人们所熟悉的因果性。公开也不等于公正。算法透明未必能带来算法公正，反而会破坏算法拥有者的核心竞争力，损害创新动力，社会进步也随之放缓，最终企业的私人利益和公共利益将两败俱伤。

之所以将算法排他权期限设置为5年，是因为算法开发者需要一定的排他期限来获取足够的经济回报以激励创新，而过长的保护期又不利于算法竞争和创新。然而，这种事先的立法安排可能与现实相脱节，理由如下。

第一，不同算法更新换代的速度不同，统一划定5年保护期的潜在假设是，所有类型算法的商业价值期都是5年。但事实显然并非如此。

假设某种算法在现实中已被其他算法所淘汰而丧失了商业价值，但其仍处在排他权保护期内，那么就会出现以下矛盾：根据财产理论，丧失了利益性要件的算法就应同时丧失其财产地位；而根据算法排他权制度，该算法却仍作为一种法定财产权继续存在。该矛盾对于权利人和公众都无益处。由于丧失商业价值，该算法必然被权利人闲置；由于排他权的有效性，该算法又无法为公众免费利用，信息流动将受到限制。再者，算法排他权的制度设想未涉及权利保护的例外与限制，那么，只要算法尚处于排他权保护期内，他人出于个人学习、科研和实验等非营利性目的而使用该算法也必须向权利人寻求许可并支付许可费。

相反，假设某算法仍具有高经济价值，但排他权保护期已届满，那么，一旦发生侵权纠纷，该算法既无法继续接受算法排他权的保护，也无法作为商业秘密来寻求反不正当竞争法的保护。因为算法排他权是以公开算法换取排他地位，已公开的信息不可能重新回到保密状态。

第二，既然统一设置保护期的做法缺乏合理性，那么，能否根据不同算法各自的商业价值期限来设置不同保护期呢？该做法看似合理，但缺乏现实可操作性。技术日新月异，市场又充满不确定性，即便是专业技术人员恐怕也很难预测某个算法的商业价值究竟可以存续多久。

相比之下，更实际有效的做法是令算法排他权期限随着算法技术的市场价值而灵活变动。每个权利人都会主动根据算法的利益存续状态来制定保密策略。当特定算法技术面临被淘汰时，权利人为了节约成本，自然会解除对该算法的保密措施。该算法便进入公共领域成为一种公共信息。在此之前，保密措施使得算法具有天然的排他效力。可见，相较于有明确保护期的算法排他权而言，无固定保护期的商业秘密制度更适合算法保护的需要。

（二）算法排他权不合理

算法排他权根本上是知识产权领域的一种制度创新，但从制度目标到具体架构都不符合知识产权法理。

首先，知识产权的根本逻辑是，通过赋予私人一定期间的排他权，最终来实现创新或维护市场竞争秩序的公共利益目标。算法排他权表面上也符合这一逻辑，但实则相去甚远：不同于知识产权将公共利益作为间接达成的终极目标，算法排他权将公共利益作为直接目标，实际上扭曲了私权理念。其次，知识产权具有公法特点，公法介入私法本身虽具有一定合理性，但算法排他权并不符合公法介入私法的条件。再次，算法一旦公开极易被竞争者“算计”（Gaming），权利人的损失可能超过收益，知识产权的激励机制难以达成。最后，将算法纳入监管就能有效维护公共利益吗？这值得商榷。

算法排他权是参照药品领域管制性排他权而设计的。管制性排他权的基本内容是，在一定期限内，产品上市主管机关不得根据原研药的临床试验数据来批准仿制药的上市申请。由此保障原研药生产者在这段期限内享有市场独占地位，提高其创新回报，实现激励效果。该权利依赖于行政审批程序。权利相对人是行政审批机关，而非原研药生产者的竞争者。但该权利的内容是对私人经济利益的维护，因此性质上仍属于私法上的民事权益。并且，管制性排他权是一种新型的知识产权类型，同时具备“准专利权”“准商业秘密”“财产权”多种属性。

管制性排他权和算法排他权的基本思路都是：通过行政审批来限制竞争者参与市场竞争，制造权利人的市场垄断地位。值得注意的是，两种制度分别针对医药产业和互联网技术产业，巨大的产业差异从根本上决定了：如果直接将医药领域的制度框架套用于算法领域，将难以期待获得相同效果。

医药创新需要付出巨额成本，有必要通过制度安排来保障其成本回收和盈利，否则新一轮医药开发将难以展开。现实中，药品专利保护期已届满，但新药开发者可能还没能收回成本的例子并不少见。管制性排他权的意义就在于，延长新药的市场垄断地位，帮助其收回开发成本以开展新一轮药品创新活动。

互联网技术开发当然也有成本，但通常不会面临像医药产业那样如何收回高额成本的问题。也就是说，对于算法开发者而言，提供垄断地位的现实必要性并不成立。恰恰相反，如果赋予某算法垄断地位，最终可能出现对创新的反激励效果。中国互联网企业寿命平均是3至5年，获得算法保护期可能意味着一劳永逸，至少权利人缺乏改进该算法的动力。算法排他权也使竞争者望而却步，因为算法市场将被他人垄断5年意味着已经没有竞争余地。

医药适合专利保护，而算法更适合商业秘密的保护模式。在医药领域，医药制造的信息公开后，竞争者即便试图搭便车也需要付出高昂的成本，从生产到上市都需要耗费大量时间和资金；而相同的情况却不会发生在互联网领域。某互联网公司公开其算法后，竞争者在抄袭基础上替换个别代码就能形成新算法，侵权不易发现且难以举证。

上述分析也反映出，管制性排他权的内在逻辑与传统知识产权一致，都是帮助权利人提高市场收益以激励创新。算法排他权表面上也符合专利法“以公开换垄断”的逻辑，即赋予权利人垄断地位以激励创新；作为代价，将算法纳入备案监管以实现算法透明。然而，事实却恰恰相反：算法透明才是真正的目的，给予权利人5年垄断权是为了补偿算法透明的负面效果——权利人因算法公开而丧失竞争优势，并面临竞争者搭便车的威胁。

此外，从效果看，该激励机制无法达成，算法透明也并不必然有利于公共利益。下文将予以详述。

可见，无论是从制度目标还是实际效果来看，算法排他权实际上已经脱离了私法语境，进入了以管制为目标的公法领域。即便算法排他权在一定程度上符合近年来知识产权领域私法公法化的趋势，但这本身并不足以证成算法排他权的制度正当性，而需要进一步考察算法排他权是否符合私法公法化的基本要求，以及在算法的法律规制问题上，公法是否有必要介入私法领域？

私法公法化趋势本身具有合理性。在民法现代模式中，以个人为焦点的社会经济伦理已不再通用，民法的社会责任主义逐渐兴起。法律价值多元化便是支撑私法公法化的一个重要依据。私法以自治为核心理念，以自由为根本价值追求，但秩序、安全和正义等价值要素自始至终都在私法的价值要素中占有十分重要的地位。知识产权领域私法公法化的正当性就在于，在维护私人利益的同时促进公共福利，实现私人自治和公共管制的双重目标。该趋势突出表现为，知识产权法中公法规范类型化扩充，从而增进知识产品的社会效益。由此看来，算法排他权的出现也是知识产权公法化趋势的一种表现。

现实中算法被作为商业秘密保护，由此产生了算法商业秘密的私人利益与算法不透明背后的公共利益之间的冲突。此种冲突突出表现为算法歧视。算法排他权的前提正是，目前完全由私法来调整算法法律关系的现状应得到改变，因为这种调整方式下，算法权利人的利益实现是以公共利益受损为代价的。为了纠正这种利益不平衡，通过行政手段干预市场，借助算法排他权人为设定5年市场垄断期，这本质上就是一种公法介入私法的方案。

不可否认，算法商业秘密与公共利益之间存在一定冲突。一方面，只要符合商业秘密的构成要件（采取保密措施、秘密性和商业价值性），任何算法内容，无论是算术运算、逻辑运算、关系运算，还是数据传输指令、赋值运算、指令系统，都可以成为商业秘密。2020年9月公布的《最高人民法院关于审理侵犯商业秘密民事案件适用法律若干问题的规定》就将算法纳入了技术信息范畴。算法商业秘密的法律地位得到肯定。商业秘密保护扩张至算法，反映了信息社会维系商业道德和商业秩序的需要。商业秘密与算法黑箱各自在法律和技术层面的不公开性叠加在一起所产生的不可知性，引发了人们对算法歧视的担忧。例如，在2016年美国卢米斯案中，法院以保护商业秘密为由拒绝公开COMPAS风险评估工具背后的评估方法，而被告认为，法官依靠自动化决策结果对其量刑的行为侵害了其正当程序权利。

但对于这种利益冲突，应避免绝对化、简单化地理解，毕竟私人利益与公共利益总是交织在一起，只要私权行使不超过其权利边界，他人就有容忍的义务。公众是由无数个体组成的，如果一味追求维护公共利益而限制私权行使，那么，公共利益的基础也不复存在。仅当私权行使严重影响公共利益，而私法规则对此却无能为力时，公法的介入才具备必要性。

就商业秘密而言，其公共利益限制主要针对危害国家安全或公共安全、影响公共健康等具有违法性、危害性和必要性的情形。算法黑箱对公共利益的威胁主要在于公民基本权利（如知情权等）层面，而较少涉及国家社会层面的公共安全或健康。再者，鉴于宪法权利的司法适用普遍缺乏具体的适用条款，即便要追究算法黑箱对公民基本权利造成的损害，在司法实践中也难以获得支持。

商业秘密本质上是商业公司的私人利益，如果要求作为私权的算法商业秘密为了维护算法透明所代表的公共利益而放弃自身诉求，那么公共领域与私人领域的界限、公权力与私权利各自的行使方式都将混淆不清。

退一步讲，即便算法歧视极大地损害了公共利益，算法排他权提供的解决方案也缺乏合理性。面对利益冲突问题，算法排他权与其说协调兼顾了两种利益，不如说进行了利益取舍：牺牲个人利益以维护公共利益。对于算法权利人而言，算法排他权为其带来的损失（算法公开导致丧失核心竞争力）大于其获得的经济收益（通过行政限制而获得的市场垄断利益）。

算法排他权本质上是以私法手段（知识产权类型创设）追求公法目的（维护公共利益）。该价值取舍态度恰恰是私法公法化最应当警惕的。公权力的介入应保持谦抑，因为私法公法化是公权力对私权的强限制，过度介入会戕害私法自治。公权力只在私权自治的外围参与社会治理，而不得以“公共利益”的名义影响私权的自生自发秩序，否则，应当对私权主体进行补偿甚至赔偿。而算法排他权以监督算法的公共利益为由对算法市场进行强行干预，限制市场竞争，已经超出了不影响私法秩序的合理限度。

从结果上看，政府介入和干预市场本身就存在政府失灵的风险，对于算法排他权而言，这种危险更容易兑现。国家机关及其工作人员同样有寻求自身利益的行为目标，这与知识产权法公法化所追求的公共利益目标并非始终一致。根据公共选择理论，只要知识产权运营蕴含着获利机会，知识产权法公法化就必然隐含着公权力滥用的风险。算法排他权本质上是一种行政机关赋予的独占市场的特权。哪种算法可以进入市场，主要取决于哪个算法开发者率先向行政机关提出申请。由此一来，同一时期最先进的算法技术可能因申请延迟而被排除在市场之外。

从更宏观的视角观察，5年算法垄断期即便能满足公民知情权的公共利益需要，也会使其他公共利益遭受损害。一方面，互联网技术发展迅猛，获得排他权保护的算法可能应用未满5年就已经过时，难以与同期其它先进系统相兼容。这必然极大地影响公权力机关的办事效率和准确性，不仅浪费公共资源，给公众造成不便，甚至可能危及公共秩序。另一方面，其它更先进的算法在5年内无法应用于某公权力领域，那么该算法就缺乏大数据作为学习基础，进一步的深度学习和算法迭代就无法实现，阻碍算法技术创新。以上种种难道不是对整个公共利益的更大损害吗？

此外，有研究显示，算法公开可能与国家安全、社会秩序和个人隐私等私主体权利发生冲突。如果算法歧视问题的解决需要以牺牲更高位阶的价值为代价，那么算法排他权在维护公共利益的问题上可谓是“捡了芝麻丢了西瓜”。

总之，算法排他权试图通过私权设置来达成公法的调整目标：维护公共利益。这表面上顺应了知识产权领域私法公法化的潮流，实际上却逾越了公法介入私法的边界限制，以“私权保护”之名行“行政监督”之实。毕竟，私法公法化只要求公法“辅助或补充”私法，而绝不意味着公法“替代”私法或者公私法混为一谈。

如上文所述，算法排他权是知识产权领域的一种制度创新。知识产权制度最重要的理论依据是，激励市场主体投资知识财产的创造活动，那么，激励机制在算法排他权制度中能否达成呢？

从传统知识产权的视角看，算法排他权与专利权比较相近。专利权是以信息公开换取独占使用地位，但独占使用地位未必能带来市场排他；而算法排他权是以信息公开直接换取市场排他效力。前者赋予权利人的仅仅是一种市场竞争优势，而后者相当于直接把市场垄断的“蛋糕”划分给权利人。

如前所述，中国互联网企业的平均寿命并不长。对于一个获得了算法排他权的中小型互联网公司而言，他们无需参与市场竞争，从而缺乏持续技术创新的动力。对于大型互联网公司而言，如果选择算法排他权来保护其算法，则必须放弃商业秘密保护，由此产生的损失可能超过5年市场垄断期带来的利益。

算法排他权的论者明确指出，该制度不具有强制性，且其建立并不排斥算法拥有者寻求商业秘密法的保护。这并不意味着，某算法可以同时享有排他权和商业秘密的保护，而应理解为，算法拥有者有权在两条保护路径中进行选择。

如果算法拥有者选择了算法排他权，就必须向行政主管机关申报，并披露算法的编写思路和源代码。获知算法源代码的行政机关及其工作人员并没有保密义务，一经披露，算法商业秘密就丧失了保密性以及由此形成的天然排他性，成为公共产品。可见，正如专利权与商业秘密之间非此即彼的关系，选择算法排他权就意味着放弃算法商业秘密，算法将丧失保密性及其附带的天然排他性，而算法排他权的拟制排他性却无法阻止竞争者“搭便车”。

算法是企业的核心竞争力，一旦算法公开或向相关主体解释，就可能引发“算计”问题，侵权风险就会由此滋生。对于算法排他权的竞争者而言，算法披露使得“抄袭（复制）”轻而易举，并且难以被发现。算法是抽象的逻辑思维，抄袭者只需要替换或删除个别程序或步骤，就可以轻易地规避侵权，并且，抄袭者自然会对基于侵权而形成的新算法采取保密措施，由此令侵权行为无迹可寻。

对于算法开发者而言，算法排他权最诱人之处在于5年的市场独占期。而事实上，大多数公共服务部门都存在着技术依赖现象，一旦开始应用某种算法，就会长时期使用下去，因为更换系统可能会带来与原系统的对接兼容问题以及成本问题。这种事实上的技术垄断效应持续的时期可能远远超过算法排他权的5年期限。

综上，知识产权领域传统的以信息公开为基础的激励机制无法用于解释算法排他权的合理性。对于算法开发者而言，面对算法排他权与算法商业秘密这两种保护路径，最佳选择仍然是后者。算法商业秘密能确保权利人享有一定的市场竞争优势，直到算法过时而丧失价值性；而算法排他权则使权利人自公开之际就失去了算法原本能带来的竞争优势，损失大于收益。若真正创设算法排他权制度，恐怕其无用武之地，反而徒增制度创设成本。

算法排他权的制度目标是，通过备案将算法纳入行政监管，由此实现算法透明并解决算法歧视问题。但这一推理过程并不能成立，因为算法监管能否完成向算法透明再到算法正义的飞跃，具有极大的不确定性。

（1）从算法监管到算法透明

算法排他权要求权利人将“算法源代码提交行政机关备案并对不存在算法歧视予以说明”，这一做法能实现算法透明吗？

将算法纳入行政监管确实可以实现一定程度的算法透明。例如，2018年中国人民银行等部门联合发布了《关于规范金融机构资产管理业务的指导意见》，该意见要求金融机构运用人工智能技术开展资产管理业务时，应当向金融监管部门报备人工智能模型的主要参数。这意味着算法透明得到了一定程度的贯彻。

但通过算法监管实现的算法透明比较有限。随着算法不断进行深度学习，计算模型将越来越复杂，即便是算法的开发者都难以解释，监管人员自然更无法理解具体的算法程序。此外，算法监管缺乏现实性，因为算法代码往往庞大且复杂，对其进行逐条审查、全面测试需要耗费高昂的成本。

（2）从算法透明到算法正义

人们倾向于相信“眼见为实”，将“看见”置于“理解”之上，在这种信息公开的虚幻中，又理所当然地把公开等同于公正。事实上，算法透明本身不等同于算法的可解释性。如果缺乏可解释性，那么算法透明本身并无意义。

即便算法监管到算法透明已达成，从算法透明再到算法可解释性的跨越也难以实现，这是由算法自我深度学习和迭代的复杂性，以及大数据天然的特殊逻辑关系共同决定的。即便技术人员能理解并解释算法，受决策影响的个人或公众也很难理解计算机代码和算法对数据的处理方式。因为人类理解世界的逻辑与大数据的逻辑无法契合。人们主要通过因果关系了解世界，但大数据力图发现的并非因果关系，而是相关关系。也就是说，基于大数据的算法与可解释性要求各自有着完全不同的逻辑。

二、算法决策、算法权力与算法歧视

尽管算法排他权的论者也承认，算法歧视问题根本上是算法权力规制的问题，但其制度设计却并未围绕算法权力展开，仍停留在如何实现算法运行透明的技术层面。事实上，无论是算法透明还是算法排他权，都是从算法歧视产生的技术性原因出发来寻求解决途径。这一思路将歧视性算法决策直接等同于对人造成负面影响的算法歧视问题，未能认识到算法决策首先须转化为算法权力，才有可能进一步引发算法歧视。

本文认为，算法歧视根本上是动态的权力运行问题，而非静态的技术问题。技术层面的歧视性算法决策与权力层面的算法歧视不能等同视之。二者的严格区分对于解决公权力领域的算法歧视问题至关重要。

（一）技术层面：歧视性算法决策

技术领域的算法偏向与权力运行层面的算法歧视表面上相似，二者相关，但并不等同，也并不必然具有因果关系，前者未必会引发后者。对于算法而言，一定程度的“偏向（对标准的偏离）”必不可少。如果算法模拟的决策总是与标准保持一致，那么该算法输出的决策毫无意义。但算法偏向未必会导致算法歧视。算法的偏向程度超过合理限度时会引发算法歧视，至于何种程度的偏向才算得上是算法歧视，虽然可以依靠技术上的检测标准来衡量，但检测准确性总是难以评判。毕竟“歧视”是一个杂糅了文化、社会、道德观念和时间因素的概念，是一种带有强烈主观色彩的价值判断。“价值判断”不可避免地需要对不同类型和不同群体的价值进行排序，不同主体从各自的立场出发可能会作出不同的回答，总会有一部分群体认为某一决策结果对他们而言是不公正的，尤其是那些直接受到算法决策影响的个体/群体往往容易产生被歧视的怀疑心理。

可见，算法偏向是算法固有的技术特征，算法决策必然带有一定的“偏向性”，而“偏向”是否达到“歧视”的程度，不存在客观标准。因此，要想得出完全中立的算法决策在技术上不可能实现。进一步，算法歧视源于歧视性算法决策，既然后者在技术上无解，那么从技术层面寻求破解前者的思路也就行不通。

很多研究将算法歧视归咎于算法的“不透明性”。算法透明的内在假设是，只要公开算法运行过程，就能避免算法输出不公正的歧视性决策。但这一假设并不现实。“不透明”是算法技术的固有属性，算法深度学习的特性决定了，算法黑箱无法被打开。因此，即便多数人认为某种算法决策确实带有“歧视性”，也因无法打开算法黑箱而无法探明“歧视”发生于哪个技术环节，进而无法从根本上确保算法决策输出多数人满意的公正结果。

结合算法排他权来分析，它本质上是对算法透明的修正，仍未脱离算法透明的基本思路，即要求算法运行过程公开透明以保证输出结果不偏不倚。要实现这一思路，算法运行就不能偏离标准，且运行过程须公开透明。也就是说，算法固有的两个技术特征——算法偏向和算法黑箱——必须被改变。而丧失这些特征的算法显然无法完成处理大数据进行深度学习的根本使命。

如果我们承认法律介入技术的前提是尊重技术本身的独立性和中立性，那么，我们在享受算法自动化带来便利的同时，也应当接受算法偏向和黑箱可能产生的副作用。否则，如果非要扭曲算法的固有属性，算法的进化迭代便无从谈起，技术创新和社会进步将不得不放慢脚步。

（二）权力层面：算法歧视

算法自动化决策本身是一种技术，当该决策开始影响或控制人的想法或行为，具备资源调配能力时，算法就从单纯的技术转化为一种实质意义上的权力，即算法权力。在人尚未接触到算法决策时，算法决策仅仅以静态的客观事实而存在。此时即便算法输出结果带有歧视性，也不会对人造成影响或形成控制力，对人的歧视性后果无从发生。可见，算法决策转化为算法权力的必要条件是，算法决策与人或资源发生接触；歧视性算法决策要转化为算法歧视，也必须以存在这类接触为前提。

事实上，歧视性算法决策与算法歧视这两个概念有必要予以明确区分。算法歧视是歧视性算法决策作用于个体或群体的后果。歧视性算法决策源自技术上的诸多不可控因素，是算法偏向的极端表现；而算法歧视本质上是权力滥用的结果。

商业领域的算法权力天然缺乏约束，因为它直接作用于人。其形成过程可以概括为：歧视性算法决策→（接触人或资源后形成）算法权力→（动态运行）算法操纵→（操纵结果）算法歧视。

而公权力领域的算法权力则间接作用于当事人，它受到公权力机关的控制和约束。只有经过公权力机关认可后，算法决策才能以公权力的形态影响当事人。此时的算法歧视形成过程可以概括为：歧视性算法决策→公权力机关认可→（接触人/资源而形成）算法权力→算法歧视。

在明晰了二者的差异后，便可知并非所有的歧视性算法决策都必然引发算法歧视。只有当前者转化为了算法权力且缺乏有效限制时，算法歧视才会滋生。在公权力领域，如果算法自动生成的决策带有歧视性，公权力机关发现并避免了该决策转化为最终决策，那么，影响行政相对人或诉讼当事人的算法歧视便无从产生。

因此，解决公权力领域算法歧视问题的关键并不在于技术层面如何避免产生歧视性算法决策，而在于权力层面如何避免歧视性算法决策直接作用于人或资源从而形成算法权力。

三、算法权力规制的回归：算法正当程序

公权力领域的算法权力具有公权力属性，因此仍应遵从公权力运行的基本要求：正当程序原则。当出现算法歧视时，相对人/当事人有权提出质疑或寻求申诉，此时被审查的对象并非单纯的算法决策，而是算法决策参与构成的最终的公权力决策；审查关键也并非算法决策的技术运行过程是否透明，而是公权力决策过程是否公开透明。

（一）公权力领域算法权力的特殊性

相较于商业领域的算法权力，公权力领域的算法权力有两方面特殊性：（1）权力生成的间接性；（2）公权力属性。

从上文可知，不同于商业领域的算法权力直接作用于人或资源（算法决策→算法权力），算法权力在公权力领域的生成具有间接性。商业领域的算法实际享有“决策者”的地位，而公权力机关在大多数情形下仅将算法作为辅助决策的工具，算法决策是否以及在多大程度上参与到最终决策中，都由公权力机关决定。这意味着，算法自动化决策并非直接作用于人或资源，在算法决策接触到公民而转化为算法权力之前，需要经过公权力机关的认可或过滤。亦即：算法自动化决策→公权力机关认可或过滤→算法权力。

经过公权力机关认可或过滤的算法决策便以行政命令或司法裁判的形式作用于相对人/当事人。有学者将这一过程形象地描述为，算法技术事实上被公权力“收编”，算法权力披上了公权力的外衣而对相对人/当事人发生直接的法律效力，实质上具备了公权力属性。

算法权力的以上两个特点在公权力应用算法的各种场景中都有所体现。有的行政机关运用反应型算法来压缩行政环节，提高行政效率。有的司法机关和行政机关运用预测型司法来推测未来趋势，预测风险，为人工决策提供“专家咨询意见”。反应型算法实际上成为了行政活动的一个组成环节，解决行政活动的信息不对称问题；预测型算法仅存在于公权力机关的内部决策之中，旨在为公权力机关的决策层提供更全面的专业意见，以避免信息不充分而导致决策不完善或失误。

反应型算法多适用于行政执法决定，最常见的例子是交通违章的自动识别。算法对监控数据进行识别分析，按照技术标准形成车辆违法数据，交警部门审核后发出处罚通知。简单的事实认定和法律适用都由算法完成，相应的行政活动程序得到压缩。但算法决策并不能直接成为行政决策，需要经过人工审核才能以行政处罚的形式送达违法者，亦即：算法决策→人工审核→行政执法决定。算法决策通过人工审核程序而受到监督，该程序发挥了把关纠错的重要功能。

相较于反应型算法，预测型算法更普遍地适用于行政机关的预测性事项和司法活动中。例如，税务机关应用算法预测税务风险较高的相对人；上海市高级人民法院的“刑事案件智能辅助办案系统”应用于刑事审判中的证据审查、事实认定、法律判断以及审前程序中的逮捕社会危险性评估等领域，以帮助决策者作出判断。司法裁判活动并非单纯的事实认定和法律适用，其核心是法官的心证过程，这是算法无法替代的。因此算法在司法活动中只能提供参考意见，提供辅助决策、辅助支持、案件管理等功能，而不能像在行政执法活动中那样替代人来完成事实认定和法律适用工作。正因如此，欧洲主要国家只是在审前程序有个别刑事司法人工智能应用，审判阶段几乎不存在司法人工智能应用。例如，德国警方除试用人脸识别、在个别地区使用预测性警务外，基本没有引入刑事司法人工智能应用；法国禁止将基于人工智能技术的法律服务软件应用于刑事案件，并且通过立法禁止基于法官和书记官成员的身份进行的人工智能裁判指引。可见，预测型算法的作用主要体现在，为公权力机关提供“专家咨询服务”，至于“完全或部分采纳算法决策，还是予以否决”，决定权始终在公权力机关手中。决策过程可以表示为：算法决策→提供咨询→公权力决策。

综上，在公权力领域，无论是反应型算法还是预测型算法的运用，算法权力对人的影响都是间接发生的，算法决策首先需要获得公权力机关的监督审查或认可才能转化为算法权力，正是这一中间环节使得算法权力成为了一种具有强制性的公权力（算法决策→公权力机关的审查认可→算法权力）。在明确这点的基础上，进一步需要考察的问题就是，如何解决算法权力滥用问题。

（二）公权力属性的算法权力仍应遵从正当程序原则

算法决策转化为算法权力的间接性意味着，算法决策仅仅是公权力机关最终决策的影响因素或组成部分，从算法启动运行到输入数据都是由公权力机关发送指令进行控制的，决策内容表达的仍是公权力机关的意思。即便算法决策成为最终决策，也不意味着算法成为了真正的决策者，算法始终只是公权力机关的辅助工具。公权力机关与相对人/当事人之间原有的法律关系并没有因算法的运用而被割裂或发生改变。因此，算法参与的行政行为或司法行为，并不会因缺乏意思表示要素而脱离行政/司法正当程序的约束。

无论是行政程序还是司法程序，都要求遵循正当程序原则。公权力运行程序包括工具性价值和程序性价值，前者关注具体流程，追求行政/司法效率，后者则关注相对人/当事人的听证、申辩等程序性权利。借助算法的技术力量，公权力运行程序得以简化，工具性价值得以提升。但程序性权利不能随着算法的运用而被省略，否则会损害程序性价值，使相对人/当事人的程序性权利无法得到保障，导致“权力—权利”格局失衡。因此，从公权力运行角度分析，算法权力的公权力属性意味着，算法权力运行必须遵从传统的公权力运行规则——正当程序原则。

再从权力运行本身的角度看，鉴于权力滥用的危险总是存在，这种权力需要道德证成（moral justification）。道德证成必然包含着正当程序（due process）的要求，且需要结合价值目标进行审查，即实质性的正当程序（substantial due process）。

一言以蔽之，公权力运行理论与社会权力运行理论的分析都表明，在公权力领域形成的算法权力必须符合正当程序要求。

（三）算法权力的正当程序构建

现代法律程序所要实现的最低限度的正当程序至少包括公开性、不偏私和参与性要求。相应地，在公权力领域形成的算法权力由于具有公权力属性，自然也应当遵从以上要求。本文侧重于探讨公权力机关在破解算法歧视问题中的作用，因此有关公民监督公权力的“参与性”内容在此不作展开。

正当程序要求权力拥有者公开权力运行过程，以此证明权力行使的正当性。这体现在两方面：（1）权力运行的程序设计是正当的，没有给权力的任意行使提供机会；（2）权力运行的整个过程是公开的。相应地，算法权力的正当程序应当包括两方面内容：静态方面，算法内部编程设计本身应当是中立的，摒除价值判断的，且算法程序设计应当公开；动态方面，算法运行过程应当是公开的，且接受应用算法的公权力机关和公众的监督。然而，这两点都难以实现，因为他们违背了算法技术固有的偏向性和不透明性。那么，这是否意味着正当程序道路走不通？

正当程序的要求是针对算法权力，而非算法技术。即便技术层面的算法透明无法实现，也不会影响权力层面正当程序目标的达成。

就算法设计的中立性要求而言，正当程序虽然无法改变算法固有的技术性偏向，但可以限制非技术性因素，即那些刻意为算法编程制定歧视性标准的行为。这就要求公权力机关在应用算法时对算法程序的数据筛选标准有所了解。为此，算法开发者须作出相关说明或解释。如果认为数据筛选标准不合理，可能侵害某些群体的利益，造成歧视性后果，那么公权力机关应有能力发现并要求开发者对标准进行调整纠正。

“不偏私”要求决定法律结果的法律主体应当处于中立地位，对参与程序的任何一方不得存有偏见或歧视。对于如何避免算法决策出现偏见或歧视，算法权力的间接性为此提供了启示：在歧视性决策与相对人/当事人之间，公权力机关应扮演好主导者和监督者角色，保持对算法决策进行监督和否决的能力。

算法既可能出错也并不“中立”，缺乏监督的算法决策可能出现歧视，缺乏限制的算法权力极易走向滥用。公权力机关对算法自动化决策的限制，根本上是对算法权力上升为公权力这一过程的控制。至于“限制”的度如何划定，关键在于如何平衡效率（应用算法提高公权力运行效率）与公正（算法自动化决策导致算法歧视）之间的关系。对此本文认为，应从算法应用场景类型和算法自动化决策类型两方面展开，根据不同的决策内容来决定采用何种类型的算法系统，进而制定具有针对性的适用规则。

公权力机关的决策类型名目繁多，但归根结底无非三种类型：（1）有的决策只需要基于事实认定就可以作出，即“单纯事实认定型决策”，例如根据车辆时速来决定是否开罚单；（2）有的决策需要在事实认定基础上纳入其它相关因素来综合作出，即“裁量型决策”，例如行政罚款或司法裁判；（3）还有的决策面向未来，需要基于历史相关数据和各种客观因素，对未来可能发生的事项或人的行为作出预测，即“预测型决策”，例如城市未来的建设规划和资源调配。

第（1）类决策运用了简单的对比分析方式，只需要输入待查找对象的信息（如犯罪嫌疑人的照片）或既定标准（如高速路的限速标准），并将实时获得的数据（如公共场所的路人影像或高速路上每辆车的时速）与之进行对比，就可以得出清晰的结论：是或否。

第（2）类和第（3）类决策的过程就较为复杂，需要综合多种因素分析，结论往往表现为发生概率的百分比。例如刑事量刑或行政处罚决定都需要综合分析行为人的行为后果、动机、社会影响等因素后作出。那么，对于以上各类决策事项，不同类型算法可以在多大程度上参与决策呢？

本文认为，算法自动化类型与决策类型存在着一定的对应关系。根据算法是否独立作出决策，算法自动化决策可分为全自动化决策和半自动化决策。算法全自动化决策应仅限于第（1）类决策；第（2）类和第（3）类决策宜采用算法半自动化决策。

就裁量型和预测型决策而言，人类应始终掌握决策权，算法只能处于辅助工具的次要地位，因此只能适用算法半自动化决策系统。算法半自动化决策为公权力机关提供类似专家咨询的服务，但咨询意见可能会因输入的数据带有偏向性，或因算法模型带有某种价值取向而存在歧视甚至错误，因此算法决策不能直接成为具有法律效力的决策，只能为公权力机关提供参考。

结语

通常而言，解决问题的逻辑是“对症下药”：根据问题产生的原因来探索解决途径。但该思路对于算法歧视问题却难以奏效。算法歧视问题的产生原因在于技术层面，数据输入、运行过程和输出各环节的任何一个偏差都可能促成歧视性的决策结果。然而，纯粹停留在技术层面的解决思路只能是“隔靴搔痒”，碰触不到问题关键，旨在实现算法透明的算法排他权即是如此。算法歧视本质上是算法权力滥用的结果，因而，要解决公权力领域的算法歧视问题，有必要首先明确公权力领域的算法权力是如何生成的，以及这类算法权力的特殊属性。公权力领域算法权力的公权力属性决定了，这类权力必须纳入权力运行的正常程序轨道中；否则，算法权力一旦走向滥用，就极易引发算法歧视。算法权力生成的间接性为正当程序的构建提供了基本思路：应用于公权力领域的算法须始终保持其工具地位，而不能像其在商业领域中那样成为“决策者”；公权力机关须始终掌握对算法决策的质疑和否定权，阻断歧视性算法决策向算法权力转化。基于此，公权力通过介入算法设计来限制算法权力，以人的理性矫正机器运行中产生的偏见，并以公民权利监督算法权力，才能满足正当程序关于“公开性”“不偏私”“参与性”的要求。