自动化行政视角下算法权力的异化风险及规制

张婧飞，姚如许

（大连海事大学 法学院，辽宁 大连 116026）

智能时代来临，人们的生活离不开算法技术。算法技术带来便捷的社会生活的同时，也引发了人们对于算法技术异化的不安。无论是商业主体构建的算法平台，还是公权力机关与技术公司合作设置的算法辅助工具，都在运行过程中对社会公民产生了强制性的支配力，形成了算法权力。目前国内没有针对算法权力规制与审查的专门法律，算法权力却实实在在地影响了社会大众。在行政法律关系中，行政相对人本就要受到行政主体的强制性管理，算法权力与公权力的结合使得情况更为复杂，这二者的结合一方面加剧了行政相对人的弱势地位，另一方面算法权力又渗透到公权力中。因此有必要在法治的层面上对算法权力进行约束，规范算法与公权力的结合，将算法权力关进“制度的笼子”。

一、问题的提出

“工作时间全天候，不分白天与黑夜，无论狂风暴雨，只要车主出现违章的状况就能抓拍得清清楚楚”。这不是简单的交通摄像头，而是对从摄像头反馈回来的录像进行二次分析的系统——海燕系统。2018年，公安部推出海燕系统进行道路违章抓拍，据统计，在某城市运行了7天，就精确抓拍到一万多次违章。这是算法技术与行政管理的结合，人工智能时代，算法深度嵌入社会生活。英国人工智能委员会在其会议报告中对算法的定义是：“指用计算机时执行计算或解决问题的一系列指令，是所有人工智能系统的基本方面”[1]。算法借助深度学习、大数据等技术，变革社会治理结构，脱离了纯粹的技术属性，成为一种新兴的权力——算法权力。

自动化行政是在行政程序中楔入算法技术，将原来需要人工处理的事项转由人工智能或自动化程序代为处理的行政活动。自动化行政的适用场景日趋广泛，各地接连推出自动化审批系统、交通违章自动识别系统、防疫“健康码”等自动化行政方式，这些新的改变提高了行政效率的同时，也使算法技术全方面地渗透到行政权力中，深度参与公权力，逐渐由辅助公权力到影响公权力再到在一定程度上取代公权力。除此之外，技术赋能无疑带来行政权的扩张，对公民的基本权利造成挤压，若对算法权力不加以规制，算法治理必将带来风险。因此，在顺应技术发展潮流、合理应用算法的同时，必须警惕和防范算法对公权力以及公民权利造成的冲击与挑战。

二、算法权力的兴起

算法是根据固定的步骤，通过输入数据得到输出的结果。按照此定义，人每天穿衣吃饭、走相同的路上下班，都是算法的运行过程。1956年，美国达特茅斯学院会议上首次提出“人工智能”一词。从人工智能层面进行定义，算法是在一定输入的前提之下，按照设定程序运行的计算机指令[2]。算法本来是一种人类解决问题的计算机工具，并不带有权力属性。但随着算法的广泛应用，算法在社会治理中逐渐成为建构治理模式的重要因素甚至决定性因素，对人的行为产生直接的影响。探究算法权力的异化风险，首先要对算法权力的生成进行梳理。

（一）权力的本质辨析

学界对于权力的定义目前还没有形成通说。“影响力说”“强制力说”“支配力说”①“影响力说”认为权力是一些人对另一些人造成他们所希望和预定影响的能力；“强制力说”认为权力是一个人或一部分人具有强加于他人的一种强制力；“支配力说”认为权力是一种组织性的支配力。都具有其自身的道理。权力主体享有权能，权能使其对受体具有强制的支配力，权力的受体必须服从主体。从权能本身来看，拥有权力就是要拥有权力资源，并且这种权力资源足以使其他人服从。因此本文认为权力关系是一种强制支配与服从的关系，权力的本质特征在于权力主体对受体的强制力。在社会关系中，若一方“拥有必要的物资或精神、文化资源，运用它能对他人产生物质或精神的强制性影响”[3]，则认为该方是权力主体。

（二）权力主体通过算法的强制支配力影响他人

算法的设计者或实施者实际控制着算法，算法属于该方的技术资源。算法若对社会大众形成强制支配力，该方就可以通过算法对社会大众产生强制性的影响，成为算法权力的主体。算法从产生到对人施加影响主要经历两个步骤。

第一步是设计算法。算法的设计基于计算机科学和数学的基本原理，除了设计算法的专业人员，即使将那些原始数据公开，一般群体也很难对其进行解读，更遑论监督。即使在政府和技术公司合作开发算法的情况下，政府往往也只是制定标准的角色，具体设计算法还需要专业的公司来完成。因此算法在诞生的第一步就会形成算法黑箱，一旦算法投入社会层面进行使用，设计者在算法黑箱中植入的管理模式就会随算法嵌入社会生活的方方面面，对群体施加影响。

第二步是算法的部署实施。算法的部署实施主要有两个类型。第一种是私主体研发算法并投入使用，形成网络平台，如阿里巴巴、腾讯。这种情况下，平台会根据架构优势，制定平台规则，并强制用户接受这些规则。用户必须满足预设算法的形式要求，才能得到平台的服务。在平台内，平台规则就像国家法律一样具有强制效力[4]。此时，应用在私主体平台的算法通过平台制定的规则对用户形成了强制力，私人企业实质控制算法，对用户产生具体的强制性的影响，成为算法权力的权力主体。第二种类型是算法在公权力运行的平台上部署实施。算法从不同的层面嵌入公权力的运行。首先，算法作为公权力的辅助决策工具，协助公权力进行治理，如自动化审批系统。2018年，深圳市率先启用“无人干预自动审批”的新型行政审批模式，审批系统采用算法决策技术，自动核查申请人递交的材料是否符合相关部门的要求，并决定是否进入下一步程序[5]。在数据治理的模式下，公私合作已成为常态，长期的合作使得政府对于技术的依赖愈来愈强，在实践中存在算法在行政管理的过程中起实质性决定作用的情况，如为防疫需要推出的“健康码”。生成“健康码”在类型上属于行政评级，过程上完全自动，政府只需要提供一部分公共数据，其余过程皆为算法自动完成，不需要任何人工步骤，算法实际上成为评定等级的决策者[6]。以上两种皆为算法在公权力平台上的实施，无论算法辅助公权力主体行权还是算法取代公权力中成为主要决策者，算法都借助公权力的优势地位，对公民产生了强制性的影响。算法辅助公权力主体行权，算法可以被视为智能治理模式下公权力的技术延伸，与公权力交融，但技术公司仍然在算法的设计阶段影响算法，进而影响社会大众。所以算法权力的主体有二：公权力机关和技术公司。如果算法取代公权力成为主要决策者，公权力机关的工作人员难以左右算法得出的处理结果，则实质控制算法技术的仍然是技术公司，技术公司为算法权力的主体。

（三）算法权力的特征

经过上文的推论，我们可以将算法权力的定义概括为：算法权力以算法为工具或手段，对他人或社会形成的强制力和支配力。算法权力属于权力的范畴，却不同于传统的公权力，因此有必要列明算法权力的特征，深入理解算法权力的本质。

1.算法权力具有跨越性

在公权力体系中，算法作为一项技术参与到公权力中，并随着行政权力的扩张而不断增加对社会的支配力，随着公权力对技术的逐渐依赖而增加在公权力体系中的话语权，算法权力通过与公权力的合作成为权力圆心的一部分[7]。在私权力体系之下，算法权力占有绝对优势的地位，平台通过其架构优势规制用户在网络空间的行为，收集其个人信息，控制资本的流动，成为私权力领域的权威，影响了社会生活的方方面面。算法在私主体的平台与公权力的平台都形成了支配力，算法权力横跨了公权力与私权力[8]。

2.算法权力具有黑箱性

算法权力的黑箱性表现在算法决策的过程是通过算法内在的自主分析而快速做出的，人们对此并无直观感受[5]，因此也很难对算法决策的结果进行直观的解释，即使要求公开算法的源代码，非技术人群对此也难以理解。算法权力的黑箱性普遍存在于公权力和私权力中，一般社会大众对于私人平台以及公私合作的政务系统背后的算法技术知之甚少，政府也因为严重的技术依赖而形成恶性循环。2014年美国一项针对政府工作人员的调查报告显示：高达96%的受访者认为他们所在的部门存在数据技能短板[9]。在算法社会中，算法黑箱使得算法所有者拥有巨大的算法权力，通过技术壁垒达成技术化统治。

三、算法权力引起自动化行政的潜在危机

通过上文的梳理，算法权力的兴起显然已经成为一种既存的现象。“互联网+”时代，算法权力会越来越膨胀，未来甚至有可能走向算法极权的世界，更有学者将算法权力生成的新风险称为“算法利维坦”①张爱军在《“算法利维坦”的风险及其规制》一文中将智能时代纳入国家社会治理编制的算法技术异化的情况称为“算法利维坦”。。算法权力以其架构优势和嵌入优势，与行政管理越来越紧密地结合，权力与权力的结合使得传统的权力——权利格局失衡，导致公权力的扩张和私权利的萎缩[10]。

（一）算法权力与行政权的矛盾结合

效率一直是行政追求的目标之一，行政与技术的结合由来已久。人工智能时代，算法与行政的结合更是必然，且行政权的运行机制与技术的应用原理非常相似，行政权的运行遵从“法无授权即禁止”，运行的过程中较少强调人的主观能动性，这与算法要求的客观性和精确性十分契合[11]。政府准许算法进入公共政策和公共治理的体系之中，成为政府行政管理和服务的辅助工具。

1.算法权力加速行政权的扩张

行政权的扩张本身就是法治社会发展的趋势之一②表现在行政权的显性扩张与隐性扩张上。从表面上看，行政权的扩张表现在行政立法权、行政执法权、行政司法权的扩张；从行政权的隐性扩张角度上看，行政权的扩张表现在行政机关对立法的影响、行政机关法律文件转化为法律以及行政机关在制定标准上的影响前所未有地加强。，算法赋能行政无疑加速了这种扩张。算法权力帮助政府机关提高利用信息、处理信息的能力，实现政府对公民个人信息的采集，可以精准实施对某个具体的人的监控。行政机关可以借助算法对公民的个人行为进行全方位的掌控，使得行政权的边界可能蔓延到公民的隐私领域。

在自动化行政领域应用的算法大致可以分为两类：反应型算法和预测型算法。反应型算法是将识别到的外界信息输入既定的算法中得出结果；预测型算法是根据过去收集到的数据推断出未来的趋势[9]。反应型算法对于数据收集的要求非常高，比如前文提到的“海燕系统”，能够每秒拍摄15张照片，并且准确分析出车牌、车辆型号等特征。这种技术的推出会使交通管理效率得到显著提高，对行政相对人的识别更加精准，但这种精准的技术也较以往更严重地侵犯到相对人的个人隐私。绝大多数在道路上行驶的车辆是遵守交规的，但他们的车辆信息也被摄像头捕捉到，只是没有被进一步上传形成违法数据。公权力与私权利是此消彼长的，公民的私权利若被技术与权力的结合逼退一步，则意味着公权力蔓延了一步。预测型算法则对算法本身的分析能力要求较高，一旦算法能力不足或者历史数据有误就会造成非常严重的后果。比如算法将长相与犯罪分子相似的公民识别成犯罪分子，导致这位公民在交通、住宿、通信方面都受到限制，给无辜的公民带来不便；江苏省税务机关将算法与大数据相结合，预测税务风险较高的行政相对人，根据统计，一年下来税务稽查次数减少97%[12]。预测型算法使得决策行为发生在具体行政行为之前，完全不受正当程序的制约。

此外，我们也应该反思我们是否需要如此高效率的行政？譬如交通违章，在人力执法时代，交通违章实际上是一次“抽查”，实际上违章了多次，可能仅被抓住一次[13]。行政执法领域存在一定的容错率。但算法治理则是实现百分之百的捕捉率，使得国家治理过度客观化，本就处于弱势地位的行政相对人更为被动。

2.算法权力渗透行政权

算法从不同层面嵌入行政权的运行。上文提到的算法作为行政机关的辅助决策工具，协助公权力进行治理的自动化行政审批，以及算法在行政管理的过程中起到实质性决定作用的防疫“健康码”的生成，都是算法权力渗透行政权的表现。技术赋能使得算法治理越位于人的主观能动性，算法本是人用来进行统治的工具，在实施过程中却被算法统治。算法的背后是算法的设计者或实际控制人，这些人可能会故意或过失地操纵算法，进而控制行政权。2007年美国发生过这样一起案例：来自私营公司的程序员误读了法律，错将“无家可归”编写成“行乞为生”，并输入美国的公共福利系统中，导致流落街头的申请人被算法决策系统数次拒绝。

除了行政主体地位被架空的风险，算法权力与行政权的交织也会产生权力异化的风险。传统的行政权要收到正当程序原则的规范，如传统的行政处罚程序。《中华人民共和国行政处罚法》（简称《行政处罚法》）中对于告知、说明理由、听取当事人的陈述和申辩、行政听证等具体程序都进行了规定，这些程序在保护行政相对人方面起到了巨大的作用。但自动化行政处罚实现了处罚的无人化，当事人不可能向算法陈述和申辩，使得在应用算法的自动化行政处罚中，正当程序难以得到贯彻和实施，自然难以对行政权背后的算法权力起到规范作用，使得算法权力野蛮生长。

此外，算法权力的主体认定困难，导致归责问题陷入困境。根据归责原则的规则要件，很难将责任认定到技术公司上，算法自动化行政出现问题后，仍由政府出面承担责任。如2019年杭州的购房摇号事件，杭州某楼盘在购房摇号时出现大范围的集中连号，后经鉴定是因为在第二轮摇号过程中存在部分数据未被赋予随机值的情况。为解决该异常状况引发的问题，楼盘事后又重新进行摇号，负责此次摇号的公证处也向社会致歉，但提供算法的公司无声无息。算法权力隐藏在行政权背后，逃避应有的责任。

（二）算法权力挤压私权利的空间

1.个人信息暴露风险增加

算法技术的便捷和高效为行政主体介入私权利空间提供了低成本的手段，政府依靠算法权力掌握公民的个人信息，进而监控公民的个人行为。在疫情防控中，政府对公民个人信息的掌控表现得尤为明显。一旦某人被确诊为新冠肺炎阳性患者，就会对他进行流调，而流调的基础就是政府依据技术手段掌握的公民个人行程。技术手段极大提高了疫情防控的效率，但这同时也说明公民时刻暴露在监控之下。2013年的“棱镜门”事件就值得我们敲响警钟，以算法技术进行监控的行为如果一直存在，公权力有可能借助算法权力扩张，在一定程度上侵犯公民的隐私权。

2.算法应用架空公众参与原则

算法的应用增强了行政活动中收集、处理和输出信息的能力，改变了行政活动的传统方式。反应型的算法自动化决策使得决策在系统内部瞬间完成，无法将活动的程序和步骤进行分离；预测型算法决策先发制人地引导和部署行政活动，相对人在行政机关做出反应时并未实施具体行为。这两种类型的自动化决策都隔绝了行政相对人的参与。

公众参与是行政正当程序的基本要求，公众参与原则的核心理念是听取公众意见，这包括两个方面。其一，在具体行政行为，尤其是负担性行政行为的过程中，要充分听取行政相对人的陈述和申辩；其二，公民应有权力参与行政活动，公众的有效参与在于通过自己的行为影响某种决定，而不是作为一个被动的客体接受算法生成的某种结果。自动化行政行为根据算法预设的规定规则运行，没有为行政相对人提供陈述和申辩的机会，也回避了行政决策的公众参与和听证，使得公众参与原则缺失，进而造成严重的程序瑕疵。

四、算法权力规制的法治进路

（一）构建技术性正当程序

当算法权力掌管了个人生活的方方面面，法治和正当程序在此领域就不能缺席，否则就在为算法的实际控制者构建一种新的“权力利维坦”大开方便之门。2007年，美国学者希特伦提出了“技术性正当程序”的概念，强调通过优化计算机的程序设计提高自动化决策系统的透明度和可问责性[14]。值得说明的是，即便适用场景不同，正当程序的价值理念也具有跨越时空的意义，在算法决策的背景下也不会过时[14]。那么什么样的程序才是正当的？结合自动化行政下出现的较为明显的程序性问题，本文认为技术性正当程序必须包含算法公开透明、听取陈述和申辩这两个要素。

1.算法的公开透明

算法权力的黑箱性是造成自动化行政风险的主要原因之一。行政权力被算法权力渗透的主要原因也是行政机关的工作人员无法理解算法运行的内在机理，同时透明性缺失也会减损政府的公信力，动摇社会公众的信赖，因此有必要对算法进行公开。

首先，有必要对于因保护国家秘密和商业秘密而不公开的部分进行限制，一刀切的强制公开和不公开都不可取，大多数算法向社会公开披露也不可能，因此有必要借助于中立的、可信任的算法审查人员审查算法，代替一部分社会公开；同时设置合理的透明性方案，明确算法公开的三个问题：公开多少、向谁公开和公开的速度。对于因算法的复杂性导致的不透明，最直接的解决方法就是编码可视化，即借助专业人员的力量，让普通公众能理解数据的来龙去脉和相关依据。在算法可见的前提下，行政相对人才有可能在正当程序的保护下进行陈述和申辩，进而寻求救济。

2.保障当事人的听证权利

2021年修订的《中华人民共和国行政处罚法》第41条吸纳了交警非现场执法的核心要素，要求非现场执法应该及时告知当事人的违法事实，并采用多种手段为当事人听证和申辩提供方便，提出不低于传统程序的权利保护标准[15]。该规定可以类推适用到自动化行政的各个领域。算法决策的瞬时性导致当事人很难在算法做出决策的过程中为自己辩护，但这不代表要取消当事人陈述和申辩的过程。行政法领域要求的听证从不是固定形式的听证，应根据具体情形决定听证要采取的具体形式。在适用自动化行政的场景下，采取事后听证是一个明确的选择。应当通过多种方式进行事后听证，保障相对人的听证权利。

（二）健全行政主体应用算法的机制

1.建立算法权力的问责机制

算法出现问题难以追责的主要原因就是技术壁垒。当算法出现问题时，企业经常以“技术自主错误”为由推卸责任；自动化行政的场景中，也基本由行政主体承担责任。为了规制算法权力，必须将算法的设计者和实际有能力控制算法者纳入问责的主体中。在此可以借鉴欧盟《通用数据保护条例》（以下简称GDPR）的控制者责任。GDPR第5条直接将保护个人数据的举证责任分配给数据的控制者，达到规范算法控制者的目的。除此之外，也应当明晰归责的标准。算法权力往往与行政权力交织，但不同场景的结合的程度有所不同，应当将自动化程度较低和自动化程度较高的算法进行分类厘清，对不同自动化程度的算法设定不同的标准：自动化程度较低的算法引发的问题还是由公权力机关作为主要责任者；而自动化程度较高的算法引发的问题则需要问责算法的设计公司。

2.提高行政机关使用算法的能力和水平

算法的黑箱性带来的弊端需要构建技术性正当程序得以解决，这是在输入端解决算法偏私、不公正的重要措施。提高行政机关使用算法的能力和水平是在输出端防范算法权力异化的风险。根据上文提到的统计调查①本文第二部分论述算法权力具有黑箱性部分提到的美国一项针对政府工作人员的数据技能调查。可以预测到，许多行政机关的工作人员应用算法的技能还有待提高。实际上，当算法广泛应用在行政过程中后，行政机关工作人员的身份发生了转变，由原来的执行者和裁量者转换成监管者，对算法裁量后的结果是否符合法律预期作出判断和监管。工作人员在执法的裁量能力上优于机器，应当充分了解算法的运行机制。因此，可以通过对行政机关的工作人员定期培训、业务考核等方式，增强他们使用算法的能力和水平。

（三）实现对个人信息的优先保护

在传统的权力—权利理论中，权利是用来对抗权力的。算法治理也应当回归到权力和权利的关系上，通过保护和加强算法相对人的算法权利来制约算法权力的不当扩张。当前自动化行政背景下相对人权益难以保障的主要原因是算法赋权失衡。算法与公权力交织，却没有赋能私权利。拥有算法资源的公权力机关能轻易获得相对人的信息，相对人对此却无权决定自己可以公开什么信息，也很难寻求到救济。因此，也应当对私权利进行赋权。自动化行政中算法权力的行使应当保留一个底线：应该在保护个人信息的前提下实现对个人信息的利用，不能因为利用信息导致主体受损。应当明确个人信息的权属，明确权力位阶。个人信息应当属于作为原发者的每一个个体，个体基于人格权对于底层信息拥有绝对的权利。个人信息需要数据作为载体，对于数据的产生付出了实质性劳动的技术方或者委托技术方的公权力机关应当享有用益权。该方应在合理的范围内获取、分析、输出数据，并对这些数据尽到保护义务。基于人格权第一位、财产权第二位的位阶关系，在个人信息利用的过程中出现权利竞合时优先保护第一位阶的人格权。通过这种优先级的划分，使得公民的个人信息和隐私得到充分的保护。

五、结语

实现对算法权力的规制仍然任重而道远。规范行政权与算法权力的结合需要更加体系化、制度化的措施，本文提出的构建技术性正当程序、健全行政主体应用算法的机制、实现对个人信息的优先保护这几点规制措施只是对于算法权力规制的起点，还要在这些基础上深入挖掘、开枝散叶，才能构建出一个完善的保护路径。此外，算法权力的兴起有其合理性和必然性，完全对其进行限制与社会发展的规律相违背。权力与权利如同鸟之两翼，车之两轮，相生相伴。对于算法权利的保护是一种更温和地实现算法社会良性发展的重要途径。将算法权利作为主题进行研究探讨也许是未来算法治理的可行路径之一。