自动化行政中算法决策风险的法律规制

王芳 刘晓含

〔摘要〕 算法决策在自动化行政中的应用是推进数字政府建设的必然要求，但由于传统行政法思维在与新兴技术的碰撞中应对不足等原因，自动化行政中算法决策存在潜在风险。为此，应摒弃技术工具理性思维，提升预防性法律规制理念，并通过完善算法决策全过程风险评估预防机制、自动化行政程序立法体制机制、行政相对人权利救济体系、算法决策监管制度等法律路径对自动化行政中的算法决策风险予以规制。

〔关键词〕 自动化行政；算法决策；算法决策风险；法律规制

〔中图分类号〕D922.1〔文献标识码〕A 〔文章编号〕1009-1203（2023）03-0090-05

2022年发布的《国务院关于加强数字政府建设的指导意见》指出，要推进建设数字机关，提升政务运行效能。数字化建设在行政领域的应用属于自动化行政的范畴，自动化行政是指“行政程序中的特定环节或所有环节由人工智能代为处理，而无须人工的个别介入，从而实现部分或全部无人化的行政活动”〔1〕。目前，算法决策作为以计算机为载体的数据处理活动，凭借高效率、专业性等优势，已将自身影响延伸至公共行政领域：在传统上依赖人力实施的行政管理和公共服务活动，逐步转向了以数据传输为基础、算法处理技术为支撑的自动化行政方式。我国多地政府在行政审批改革中实行的数字化“无人审批”模式，即属于行政活动应用算法决策实现自动化的典型例证。算法决策被越来越多地运用于政府公共行政，在提升了行政效率和政府治理能力的同时，其部分消极特性也会导致新兴技术风险的产生，原有的行政治理机制难免受到影响。通过算法自动将信息进行处理，并依据事先设定的程序对行政相对人的行为进行评判、打分和归类，以此作为行政处罚、行政许可等行政行为的依据，实质上属于一种自动化决策行为，而自动化行政一旦被适用在不必要的领域，或是当算法决策技术本身存在较为明显的缺陷时，就会产生潜在风险。一方面，在算法决策技术的发展过程中，算法歧视、算法黑箱、算法错误等常见风险不可避免，算法作为技术性工具，其缺陷一旦展现在公共行政领域当中，可能会产生行政权行使下的侵权与失序风险。另一方面，考虑到算法作为社会发展过程中产生的新兴技术力量，行政主体在面对算法决策时经验与能力难免不足，易产生以技术权力取代传统公权力的困境，又因缺乏及时的法律规制而存在权力异化〔2〕的风险。因此，笔者认为，有必要从行政法视角对自动化行政中算法决策的潜在风险进行分析，明晰自动化行政中算法决策风险的法律规制理念，探究自动化行政中算法决策风险的法律规制路径。

一、自动化行政中算法决策的潜在风险及其成因

（一）自动化行政中算法决策的潜在风险

1.极化风险。对于公权力领域算法决策技术的应用，有学者认为，算法凭借其代码模式和功能实现了分析、决策和执行的自动化，在事实上已经能够逐步取代法律规则〔3〕。这种基于技术优势而产生的社会影响力可能导致社会结构极化的风险：其一，算法决策技术在自动化行政中的应用可能引发行政相对人之间的不平等。自动化行政系统是技术人员根据相应的算法规则和目标开发设计而成，“人类决策显然存在偏见，但机器学习算法也存在偏见，尤其是当用于训练这些算法的基础数据已经包含（人为制造的）偏见时”〔4〕，不当的运行逻辑而导致的算法偏见可能引发不同行政相对人群体被不平等对待的风险。其二，数字化发展进程中愈发被人们注意到的数字鸿沟困境体现在自动化行政中，就表现为传统行政主体的主观能动性在算法决策技术面前存在被架空之风险，也就是说，如果算法决策逐步代替传统的专家决策，行政人员基于对算法决策技术客观性的信任，即使在算法仅起辅助作用的自动化行政行为中，也可能产生弱化行政人员主观能动性而直接采用算法决策作最终决定的后果。

2.异化风险。自动化行政所应用的算法决策技术可能对行政活动秩序形成冲击。算法决策的技术特性可能会与行政实践中所遵循的行政法原则产生一定冲突，比如自动化行政实现的过程具有瞬时性、非现场化的特点，可能导致行政人员现场执法时部分法定程序难以实现，最典型的就是行政相对人在行政行为作出之前陈述申辩环节的消失。而算法本身的不透明属性以及相应技术主体的商业秘密保护诉求，都可能导致无法公开自动化行政中的算法决策，这与正当程序原则的实现产生了一定冲突。有学者指出，在具体行政行为领域以追求高效和精准为目的而推进自动化行政，可能会导致传统的判断标准失衡。比如交通违章行为行政处罚自动化后，其全范围识别和精准处罚的特性导致判罚量的激增，从而使得传统的通过经济因素、处罚概率等多方面考量而设置的处罚标准出现了疏密程度的失衡〔5〕。由此可见，算法决策技术的应用可能会给传统的行政法运行秩序带来一定冲击，进而对决策之下行政相对人群体的一般合理预期和传统行为模式产生影响。

3.侵权与责任风险。算法决策技术在行政领域的应用易导致行政相对人面临被侵权风险。自动化决策的过程本身就存在可能导致歧视和错误产生的因素，如历史数据、技术限制、当下具体环境等，而行政权的行使通常具有强制力且面向广泛的行政相对人群体。行政机关在应用了以大数据为基础的算法决策技术后，其与行政相对人实质上处于较为不对等的地位，这就对较为弱势的行政相对人的权益保障提出了更高的要求。同时值得注意的是，具有自主学习能力的算法可能展现出越来越多的“输出结果的不可控性”，这种技术结果的不可控可能致使传统责任链条断裂，即算法决策结果引发的责任并非是由算法使用者或开发者的行为导致的〔6〕，因此自动化行政算法决策的归责问题存在争议，具体的责任主体和归责原则仍不明晰〔7〕。且现阶段已有一定数量的行政机关基于对行政管理质量和效率兼备的追求，与私营技术主体合作，寻求算法决策技术的支持，这可能會使私营技术主体处于自动化行政的实质控制地位，其逐利性本质也隐含了相应的算法权力寻租风险。

（二）自动化行政中算法决策风险的成因分析

1.传统行政法思维在与新兴技术的碰撞中应对不足。自动化行政中出现的潜在风险，实质是算法决策技术的一般性风险延伸至行政领域的结果。在自动化行政不断推进的背景下，其决策过程和结果通常都以电子数据的形式存在，传统行政法思维中以基本原则为基准的部分程序性内容可能无法得到精准实现，如算法的瞬时性特征导致其对正当程序原则的影响，算法程序运转的不透明性导致行政公开原则的实现受阻等。行政人员可能会因为算法决策技术的客观、高效和精准等特点而对技术本身的决策结果产生依赖与信任，使得算法一般风险影响到传统行政秩序的维持。行政主体内部人员观念上尚未对自动化行政与算法决策等概念产生系统的认知，可能无法凭借现有的数字素养主导整个自动化行政过程。最典型的是目前行政人员算法解释能力不足，行政主体对其作出的行政行为负有解释说明的义务，而部分算法可以在决策过程中自发学习和不断演进，最终导致“算法黑箱”的产生〔8〕，算法运行的过程和方式变得不透明，使得行政人员难以对自动化行政决策的理由和逻辑进行解释。

2.现有法律规范难以有效规制新兴技术风险。《中华人民共和国个人信息保护法》（以下简称《个人信息保护法》）对自动化决策的个人信息影响评估作出了规定，各地政府也在随后的智慧政府建设中发布了相关的智能政务地方性文件。通过各项立法文件和政策的颁布可以看出，虽然目前仍然集中于较为宏观的指导性立法与政策，但我国对于算法决策技术的治理和规制已经提上日程。自动化行政中算法决策风险具有不可预测性，我国目前尚未出台专门规范公权力领域算法决策技术应用的法律，现有的仅仅是散见于单项立法中的条款规定以及政策性文件，难以实现对于自动化行政中算法决策风险的防范与约束，而关于自动化行政中算法决策技术的应用场景和范围、风险防范措施、责任分配模式等问题均需要立法规范。

二、自动化行政中算法决策风险的法律规制理念

（一）摒弃自动化行政中技术工具理性思维

算法决策已成为推进政府管理和公共服务不断发展的技术性工具，行政领域对更新技术和提升效率的需求逐渐加大，在一定程度上可能会形成以算法为基础的技术工具理性思维，可能“会将公共治理推入多中心的技术依赖困境当中，进而导致公共治理的畸形化”〔9〕。技术工具理性思维会使自动化行政中以公共管理和服务为目标的价值轨道发生偏移，转向技术依赖并部分消解人的主体性。自然人对机器等科技易产生依赖和盲从，有学者指出当人的主体性和价值理性逐渐减弱时，其在作出决策时就会不自觉地倾向于与自动化决策的结果保持一致，“原本正确的判断最终被计算机扭转，导致失误叠加的‘自反性悖论”〔10〕。以技术工具理性思维为指导行使公权力，会给社会秩序带来隐患。在自动化行政的发展过程中，对“人的价值”的认识十分重要，“人始终是发展的目的，由算法支撑的智能社会依然是‘人的社会而不是‘物的社会”〔11〕，因此，对于自动化行政中的算法决策技术，应当摒弃技术至上的思维模式，建立起行政主体和行政相对人共同的理性认识和基本价值追求，在秉持基本行政法精神和理念的前提下设置算法决策技术工具适用的规范和界限，不断填补数据鸿沟，强化自然人对算法决策技术的接触与理解，保障行政主体的主导地位以及行政相对人对应的权利。总之，对自动化行政中算法决策风险的规制，离不开行政法领域价值理性的嵌入和社会伦理的约束；保证技术工具在不断革新中实现目标成果最大化的同时，也要发挥其维护社会和谐稳定的功能。

（二）提升自动化行政中预防性法律规制理念

《国务院关于印发新一代人工智能发展规划的通知》指出，要通过制定相关的法律法规和伦理规范来应对挑战，“增强风险意识，重视风险评估和防控，强化前瞻预防和约束引导”。面对算法这一新兴技术可能带来的风险，确立风险影响评估机制成为预防性風险规制的重点，目前有些国家已在政策或立法中开始体现。例如，法国政府已经要求公开所有为政府用途开发的算法，以便社会能够对这些算法的正确适用进行核实；基于政府部门所应用的算法自动化决策的安全性要求，欧洲议会提出了“算法影响评估（AIA）”制度框架，允许利益相关者对于实质影响其权利的算法决策系统进行评估，以确定适用算法的具体场域。当然，在对算法决策风险进行立法规制时，应强调以预防风险为重心的自动化行政全过程评估审查思路。

三、自动化行政中算法决策风险的法律规制路径

（一）完善自动化行政中算法决策全过程风险评估预防机制

全过程风险评估预防机制是对自动化行政从开发设计到投入使用、产生行政行为结果的全过程进行风险分析和预警的制度。加强对算法决策风险的事前预防有助于减少实质损害后果，对此，国务院办公厅印发的《关于全面推行行政执法公示制度执法全过程记录制度重大执法决定法制审核制度的指导意见》已有所体现，明确了行政执法裁量决策辅助系统的建立，同时强调风险预测系统的开发，以便于对决策系统的风险进行提前预警、检测和研判。事前的预测未必能完全杜绝风险的发生，对可预见风险的警示也不必然导致算法禁用的结果，但可以使得大部分风险在自动化行政实行之初就被考量进来，提升行政主体和算法设计者对相关利益进行保护的意识。但同时也应注意，自动化系统的研发过程是不透明、不连续和分散的，事前监管的要求在这种技术特点下落实起来较为困难，因此，对于自动化行政事中和事后的风险评估控制也至关重要，应完善事前预防、事中持续监督、事后定期审查纠正的全过程风险评估预防机制。可考虑建立由专业技术人员组成的风险防控内部机构，负责算法决策风险事前的评估预审，也可以通过引入有资质的第三方组织负责风险的评估工作。

（二）完善自动化行政程序立法体制机制

鉴于算法决策技术在行政领域使用的潜在风险，有必要考虑在立法中建立适用于自动化行政的专门程序性规范体系加以应对，规范自动化行政应用的具体范围、方式和过程。

首先，尽管有学者认为部分自动化技术只能定位于为行政机关提供决策或行动方面的辅助，而非代替人类自行决断〔12〕，但随着技术的不断发展以及现实社会的需要，“算法由辅助工具彻底跃升为能够独立实施行政活动、或者对行政主体的行政行为有决定性作用的自主决策工具的可能性是存在的”〔13〕。相应地，在何种场景与范围下能够以算法决策技术实现自动化行政行为，应当由立法予以明确规定，以保证自动化行政遵循法律框架。完全的自动化决策应当适用于那些事实较为简单清晰的事项，对于负担性行政行为等对行政相对人权益有重大影响的行为则需要谨慎适用或不适用。

其次，应当在自动化行政的整个适用场域里保留适当的人工干预渠道。《互联网信息服务算法推荐管理规定》第11条要求算法推荐服务提供者建立人工干预机制，在自动化行政程序中更有必要保留人工干预渠道，在发现风险后及时主动地补救，同时确保行政主体在自动化行政系统中的主导地位。实践中，基于技术发展现状、系统瑕疵可能性的考量，从算法决策技术的发展现实性角度来看，保留程序完善的人工干预渠道也是十分有必要的。

整个自动化行政的程序设计应当遵守程序正当原则的基本要求，保证算法决策技术实施的公开透明，但算法决策技术本身可能具有“黑箱”现象而难以被一般公众所获悉和理解。有学者从程序法的视角主张通过具有行政专长和相关算法决策技术人员的介入，实现算法编码的可识别化、可视化〔14〕。但算法决策技术的公开可能会与技术提供方的知识产权等权益产生冲突，因此自动化行政的决策系统采用何种程度的公开、如何兼顾多方利益诉求，也是立法需要考量的问题。为此，在遵循基本行政法理念的前提下，考虑到算法决策技术瞬时性特点的影响，以及行政机关高效精准行政考量的需求，对于一些行政法基本原则可以灵活适用，比如可以将部分程序较为简单的行政行為的申辩程序后移至自动化行政完成后的申诉环节，对于较为复杂、需要行政裁量且对行政相对人利益有较大影响的自动化行政行为，则应当仅使算法决策技术处于辅助性地位，而由行政主体作出最终决定。

（三）完善自动化行政中行政相对人权利救济体系

完善行政相对人对抗自动化行政算法决策风险的权利体系，是预防算法决策技术侵权风险的必然要求，也有利于推动民众数字权利体系建设。《个人信息保护法》规定了信息权益所有人“免受个人信息处理者仅通过自动化决策的方式作出决定”以及“获得解释”的权利，但是，与自动化行政算法决策带来的潜在风险影响相比，这种权利内容显得较为空泛，未能形成使行政相对人有效对抗自动化行政算法决策风险的体系。对于免受自动化决策权的具体含义，《个人信息保护法》所规定的权利适用场域较为狭窄，信息权益所有人只可对抗“仅通过自动化决策”所作出的决定，对公权力领域自动化决策的对抗模式、结果和例外情形均不甚明晰，这使得该权利必须是完全自动化决策影响到行政相对人利益时才可以被行使，因适用条件苛刻而易沦为虚置之权利。另外，即使行政相对人提出异议，决策方也可以通过证明该决策中“存在最低限度的人工干预”而免于受此权利的制约。同时，针对我国算法解释权如何构建这一议题，学者们一直存在不同观点：部分观点主张“算法黑箱”的特性使得算法解释权在个案中无从落实而不具有实际意义，只能要求在算法决策作出之前针对算法基本情况进行一般性说明〔15〕。在《个人信息保护法》出台后，有学者认为行政自动化领域的算法解释权应当要求行政机关提供事后的具体解释〔16〕。作为算法决策透明性要求的应对措施，具体的算法解释权在公权力领域是无法回避的，与此同时，由于行政相对人通常并不针对算法逻辑而主要针对个案决策后果提出利益诉求，因此在面对实践中难以解释的学习型算法时，不必然要求行政机关解释其内部运行逻辑，也无需要求行政相对人理解算法决策技术的本质，而应当重点考虑通过行政人员的干预模式实现行政行为正当性的审查和补正。未来，应针对公权力领域中算法决策技术的应用设立公民权利救济体系，具体到自动化行政中，应结合行政领域的需求，对行政相对人的拒绝自动化决策权、获得算法解释权、陈述与申辩权等作出明确的法律规定。

（四）完善自动化行政算法决策监管制度

设立自动化行政算法决策的专门监管机构有其必要性。目前就公权力领域所面临的算法决策风险困境而言，行政相对人处于弱势地位而无法对其进行有效制约，第三方监督机构本身也不具有强制约束力。因此，针对包括算法决策技术风险在内的数字化领域的风险，设立拥有一定职权和相应技术水准的独立监管机构，可以在一定程度上防止实行自动化行政的政府部门在算法决策技术应用中的滥权与不作为，同时也能有效制约以私营主体为主的技术提供方的不正当数据处理行为。《个人信息保护法》已设置了个人信息保护负责人，对于算法决策风险的防控，可以借鉴《德国联邦数据保护法》规定的“个人数据保护顾问监管+数据保护监管局兜底”的模式进行相应的立法设计。同时，监管责任下的相应主体豁免规范也是有必要的〔17〕，自动化行政中的算法决策监管通常是出于对重大风险进行防范的考量。由于在监管过程中可能面临算法决策技术方利益诉求适当让位于公共利益的情形，所以立法应当设计相应的监管豁免制度，使特定的监管主体在一定范围和场景内不受追责地对自动化行政的算法内容进行审查。另外，监管体系的立法建设可以遵循分级分类监管的原则，在重点风险领域设置更加严格的防控标准，使得自动化行政中的算法决策监管更具针对性，“将一般性监管与特殊性监管相结合”〔13〕，实现在可接受的资源成本内达到监管的最大效用，保障自动化行政中算法决策的安全审慎推进。

〔参 考 文 献〕

〔1〕冯子轩.人工智能与法律〔M〕.北京：法律出版社，2020：76.

〔2〕张凌寒.智慧司法中技术依赖的隐忧及应对〔J〕.法制与社会发展，2022（04）：180-200.

〔3〕张 欣.算法行政的架构原理、本质特征与法治化路径：兼论《个人信息保护法（草案）》〔J〕.经贸法律评论，2021（01）：21-35.

〔4〕卡里·科利亚尼斯，苏苗罕，王梦菲.自动化国家的行政法〔J〕.法治社会，2022（01）：47-57.

〔5〕马颜昕.自动化行政方式下的行政处罚：挑战与回应〔J〕.政治与法律，2020（04）：139-148.

〔6〕张凌寒.算法权力的兴起、异化及法律规制〔J〕.法商研究，2019（04）：63-75.

〔7〕马颜昕.自动化行政的分级与法律控制变革〔J〕.行政法学研究，2019（01）：80-92.

〔8〕张凌寒.算法自动化决策与行政正当程序制度的冲突与调和〔J〕.社会科学文摘，2021（02）：69-71.

〔9〕刘 成，张 丽.“刷脸”治理的应用场景与风险防范〔J〕.学术交流，2021（07）：151-162.

〔10〕唐林垚.“脱离算法自动化决策权”的虚幻承诺〔J〕.东方法学，2020（06）：18-33.

〔11〕张文显.构建智能社会的法律秩序〔J〕.东方法学，2020（05）：4-19.

〔12〕查云飞.行政裁量自动化的学理基础与功能定位〔J〕.行政法学研究，2021（03）：114-124.

〔13〕展鹏贺.数字化行政方式的权力正当性检视〔J〕.中国法学，2021（03）：114-138.

〔14〕胡敏洁.自动化行政的法律控制〔J〕.行政法学研究，2019（02）：56-66.

〔15〕沈伟伟.算法透明原则的迷思——算法规制理论的批判〔J〕.环球法律评论，2019（06）：20-39.

〔16〕林洹民.《个人信息保护法》中的算法解释权：兼顾公私场景的区分规范策略〔J〕.法治研究，2022（05）：48-58.

〔17〕万 勇.人工智能时代的版权法通知—移除制度〔J〕.中外法学，2019（05）：1254-1269.

责任编辑 梁华林