个体赋权在算法决策治理中的定位

2022-11-22 23:11曾俊森
法治社会 2022年1期
关键词:赋权权利个体

谢 琳 曾俊森

内容提要:厘清个体赋权路径在算法决策治理中的定位才能合理界定个人权利范围和效能。算法决策治理具有双重目标,即尊重人的主体性和解决算法决策的功能性问题。个体赋权存在个体能力不足、解释意义不足、个体权利绝对化等限制,不宜将其作为解决算法决策功能性问题的主要路径。个体赋权的定位主要在于尊重人的主体性,通过构建算法“正当程序”为使用算法提供正当性基础。个体赋权的内容应当体现为通过透明权利适度提高算法透明度,以便于个人了解自动化决策并提出观点和质疑。解决算法决策功能性问题的重心应当转向以“风险预防规则”和协同治理模式为核心的个人信息影响评估,形成全过程治理。

引言

随着算法技术的深入发展与广泛应用,算法权力扩张到社会的各个方面。算法决策可能对个人产生约束效果并严重影响个人权利与自由,因此算法决策从最初的计算机概念转变为社会治理的对象。个体赋权路径是算法决策治理中的重要路径,我国《个人信息保护法》(以下简称《个保法》)与欧盟《通用数据保护条例》都规定了与算法决策有关的个体权利,但是相关研究对个体赋权路径的权利范围与效能争议较大。①参见张欣:《算法解释权与算法治理路径研究》,载《中外法学》2019年第6期;沈伟伟:《算法透明原则的迷思——算法规制理论的批判》,载《环球法律评论》2019年第6期。如何理解和构建算法决策治理中的个体权利需要综合考量个体赋权路径的定位与限度,本文通过反思针对算法决策的个体权利的规定,厘清个体赋权在算法决策治理中的定位,为我国未来算法治理提供借鉴。

一、算法决策治理的双重目标

算法决策,又称自动化决策,是指“通过计算机程序自动分析、评估个人的行为习惯、兴趣爱好或者经济、健康、信用状况等,并进行决策的活动”。②《中华人民共和国个人信息保护法》第七十三条。在算法决策应用于社会的过程中,算法妨害与算法黑箱问题成为算法决策治理的重要动因,其反映了算法治理的双重目标,即解决算法决策的功能性问题与尊重个体的主体性问题。

(一)算法妨害

在数学意义上,算法是指“通过特定计算将输入数据转换为输出结果的编码过程”。③Tarleton Gillespie,The Relevance of Algorithms,in Tarleton Gillespie et al.,Media Technologies:Essays on Communication,Materiality,and Society,Cambridge,The MIT Press,2014,p.167.然而,当算法广泛应用于社会时,就成了具有社会意义的技术,社会生活的每个方面都可能受其影响。算法决策的普及化使我们生活在一个 “评分社会”(Scored society)④See Danielle Keats Citron & Frank Pasquale,The Scored Society:Due Process for Automated Predictions,89 Washington Law Review 1(2014).或者 “黑箱社会”(Black box society)。⑤See Frank Pasquale,The Black Box Society:The Secret Algorithm That Control Money and Information,Harvard University Press,pp.10-11(2015).通过收集并分析我们的数据,算法对我们生活的方方面面进行评价,如人们买了什么、做了什么,人们如何思考、如何工作,人们的关系网如何以及他们如何处理个人的关系。⑥这类信息是关乎特定个人的“预测个人信息”,个人对其有被他人操控的疑虑和恐慌,参见邢会强:《大数据交易背景下个人信息财产权的分配与实现机制》,载《法学评论》2019年第6期。这类评价涉及我们生活的每个方面,如市场营销、保险、教育、就业、行政、司法等,一旦自动化决策过程存在歧视、偏见、错误甚至操纵行为,其将对个体甚至某个群体带来巨大的外部成本。举例来说,普林斯顿大学的研究人员通过现有的算法AI软件系统分析了220万个单词,发现欧洲人的名字比非洲裔美国人的名字评分更高,“女人”和“女孩”这两个词更有可能与艺术联系在一起,而不是与科学和数学有关,科学和数学与男性的相关程度更高。⑦See Adam Hadhazy,Biased Bots:Artificial-Intelligence Systems Echo Human Prejudices,Princeton University,April 18,2017,https://www.princeton.edu/news/2017/04/18/biased-bots-artificial-intelligence-systems-echo-human-prejudices,December 15,2021.如果算法基于以上的发现决定就业机会或者教育机会,非洲裔美国人和女性将受到不公平对待。实际上,亚马逊平台的在线招聘算法系统曾被发现存在性别歧视。⑧See James,Vincent,Amazon Reportedly Scraps Internal AI Recruiting Tool That Was Biased against Women,The Verge,October 10,2018.https://www.theverge.com/2018/10/10/17958784/ai-recruiting-tool-bias-amazon-report,December 15,2021.更有甚者,算法决策可能成为操纵特定个体或群体评价的手段。如果算法评价成为了社会活动的重要评价标准甚至唯一标准,人的弱点与缺陷将在算法面前暴露无遗,掌握技术优势的人很可能会改变人们的特性,如改变其消费态度甚至是观点立场。人的主体性将在算法技术中消失殆尽。随着算法评价的增加与深入,社会上的人将形成属于自己的数字画像,每个数字画像对应着特定的评分、特征甚至是弱点。基于画像评分不断增加的歧视、排斥与操纵将会加深人的脆弱性。在使用算法的过程中,算法歧视、算法错误与算法操纵形成了对社会中的个体或群体的妨害。这类妨害具有典型的非竞争性和非排他性的特征,如同污染一般是一个程度问题,算法针对的可能不是特定的主体或者群体,而是所有人都或多或少受到影响。⑨[美]罗伯特·考特、托马斯·尤伦:《法和经济学》(第6版),史晋川等译,上海人民出版社2012年版,第156页。

算法妨害源自其无法自洽的功能逻辑。算法广泛应用基于一种功能的逻辑,传统的人类决策充满着歧视、认知偏差、错误、效率低等缺陷,自动化决策被寄予解决人类决策缺陷的厚望。算法作为一种技术仿佛是中立、客观且不存在任何偏见的。⑩技术中立的含义主要包含了:功能中立、问责中立与价值中立。价值中立是技术中立原则的核心部分。参见郑玉双:《破解技术中立难题——法律与科技之关系的法理学再思》,载《华东政法大学学报》2018年第1期。然而,算法并非如其所宣称般中立。相反,算法可以使现有的刻板印象和社会隔阂永久存在。正如Cathy O’Neil所言,“算法模型只是镶嵌在数学中的观点”,算法实际上是现实世界的数学模型。⑪See Cathy O’Neil,Weapons of Math Destruction:How Big Data Increases Inequality and Threatens Democracy,Crown Publishing Group,2016,p.21.在算法设计上,算法的对象、输入的内容、数据的加权比重、算法的类型等方面无不由人类来决定。在数据输入上,所有的数据均来自于现实社会,这些数据本身就可能带有偏见与刻板印象,例如:性别、肤色、种族等原生敏感数据,在深度分析下,邮政编码、IP地址等关联数据有可能成为带有歧视的敏感数据。⑫参见谢琳:《大数据时代个人信息边界的界定》,载《学术研究》2019年第3期。即使在复杂甚至能够产生“意识”的算法模型中,如机器自主学习、人工智能等,人类的观点与选择都贯穿于算法建构、训练、监管的全过程。⑬郑智航教授归纳了算法歧视的三种基本类型,包括:偏见代理的算法歧视(“关联歧视”)、特征选择的算法歧视、大数据(算法)“杀熟”。参见郑智航、徐昭曦:《大数据时代算法歧视的法律规制与司法审查——以美国法律实践为例》,载《比较法研究》2019年第4期。在“技术中立”原则的庇护下,算法决策掩盖了其所存在与人类决策一样的问题。算法决策并非价值中立,其不能摆脱存在歧视、错误与偏差的问题。算法模型不仅仅是由数据训练的,还需要人类进行设计并有选择性地对数据进行分类和筛选,这些选择不只是关于功能、利润和效率,它们本质上是关乎道德的。

算法妨害实际上是一种不公正的算法技术使用,算法决策功能性问题——歧视、错误、操纵对无辜的主体施加了过高的成本,在没有法律的介入下受到算法影响的主体难以通过协商排除算法妨害。因此,解决算法妨害问题的核心是通过问责制将算法决策的功能性问题所带来的外部成本内部化。问责制关键在于建立明确的责任链,个人或组织需要对法律和道德义务承担责任,并以透明的方式披露结果。⑭See Jonathan Fox,The Uncertain Relationship Between Transparency and Accountability,17 Development in Practice 663(2007).算法问责为算法外部成本设定相应的责任,成为相关主体在使用算法决策时必须考虑的成本,有助于引导和激励其采取措施减少算法决策功能性问题。

(二)算法黑箱

算法黑箱所形成的信息不对称导致算法决策问责的难度加大。通过对知识形成排他性占有甚至自主生产知识,算法制造了信息不对称以获得信息优势,形成强大的算法权力,引发社会的不安与担忧。⑮参见张凌寒:《权力之治:人工智能时代的算法规制》,上海人民出版社2021年版,第27—50页。

算法黑箱是指人类无法理解算法作出的结果和决策,其指向算法的不透明特性。算法黑箱能够减少外界对算法决策过程的影响,但是算法黑箱使得算法过程难以得到解释。学者Bruell指出,算法不透明的原因主要有三种,包括:故意不透明、外行的不透明(Illiterate opacity)、内在的不透明。⑯Jenna Burrell,How the Machine“Thinks”:Understanding Opacity in Machine Learning Algorithms,3 Big Data & Society 1(2016).故意不透明是指人类的算法系统的内部运作被故意隐藏起来。故意不透明可能基于商业秘密保护而存在,也可能是为了通过系统操纵他人。外行的不透明是指由于只有那些拥有专业技术知识的人才能理解这个体系的运作方式,因此,对外行而言,该体系的内部运作是不透明的。外行不透明性意味着对于许多普通民众来说算法决策难以被知晓和预测。内在的不透明是指由于人类和算法对世界的理解存在根本性的不匹配,算法自我运作的内部是不透明的。以往人类对算法的干预和解释主要在特定任务型的算法,但是基于机器学习和深度学习的算法解释发展使得人类干预和解释捉襟见肘,甚至专业人员也越来越难以解释算法的运作过程。⑰Celine Castets-Renard,Accountability of Algorithms in the GDPR and Beyond:A European Legal Framework on Automated Decision-Making,30 Fordham Intellectual Property,Media & Entertainment Law Journal 91,101(2019).这种技术允许算法搜索和分析大量的数据,以发掘算法模式和相关性并成为决策的基础。算法难以解释使得相关性和推论取代了因果关系,算法问责可能会举步维艰。此外,在算法决策过程当中,不透明度使得个人无法知晓算法对自己的影响,人在算法决策下可能会被物化,丧失其主体性和人格尊严。

算法权力扩张本质上是算法通过不透明特性制造信息不对称形成优势地位。算法权力扩张可能会导致算法问责的困难和社会担忧的加重。近年来,对自动化决策不透明性危机的担忧逐渐凸显,如2017年,“美国大数据审判第一案”——卢米斯上诉美国威斯康星州案(又称“Compas案”)⑱Loomis v.Wisconsin,881 N.W.2d 749(Wis.2016),cert.denied,137 S.Ct.2290(2017).、“纽约大学法学院布伦南司法中心与纽约州警察部门案”。⑲Brennan Ctr.for Justice at N.Y.Univ.v.N.Y.C.Police Dep’t,2017 N.Y.Misc.LEXIS 5138,at*5(N.Y.Sup.Ct.Dec.22,2017).算法透明成为了解决算法信息不对称的重要途径。透明与问责是一对相互联系的概念,在实践中,透明与问责经常被视为良好治理的基础与支柱。提高透明度有助于确认责任链条以实现有效的问责制。此外,提高透明度有助于个人与组织参与算法治理以增强社会对算法决策的信任。明智地使用透明度能够创造一个良性循环,合法性、公民参与和信任将导致一场动态的算法治理变革。

综上,解决算法的功能性问题与尊重人的主体性(人格尊严)是算法决策治理的核心目标。首先,算法决策如人类决策一般可能存在歧视、错误、操纵等功能性问题,“算法黑箱”进一步掩盖了这些问题并加大了算法问责的难度。其次,算法决策对个体产生负面影响,甚至可能使其被“物化”,“算法黑箱”导致个体难以发现算法的问题并参与到对算法的质疑当中,加深了个体的担忧与不安。算法决策治理的两个目标实际上与行政法领域中对政府决策的监管目的相似。过去,政府决策也曾被视为“黑箱”决策,法律一方面需要监管政府决策中的功能性问题,如决策错误、不公平对待、对民众的操纵,另一方面需要通过提高透明度以实现有效的问责制,同时增强个体对政府决策的理解和质疑能力,以尊重个体的主体性,为政府决策提供正当性基础。当然,技术的深入发展使算法决策的问题可能比传统的政府决策问题更为突出。但是,算法决策治理的核心目标同样在于解决算法决策功能性问题以及个体主体性问题。为应对算法决策风险,我国《个保法》赋予了个体自动化决策拒绝权、知情权与要求个人信息处理者解释说明权,并规定了个人信息影响评估制度。

二、自动化决策拒绝权的定位

《个保法》第二十四条第三款赋予了个体自动化决策拒绝权,个人有权拒绝个人信息处理者仅通过自动化决策的方式作出对个人权益有重大影响的决定。通过行使该项积极权利,个体成为了算法决策治理中的主体。个体赋权强化个体应对和控制技术风险的能力,增强个体在技术威胁中的主体性,有助于解决个体主体性问题。⑳See Margot E.Kaminski,Binary Governance:Lessons from the GDPR’s Approach to Algorithmic Accountability,92 Southern California Law Review 1529,1553-1557(2019).但是,在解决算法决策功能性问题上,个体存在感知风险能力与算法问责能力不足的问题。同时,自动化决策拒绝权面临权利绝对化的问题,可能会阻碍信息的合理流通。自动化决策拒绝权的核心定位在于通过赋予个体控制权利解决尊重个体主体性问题,而非解决算法决策功能性问题。

(一)“赋权条款”抑或“禁止条款”

纵观《个保法》第二十四条,处理者利用个人信息进行自动化决策被加以保证透明度和结果公平公正的义务,这意味着处理者需要告知个人其正在使用自动化决策。当自动化决策对个人权益有重大影响时,个人有权要求说明以及拒绝仅基于自动化决策方式作出的决定(以下简称“全自动化决策”)。在个体没有行使拒绝权时,《个保法》并未赋予个体其他质疑自动化决策的权利或者要求信息控制者实施保障个体提出质疑的措施。因此,个人信息处理者在保证决策的透明度和结果公平、公正并保障个人的提供解释说明权而个体没有行使拒绝权的情形下,即可对个体作出有重大影响的全自动化决策。欧盟《通用数据保护条例》(以下简称“GDPR”)第22条第1款同样针对自动化决策作出类似“自动化决策拒绝权”的规定,基于全自动化过程进行决策且对数据主体产生法律效力或类似的重大影响时,数据主体有权不受该决定约束。㉑Regulation(EU)2016/679 of the European Parliament and of the Council of 27 April 2016 on the protection of natural persons with regard to the processing of personal data and on the free movement of such data,and repealing Directive 95/46/EC(General Data Protection Regulation),Art.22.只有符合第22条第2~4款的例外情形时,数据控制者才能使用上述的自动化决策。㉒例外情形包括:(1)该决策为订立合同或履行合同所必需;(2)获得欧盟或成员国法律授权,且提供了适当的保障措施;(3)决策基于数据主体的明确同意。在前述第一和第三项例外情形下,数据控制者至少保障数据主体有权获得人为干预,表达其观点与质疑该决定。在使用个人敏感信息的情形下,还需要符合第9条第2款(a)项或(g)项的相关规定并辅以适当的保障措施。我国有学者称其为“反自动化决策权”或“脱离自动化决策权”。㉓张建文、李锦华:《欧盟个人数据保护法上的反自动化决策权研究》,载《重庆邮电大学学报(社会科学版)》2019年第3期;唐林垚:《“脱离算法自动化决策权”的虚幻承诺》,载《东方法学》2020年第9期。然而,欧盟第29条数据保护工作组制定的《自动化个人决策与识别指南》(以下简称《自动化决策指南》)明确指出,该款中的“权利”一词并不意味着在数据主体主动援引时才适用。第22条第1款规定了基于全自动处理进行决策的一般禁止原则,无论数据主体是否就其个人数据的处理采取行动,此禁止条款都普遍适用。㉔Article 29 Data Protection Working Party,Guidelines on Automated individual decision-making and Profiling for the purposes of Regulation 2016/679,WP251.rev.01,pp.19-23.早在欧盟通过1995年《数据保护指令》(以下简称“95指令”)进行规制时,欧盟委员会就对全自动决策过程的质量表示担忧,担心这样的过程会使人们认为所达成的决策是理所当然的,从而降低控制者调查和确定所涉事项的责任。㉕European Community,Amended Proposal for a Council Directive on the Protection of Individuals with Regard to the Processing of Personal Data and on the Free Movement of Such Data:COM(92)422 Final-SYN 287,p.26.全自动化决策具有较大的潜在风险,因此GDPR普遍禁止对数据主体产生法律效力或类似的重大影响的全自动化决策。

《个保法》第二十四条第三款关于自动化决策拒绝权的规定与GDPR第22条第1款在字面上具有相似性,两部法律都赋予了信息主体相关的“权利”,同时设置了一定的义务,但是《个保法》的“自动化决策拒绝权”属于赋权条款,GDPR的“权利”属于禁止条款。两种不同的条款代表两种不同运行逻辑的治理模式——“个体赋权”模式与“原则禁止+例外允许”模式。自动化决策拒绝权的治理逻辑是一般情况下允许使用自动化决策,在个体积极行使拒绝权时,处理者才被禁止进行对个人权益产生重大影响的全自动化决策。换言之,自动化决策拒绝权赋予了个体积极的控制性信息权利,这项权利与威斯丁将隐私权界定为个人对自身信息的控制,㉖Alan F.Westin,Privacy and Freedom,Atheneum,1968.以及“信息自决权理论”——“个人主体具有控制、发布、适用个人数据的权利”一脉相承。㉗谢琳、曾俊森:《数据可携权之审视》,载《电子知识产权》2019年第1期。“原则禁止+例外允许”模式的治理逻辑是原则上禁止进行对个人权益产生重大影响的全自动化决策,在满足例外情形时处理者方可使用。因此,在使用自动化决策时,处理者必须证明其不符合禁止条款的规定或者满足例外条款的要求。GDPR第22条第1款的“权利”并不像“信息获取权”(第15条)、“删除权”(第17条)或“数据可携权”(第20条)一般赋予个体可以积极行使支配和控制个人信息的权利,第22条第1款只是赋予个体不受自动化决策约束的消极权利(Right not to be subject)。这项“权利”类似于霍菲尔德权利理论中的“豁免”(Immunity),自动化决策的处理者因此没有“权力”(Power/Ability)将“责任”(Liability/Subjection)施加于个人,而不是赋予个体一种狭义的“权利”(Right/Claim)。㉘参见[美]霍菲尔德:《基本法律概念》,张书友编译,中国法制出版社2009年版,第26-78页。“禁止条款+例外允许”模式通过处理者义务映射出个体的权利,属于一种消极的防御型信息权利,与沃伦和布兰代斯将隐私权界定为“独处权利”有异曲同工之妙。㉙See Samuel D.Warren & Louis D.Brandeis,The Right to Privacy,4 Harvard Law Review 193,195-196(1890).当然,“原则禁止+例外允许”模式不仅仅包含消极的防御型信息权利,例如GDPR第22条要求处理者提供保障措施,最起码保障主体有权获得人为干预,表达其观点与质疑该决定。因此,赋权条款实际上是通过赋予个体积极权利,让个体自我决定和控制自动化决策对个人信息的处理;禁止条款则通过对处理者施加相应的义务映射出个体的权利,无论个体是否行使权利,处理者都必须设置具体的保障措施,履行保障义务。

(二)自动化决策拒绝权的限度

“个体赋权”与“原则禁止+例外允许”对应两种不同的治理逻辑,将会带来差异的治理效果。自动化决策拒绝权与“原则禁止+例外情形”模式同样保护了个体的人格尊严、体现人的主体性以及防止人的“物化”。但是,在解决算法决策功能性问题上,“个体赋权”模式的限度较大。此外,自动化决策拒绝权面临权利绝对化的问题,可能会影响信息的合理流通与利用。

自动化决策拒绝权给个体配置了一种积极的控制性权利,这项权利类似消费者保护法和劳动法对弱势群体的保护,纠正信息处理者与个人之间的不平等关系。但是,与传统的消费者保护法和劳动法不同,自动化决策的复杂性与不透明性加剧了个人的弱势地位,通过个体行使控制性权利进行算法规制的效果有限。首先,一般个体对风险的认知往往局限于熟悉的领域和风险较大的领域,个人对个人信息保护的风险感知往往比较迟钝。㉚丁晓东:《个人信息保护:原理与实践》,法律出版社2021年版,第90页。这种风险感知一方面源于个体的能力,另一方面源于算法的黑箱特性。这可能导致个体难以感知自动化决策是否对其有重大影响。其次,即使处理者主动告知个体其仅通过自动化决策作出对个人有重大影响的决策,个体也没有能力实现有意义的控制和问责。如前文所述,自动化决策从设计、输入数据、算法运行到最终产生决策的每个阶段都可能导致算法歧视和算法操纵等问题的出现,由于缺乏相应的专业能力,个体无法控制自动化决策的全过程。当然,GDPR第22条为处理者规定的“知情同意”例外条款以及“主体有权获得人为干预,表达其观点与质疑该决定”的保障措施面临与个体赋权相似的困境。㉛See Jakub Míšek,Consent to Personal Data Processing-The Panacea or the Dead End?,8 Masaryk University Journal of Law &Technology 69(2014).但是,“原则禁止+例外允许”模式是通过处理者义务映射个体的权利,并非赋予个体积极权利,个体的积极行权不是自动化决策规制的唯一方式。处理者需要主动证明决策不属于对个体产生重大影响的全自动化决策,或者证明决策符合例外情形并提供适当的保障措施,这实际上是通过提高处理者的合规成本将算法外部成本内部化。因此,“原则禁止+例外允许”模式在解决功能性问题上比自动化决策拒绝权更有效。在个人信息保护法已经规定了自动化决策拒绝权的背景下,“自动化决策拒绝权”应当理解为信息处理者在使用具有重大影响的全自动化决策时应当提供的保障措施。例如,信息处理者应当主动向个体提供拒绝的机制,即使个体没有行使拒绝权,也应当为个体提供质疑自动化决策的途径,并保证决策的公平性与合理性。

在促进信息合理流通方面,由于缺乏其他的例外情形,自动化决策拒绝权可能面临权利绝对化的问题。个人信息的流通价值指向个人信息的公共属性,无论是企业合理使用信息所形成的聚合效益,还是个人信息作为言论自由对象的价值,都应当受到保护。㉜参见前引㉚,丁晓东书,第109页。个体赋权如果走向绝对化,将会影响信息的合理流通从而影响公共利益。《个保法》第二十四条并未规定相应的例外情形,这意味着只要个体行使拒绝权,处理者无法基于其他理由进行对个体权益产生重大影响的全自动化决策。GDPR第22条第2款为“禁止条款”提供了例外情形,例外情况包括:(1)该决策为订立合同或履行合同所必需;(2)获得欧盟或成员国法律授权,且提供了适当的保障措施;(3)决策基于数据主体的明确同意。在使用个人敏感信息的情形下,还需要符合第9条第2款(a)项或(g)项的相关规定并辅以适当的保障措施。这意味着“禁止条款”并不必然导致过于严格的规制。使用自动化决策有益于提高商业效率和促进公众利益。如果个体行使拒绝权即可禁止使用对个体权益产生重要影响的全自动化决策,将会导致更为严格的自动化决策规制。尽管GDPR第22条的例外情形条款也存在不足与争议,但是其背后的治理逻辑可能更能促进信息的合理利用和流通。

综上所述,自动化决策拒绝权赋予了个体积极的控制性权利,通过增强个体参与算法决策治理的能力,纠正信息处理者与个人之间的不平等关系。自动化决策拒绝权有助于解决个体主体性问题。但是,自动化决策拒绝权无法有效解决算法决策功能性问题,甚至会阻碍信息的合理利用与流通,其治理效能不如以信息控制者义务为中心的“原则禁止+例外允许”模式。

三、个人透明权利的定位

为了应对算法黑箱导致的权力扩张,算法解释成为了重要的治理手段。基于对权利话语路径的依赖,《个保法》赋予了个体知情权、要求个人信息处理者解释说明权,GDPR则赋予了数据主体知情权(Right to be informed)与数据访问权(Right of access)。㉝基于第22条的定义进行自动化决策时,控制者必须告知数据主体他们正在从事此类活动、提供涉及自动化决策逻辑的有意义的信息以及解释处理的重要性和设想的后果。众多学者争论欧盟是否存在算法解释权并基于GDPR的相关规定建构起不同版本的算法解释权。然而,在没有确定算法解释权的实质内涵之前,对于欧盟是否存在算法解释权的争论以及是否应当将我国的相关权利解释为算法解释权并没有意义。算法解释权的关键在于如何建构与算法决策治理目标相适应的透明权利,如何建构需要思考透明权利的定位。

(一)算法解释权争议的实质

主流观点中的算法解释权是指数据主体有权要求控制者对特定决策进行具体且有意义的解释。㉞See Bryce Goodman & Seth Flaxman,European Union Regulations on Algorithmic Decision Making and a“Right to Explanation”,3 AI Magazine 50,50-57(2017);Wachter et al.,Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation,7 International Data Privacy Law 76,76-99(2017).算法解释权被认为是实现算法透明的高度体现。㉟参见汪庆华:《算法透明的多重维度和算法问责》,载《比较法研究》2020年第6期。不同于知情权与访问权要求事前提供系统的一般性信息,㊱《自动化决策指南》规定控制者只需要向数据主体提供一般性信息(特别是有关决策过程中考虑的因素,以及它们各自在总体上的“权重”),并不需要进行特定解释。算法解释权属于事后解释,个人有权要求控制者对特定决策提供更为具体的信息,如特定决策中的输入数据与输出结果、考量因素与因素的比重等等。许多学者在提及欧盟规制路径时都将算法解释权(Right to explanation)作为路径的核心,算法解释权仿佛成了自动化决策规制的关键。然而,欧盟并未阐明GDPR是否存在算法解释权,GDPR规定的知情权(第13~14条)与数据访问权(第15条)中的“为数据主体提供涉及自动化决策逻辑的有意义的信息”与绪言第71条中的“为数据主体提供在相关评估后获得对该决定的解释并质疑该决定的权利”成为了众多学者建构算法解释权的基础。㊲GDPR在绪言第71条中为算法解释权留下了适用空间:“适当的保障措施……应包括提供给数据主体具体的信息、(数据主体)获得人为干预并表达其观点的权利,在相关评估后获得对该决定的解释并质疑该决定的权利。”但是绪言在欧盟法律中并无法律效力,绪言作为对法律规则的解释本身不能构成规则。See Casa Fleischhandels-GmbH v Bundesanstalt für landwirtschaftliche Marktordnung,Case215/88,ECLI:EU:C:1989:331,https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A61988CJ0215,December 15,2021.

这场论战最早由学者Bryce Goodman与Seth Flaxman引发,他们将“提供涉及自动化决策逻辑的有意义的信息”扩张解释为算法解释权。㊳See Bryce Goodman & Seth Flaxman,supra note ㉞.这种主张被Wachter教授等学者所批判,他们认为GDPR仅要求对系统的功能(系统如何运行)进行事前解释(Ex ante explanation),而无需对决定背后的原因进行事后解释(Ex post explanation)。㊴See Wachter et al.,supra note ㉞.Edwards教授与Veale博士则从机器学习算法的角度指出了行使算法解释权的实际困难,不同的是,他们接受算法解释权的可能性。㊵See Lilian Edwards & Michael Veale,Slave to the Algorithm:Why a Right to an Explanation Is Probably Not the Remedy You Are Looking For,16 Duke Law & Technology Review 18(2017-2018).尽管相关的批驳观点获得了大量的追随,但是支持算法解释权的学者并不在少数。Powles教授与Selbst助理教授明确反对Wachter教授等学者的观点,他们认为对系统的事后解释是可行且应当的,算法解释权应源自GDPR第13~15条。㊶See Andrew D.Selbst&Julia Powles,Meaningful Information and the Right to Explanation,7 International Data Privacy Law 233(2017).Bygrave教授与Mendoza研究员认为GDPR条款中关于访问权(第15条)的规定并未排除事后解释的可能性,这种权利可以视为GDPR第22条第3款的“质疑自动化决策权”(Right to contest)的默示条款。㊷See Isak Mendoza&Lee A.Bygrave,The Right Not to be Subject to Automated Decisions Based on Profiling,EU Internet Law(2017).Casey等学者从GDPR的执法层面进行分析,声称GDPR引入了明确的算法解释权。㊸See Bryan Casey,Ashkon Farhangi & Roland Vogl,Rethinking Explainable Machines:The GDPR’s“Right to Explanation”Debate and the Rise of Algorithmic Audits in Enterprise,34 Berkeley Technology Law Journal 143(2019).Brkan教授则认为,上述所有的支持与批驳观点都桎梏于名义上的算法解释权,算法解释权的内容远比其名称更为重要,在肯定需要算法解释权的基础上,她综合GDPR相关条文分析算法解释权的必要性与内容。㊹See Maja Brkan,Do Algorithms Rule the World?Algorithmic decision-making and Data Protection in the Framework of the GDPR and Beyond,27 International Journal of Law and Information Technology 91(2019).Kaminski教授则从GDPR的治理模式和《自动化决策指南》对算法解释权的隐喻进行分析,她认为GDPR属于协作治理模式(即监管机构与企业之间的互动),随着法律的发展,绪言第71条作为重要的资源为企业提供了清晰的信息。而《自动化决策指南》多次直接引用绪言第71条的内容,足见算法解释权的重要性。㊺Margot E.Kaminski,The Right to Explanation,Explained,34 Berkeley Technology Law Journal 143,189(2019).

可见,算法解释权只是学者建立在欧盟透明权利之上的扩张解释,如前文所述,GDPR并没有明确规定算法解释权。㊻虽然英国没有在法律中规定类似的算法解释权,但是英国信息专员办公室(ICO)发布的《人工智能决策解释指南》却肯认了算法解释权的存在以及其必要性。Information Commissioner’s Office & The Alan Turning Institute,Explaining decisions made with AI,20 May 2020,https://ico.org.uk/for-organisations/guide-to-data-protection/key-data-protection-themes/explainingdecisions-made-with-ai/,December 15,2021.无论学者们通过什么进路论证算法解释权,其实质都是为了实现自动化决策的高度透明。但是算法解释权在GDPR中是否存在并不重要,关键是算法解释权的实质内容,即实现何种程度的算法解释。算法解释权内涵受到多种要素影响,包括:算法解释的标准、算法解释的时机、算法解释可理解性,以及解释的详细程度。㊼See Wachter et al.,supra note ㉞.对于算法解释权内涵要素的不同选择将构成内涵迥异的算法解释权,这些内涵要素可能与现行法律规定的透明权利相一致,也可能相去甚远。实际上,绪言第71条所指的解释并非建立高度透明的算法解释权。《自动化决策指南》指出,数据控制者应当采取简单的方式向数据主体解释,只有数据主体了解决策的依据,他们才能对决策提出异议或发表意见。仅当数据主体可以理解特定决策所基于的因素和考虑时,自动化决策所涉及的逻辑才是“有意义的”。解释的重点在于为数据主体质疑和发表意见提供信息。

《个保法》与GDPR都没有明确规定饱受争议的算法解释权,但是应当看到算法解释权的核心定位实际上是通过提高自动化决策的透明度,为数据主体质疑和发表意见提供解释。因此,适当的算法解释具有必要性。对我国而言,阐明《个保法》中的知情权与要求个人信息处理者解释说明权的内涵和算法解释的范围具有必要性。为了数据主体能实质地提出观点并质疑自动化决策,处理者至少需要提供自动化决策的输入数据、输出结果并对决策依据进行合理的解释。㊽See Maja Brkan,supra note ㊹.at 114.

(二)透明权利建构的限度

透明权利体现了通过透明原则对自动化决策进行规制。欧盟《条例透明原则指南》㊾Article 29 Data Protection Working Party,Guidelines on transparency under Regulation 2016/679,WP260.与《个保法》都阐明了透明原则是个人信息保护的基本要求。欧盟数据保护监管机构(EDPS)进一步指出,不是由个人来寻求自动化决策逻辑的公开,而是各组织与机构必须主动寻求这种透明性。㊿European Data Protection Supervisor,Opinion 7/2015.Meeting the challenges of big data.A call for transparency,user control,data protection by design and accountability,https://edps.europa.eu/sites/edp/files/publication/15-11-19_big_data_en.pdf,December 15,2021.透明原则并非自动化决策规制的唯一原则,却是备受关注与推崇的“金科玉律”。参见前引①,沈伟伟文。诚然,提高透明度有助于自动化决策规制,但是过度依赖于透明权利无法实现有效规制。

首先,个体赋权容易导致私益之间的冲突,透明权利受制于其他合法权利。“阳光是最好的消毒剂”,透明原则被视为建设透明法治政府、问责制和限制滥用权力的堡垒之一。对公共机构的透明权利使公众可以进行可视化的辩论,为政府赢得信任和合法性。See Lilian Edwards & Michael Veale,supra note ㊵.如Zarsky教授强调:“所有政府行动都默认应当是透明的。”Tal Zarsky,Transparency in Data Mining:From Theory to Practice,Discrimination and Privacy in the Information Society 301,310(2013).然而,私人行为却恰恰相反,在私人行为中,包括对个人隐私、商业秘密和知识产权的保护实际上已成为准则。自由进行商业活动是欧盟的一项基本权利,参见Art.15,Charter of Fundamental Rights of the European Union(CFEU)2012/C 326/02。透明权利的适用必然会受到商业秘密和知识产权保护的冲击。有学者通过对比GDPR与《欧盟商业秘密指令》Directive(EU)2016/943 of the European Parliament and of the Council of 8 June 2016 on the protection of undisclosed know-how and business information(trade secrets)against their unlawful acquisition,use and disclosure.的相关条款认为欧盟倾向于保护个人信息,See Gianclaudio Malgieri & Giovanni Comande,Why a Right to Legibility of Automated Decision-Making Exists in the General Data Protection Regulation,7 International Data Privacy Law 243,262-265(2017).且《自动化决策指南》也明确提出:“控制者不能以保护其商业秘密为借口来拒绝访问或拒绝向数据主体提供信息”,但是透明原则与商业秘密、知识产权保护间的利益冲突仍是不容忽视的。GDPR绪言第63条也明确指出,数据访问权“不应不利地影响他人的权利或自由,包括商业秘密或知识产权,尤其是保护软件的版权”。不同于欧盟GDPR直接赋予个体透明权利,美国《公平信用报告法》Federal Trade Commission,Fair Credit Reporting Act(FCRA),https://www.ecfr.gov/current/title-16/chapter-I/subchapter-F,December 15,2021.为算法决策使用者规定了一系列的透明义务,包括“不利行动通知”(Adverse action notice)、为消费者提供访问和机会来更正用于作出有关他们的决策的信息、调查消费者和报告机构对信息准确性的质疑。举例说明,当AI模型使用关于消费者的数据形成报告或者评分会对消费者产生不利影响时,例如将评分或者报告作为拒绝用户贷款或向租客收取更高租金的基础,使用算法决策的机构必须向该消费者提供不利行动通知。不利行动通知告诉消费者他们有权查看有关他们的信息并纠正不准确的信息。美国《算法正义和在线平台透明度法案》Representative Doris O.Matsui,Algorithmic Justice and Online Platform Transparency Act.则提出,在线平台在使用算法时应以显著的、通俗易懂的、不具有误导性的语言向在线平台的用户披露相关信息。尽管美国没有通过法律直接赋予个体权利,但是为使用算法的相关主体设置透明义务让个体参与到算法决策治理当中,同样具有尊重个体主体性的效果。实际上,这类似于将透明义务作为霍菲尔德权利理论中的“责任”(Liability/Subjection)来理解,部分映射了个体支配和控制某项法律关系的权力(Power/Ability)。相较于赋予个体积极行使的“权利”(Right/Claim)而要求处理者履行“义务”(Duty),可能更有助于减少个体赋权导致不同私权之间的冲突。参见前引㉘,霍菲尔德书。

其次,从算法解释对个体的意义来看,透明权利同样存在较大局限。人工智能、深度学习与机器学习等技术发展使得输入数据与输出结果之间的因果关系难以解释,算法的解释更多是一种相关性或者推论。See Celine Castets-Renard,supra note ⑰,at 101.个体难以感知或者证明算法决策存在歧视等问题。此外,发现歧视等系统功能性问题需要关注系统的整体行为,个体赋权与算法决策监管时机不适应。在使用机器学习算法的场景下,个人对特定决定的挑战并不如在算法设计阶段建立良好的标准或在算法运作过程中持续监测算法对规则的遵从有效。See Deven R.Desai & Joshua A.Kroll,Trust but Verify:A Guide to Algorithms and the Law,31 Harvard Journal of Law &Technology 1,5-6(2017).人类创造机器学习算法的工作主要在设计和训练阶段,评估和纠正运行中的机器学习算法将会非常困难。某些算法甚至会随着时间而发展,通过个体挑战这些系统几乎是不可能的。只有当算法不当行为易于观察且惩罚易于执行,即解决算法系统性功能的成本小于发现几率乘以处罚成本执行时,算法设计者才会选择纠正算法系统错误。这意味着透明权利无法有效解决算法决策系统的功能性问题。

最后,从救济效果来看,透明权利同样存在较大局限。Pasquale教授指出,面对制度化的权力或金钱,仅凭透明度并不总会产生补救或公众信任。See Frank Pasquale,supra note⑤.过度依赖透明处理原则使我们陷入一种“透明陷阱”(Transparency fallacy),个体往往缺乏必要的专业知识来有意义地行使这些个人权利。See Lilian Edwards & Michael Veale,supra note ㊵,at 75-76.大部分的个体在时间和资源上都过于贫乏,无论是在技术、行为、法律还是经济实力等层面,个人都处于弱势地位。归根结底,数据主体需要的不是获得相关信息与解释,而是确保不利结果永远不会发生。有学者对近年相关案例进行分析,发现被侵权人根本没有寻求获取相关信息与解释的救济,他们需要的是实际行动,如冈萨雷斯诉谷歌案,原告要求谷歌删除其姓名搜索中的顶部链接(数据),他对Google的搜索算法为何继续将过时的结果继续放在其排名的首位并没有兴趣。See Lilian Edwards & Michael Veale,supra note ㊵.单纯提高透明度不能提供足够的救济。

综上所述,透明权利的核心定位在于为数据主体质疑和发表意见提供有意义的解释,赋予个体透明权利有助于缓解个体与处理者之间的信息不对称,让处理者充分了解自动化决策并行使质疑和问责的权利。因此,在构建算法解释权时,应当首先考虑算法解释的标准、算法解释的时机、算法解释可理解性,以及解释的详细程度能否为数据主体质疑和发表意见提供有意义的解释。例如,在一般情况下,信息主体有权要求控制者以可理解的方式解释系统的通用信息;面对复杂系统时,数据主体有权要求进一步公开特定决策的处理过程信息和结果信息,以便数据主体提出质疑和观点。但是,囿于个体赋权和透明度救济效果的限制,仅依赖透明权利无法实现有效的算法问责。建构适当的透明权利还应当综合考量手段的合目的性、成本和有效性,平衡自动化决策的风险与效率。过宽的透明权利将无法实现制度成本与算法决策治理效率的平衡。

四、算法决策治理的进路选择

基于权利路径依赖和尊重个体主体性的需要,个体赋权成了算法决策治理的重要手段。然而,在技术深入发展、利益保护多元化的背景下,个体赋权无法有效解决算法决策的功能性问题,这体现为自动化决策拒绝权与透明权利的治理效能不足。个体赋权的定位仅在于建立算法的正当程序,体现对个体主体性与人格尊严的保护。相关研究对于个体赋权的权利范围与效能的争议忽视了算法决策治理具有双重目标,在解决算法决策的功能性问题上,个体赋权路径具有较大的局限性,但是个体赋权在尊重个体主体性上有着不可替代的作用。理解和建构关于算法决策治理的个体权利应当着眼于算法的正当程序。解决算法决策功能性问题的重心应当置于信息控制者的责任,强化信息控制者的风险预防规则。参见前引㉚,丁晓东书,第113页。

(一)个体赋权的定位:构建算法的正当程序

如前文所述,透明权利与自动化决策拒绝权具有较大的局限性,其核心原因都与个体赋权模式在解决算法决策功能性问题的有效性相关。由于个体行权能力有限、算法解释对个体的意义不足,包括:(1)私权的冲突导致算法解释范围狭窄;参见前引㉟,汪庆华文。(2)人工智能、深度学习与机器学习等技术发展使得输入数据与输出结果之间的因果关系难以解释,算法的解释更多是一种相关性或者推论;See Celine Castets-Renard,supra note ⑰,at 101.(3)发现系统功能问题需要关注系统的整体行为,个体赋权与算法决策监管时机不适应,个体赋权无法有效解决算法决策功能性问题。此外,仅通过个体赋权进行算法决策治理而忽略了算法的合理利用将面临权利绝对化的风险,可能会阻碍信息的合理流通。

因此,个体赋权路径并非治理算法决策功能性问题的核心手段,其定位在于对个体主体性和人格尊严的尊重,为算法决策的合理使用提供正当性基础。个体获取算法决策相关信息与解释的权利、要求人工干预决策权、发表观点和质疑等一系列权利被称为算法决策的“正当程序”(DueProcess)。See Danielle Keats Citron & Frank Pasquale,supra note④;Kate Crawford & Jason Schultz,Big Data and Due Process:Toward a Framework to Redress Predictive Privacy Harms,55 Boston College Review 93(2014).算法正当程序的概念并非新鲜事物。在传统的行政决策方面,程序正当要求向被剥夺重大利益的个人提供获取通知、相关信息和解释,以及在中立裁决者前提出观点和质疑的机会。算法正当程序将类似的要求移植到算法决策的场景中。我国《个保法》为个人规定了知情权、要求说明解释权,以及自动化决策的拒绝权,这些应当被理解为算法的“正当程序”。如前文所言,算法黑箱制造的信息不对称扩张了算法权力,个体如果无法知悉决策、获得决策的解释并提出自己的质疑,个体的主体性将在算法权力面前消失殆尽,从而彻底被物化。人的权利实际上代表了—种反对权力滥用和权力专横的立场,是对个人尊严以及对人们自由、自决能力进行认同。[美]玛丽·安·格伦顿:《权利话语:政治言辞的穷途末路》,周威译,北京大学出版社2006年版,第14页。此外,个体赋权在解决算法歧视与决策错误等算法决策功能性问题上也有一定的作用,它有助于数据主体发现和纠正系统错误、偏见和歧视。算法设计者集“运动员”与“裁判员”于一身,其既是使用算法决策的人,又是创设算法规则的人,这将导致没有任何制衡制度来确保系统中不存在偏见。算法正当程序的一个核心功能是将编写规则的人与使用该法律法规的裁决人员分开。个人对算法决策的挑战与纠正使得算法规则接触到符合法律原则和社会规范的外部评价,从而减少偏见和歧视。因此,为个体设定透明权利,要求数据控制者披露信息,并允许个人参与和纠正分析和决策,尊重了人的尊严与主体性。算法正当程序为算法决策提供了正当性的理由,有助于缓解社会对算法黑箱的担忧。

在建构个体权利时应当认识到个体赋权的定位。如前文所述,透明权利的核心定位在于为数据主体质疑和发表意见提供有意义的解释,自动化决策拒绝权的核心定位在于赋予个体积极的控制性权利,增强个体参与算法决策治理的能力。然而,在解决算法决策功能性问题上,个体赋权的效果不佳。因此,只要涉及通过个体解决算法决策功能性问题,无论是要求提高算法透明度以实现个体问责,如通过高度透明的算法解释权实现算法问责,还是通过个体赋权直接对算法进行问责和控制,如通过自动化决策拒绝权来实现算法决策治理,都会受到治理效能不足的质疑与挑战。但是,个体赋权有助于构建算法“正当程序”以解决人格尊严保护问题。适度使用透明度工具并提高个体的参与度,能够缓解个体的不安,增强个体对算法决策的信任。因此,个体赋权的构建应当着眼于建立算法“正当程序”,而非个体对算法决策功能性问题的问责与控制。在构建算法正当程序上,个体赋权的内容应当体现为通过透明权利适度提高算法透明度,以便于个人在参与算法问责中了解自动化决策,并提出观点和质疑。在解决算法决策功能性问题上,算法决策治理的重点应当从个体赋权转移到对信息控制者施加义务。

(二)解决功能性问题的重心:“风险预防规则”与“协同治理”

从个人信息保护的制度起源——“公平信息实践”的发展历程来看,个人信息保护早期主要依赖个体赋权与个人信息的控制者责任,囿于个体赋权的局限性,后期版本的公平信息实践对信息控制者施加了更多的风险防范与治理义务。例如,2004年的《APEC隐私框架》将风险预防原则作为公平信息实践的首要原则。欧盟第29条工作组认为风险路径值得提倡且已体现于GDPR的立法中,《个保法》第五十一条与GDPR第32条规定了与风险相称的措施;《个保法》第五十六条与GDPR第35条规定了风险评估;《个保法》第六十四条与GDPR第36条规定了风险监管责任。参见前引㉚,丁晓东书,第113-114页。个体能力不足意味着算法决策治理需要从个体赋权转向信息控制者的“风险预防规则”。此外,由于算法的深入发展带来监管和问责困难,算法决策治理已经不能局限于某一阶段,需要建立事前、事中、事后的全过程监管。在治理过程中,政府、市场、社会和个人等单一主体治理都存在较大的局限性,算法治理需要由单一主体监管转向协同治理路径。风险评估既属于“风险预防规则”,又体现了协同治理。

首先,风险评估类似软性的市场准入机制。公共机构与私营部门协同控制算法风险的合理范围体现了协同治理模式。风险评估的时机在进行自动化决策之前,体现了风险防范的原则。在使用算法系统之前,信息处理者必须针对风险评估履行一系列的合规义务,确保自动化决策的风险在可控范围内。《个保法》第五十六条规定个人信息保护影响评估应当包括下列内容:个人信息的处理目的、处理方式等是否合法、正当、必要,对个人权益的影响及安全风险,所采取的保护措施是否合法、有效并与风险程度相适应。GDPR要求评估的内容包括: (1)系统描述处理的具体流程和处理目的,以及控制人所追求的合法利益;(2)处理过程的必要性和相称性;(3)为数据主体的权利和自由带来的风险;(4)为处理风险而设想的措施,并在考虑到数据主体和其他有关人员的权利和合法利益的情况下,证明遵守本条例;(5)行为准则。此举有助于在事前控制算法风险,防止算法风险的扩散。欧盟《自动化决策指南》就曾建议企业经常对其处理的数据集进行评估,以检查是否存在任何偏见,并开发解决任何偏见因素的方法以防止数据处理中的错误或歧视。事前数据影响评估的要求同样体现了协同治理:在评估的过程中,监管机构负责指引和监管,而信息控制者可以根据评估结果部署与风险相适应的保障措施,并证明其履行了合规义务。我国《个保法》严格规定所有类型的自动化决策都需要进行个人信息安全评估。信息控制者根据《个保法》和工信部制定的《信息安全技术 个人信息安全影响评估指南》国家市场监督管理总局、国家标准化管理委员会《信息安全技术 个人信息安全影响评估指南》,GB/T 39335-2020,2020年11月19日发布,2021年6月1日实施。(以下简称《评估指南》)落实风险评估。《评估指南》规定,组织需要根据评估结果部署相应的保障措施并持续跟踪风险处置的落实情况。在组织自行进行算法影响评估时,主管的监管部门可以要求独立审计来核证评估报告的合理性与完备性。通过对信息控制主体施加事前进行风险评估的义务,并由个人信息保护机构进行监管和指引,解决了个体赋权路径中个体风险感知和风险控制能力不足的问题。GDPR仅要求对具有高风险的自动化决策进行事前评估。在进行数据评估时,控制者必须咨询相关的数据保护机构,数据保护机构必须向控制者提供书面建议,并可以行使其权力暂时或永久禁止使用该系统。控制者如果无法合规而投入使用该系统,其将面临相应的惩罚(罚款最高可达全球营业额的4%)。

其次,风险评估是提高透明度和增强问责制的重要工具,既有助于个人信息保护机构对算法进行事后问责,也能激励信息控制者参与算法的事中治理与监督。风险评估中的透明度与问责制不同于个体赋权,参与协同治理的主体比个人更具有理解和监管算法决策以及进行事后问责的能力。在提高透明度方面,算法影响评估允许公共机构和第三方的介入,有助于相关主体了解并监管算法的运作过程,提高相关主体的问责能力。此外,风险评估还是集存档、监测和审查于一体的问责工具。《个保法》第五十六条与欧盟《数据影响评估指南》Article 29 Data Protection Working Party,Guidelines on Data Protection Impact Assessment(DPIA)and determining whether processing is“likely to result in a high risk“for the purposes of Regulation 2016/679,WP 248.均规定了评估报告和处理情况记录需要存档的要求,以便于相关机构进行监测、审查和问责。公共机构无法在事前提供精确的法律规范,需要私营机构发挥其专业能力参与到算法的协同治理中。为了保证私营主体的治理不偏离公共治理目标,公共机构需要进行事后问责与监督,要求算法设计者或使用者设置可溯源的措施有助于保证事后的追责。参见[美]约叔华·A.克鲁尔、乔安娜·休伊、索伦·巴洛卡斯、爱德华·W.菲尔顿、乔尔·R.瑞登伯格、大卫·G.罗宾逊、哈兰·余:《可问责的算法》,沈伟伟、薛迪译,载《地方立法研究》2019年第4期。这实际上建立起了风险评估的“双重问责制”,即基于信息控制者合规义务的问责,如要求控制者设置与风险相对应的措施和可溯源的措施,以及基于算法决策不利后果的问责,有助于激励控制者在算法运行过程中持续监测和控制算法的风险,形成算法治理的事中规制。

最后,风险评估有助于促进规则的形成。虽然风险评估目前并没有形成统一的行业标准。然而,随着时间的推移,公共机构反复评估将形成一定的经验而影响一般的合规标准。例如,形成需要进行风险评估的负面清单、相应风险所需的保障措施等。这正是协同治理路径的核心,在公私合作规制的过程中形成动态、有效、与风险相匹配的自动化决策规制。

结语

个体赋权在算法决策治理中的定位是实现算法正当程序,相当于个体权利建构的最低阈值,但是由于个体赋权在解决功能性问题上的效能不足,治理效能限制了个体权利在算法决策治理中的最高阈值。因此,未来在算法决策治理中的权利建构与适用应当着眼于如何构建算法正当程序,不应苛求通过构建过于宽泛的个体权利来解决算法决策功能性问题。在解决算法决策功能性问题上,以风险评估为核心的协同治理路径为实现有效的算法治理提供了可能性。

猜你喜欢
赋权权利个体
行为免疫系统对个体就医行为倾向的影响*
赋权增能与边界拓展:博士生培养模式变革的逻辑建构与路径选择
基于赋权增能的德育评价生态系统的构建
期刊评价中小同客观赋权法权重比较及其思考
在社会工作实务过程中的赋权理论
股东权利知多少(二)
股东权利知多少(一)
明确“因材施教” 促进个体发展
权利套装
How Cats See the World