自动化决策下的数据保护路径探究

□ 文 陈 鹏

0 引言

随着大数据与人工智能的运用，自动化决策既可以大幅提高决策效率，为消费者或用户提供更精准的服务，同时也带来很多现实的挑战。自动化决策可能侵犯个人的隐私。在Facebook组织用户的新闻推送的算法测试中，数据科学家亚当•卡拉默发现不同的微调会影响用户的行为和情绪，进而根据带有情感讯息的个人信息的自动化决策侵犯个人的隐私。自动化决策可能侵犯个人信息权益。互联网平台通过大数据收集消费者的个人信息，进而通过自动化决策推测出消费者的消费偏好，如果该过程未充分得到个人信息主体的授权，则可能涉嫌侵害个人信息权益。算法的不透明性使得机器决策渐渐剥夺了人类的决策的自主性，与此同时，建立在个人数据收集基础上的自动化决策威胁着个体的尊严与自由，也更容易固化算法带来的歧视与偏见。算法不透明被广泛承认但又定义不同。近年来有学者认为算法的自动化决策应当具备可解释性。数据主体有权了解自动化决策的逻辑和原因，但现在及未来处理公民个人数据的服务型算法通常依赖机器学习。基于决策树的机器学习方法理论上可以决定学习路径，但存在着严重的约束，使得任何说明都非常困难。因此，本文通过分析研判国内外法律的相关内容，对自动化决策的数据保护问题进行探究。

1 自动化决策的界定和可规制性

1.1 自动化决策的界定

在分析自动化决策的规制之前应当先对自动化决策的类型进行界定。算法是逻辑、数学运算的序列。它们可以通过向计算机系统提供分析输入数据的指令，使决策过程自动化处理数据。这些指令、算法被认为能够识别大型数据集中有意义的关系和可能的模式，从而使过去完全由人类完成的决策达到机械化。对比我国《民法典》《个人信息保护法》和GDPR关于自动化决策的定义，自动化决策的前因是识别分析，决策很难不通过分析作出，但是也有一部分预测不直接来源于识别分析。因此，笔者认为自动化决策除了识别分析基础上还应囊括其他类型。另外，在实践中除了由个人直接提供以及针对个人监测后得到的数据之外，自动化决策还常常以衍生或者推导出的数据为基础。因此，自动化决策的过程既应包括人类的决策，也应该包含机器的自动判断。

1.2 自动化决策规制的必要性

1.2.1 对自动化决策活动的透明度和公平合理进行规范，是对算法歧视等问题的积极回应。人们尝试过使用开放源代码这样的方式对抗“黑箱”，但效果并不尽如人意，而且开源在很多领域并不现实。同样，即使是要求算法具有可解释性也不具有实际意义，目前神经网络根本没有办法被解释。实践中，算法的透明度具体的衡量标准和细则可以避免在具体实施过程中流于形式。自动化决策的透明度和结果公平合理应当避免出现个人举证不能的情况下无法行使算法解释权。既要保证过程和程序的透明，也要保证结果的透明。把识别的过程和结果以及识别分析作相应的区分，以避免过于主观地作出判断和结论。

1.2.2 不仅要对完全自动化决策施加严格限制还要对非完全的自动化决策做出规范。个人有不受完全基于自动化决策的权利。该权利的行使取决于个人的自由意志和选择。实践表明，一项自动化决策系统已经被明确限定为辅助决策功能，个人行为中出于对机器逻辑的信任，或由于个人决策者缺乏时间、精力等原因，该系统实际上仍然倾向于完全自动化运行。即在系统运行时存在实质性人为控制，但若个人决策者存在明显偏见，也可能使得系统内嵌间接的、无意的甚至不易察觉的歧视。另外，个人信息处理者在评估自动化决策时，应当考虑个人的意见并有义务对个人观点作出回应。实践中，个人信息处理者有可能通过不回应个人的意见，而使个人的权利无效。但当个人有权对决策提出异议并同时可以行使表达观点的权利时，那么对于此种情况下的自动化决策结果的责任承担又将出现不能明确的问题。

2 自动化决策传统规制及其困境

透明度一直是有关自动化决策问责的焦点。

2.1 工具主义的偏差纠正

基于算法推理的决策可能是有偏见的、歧视性的和错误的所以要对算法进行规范。这一工具性的基本原理将监管描述为纠正具体问题的工具。程序员和及其企业做了一系列的决定，从使用什么数据集来训练算法，到如何定义算法的目标输出，再到算法产生误报和误报的可能性，算法既不中立，也不完美。例如，美国各地的法官在审前和量刑决定中都依赖于广泛使用的累犯风险算法，要求算法预测再次被捕，并在一个人被捕而不是被定罪时确认其准确性，扭曲了算法的输出，对其适用的个人造成重大后果。另一个被广泛讨论的算法偏差问题的例子是有偏差数据集的使用，当一个算法在有偏差的数据上训练时，它的输出也会有偏差。调节算法的工具性理论可以来纠正这些问题。

2.2 自动化决策的重大关切理由

一些要求规范自动化决策的观点侧重于证明理由的需要，即证明无论是要求对决策作出解释，还是对决策系统进行监督，自动化决策均具有社会合法性。算法根据数据进行关联和预测，受输入的限制，又相对不受社会背景的限制规范。例如，一个算法可能会发现一个人衣服的价格和偿还贷款的可能性之间存在着很强的相关性。然而，在通常情况下，我们可能会不希望银行根据自己衣服的价格做出贷款决策。这也可能导致如性别、性取向、经济地位、种族或其他特征的不同影响。算法可以制定并遵循规则，它不一定具备修改或打破规则的能力。因此，规范自动化决策要求对所使用的数据、模型和启发式进行透明化。这是为了确保决策不是基于非法或其他规范上不可接受的因素和推理做出的，并使个人能够争辩为什么适用于他们的系统推理可能是错误或不公平的。

2.3 自动化决策潜在地将个体客观化

它将个体视为可替代的。第一，使用机器做出的决定侵犯了作为人这个整体的尊严。第二，创建个人档案，存储一个没有输入的版本，然后根据这个“数据”做出决定，如果个人缺乏访问、更正甚至删除这些档案中数据的能力，他们的尊严和自主权受到损害。第三，算法分析及其结果是限制用户个人自主性的方式。这三点对实现个人数据保护权利是一样的，即访问、更正、解释、甚至删除和争议的权利。这三点基本原理显然是相互联系的。要求使用算法的程序员或企业披露决策启发法，可以发现偏见和歧视。允许个人访问和纠正数字档案中的错误，也可以达到减少系统出错的工具性目的。

规制自动化决策最大困难在于不同的理论有时会推动不同的模型规则。聚焦工具性原因导致具体纠正问题的监管方法。关注尊严的原因会导致个人赋权的争论。合理的理由可能导致对任何一种治理形式的争论，或者两者都有争论。大多数拒绝个别或公开透明形式做法，是因为把重点放在了纠正偏见和错误，不太重视显要或正当的理由，这是错误的。即使是只关心纠正错误和消除偏见，透明度和问责制也发挥着重要作用。

3 自动决策责任的透明度分类法

3.1 透明度对算法问责的必要性

为了理解如何最好地利用透明度，我们不仅要知道透明度可以做什么，还要知道监管的目标，即我们希望看到什么样的体系。越来越多的研究人员利用法律规定透明度的要求使“黑箱”系统变得可解释或以其他方式透明。例如欧盟GDPR以及美国公平信用报告法（FCRA）要求使用算法可解释性技术，或者可能在功能上禁止使用不可解释的算法。但是仅仅关注技术修复却忽视了一个日益增长的共识，即算法的可解释性也意味着人类系统的可解释性。算法深嵌社会系统，自动化决策反映了程序员在一开始就做出设计选择的价值观、算法产生的背景和方法使用的技术。

认识算法的模型、用户和系统非常重要。我们不仅需要深入了解代码或数据集，还需要深入了解构建和实现算法的人类决策者的过程和输出。算法不仅是抽象工具，而应该在复杂的人类系统中研究算法嵌入式。技术系统是嵌入在更大的人类系统中的子系统和组织。将受监管系统的定义扩展到包括用户和组织，会使算法决策更容易监管。重点不应该放在机器学习算法的运行模式上，而是算法开发的早期阶段。因此，问责制和透明度的一个目标是算法本身，而另一个目标是围绕它的人类决策者或组织和企业。为了实现算法问责的目标，使两者都透明是必要的。即使是在这种框架下，哪些系统需要变得可见和负责是关键。

3.2 自动决策责任的透明度分类法

从公开披露到内部监督，几乎所有领域关于算法问责充斥着对各种形式和程度的透明度的呼吁。事实上，尽管透明度几乎被抛到了算法问责上，也很少考虑针对不同监管目标的不同透明度之间的相互作用。透明度有许多不同的类型，当基于多种原因、针对多种系统，就会出现复杂的差距和重叠。考虑到这一点，这些问题只能从整体的角度来看，采取以下方式考虑自动化决策责任的透明度：既要有个体化的透明，也有系统化的透明。第一种透明目标是算法和人类对其构造的决定。第二种侧重于使治理体系本身透明和负责。第一个目标是让人们看到算法决策背后的原理和偏见。第二个目标是监督并负责。GDPR在治理自动化决策中广泛使用协同治理。这导致了透明度对于算法问责是必要的，因为它对于有效的协同治理是必要的。要使协同治理发挥作用，就必须有外部的投入和监督。因此，笔者认为透明度的目标应当有三点：首先是技术。第二是围绕人类系统的技术。第三是治理机制，旨在影响和改变技术和系统。当我们讨论算法透明性时，我们不仅需要评估为什么我们需要透明性，还需要评估我们的目标是什么系统。

个体化的透明度包括受自动化决策影响的个体的信息流，如果问责制度作为一个整体缺乏透明度的机制，那么GDPR所要求的解释权可能必须做到双重甚至三重工作。解释必须同时向受决策影响的个人证明系统的合理性，作为对系统的更广泛监督，甚至作为一种对算法决策的个人治理负责的形式。个体化透明度不太可能有效地完成这三件事。相比之下，系统透明度最终服务于多个目的地，提供对算法和系统的可见性和监督系统，有助于解决有关算法的工具性问题。这些透明度都是为了观察受治理的对象、组织或过程。用算法纠正社会问题的决策，不仅要观察被治理的系统，而且要关注那些负责实施甚至提出解决方案的企业和法律。在一个合作治理体系中，协同治理效果最好，例如，对企业如何界定歧视的含义的决定进行监督。一方面，这是一种系统性的问责形式，旨在通过工具手段减少算法及其周围系统的歧视性。另一方面，第三方透明度也起到了审查企业自由裁量权和确保企业决策不会偏离公众太远的作用。同样，外部审计或监督可以用来纠正算法本身的问题，也可以作为观察和检查的手段。在这些拟议的治理制度中，对透明度所服务多重目的的洞察才具有实际意义。如果不承认透明度的真正局限性，那么关于透明度的任何讨论都是不完整的。确定透明度的一些实质性法律可能是什么样的：监管机构既有信息强制能力，又有针对某些做法的实质性执法能力，例如征收巨额罚款的能力。个人既有权同意服从某一制度，也有权选择退出该制度。它可能会被给予纠正权、抗辩权等，有不受基于特定类别敏感数据的决定的实质性权利，或者被赋予一项不因特定的不可改变或受到其他保护的特征而受到歧视实质性权利。因此，孤立地讨论透明度的做法是有限的。但也可能是暂时有限，也许未来这些行业将形成更清晰的标准，这样我们就不必过于依赖协作监管方法。但在此之前，透明度是监管方法的一个重要组成部分。

4 结语

在新一代法律和技术争端中，存在着更深层次、更具结构性的关系。人工智能的真正潜力不在于我们向彼此透露的信息，而在于它们提出的有关技术、个人权利和数据相互作用的问题。自动化决策在商业和公共事业领域的嵌入式应用蕴含着巨大潜力的同时也对数据的治理模式进行着冲击。本文借助算法透明度这一基础概念，深入剖析了其蕴含的规范价值，创建合理的算法透明度并建立算法信任，根据透明度在自动化决策规制构建的重要性和必要性，提出了透明度分类的衡量标准，为自动化决策的数据保护和法律规制阐释了合理透明度类型的机理。