算法社会中的三大法则

[美]杰克·巴尔金 著 刘 颖 陈瑶瑶 译

一、 弗兰肯斯坦情结

在我孩童时期，我读了艾萨克·阿西莫夫(Isaac Asimov)所有关于机器人的故事。在阿西莫夫的世界里，机器人逐渐融入社会的方方面面，它们与人类有着不同程度的相似性。但随着故事的发展，最先进的机器人在外观和形态上开始非常“人类”。

这些机器人故事中最著名的就是阿西莫夫的三大定律，它将被植入每个机器人的正电子脑中。

这三条定律如下。

第一定律：“机器人不得伤害人类，或者通过不作为而使人类受到伤害。”(1)Isaac Asimov. Runaround, in I, Robot 41, 53 (Gnome Press 1st ed. 1950).译者注：该书有中文译本，参见[美]艾萨克·阿西莫夫：《我，机器人》，叶李华译，江苏凤凰文艺出版社2013年版。另外需说明的是，本文中多次出现“laws”一词，虽然英文表述一样，但实质意义并不相同，所以在涉及阿西莫夫小说中的“laws”译为定律，但巴尔金教授所代指的“laws”译为法则。

第二定律：“机器人必须服从人类的命令，除非该命令与第一定律相抵触。”(2)See note ①， Asimov.

第三定律：“机器人必须保护自身的安全，只要这种保护不与第一或第二定律相抵触。”(3)See note ①， Asimov.

这三条定律非常有影响力，甚至直到今天，人们还在想象将它们植入到机器人(例如自动驾驶汽车)上会是什么样子，或者这种植入是否有可能实现。(4)参见Boer Deng. Machine Ethics: The Robot’s Dilemma, Nature (July 1, 2015),http://www.nature.com/news/machine-ethics-the-robot-s-dilemma-1.17881[https://perma.cc/5ht6-eefa]; Ulrike Barthelmess， Ulrich Furbach. Do We Need Asimov’s Laws?, Cornell U. Lib. 11 (2014), https://arxiv.org/ftp/arxiv/papers/1405/1405.0961.pdf [https://perma.cc/ysc2-wzyj].

作为一种令人印象深刻的文学手法，三大定律用一种有趣得多的主题取代了人们熟悉的机器人主题。更古老的主题是“弗兰肯斯坦怪物”，或后来变得很邪恶或发狂的杀手机器人的主题。在《终结者》系列电影中，该文学主题的一个例子就是，神经网络(Skynet)变得有自我意识并接管了世界。(5)参见The Terminator (Hemdale Film Corp. 1984).但阿西莫夫写机器人故事是为了对抗他所谓的“弗兰肯斯坦情结”(Frankenstein Complex)——即机器人天生就具有威胁性或邪恶性——且人类不可避免地会创造出一些机械生物，而这些机械生物又会攻击它们的创造者。(6)参见Isaac Asimov. The Machine and the Robot, in Science Fiction: Contemporary Mythology 244, 250-253(帕特里夏·瓦里克等人编，1978)；Lee Mccauley. The Frankenstein Complex and Asimov’s Three Laws, in Human Implications of Humanrobot Interaction 9, 9-10(人工智能发展促进会，研讨会报告编号：WS-07-07，2007)，https//www.aaai.org/papers/workshops/2007/WS-07-07/WS07-07-003.pdf [https://perma.cc/aj9f-fhtj]。事实上，在他的许多小说中，人们一开始对机器人抱有偏见，最终却看到了它们的价值。例如，他几个故事的主角——侦探以利·亚贝利(Elijah Bailey)。他最初怀疑机器人，最后却与他的机器人搭档丹尼尔·奥利瓦(R. Daneel Olivaw)成为最好的朋友。(7)参见https//www.aaai.org/papers/workshops/2007/WS-07-07/WS07-07-003.pdf [https://perma.cc/aj9f-fhtj].

通过设立三大定律，阿西莫夫让事情变得更加有趣。他没有担心机器人最终是否会攻击我们人类，而是提出了另一个律师非常关心的问题，即法律解释问题。当法律不明确或者法律冲突时，我们会做什么？或者在某些情况下，机器人本身会做什么？通过创立这三大定律，阿西莫夫把我们对机器人的想象从威胁转移到了解释和规制的对象，进而转移到了讽刺和冲突的对象。这是一个非常复杂的想法，也是从他的许多小说中发展出来的。

现如今，我们还不清楚我们是否真的能把阿西莫夫提出的三大定律应用到机器人和人工智能体上。毕竟，阿西莫夫的三大定律似乎相当模糊和不完整，可能存在漏洞。

当然，这也是需要重点关注的部分。在阿西莫夫的小说中，一个反复出现的主题是当法律不明确或模糊，或者在某些情况下可能会发生的冲突。因此小说情节往往转向用巧妙的方式来解释或重新解释它们，或者如何解决它们之间的冲突等。在其后期的一部小说中，机器人丹尼尔·奥利瓦(Daneel Olivaw)一开始是个侦探，但最终成为小说中一个非常重要的人物。他变得非常先进，以至于创造了自己的第零定律——“机器人不能伤害人类，或者通过不作为，让人类受到伤害”——这比他在原始程序中接收到的所有其他程序都要先进。(8)参见Isaac Asimov. Robots and Empire 291 (1985);Joseph A. Angelo,Robotics: A Reference Guide to the New Technology 103 (2007).

总之，我今天的目标是要问，我们可以利用阿西莫夫关于三大定律的最初想法做些什么。然而，当我谈到机器人时，将不仅包括机器人这种与环境交互的实物，还包括人工智能体和机器学习算法。我认为这与阿西莫夫的观点完全一致。虽然阿西莫夫主要写机器人，但他也写非常智能的计算机。(9)参见Isaac Asimov. The Last Question, in Robot Dreams 220, 220 (1986).他试图对抗的弗兰肯斯坦综合症(Frankenstein syndrome)可能源于对人工智能或算法的恐惧，也可能源于对实体化机器人的恐惧。今天，人们似乎不仅害怕机器人，而且害怕人工智能体和算法，包括机器学习系统。(10)参见Rory Cellan-Jones. Stephen Hawking Warns Artificial Intelligence Could End Mankind, BBC (Dec. 2, 2014), http://www.BBC.com/news/technology-30290540[https-//perima.ccje2-95rl]; Samuel Gibbs. Elon Musk: Artificial Intelligence Is Our Biggest Existential Threat, Guardian (Oct. 27, 2014), https://www.theguardian.com/technology/2014/oct/27/elon-musk-artificial-intelligence-ai-biggest-existential-threat [https://perma.cc/kgv3-gav5].另外，机器人专家和其他研究人员可能支持特定形式的监管，但往往不那么害怕。参见Connie Loizos. This Famous Roboticist Doesn’t Think Elon Musk Understands Al, Tech Crunch (July 19, 2017), https://techcrunch.com/2017/07/19/this-famous-roboticist-doesnt-think-elon-musk-understands-ai/[https//perma.cc/tc7r-nuk5].机器人似乎只是一系列更大问题中的一个特例。

事实上，我们正在从互联网时代飞速走向算法社会。我们将很快回顾作为算法社会先驱的数字时代。我说的算法社会是什么意思？我指的是一个由算法、机器人和人工智能体围绕社会和经济决策组成的社会，这些代理人不仅作出决定，而且在某些情况下，还执行这些决定。因此，机器人和人工智能的使用只是算法社会的一个特例。

大数据也只是算法社会的一个特征。事实上，大数据只是以算法决策为中心的社会的另一面。大数据是运行算法社会的燃料，也是其运作的产物。数据的收集和处理产生了越来越多的数据，而这反过来又可以提高算法的性能。(11)参见Fuel of the Future: Data is Giving Rise to a New Economy, Economist(May 6, 2017), https://www.economist.com/news/briefmg/21721634-how-it-shaping-updata-giving-rise-new-economy[https://perma.cc/h6rr-fzu2](“数据最终会将是外部性：无论我们做什么，我们都会生成它们”)；Amir Gandomi， Murtaza Haider. Beyond the Hype: Big Data Concepts, Methods, and Analytics, 35 int’l j. info. mgmt. 137,140 (2015), http://www.sciencedirect.com/science/article/pii/S0268401214001066[https://perma.cc/w3dl-yc5r]；Sintef, Big Data, for Better or Worse: 90% of World’s Data Generated over Last Two Years, Sciencedaily (May 22, 2013), https://www.sciencedaily.com/releases/2013/05/130522085217.htm [https://perma.cc/2g8v-zyke].这改变了康德的著名论断：没有数据的算法是无价值的，没有算法的数据是盲目的。(12)参见Immanuel Kant. Critique Of Pure Reason 193-194 [A5 1/B76](Paul Guyer Allen W. Wood 翻译并编制，剑桥大学出版社1998年版).

在这次演讲中，我将为算法社会提供新的三大法则。在此过程中，我还将介绍四个重要的理论观点，它们将帮助我们理解该如何监管这些实体。这四个观点是：侏儒谬误(The Homunculus Fallacy)、替代效应(The Substitution Effect)、信息受托人(The Information Fiduciaries)及算法妨害(The Algorithmic Nuisance)。随着演讲的进行，我将解释这四个观点。

虽然我的灵感来自于阿西莫夫的三大定律，但是我对于“机器人法则”的描述与他非常不同。

第一，这些法则将不仅限于机器人，它们将适用于人工智能体和算法，包括机器学习算法。当我想把这三个概念放在一起讨论的时候，我会概括地讲一下算法的法则。

第二，当人们在科幻小说中想到机器人时，他们通常会想到独立的实体。但是今天我们知道许多机器人和人工智能体都连接到云端，(13)参见Ben Kehoe et al. A Survey of Research on Cloud Robotics and Automation, 12 Ieee Transactions on Automation Sci. & Engineering 398, 400 (2015),http://ieeexplore.ieee.org/stamp/stamp.jsptp-&arnumber-7006734&tag-l [https://perma.cc/dw7u-c4xu].物联网和家用机器人就是这样。这很可能也适用于自动驾驶汽车。因此，无论“机器人法则”是什么，它们很可能是与互联网相连的云智能法则。

第三，因为机器人是云机器人，我们不应该忘记机器人和人工智能的核心问题之一是数据处理，特别是大数据。没有数据，机器人什么都不是。而且由于许多机器人将成为云机器人，且许多人工智能系统将连接到互联网云，导致它们将严重依赖于数据分析。(14)参见Bob Violino. Big Data and Robotics: A Long History Together, zdnet (Aug. 12,2016), http://www.zdnet.com/article/big-data-and-robotics-a-long-history-together/[https://perma.cc/ca9w-c8vc]； See note ， Kehoe et al.数据是驱动人工智能引擎的燃料。

因此，当我们谈论机器人、人工智能体和算法时，我们通常也会谈论大数据和互联网连接。就像我们谈论大数据时，我们通常也会谈论机器人、算法和处理大数据的人工智能体的规则。“机器人法则”也是大数据时代的机器人法则、算法法则和人工智能法则。因此，这就是这次演讲的主题。

第四，也许是最重要的一点。阿西莫夫称他的三大定律，不是机器人使用者、机器人程序员或机器人操作者的定律。(15)See note ①, Asimov.他的定律是机器人主导的，(16)See note ①, Asimov.它们是以机器人为中心的。也就是说，它们是插入到机器人自身代码中的编程指令。这些是机器人必须遵循的定律，而不是机器人的使用者必须遵循的定律。(17)See note ①, Asimov.你可以想象这些指令也是人工智能体或算法的一部分。作为对算法机器学习的检查，它们是一种软件方面的约束，就像权利是行为方面的约束一样。

可以肯定的是，人类被要求为每个机器人编写定律程序。但定律本身是针对机器人的，而不是针对人类的。(18)See note ①， Asimov.阿西莫夫并没有提到很多关于要求这种程序的人类定律。但是有人认为政府有某种要求，要求每个机器人的正电子脑都要安装这种程序。

在这一点上，我的观点将与阿西莫夫背道而驰。我没有专注于针对机器人的定律(或算法)，而是专注于针对那些编程和使用机器人、人工智能体和算法的人的法则。这是因为在新兴的算法社会中，我们需要的不是机器人定律，而是机器人操作者法则。

算法社会的理念是利用数据和算法来治理社会并改善社会，算法社会的抱负是无所不知地了解一切并预测一切。这是一个与人类自身一样古老的抱负，但现在似乎越来越触手可及。

在算法社会，规制的核心问题不是算法，而是使用算法的人及允许自己被算法支配的人。算法治理是由人使用特定的分析和决策技术对人进行治理。

因此，我们需要的不是像阿西莫夫的三大定律那样由机器人主导的定律。而是针对那些使用机器人进行分析、控制和对其他人行使权力的人的法则。

二、 人类与机器人的关系：“拉比和魔像”

让我用一个故事来解释这个想法。2014年春天，玛戈·卡明斯基(Margot Kaminski)和我在耶鲁大学法学院教授了第一门法律和机器人学课程。她列出了一个阅读清单，这个清单在我以后的日子里都有用到。在第一堂课上，她选择了一些著名的文学例子，包括阿西莫夫公开三大定律的短篇小说，(19)See note ①， Asimov.以及卡雷尔·恰佩克(Karel Capek)1921年的戏剧《机器人》(RUR)，(20)See note ①， Asimov.它是“机器人”一词的起源。她还选择了某个版本的布拉格魔像传说(The Legend of the Golem of Prague)。(21)参见The Golem of Prague, in A Treasury of Jewish Folklore 603 (Nathan Ausubeled. 1948).

根据传说，布拉格的魔像是由拉比犹大·勒夫·本·贝扎列尔(Rabbi Judah Loew ben Bezalel)创造的。拉比(Rabbi)是16世纪的一位圣人，因其学识和虔诚而广受尊敬。(22)参见Judah Loew ben Bezalel. Holy People Of The World: Across-Cultural Encyclopedia 450 (Phyllis G. Jestice ed. 2004)；Joan Comay. Who is in Jewish History: Afterthe Period of the Old Testament 208 (Oxford Univ. Press 2d ed. 1995).他利用犹太神秘主义的秘密知识，用泥土创造了一个活物，就像上帝创造了亚当一样。他通过说出一个神圣的名字使魔像复活了。它看起来就像是人类，非常强大，但不能说话。因为正如传说中所说，言语的力量是上帝单独赋予人类的(下次你和Siri说话的时候，想想事情是怎么改变的)。(23)See note .

在很多情况下，拉比通过设置魔像来处理犹太社区受到的威胁。在传说中，魔像扮演一个侦探的角色，就像阿西莫夫的丹尼尔·奥利瓦(Daneel Olivaw)。他只要发现有人在诽谤犹太人，就会抓住这个人。完成了他的目的之后，他会回到拉比那里。拉比将同样的秘密咒语倒着念，魔像就变成了一块没有生命的黏土，被存放在犹太教堂的阁楼里。(24)See note .

这个故事的重点是什么？这个版本的故事最有趣的地方就是那些没发生的事情。魔像不会发疯，他没有抓错人。拉比的妻子没有发现魔像并且偶然地释放了魔像；拉比的女婿没有用魔像来赚钱；一个不讲道德的人没有训练魔像去做坏事等。事实上，这个故事里没有什么坏事发生，魔像作了它应该做的事情。在某种程度上，这个版本的传说相当无聊。有一些其他版本的魔像传说中魔像出了问题，十分有趣。(25)参见Sharon Barcan Elswit. The Jewish Story Finder: A Guide to 668 Tales Listing Subjects and Sources 204-205 (2d ed. 2012).

但是我们从这个故事中得到的最重要的教训是，没有出错的原因在于，魔像是由最虔诚、最有学问的拉比所设计和使用的。只有一个真正正直的人，或者一个圣人，才有能力把魔像用在好的地方。

在我看来，这才是这个故事真正的教训。当我们谈论机器人或人工智能体和算法时，我们通常集中在他们是否会造成问题或威胁。但在大多数情况下，问题不在于机器人，而在于人类。

为什么问题出在人类身上，而不是机器人？

第一，人类设计算法，编写程序，把它们连接到数据库，然后释放它们。

第二，人类决定如何使用这些算法，何时使用算法，以及用于何种目的。

第三，人类用数据来编写算法，数据的选择、组织和内容包含了早期歧视和不公正的残余。

第四，尽管人们常谈论机器人作了什么，人工智能体作了什么，或者算法作了什么，但是这种谈论忽略了一个重要的问题，即这些技术调节着人与人之间的社会关系。技术被嵌入到社会关系中，而且常常掩盖社会关系。

当算法内容包含歧视或用于做坏事时，我们总是需要问算法是如何从事再生产和实现人类之间的特定社会关系的。这些社会关系产生并再现了正义与不公、权力与无权、优越地位与从属地位。

机器人、人工智能体和算法是产生这些社会关系的装置。通过这些装置，特定形式的权力得到处理和转化。

这就是我所说的问题不在于机器人，而在于人类。

三、 人类与机器人的不同：侏儒谬误

这就把我带到了先前承诺会在这次演讲中讲到的四个观点中的第一个观点。我创造了一个短语——侏儒谬误(The Homunculus Fallacy)，来描述人们对机器人、人工智能体和算法的看法。侏儒谬误是相信程序中有一个小人物在使程序运行，这个小人物有好的意图或坏的意图，并使程序做好的事情或坏的事情。

但事实上，算法中并没有小人物，只有编程代码和数据。编程使用这些数据来运行，有好的影响也有坏的，有可预测的也有不可预测的。

当我们批判算法的时候，我们实际上是在批判编程或者数据，或者它们之间的交互。但同样重要的是，我们也在批判那些为算法编程、收集数据或者使用算法和数据来执行特定任务的人们对它们的使用。我们批判的是拉比，而不是魔像。

那么，这些技术产生和再产生了什么样的社会关系呢？为了解释这一点，我需要介绍这次演讲中四个观点中的第二个观点。这个观点我之前已经提过了，那就是替代效应(The Substitution Effect)。(26)参见Jack M. Balkin. The Path of Robotics Law, 6 Cal. L. Rev. Cir. 45, 46, 55-59 (2015).

替代效应是指当机器人、人工智能和算法代替人类，并作为特殊目的的人运行时，对社会产生的影响。(27)See note , Balkin.机器人或算法作为替代品的概念传达了四种不同的思想：(1) 替代品在某些方面比原来的更好；(2) 替代品在其他方面比原来的更有限；(3) 人们认为替代品是活的——信奉万物有灵论或拟人论；(4) 替代品的行为是对人类和人类群体中权力社会基础的迷恋或偏离。(28)See note , Balkin.

第一，替代意味着优越。机器人、人工智能体和算法比人类和人类决策者更强大、更快捷。(29)See note ， Balkin.他们可以看到事物、做事情、分析事物并作出人类永远无法作出的决定。他们从不厌倦做这些事情，他们没有情感上的干扰，也不会因为做这些事情而感到内疚。(30)See note ， Balkin.

第二，替代也意味着限制或不足。机器人、人工智能体和算法的能力有限，他们只能做某些事情，而不能做其他事情。他们缺乏人类判断力的许多特征。(31)参见Anupam Rastogi. Artificial Intelligence-Human Augmentation is What’s Here and Now, Medium (Jan. 12, 2017), https://medium.com/reflections-by-ngp/artificial-intelligencehuman-augmentation-is-whats-here-and-now-c5286978ace0 [https://perma.cc/3j7q-fjjk]；Catherine Havasi, Who’s Doing Common-Sense Reasoning and Why It Matters, Techcrunch (Aug. 9, 2014), https://techcrunch.com/2014/08/09/guide-tocommon-sense-reasoning-whos-doing-it-and-why-it-matters/[https://perma.cc/u938-mgjdj.

第三，替代涉及生命、能动性和意图在程序及机器上的投射。(32)See note ， Balkin.这也鼓励人们利用算法将自己的责任投射到算法本身上，因此也就产生了侏儒谬误。

第四，替换涉及迷恋或意识形态的偏离。马克思谈到了著名的商品拜物教。(33)参见Karl Marx. Capital: A Critique Of Political Economy 81 (Fredrick Engels Ed., Samuel Moore & Edward Aveling Trans., Charles H. Kerr & Co. 1909).正如古代社会认为图腾是无生命的物体且具有神奇的力量一样，马克思认为市场社会的人们把商品当作有价值的东西来对待，而实际上赋予它价值的是它嵌入了一个社会关系系统的事实。(34)See note ， Marx.市场是一种社会关系，它既赋予人们权力，又允许人们相互行使权力。

适用于市场上的大宗商品，也适用于机器人、人工智能体和算法等技术替代品的使用。这些技术成为个人和群体之间权力的社会关系的一部分。我们不能把魔像和拉比混为一谈。机器人技术的影响总是与人类或人类群体之间的权力关系有关。

最近，媒体报道了一个关于选美选手的算法的故事，这个算法偏爱白人。(35)参见Sam Levin. A Beauty Contest Was Judged by AI and the Robots Didn’t Like Dark Skin, Guardian (Sept. 8, 2016), https://www.theguardian.com/technology/2016/sep/08/artificial-intelligence-beauty-contest-doesnt-like-black-people[https://perma.cc/46ak-d8cl].一家叫Beauty的公司，AI设计了这个算法。参见Welcome to the First International Beauty Contest Judged by Artificial Intelligence: Beauty.AI 2.0, Beauty.AI, http://beauty.ai/[https://perma.cc/z8h8-22wy]。这类故事加深了人们心中算法存在心理偏见的观点。这就是侏儒谬误——在这个算法中，没有一个选美评委会运用他或她的偏见。如果算法采用机器学习，那么就有以前选美比赛的历史、关于选美的文化假设、收集数据的类型和方式、算法采用的代码及修改代码的代码。还有一些人为了特定任务设置了宽松的算法。我们必须永远记住，在魔像背后是制造和使用魔像的拉比(或整个拉比社会)。

四、 算法社会的法则

让我总结一下到目前为止的论点。我从阿西莫夫的三大定律开始了这次演讲，我指出这些定律是直接针对机器人和它们的代码的。然后通过魔像的故事，我指出问题不在于机器人，而在于人类。如果是这样的话，这意味着我们真正需要的不是阿西莫夫的定律，而是与机器人设计者和操作者有关的法则。在我们的算法社会中，我们需要的机器人法则是控制和指导人类创造、设计及使用机器人、人工智能体和算法的法则。因为没有数据的算法是无价值的，这些法则还控制着数据的收集、整理、使用、分发和销售，并使这些算法能够运作。

总而言之，我们需要的法则是控制制造和使用机器人的人及与机器人使用数据有关的法则。

这些法则将会是什么样的？回到我的中心观点——在机器人、人工智能体和算法的背后，是人类和人类群体之间的社会关系。所以我们需要的法则是，存在于制定并使用算法的人和受算法控制的人之间的公平交易、不受操纵、不受控制的义务。

人们使用算法对人群进行分类和治理。因为这种关系是一种治理关系，所以涉及的义务是诚信义务、非操纵义务和非支配义务，这些都是指导算法社会的原则。与阿西莫夫的三大定律不同，这些原则不会自动嵌入到机器人中。我们必须确保它们描述了人与人之间的关系并把它们纳入我们的人类社会中，编入我们的法律中。

算法用户对社会负有什么责任？为了回答这个问题，考虑一下算法社会的野心。算法社会的梦想是对社会的无所不知的统治。

野心带来了伤害，除了可能造成身体伤害外，还包括侵犯隐私、曝光、名誉损害、歧视、严格控制(或标准化)及操纵。

算法社会是治理人口的一种方式。所谓治理，我指的是控制算法的人理解、分析、控制、指挥、命令和塑造数据主体的方式。人们使用算法对整个人群进行分类、选择、理解和决策。这种关系不仅仅是一种市场利润关系，也是一种治理关系。

算法社会也涉及信息权力的关系。人工智能很了解你，但你对人工智能知之甚少。此外，你不能很好地监控人工智能体或算法做什么。在运行者和被治理者之间存在权力不对称和信息不对称，这种不对称是算法社会的核心特征——这是算法社会的公共和私人管理者与受他们管理的对象之间的知识和权力的不对称。

什么是算法社会的三大法则？或者更准确地说，什么是算法社会的法律原则？它们是公平治理的三项原则。

(1) 就委托人、顾客和终端用户而言，算法用户是信息受托人(The Information Fiduciaries)。

(2) 对于那些不是委托人、顾客和终端用户的用户，算法用户有公共职责。如果他们是政府，这就是他们作为政府的本质。如果他们是私人行为者，他们的生意会受到公共利益的影响，正如宪法律师在20世纪30年代所说的那样。(36)参见Nebbia v. New York, 291 U.S. 502, 536 (1934).

(3) 算法用户的公共责任是避免其操作的成本(危害)外部化。算法决策的危害，最好的类比不是有意的歧视，而是社会不公正的污染。透明度、可解释性、正当程序和问责制的义务来自这三个实质性要求。透明度和它的“兄弟”——正当程序、问责制和可解释性——以不同的方式应用于所有这三项原则。

问责制、透明度、可解释性和正当程序可能是信托义务，它们可能遵循公共职责。并且它们可能是一种预防措施来防止不合理的伤害外化，或为伤害提供补救措施。

让我依次讨论这三个法律原则。

五、 第一法则：算法操作者是委托人及终端用户的信息受托人

为了讨论第一法则，我介绍了另一个我承诺在本次演讲中会提到的关键概念。这就是信息受托人(The Information Fiduciaries)的概念。该概念是我在以前工作中提出的。(37)参见Jack M. Balkin. Information Fiduciaries and the First Amendment, 49U.C. Davis L. Rev. 1183 (2016).要理解什么是信息受托人，我们首先应该问，什么是受托人？受托人的例子包括医生、律师等专业人士，以及管理不动产或他人财产的人。(38)See note ， Balkin.一个人能成为受托人的原因是人们依靠他们提供服务。但受托人与委托人之间在知识和能力上存在着明显的不对称，委托人无法方便地监督受托人代表其所做的事情。(39)See note ， Balkin.因此，法律要求受托人以值得信赖的方式真诚地行事，避免与委托人或病人产生利益冲突。(40)See note ， Balkin.受托人经常收集委托人敏感的个人信息，这些信息可能会对委托人造成损害。因此，法律要求他们保护委托人的隐私，不得以伤害委托人的方式泄露信息。(41)See note ， Balkin.当受托人收集和处理委托人的信息时，我们可以给他们起一个特殊的名字，即信息受托人。(42)See note ， Balkin.大多数作为受托人的专业人士也是信息受托人。(43)See note ， Balkin.

受托人有两项核心职责，第一是注意义务，(44)See note ， Balkin.第二是忠诚义务。(45)See note ， Balkin.注意义务是指受托人必须合理谨慎地行事，避免伤害委托人或病人。(46)See note ， Balkin.忠诚义务意味着受托人必须避免与他们的委托人或病人产生利益冲突，必须照顾他们的利益。(47)See note ， Balkin.忠诚义务要求的程度取决于受托人和委托人之间关系的性质。

数字时代创造了一系列新的实体，它们有许多类似于传统受托人的特征。它们包括像谷歌(Google)、脸书网(Facebook)和优步(Uber)这样的大型互联网企业。这些企业收集、整理、分析和使用与我们有关的信息。(48)参见Frank Pasquale. The Black Box Society: The Secret Algorithms That Control Money And Information 58-100 (2015).译者注：该书有中文译本，参见[美]弗兰克·帕斯奎尔：《黑箱社会：控制金钱和信息的数据法则》，赵亚男译，中信出版社2015年版。事实上，它们收集了大量关于我们的信息，从理论上讲，这些信息可能被用来损害我们的利益。这些业务成为我们日常生活中相当重要的一部分，甚至在某些情况下是不可或缺的。企业和终端用户、委托人之间的知识也不对称。互联网企业对我们了解很多，(49)See note , Pasquale.我们对它们的运营却知之甚少。它们把自己的内部流程视为专有的，避免竞争对手的窃取。(50)See note , Pasquale.与此同时，这些企业试图向他们的终端用户保证，它们将尊重用户的隐私并且不会背叛用户的信任。(51)参见Privacy Policy. Snap Inc. (June 5, 2017), https：//www.snap.com/enUS/privacy/privacy-policy/ [https://perma.cc/p99h-75jt].用弗兰克·帕斯奎尔(Frank Pasquale)的话来说，因为它们是一个黑匣子，(52)See note , Pasquale.大多数人只能相信它们。

我认为像这样的企业有许多传统受托人的标志，(53)See note ， Balkin.它们收集我们的信息、监视我们，但我们却不能轻易地监视它们。我们变得依赖它们且容易受到它们的伤害，以至于我们必须信任它们。(54)See note ， Balkin.传统上，这种关系决定了受托人的地位。(55)See note ， Balkin.因此，我认为这些企业对终端用户负有值得信赖的法律义务，它们是信息受托人的数字时代版本。(56)See note ， Balkin.

然而，数字时代信息受托人的职责与作为受托人的医生和律师的职责不同。他们提供的服务种类和他们创造的合理信任种类，使他们受到更多限制。(57)See note ， Balkin.

首先，不像医生和律师，个人数据货币化是许多网络服务公司的核心，因为这能资助他们所提供的服务或免费提供的服务。仅仅收回费用或从这些信息中获利本身并不违反他们的受托责任。(58)See note ， Balkin.

其次，许多网络服务提供商，比如搜索引擎和社交媒体网站，之所以能够盈利，是因为终端用户能够提供源源不断的内容和链接。因此，与传统的专业人士不同，这些公司有兴趣让人们尽可能多地展示自己，或者在其他方面尽可能多地公开表达自己。以便他们的活动产生内容和数据，供公司索引和分析。(59)See note ， Balkin.

最后，人们期望医生做的远远不止是不伤害他们。人们还期望医生会照顾他们的利益，警告他们健康、饮食等方面的潜在风险。但人们却并不期望他们的网络服务提供商、搜索引擎和社交媒体网站有如此全面的照顾义务。(60)See note ， Balkin.

由于这些差异，数字信息受托人应该比传统的职业受托人，如医生、律师和会计师，有不同的、更少的义务。他们是特殊目的的信息受托人，对他们施加何种责任是合理的，应取决于他们提供的服务的性质。

数字信息受托人的核心义务是他们不能像骗子一样行事。不能诱使终端用户信任他们以获取个人信息，然后以背叛这种信任的方式使用这种信息，这不利于终端用户的利益。(61)See note ， Balkin.互联网企业不应该自称提供数字安全和尊重数字隐私，然后操纵和歧视其终端用户；也不应该将其终端用户的数据出售或分销给不遵守类似照顾和诚信义务的公司。(62)See note ， Balkin.

目前的法律并没有像对待受托人那样对待这些互联网企业，但我认为应该这样做。法律应该将受托义务扩展到这些公司，并明确互联网企业对其客户和终端用户的义务。(63)See note ， Balkin；参见Jack M. Balkin， Jonathan Zittrain. A Grand Bargain to Make Tech Companies Trustworthy, Atlantic (Oct. 3, 2016),https://www.theatlantic.com/technology/archive/2016/1 0/information-fiduciary/502346/[https://perma.cc/r6g4-uvkc].

现在想想家用机器人和智能房屋。家用机器人和智能房屋收集了大量关于我们的信息，从理论上讲，这些信息可以与存储在云中的许多其他人的信息进行比较。换句话说，家用机器人和智能房屋不仅仅是独立的产品。它们始终是互相连接的云实体，依赖并贡献于巨大的数据库。虽然我们可能会开始信任家用机器人和智能房屋，但事实上我们真正需要信任的实体不是机器人或房子。机器人和房子背后的公司，负责从机器人和房子的传感器收集数据，我认为这种类型的公司应该是信息受托人。

换句话说，受托责任的主体不是机器人，而是制造、安装、销售和操作我们家里机器人的公司。对我们负有信托义务的是拉比，而不是魔像。

因此，算法时代的第一法则是，那些使用机器人、人工智能体和算法的人对他们的终端用户和客户负有诚信和值得信任的义务。无论企业或实体在提供服务时是否使用机器人、人工智能体或机器学习算法，受托责任都适用。

家用机器人和智能家居就是明显的例子——法律并未将受托义务扩展到机器人和房子背后的公司。其他的例子可能是像爱彼迎(Airbnb)、优步(Uber)、OK丘比特(OKCupid)、默契网(Match.com)及基因和我(23 and Me)这样的服务。重要的是，企业会在各种情况下诱导信任和收集我们的个人信息，并且可能以背叛我们的信任或制造利益冲突的方式使用这些信息。

早些时候，我注意到信托义务的典型例子出现在专业领域。事实上，机器人、人工智能体和算法可能越来越多地应用于传统受托人的传统业务中。这些受托人包括医生、律师、会计师和基金经理。联邦政府最近通过劳工部发布了新规定，将处理退休账户的投资顾问视为受托人。(64)参见Definition of the Term “Fiduciary”; Conflict of Interest Rule-Retirement Investment Advice, 81 Fed. Reg. 20,946, 20,997 (Apr. 8, 2016) (to be codified at 29 C.F.R. 2510.3-21 (2016).反过来，这些顾问越来越多地转向人工智能和算法来完成他们的工作。(65)参见Brian O’Connell. Will Robo-Advisors Benefit from the Fiduciary Rule? Thestreet (Feb. 23, 2017), https://www.thestreet.com/story/14009692/l/will-robo-advisorsbenefit-from-the-fiduciary-rule.html[https://perma.cc/vb8m-yuna].

信托义务的概念也延伸到政府，它们在日常功能中使用机器人、人工智能体和算法，包括提供社会服务。政府对其管理的人民负有关心和忠诚的责任。

六、 第二法则：算法操作者对公众负有责任

因为政府对其管理的人民负有信托义务，所以使用算法的政府和公共实体是其管理的人民的信息受托人。

那么私人行为者呢？正如我们所看到的，一些私人行为者是针对其客户、病人和终端用户的信息受托人。但并非所有使用机器人、人工智能体或算法的私营互联网企业都是信息受托人。或许同样重要的是，受托责任通常只适用于企业的委托人和终端用户，而不适用于整个公众。(66)See note ， Balkin.

因此，信息受托人的概念不足以解释使用算法、人工智能体和机器人的私营企业的各种义务。在运营过程中使用算法的企业，仍然可能对那些既不是他们的委托人也不是他们的客户的人造成伤害，而且他们与这些人没有合同关系。(67)见下文第七部分。例如，雇主决定是雇人还是借钱给他们——也就是说，与他们签订合同关系——并且将信用报告给为我们在网上建立声誉的公司，其他人会雇佣我们。(68)See note ， Balkin.

如果我们简单地排除所有影响人们但与他们没有合同关系的企业，我们就是在重复20世纪初出现的一个问题。在现代工业经济中，企业生产出大规模生产的商品，而这些商品不再销售给与他们直接签约的消费者。(69)参见Kyle Graham. Strict Products Liability at 50: Four Histories, 98 Marq. L.Rev. 555, 566-567 (2014).相反，一连串的中间商把这些商品推向了市场。(70)See note ， Grohom；参见Randy Knitwear, Inc. v. Am. Cyanamid Co., 181 N.E.2d 399, 402 (N.Y.1962).以合同相对性为基础的消费者保护措施，不能适应新的经济现实。因此，从1916年卡多佐在麦克弗森诉别克汽车公司案(MacPherson v. Buick MotorCo.)中的著名裁判开始，(71)参见MacPherson v. Buick Motor Co., Ill N.E. 1050 (N.Y. 1916).法院废除了相对性规则，认为制造商有公共义务。不仅对直接从中间商手中购买产品的消费者负责，而且对他们的家庭成员和因缺陷产品而受到伤害的旁观者负责。(72)See note ， p.1053.

如果我们要阐明算法社会的规则，我们需要像麦克弗森诉别克汽车公司案(MacPherson v. Buick MotorCo.)式的案例。亦即我们需要认识到，算法的使用不仅会伤害所服务的终端用户，还会伤害社会上的许多其他人。例如，乔纳森·齐特林(Jonathan Zittrain)指出，脸书网(Facebook)可能会利用其终端用户的数据来操纵他们，从而影响全国大选。(73)参见Jonathan Zittrain. Engineering an Election, 127 Harv. L. Rev. F. 335, 335-336(2014), http：//harvardlawreview.org/2014/06/engineering-an-election/ [https://perma.cc/f4wx-29b3]; Jonathan Zittrain, Facebook Could Decide an Election Without Anyone Ever Finding Out, New Republic (June 1, 2014), http://www.newrepublic.com/article/1 17878/informationfiduciaiy-solution-facebook-digital-genymandering [https://perma.cc/3fun-w2k9].如果这种情况真的发生，不仅会影响到拥有脸书网(Facebook)账户的人，还会影响到全国的每一个人。同样，当公司在高速交易中使用算法时，他们可能引发市场崩盘。这不仅影响到与他们交易的人，而且影响到这个国家的每一个人，甚至影响到全世界。

因此，当公司雇佣机器人、人工智能体和算法时，他们对公众负有责任。但是我们无法用对客户、病人和终端用户的信任的违背，来描述他们未负起对公众的责任。那么，如果这些义务不是以背叛信任为前提的，它们又是以什么为基础的呢？这就引出了算法社会的第三法则。

七、 第三法则：算法操作者负有不参与算法妨害的公共义务

算法妨害(The Algorithmic Nuisance)是什么意思？在这里，我将气味、烟雾、声音、毒物及污染等私人和公共的妨害进行类比。传统上，这些危害与使用(和滥用)不动产有关，但近年来这一概念已扩大到范围更加广泛的伤害。(74)参见Restatement (Second) of Torts§821A cmt. B(Am. Law Inst. 1979).私人妨害对相对较少人群的公认合法利益造成损害，(75)See note ，§821E & cmt. A.公共妨碍对无限人口造成损害。是否采取行动减少这种妨害，由州当局决定。(76)See note ，§821B(1)； See note ，§821C(1).在过去的20年里，州检察长试图扩展公害的概念，为大规模侵权行为、公共卫生问题和环境污染提供救济。参见Connecticut v. Am. Elec. Power Co., 582 F.3d 309, 314-315 (2d Cir. 2009) ；Richard 0. Faulk & John S. Gray, Alchemy in the Courtroom? The Transmutation of Public Nuisance Litigation, 2007 Mich. St. L. Rev. 941, 943-944 (2007)；Donald G. Gifford, Public Nuisance as a Mass Products Liability Tort, 71 U. Cin. L. Rev.741, 743-744 (2003).在另一种选择中，政府必须决定是否创建一个类似于消费者或环境保护的政府监管计划。(77)参见Restatement (Second) of Torts § 821 B(2)(b) & cmt. C (Am. Law Inst. 1979).

显然，我并不是说算法的危害是传统的普通法意义上的伤害。我更不是说算法上的损害是对私人使用和享受不动产的非侵入性侵犯。(78)See note ，§821D & cmt. A.相比之下，公害可能涉及更广泛的问题，如公共卫生、安全或道德。See note ， § 821B & cmt. B.相反，我认为考虑这些伤害的最佳方式是通过类比于妨害侵权行为。

为什么我要把算法带来的危害类比为妨害？我这样做有三个原因。第一个是侏儒谬误(The Homunculus Fallacy)。我们不能说这个算法本身有什么不好的意图。相反，这个算法被人类使用以实现一些特定的管理目标。但是在这个过程中，最终伤害了不同群体的人。其中一些受害者很容易识别，但对另一些受害者的伤害则更为分散。

本质上，我们谈论的是计算能力的社会不公正使用，将成本外部化到无辜的其他人身上。在侵权法中，我们可以称这种外在化为公害或私害。(79)基思·希尔顿(Keith Hylton)对基于公害的新执法行动进行了批判性调查，他认为扩大公害有着一致的理由，尽管判例法并不总是反映这一点：“当外部化成本远远超过外部化收益或远远超过背景外部成本时，妨害法诱使行为人通过施加责任来选择社会最佳活动水平。” 参见Keith N. Hylton. The Economics of Public Nuisance Law and the New Enforcement Actions, 18 Sup. Ct. Econ.Rev. 43, 44 (2010).事实上，在最近一篇关于如何规制算法警务的文章中，安德鲁·塞尔贝斯特(Andrew Selbst)认为，适当的补救措施是要求警察局制作类似于环境影响声明的歧视影响声明。(80)参见Andrew D. Selbst. Disparate Impact in Big Data Policing, 49 Ga. L. Rev.(forthcoming 2017) (manuscript at 44), https://ssrn.com/abstract-2819182 [https://perma.cc/67nc-y6ve].算法歧视的特点是无论是使用程序的官员还是程序本身，都不容易被识别为恶意，(81)See note ， p.32.通常，歧视性的影响来自于一个特定的问题被设计成由算法来解决的方式，而不是来自于警察或程序员的无意识的动机。See note , Selbest.这个算法没有目的、需求或欲望。这就是侏儒谬误。算法中没有一个小人物在指挥它。因此，基于反应优越理论对算法操作者的责任进行建模是无用的，尤其是一个自学习算法。我们不能把算法的意图、疏忽或恶意归咎于操作者。

相反，我们必须关注使用特定算法的社会影响，以及从整个社会的角度来看，这种影响是否合理和正当。与其将其类比于刑法或反歧视法中的差别待遇法，最好的类比是妨害和环境法。(82)参见A. Michael Froomkin. Regulating Mass Surveillance as Privacy Pollution: Learning from Environmental Impact Statements, 2015 U. Ill. L. Rev. 1713, 1715 (2015)；Dennis D. Hirsch. Protecting the Inner Environment: What Privacy Regulation Can Learn from Environmental Law, 41 Ga. L. Rev.1, 23 (2006)；cf Dennis D. Hirsch. The Law and Policy of OnlinePrivacy: Regulation, Self-Regulation, or Co-Regulation?, 34 Seattle U. L. Rev. 439, 465-466 (2011).

将这个问题类比为妨害的第二个原因是，算法的危害是程度问题。此外，算法妨碍的危害源于数据整理、分析和决策对人们数字身份的累积影响。

塞尔贝斯特(Selbst)指出，算法歧视造成的危害并不适合简单的是或否的二元分类。也就是说，要么你已经歧视了，要么你没有歧视。(83)See note ， pp.48-49.相反，在设计过程中，以及在程序员如何编程算法要解决的问题时，都存在不可避免的权衡。(84)See note ， pp.47-48.可能难以确定用于衡量算法运行情况的非歧视性行动的基线，而且可能难以甚至不可能将算法运行的影响孤立到单一原因。(85)See note ， pp.47-48; 参见Solon Barocas， Andrew D. Selbst. Big Data’s Disparate Impact, 104 Cal. L. Rev. 671, 677-692, 718-19 (2016).归根结底，相关的问题是你是否对无辜的第三方强加了太多不合理的成本。算法歧视就像污染一样，是一个程度问题。

将该问题类比为妨害的第三个原因是，它帮助我们理解算法社会的危害是如何由公共和私人行为者的累积决策和判断产生的。公司和政府使用大数据和算法作出判断，构建人们的身份、特征和关联。(86)参见Robinson + Yu. Knowing The Score: New Data, Underwriting, And Marketing In The Consumer Credit Marketplace 4-5 (Oct. 2014),https://www.teamuptum.com/static/files/knowing the-scoreoct2014_v_1.pdf[https://perma.cc/2ezj-blt8].这些身份和特征的数字结构，影响着人们的就业机会、信用、金融就业机会和职位。它们还塑造了人们的脆弱性——对于不断增加的监视、歧视、操纵和排斥。公司和政府从多个来源收集人们的数据，并对这些数据进行处理，以生成新的数据。在数据处理和决策过程中，公司和政府促进了人们数字身份、特征和联系的累积构建，而这些又反过来构建了人们未来的机会并塑造了他们的脆弱性。(87)See note , Robinson.

其他公司则建立在这些数据、分数和风险评估的收集，以及由此产生的特征、联系和身份的数字结构之上。(88)See note , Robinson.公司和政府在新的判断背景下创造性地利用所有这些信息，产生新的见解、判断和预测。通过这种方式，人们的生活受制于一系列算法判断，这些算法判断随着时间的推移塑造身份、机会和弱点。想象一下，如果你愿意，你的数字身份就像一个信息流，不断有新的判断、得分和风险评估被扔进这个信息流。

随着越来越多的企业参与到数字身份塑造的集体过程中，这种大量的判断愈发多地塑造着人们的生活。它可能以机会受限和脆弱性增强的形式，将一系列不合理的社会成本转嫁到人们身上。算法妨害的概念试图捕捉这些对个人的影响，因为公共和私人行为者将越来越多的判断放入代表个人的信息流中，并用于判断、分类和控制他们。

因此，我们今天面临的核心问题不是有意的歧视，而是对身份和机会的累积伤害。随着决策者利用多种数据来源来构建人们的数字身份和声誉，在警务、就业、住房和获得信贷等领域反复普遍地使用算法，将对全体居民产生累积效应。(89)See note , Robinson.

在某些情况下，危害可以追溯到如代码错误、不合理的假设或有偏见的数据等粗心的编程和操作。或者，它可能是由于不合理地使用算法、数据源、过时的分级和分类所造成的。但是在许多情况下，程序员和用户可以貌似合理地声称他们的初始模型是合理的，给定手头的任务、分析的数据及模型的背景假设。即便如此，随着时间的推移，将决策权交给算法将可以预见地对个人和特定群体的成员造成广泛的危害。

一个核心问题是，身份，即具有积极和消极特征的人之间的联系，是如何在算法社会中构建和分布的。决策者不仅通过制定自己的算法判断来节约决策时间，而且还通过引入其他各方已经作出的关于人的特质、可信度和声誉的算法判断来节省决策时间。(90)See note ， Robinson.信用评分是一个简单的例子，但它们只是算法社会随着时间推移所能完成的工作的一个原始例子。

与其从头开始开发自己的评分算法，决策者可以通过使用其他算法在不同环境和不同目的下已经创建的评分和判断来节约成本，并修改和更新它们，以满足自己的需要。(91)See note ， Robinson; Lois Beckett. Everything We Know About What Data Brokers Know About You, Propublica (June 13, 2014),https://www.propublica.org/article/everything-we-knowabout-what-data-brokers-know-about-you[https://perma.cc/3v72-xrwz].算法社会的一些最重要的见解，来自重新思考如何将为一个目的收集的数据，用于阐明起初看起来不相关的现象或问题。

公司专门收集、整理和分发人们的身份信息给其他决策者，这些决策者将他们的决定添加到不断增长的数字流或档案中。(92)See note , Beckett.这意味着人们的特性，包括积极和消极的特征，是通过许多不同的数据库、程序和决策算法的交互作用来构建和分布的。通过这种方式，人们通过算法构建的身份和声誉可能会在社会上广泛普遍传播，从而增强了算法决策在他们生活中的影响力。随着数据成为决策的共同资源，它构建了数字声誉、实际机会和数字脆弱性。

在数字世界，关注蓄意侵权行为或者忽视算法的构建和监督可能是不够的。相反，侵权行为法理论中最好的类比可能是由于社会不公正的活动水平而产生的社会成本。活动水平的提高会导致社会成本的增加，即使活动是在适当小心的情况下进行的。即使假设公司行使应有的谨慎(当然，可能并不是)，活动增加的累积效应仍可能对社会其他部分造成过大的伤害。(93)See note ， Hylton.这些都是妨害的典型情况。

当企业采用新技术以增加活动水平时，活动水平的提高和社会成本的增加可能会出现。(94)See note , Hylton.在这种情况下，转向算法决策这种新技术，可以让政府和企业作出更多决策，从而更普遍、更廉价地影响更多人的生活。算法社会增加了分类、分级和决策的快速性、范围和广泛性，这样做也增加了分类、分级和决策对人类生活的副作用。这些副作用类似于工厂活动增加造成的污染水平的增加。

可以肯定的是，伤害不是一方就能构成的，受害方的行动也构成了算法决策的社会成本。那么，或许我们也应该激励公民减少自己暴露在算法判断的副作用面前。但是在算法社会，受害方不能轻易地避免找工作、住房、医疗保健和参与日常生活的寻常事务。在算法社会，人们扔掉数据，这些数据稍后将被用来判断他们是否生活在数字世界中。人们也不能轻易地缩小规模以避免算法判断的危害。集体行动问题是巨大的，更不用说获取有关他们处境的信息的成本了。在算法社会，人们的数字身份是由许多不同的参与者产生的，他们的数字身份流向各种各样的决策者，而决策是由人们知之甚少的实体作出的。

如果我们把它类比为妨害，那么第三法则就是，算法操作者有责任不让公众“污染”。也就是说，不合理地将算法决策的成本外部化给其他人。正如向工业社会的转变可以预见社会污染数量的增加，向算法社会的转变可以预见数据收集、计算和算法判断的副作用的增加。

这些代价或危害是什么？考虑一下算法社会带来的一些最常见的危害。我要强调的是，这些伤害是在传统的身体伤害之外的。比如自动驾驶汽车或工业机器人造成的伤害，以及监视和曝光造成的高度伤害。

(1) 对声誉的危害——算法影响声誉主要有两个方面，第一是分类，第二是风险评估。算法通过给你和其他像你这样的人贴上危险的标签来影响你的声誉。也就是说，对你来说，成为你自己意味着某种风险或倾向。在不同的情况下，风险表现的方式会有所不同。它可能包括这样的想法，如你(或者居住在某个特定地区的人)创造了金融风险、就业风险、未来犯罪的风险、花费大量社会服务的风险、退货风险或成为昂贵客户的风险、因为你不会买任何东西而浪费广告费用的风险等。在这种情况下，算法伤害是指你是一个有风险的人，这是一种耻辱。

风险评估通常伴随着分类。算法通过将你放在一个类别或层级中来影响你的声誉，这不一定是风险评估。该算法构造你所处的组，并通过这些组了解你，因此可能会对你进行操作。分类可能会影响你的声誉，而无须对风险进行评估。因为它说明了你是什么样的人，以及你被当作什么样的人对待(而且，含蓄地说，比某些衡量标准更好或更差)。

(2) 歧视——由于风险评估或分类工作，使用该算法的企业拒绝给你提供它为其他人提供的机会(信用卡、贷款、工作机会、晋升)。或者它增加了特殊成本(容易被拦截和搜身、监视、更高的价格、排除枪支拥有权或进入航空旅行等)，它不强加给其他人。

(3) 标准化或系统化——这种算法使你将它的分类和风险评估内化，从而使你改变自己的行为，以避免被监视或被归类为有风险。它使你改变自己的身份、行为或个人自我表现的其他方面，以便看起来对算法的风险较小，或者归入不同的类别。在另一种情况下，你会从事算法不注意的行为。(95)请注意，通过使他们的行为符合算法判断或隐藏自己的数据收集和算法分析，潜在的受害方可以改变自己的活动水平，从而减少算法判断的总社会成本。正如前面提到的，需要两方当事人才能造成伤害。但是这种降低成本的方法回避了一个重要的问题。我们必须首先证明，社会可以合理地要求其公民采取某种特定形式的社会管制或社会隔离。

(4) 操纵——人类和组织可以使用算法来引导你和其他像你一样的人作出(或多或少)可预测的选择。这些选择对算法操作者有利，但不会提高你的福利，实际上可能会降低你的福利。此外，算法分析使公司更容易发现哪些人最容易受到操纵，以及他们如何最容易和有效地被操纵。

(5) 缺乏正当程序/透明度/可解释性——该算法作出的决定会以上述方式之一影响你的福利，但不具有透明性、可解释性、用外行的术语解释输入和输出、监视其操作的能力、提供反驳的方法或使算法负责的方法。(96)现在有一些重要的文献正在研究，算法决策中的正当程序问题以及如何最好地解决这些问题。参见note ; Danielle Keats Citron， Frank Pasquale. The Scored Society: Due Process for Automated Predictions, 89 Wash. L. Rev. 1 (2014); Danielle Keats Citron. Technological Due Process, 85 Wash. U. L. Rev. 1249 (2008); Kate Crawford， Jason Schultz. Big Data And Due Process: Toward a Framework To Redress Predictive Privacy Harms, 55 B.C. L. Rev. 93 (2014); Pauline T. Kim. Data-Driven Discrimination At Work,58 Wm. & Mary L. Rev. 857 (2017); Joshua A, Kroll Et Al. Accountable Algorithms, 165U. Pa. L. Rev. 633 (2017); See note , Selbst.

我们可以这样总结这个讨论：算法通过(a)分类和风险评估来(b)构建身份和声誉，为(c)歧视、标准化和操纵创造机会，而没有(d)足够的透明度、问责制、监督或正当程序。

这些伤害与算法妨害的概念有什么关系？这些危害是计算机化决策的副作用。它们是算法活动的社会成本。

算法的普遍采用极大地提高了我们生活中计算决策的水平和普遍性。算法的使用为决策者节省了金钱，因此从个体企业或决策者的角度来看可能是合理的。但在这个过程中，它可能会对个人和群体造成累积伤害。(97)See note ， p.48.

例如，设想一组用于识别潜在雇员的算法。该算法可能足以用合格人员填补少量可用的空缺，但它排除了大量同样合格的人员，(在这种情况下，我们会说它产生了很少的假阴性但是出现了很多的假阳性)。即便如此，该算法使用和产生的数据及声誉得分，可能会输入其他人使用的数据库。其中不仅包括未来的雇主，还包括在许多其他情况下运作的许多其他决策者。或者想象一个警务算法，把警察派到警察已经逮捕过人的社区，从而强化了该地区犯罪率特别高，需要额外的警察监视的观念。

算法社会的意义在于增加决策的机会、速度和成本效益。公司使用算法来节省资金，并且大规模地执行重复的任务和计算，这些任务和计算对于人类来说是极其昂贵甚至是不可能完成的。这使得公司能够提出以前无法回答的问题，并作出以前制定和采纳成本极其昂贵的决定。

这种现象(更多种类的决策以更低廉的成本作出)只是机器人普遍具有的替代效应(The Substitution Effect)的另一个例子。我们用算法法官和计算器代替人类法官和计算器。但是算法的选择、类别的选择、收集的数据种类以及数字特性的分布式创建和维护都会产生社会成本，这些成本的负担会转移到其他人身上——转移到一般人身上，或转移到特定的群体，如穷人或少数群体身上。

在处理算法的危害和算法的歧视时，我们的目标不是找出不好的意图。以这种方式提出这个问题是侏儒谬误的又一个例子。相反，随着越来越多的公司转向算法决策，并提高其决策活动水平，其目标是要求公司采用从整个社会的角度来看是合理的方法。正如在公共妨害的情况下，国家必须决定如何最好地使企业将其成本内部化。

弗兰克·帕斯奎尔(Frank Pasquale)还指出，在某种程度上，我们使用这种算法妨害的方法，我们必须能够识别使用这种算法的个人或组织，他们给社会其他部分带来了损失。(98)参见Frank Pasquale. Toward a Fourth Law Of Robotics: Preserving Attribution,Responsibility, And Explainability In An Algorithmic Society, 78 Ohio St. L.J. 1239, 1248-1251(2017).也就是说，算法必须被设计出来，这样我们才能知道哪些个人或组织在使用它们。魔像必须可以追溯到一个或一群拉比。在一些情况下，如金融、就业、警务，识别用户并不困难，因为使用该算法的组织会自我识别。但在许多情况下，算法及其使用的数据将由许多组织共同构建。在某些情况下，算法决策是由匿名或用假名的人士和组织作出的。然后，为了执行公共职责，法律将不得不要求公开谁是这个算法的幕后推手。

八、 结 论

对机器人和人工智能的希望和恐惧从最早的文学时代就一直伴随着我们。即使在今天，新闻工作者写的故事也会引起人们对失去控制的机器人、算法和人工智能体的恐惧，认为他们很快就会占领我们的世界。我这次演讲的目标是提供一个纠正的思路。我认为算法社会中机器人、人工智能体和算法本身是存在危险的，但真正的危险始终存在于那些使用这些装置并利用它们影响、控制和操纵他人的组织和企业中。如果我们都像拉比一样虔诚，我们就不必害怕魔像了。因为我们不是虔诚的拉比，所以我们需要学习如何约束自己。