被算法控制的社会*

詹娜•布瑞尔 马里恩•弗尔卡德/文 杨泽凡/译

［译 者 按］ 通过将数据集与代码进行配对（或算法处理）的方式，在大部分社会机构中都取得了发展。文章旨在研究这一现象所带来的社会结构的变化。首先，“编码精英”作为新职业阶层开始崛起，这一群体通过对数字生产手段的技术性控制，从“新边缘化”或未获得报酬的“网络无产者”（Cybertariat）中攫取劳动价值。其次，在社会各领域中被广泛应用的数字优化技术对于算法决策的主导地位的强化，不仅可能改变社会再生产以及社会流动的路径，还可能激起被管理者的抵抗。最后，文章分析了数字通信系统中普遍存在的算法中介是如何转变人们互动、交往和思考方式的。作者认为在谨慎对待人工智能所作出极端承诺的同时，也要认识到算法、社会结构以及个人主体性之间日益紧密的联系。

一、黑客伦理与硅谷精神

在20 世纪40 年代，绵延起伏在圣何塞和旧金山间的圣克拉拉群山低谷，以其花果飘香、牛羊成群的果园和牧场而闻名。在电子工程学领域，尽管斯坦福大学是最早的开拓者之一，但其仍被称为“农场”——虽然这一叫法仍体现了“19 世纪强盗大亨和他妻子多愁善感的淳朴”。①Margaret O’Mara, The Code: Silicon Valley and The Remaking of America, New York: Penguin, 2019, p. 29.斯坦福大学从田园般的象牙塔彻底转变为全球经济的强大集团，源自冷战开始时政府大规模的投资活动。乘着科学的崇高语言“无尽边境”开发的东风（Bush 1945），国防部的丰沛财力开始涌入大学，最终覆盖到西海岸。

然而，与政府的联姻并非易事。越南战争和20 世纪60 年代“反文化运动”的兴起，使得军方赞助以及技术创新军事化，这日益引起居住在该地区的工程师和计算机科学家阶层的反对。他们急切地宣示自己的自治权，主张信息自由流通、社区政治优先以及平等互惠。在一次又一次的技术革命②这些技术革命包括半导体、个人电脑、互联网、生物技术、社交媒体等。的冲击下，“硅谷”（Silicon Valley）这个永恒的神话开始逐渐凝结成晶。在帕洛奥尔托，许多大公司都是在车库和地下室里诞生的。高管们都是大学辍学生，没有人佩戴领带，企业的等级结构扁平化。工程师们通过壮观的文化形式如“火人节”来颂美这些价值原则以及他们自己。然而，他们粗鲁绝俗的伦理观念与无政府的自由主义政治关联在一起，便充当了意识形态的功能，而这也帮助他们消除联邦政府干预和推动这个行业开拓者依靠自己取得成功的商业史神话。尽管人们喜欢讨论社区政治和互惠交流，但科技领袖和普通员工都把个人主义、竞争和适者生存作为坚定的信仰。

在2000 年3 月互联网泡沫破灭后，一场重要的转变开始了。硅谷处在了十字路口。当时，与互联网相关的企业虽然还是处于初创阶段，但是这些企业却在努力展示其长期的盈利能力。其中，幸存下来的初创企业，比如谷歌，至今仍在提供免费服务，但他们并没有明显的盈利策略。这是比较蹊跷的现象。改变人们对这一现象认识变化的原因，源于肖沙娜•祖博夫（Shoshana Zuboff）所称的“行为剩余”的偶然发现。这是祖博夫的功劳。突然间，她发现人们在网上闲逛和驻留时留下的数字记录痕迹，居然在没有利润的搜索、聊天、社交互动等业务中可以被广告商们利用。这样的事情也确实发生了。公司开始将它们所产生的偶发数据与新的机器学习算法技术相结合来预测人类行为。通常是开放和名义上免费的广告支持平台，开始取代昂贵的盒装软件的旧模式。现在似乎任何人都可以开发一个应用，而且任何人都能负担得起使用它。独立开发者可能会获得巨大利润，有些人也确实取得了成功。

这种民主化的开放获取和发展的另一面，是对用户监视和操纵的加强。现在，对用户隐私或消费者福利的狡诈使用阻碍了业务的发展。创造收入越来越依赖于欺骗。为了吸引用户的注意力，开发人员采用了源于赌博行业的成瘾心理。与他们自己对开放、自由和社会联系的崇高赞美不同的是，这些公司现在专注于从更多人那里生成越来越多的数据，并巧妙地操纵它们以确保预期的结果：滑动、点击或者更好的购买行为。使这种“工具性权力”③Shoshana Zuboff, The Age of Surveillance Capitalism: The Fight for a Human Future at the New Frontier of Power,New York: Public Affairs, 2019, p. 8.的发展成为可能的办法，是采用现有法律来满足信息资本主义的需求。首先，科技公司将通过cookie 和跟踪器把生成的个人数据确定为大量且免费获取。他们通过平台协议和看似良性的样板合同来获取数据，这些合同将该过程构建为互惠互利的交换。①科恩将此称之为“生命政治领域”的构建：愿意接受至少某些类型的cookies 已日益成为在线交易和参与在线社区的必要先决条件……同意提取数据塑造了编程的环境。参见Julie E. Cohen, Between Truth and Power: The Legal Constructions of Informational Capitalism, Oxford, UK: Oxford University Press, 2019, pp. 54-58。——作者注其次，他们通过涉及专利的合法所有权和关于商业机密的争论来小心翼翼地保护他们的数据赏金。一旦其被标记为“法律特权的标志”，②Julie E. Cohen, Between Truth and Power: The Legal Constructions of Informational Capitalism, Oxford, UK: Oxford University Press, 2019, p. 64.那么，本应属于个人或公共领域的数据，就仿佛处于封闭或殖民的现代化进程之中，他们将被侵占并重新编码为私人资本或资产。

今天，在对数字生产资料所有权前所未有的争夺中，一种新的阶级关系体系呼之欲出。本文分析了与科技产业崛起有关的社会分工以及通过算法——一组编写成代码并在计算机上运行的指令，对社会进程重组。③算法的概念起源于9 世纪。原则上，算法独立于执行其指令的机器。如今算法已经成为所有计算机软件的重要组成部分。随着我们与公司、机构以及人与人之间的互动日益以计算机为媒介，人们也日益接触算法并受算法影响。——作者注在下文“编程精英的崛起和大众的预自动化”中，本文将论证数字资本主义的核心分歧是编程精英和网络无产者之间的对立，编程精英掌握并控制着数据和软件，而网络无产者必须生产、精炼和处理供养或训练算法的数据，有时甚至将自己的工作自动化，使自己变得多余。同样，我们还表明这样的主张，即技术、经济效率以及公正是编程精英社会权力的重要组成部分。接下来，在“精算主义及其不满”这部分中，本文讨论了算法在零售、交通、保险、社会工作、医学、银行、警察和司法系统等职业领域的广泛影响。我们分析了算法工具在社会机构中普及带来的希望，同时也指出了其缺陷以及对社会阶级形成和不平等的影响。在“量化分类及他者的不满”这部分中，我们展示了算法过程构建了人们相互认识和联系的方式，并且技术中介与自我、社区的感知产生交叉。最后，我们思考了关于这种技术轨迹可能的未来路径的预测，提出了两个可能的方向。一个是回归一个具体的、但现在由算法增强的“赛博人格”（Cyborg Self）——一种带着我们回到一个以身体为基础的、但现在又经过算法增强的半人半机器的自我状态的途径。另一个是带我们进入一个平行的非物质社会的途径，在其中，我们的数据自我与制度监护者互动，其后果模糊而通过间接感知。

二、编程精英的崛起和大众的预自动化

对待这一议题，不必急于求成。让我们首先回到千禧年初的“世界技术容量存储，传递和处理信息能力”④Hilbert Martin and Priscila López, The World’s Technological Capacity to Store, Communicate, And Compute Information, Science, vol. 332, 2011, pp. 60-65.的迅猛发展的重要性上。在各类机构中，对“数据要求”⑤Fourcade Marion and Kieran Healy, Seeing Like a Market, Socio-economic Review, vol. 15, no. 1, 2017, pp. 9-29.的制度化是具有革命性影响的，不仅影响科技产业，也深刻影响了整个资本主义体系。商业杂志广告宣称数据是“新的石油”。每个小公司、每个公共或非营利性公司都可以参与其中，并尝试进行数据挖掘。针对这一目的，任何有编码能力的人都可以建立一个网站，开发一个应用程序，或者编写一个软件。任何一个网页都可以充斥着追踪器，而对收集数据进行分析则是实现货币化的途径之一。

在互联网一荣一衰之后，硅谷实现了涅槃重生。由大数据和分析驱动的新生产模式正在兴起。这种信念让有希望的计算机科学家和工程师涌入了海湾地区，他们也希望能够骑上“独角兽”。由于不断增长的收入推高了当地房地产价值，所以工薪阶层开始不断离开他们的居住区，但同时也留下了许多流浪汉的露营地。这一地区的政治氛围仍然坚定地属于加州风格：原则上是进步的，但在实践中则于己无助。虽然硅谷的工程师们加入了激进的延长生命运动以及参加其他超人类主义追求的边缘主义运动中——通过食用代餐品以消除浪费时间的活动，或像他们黄金时期的前辈们一样设立了雄心勃勃的新慈善机构，但是越来越多的人正在挨饿，正露宿在圣何塞和旧金山街头。新冠病毒疫情远不止让这些人的生活捉襟见肘，反而进一步强化了技术“解决主义者”①Evgeny Morozov, To Save Everything, Click Here: The Folly of Technological Solutionism, New York: Public Affairs,2013.的主张，同时在数字教育等方面催生新的不平等。

城市中极端的富裕与贫困并存，是算法社会建立在新经济中最显著的特征。从传统马克思主义的视角来看，这种区别将最极端的资本所有者（主要是风险投资家、公司创始人和科技员工，其中许多人也拿到了股票）与为他们辛勤工作的人群（服务工人、分包商和临时工人）对立起来，后者承受着生活成本上涨的冲击，但没有享受任何福利。截至2018 年，在加利福尼亚最不平等的圣马特奥县，最富裕的1%人口的收入比最底层的99%人口高出49.1 倍。作为整体，旧金山湾区的收入差距增长是全国最快的地区之一：在1980 年到2018 年间，90%家庭收入增长了60%，而50%（中位数）和10%家庭的收入分别增长了24%和20%。在低收入层级和技术产业劳动力的底层社会，黑人和拉丁裔人占比也超过其他人种。2016 年，主要技术公司员工中，白人或亚洲人占78%，而女性仅占30%（Tomaskovic-Devey & Han 2018）。在数字资本主义发达的其他中心（如亚马逊和微软所在的西雅图），也具有类似的结构，并经历了类似的发展。

（一）编程精英：庞大的权力

卡尔•马克思把生产关系及其形成的意识形态与技术的发展密切联系在一起。在《哲学的贫困》一书中，马克思的一段名言清楚地阐明了这一观点：

“社会关系和生产力密切相联。随着新生产力的获得，人们改变自己的生产方式，随着生产方式即谋生的方式的改变，人们也就会改变自己的一切社会关系。手推磨产生的是封建主的社会，蒸汽磨产生的是工业资本家的社会。人们按照自己的物质生产率建立相应的社会关系，正是这些人又按照自己的社会关系创造了相应的原理、观念和范畴。”②译文参照《马克思恩格斯文集》（第1 卷），中共中央马克思恩格斯列宁斯大林著作编译局译，人民出版社，2009 年，第602~603 页。

今天人们利用数据和由算法推动的软件系统进行生产，它带给我们一个软件资本的社会。一群精英占据了数字化社会的高层，这是一个新的阶级或者说是原初阶级，我们将之称为“编程精英”。这一称谓，是在致敬米尔斯意义上提出的。编程精英包括：软件开发人员、科技公司CEO、投资者、计算机科学和工程学教授，等等。在这些有影响力的角色之间，他们经常毫不费力地进行转换。在包括斯坦福大学在内的全国各地大学里，学术界和科技产业间的壁垒往往是很弱的，教授们可以在自己的创业公司、大型公司的重要职位、政府赞助的研究实验室和课堂之间转换。在这里的世界，最有价值的人是那些能接触和理解计算机代码的人。最有权势的人，是那些拥有代码并可以雇佣他人按照他们的意愿执行的人。在这里，掌握了计算技术，就意味着被赋予了特殊的权力。这些权力，体现在文化、政治以及经济等方面。

在文化方面，编程精英们生活在可靠的数字世界中。因为，他们的形式逻辑在数学上是可以证明的，因此这些技术似乎具有普遍性，从而远离了混乱的人类政治世界。编程精英们将算法视为几乎可以开启包括社会学在内的所有学科的、可以改变政府行动每一个领域的、可以解决人类社会面临大多数问题的钥匙。但是，只有经过学习的人，才能穿透其隐晦的语言，并通过它来解决棘手的问题。在此过程中，他们提高了自己的社会地位。

在政治方面，编程精英们生活在充满控制力的世界中。狭义上，为了将社会规范和法律规则从自然语言转化为计算机代码，计算机科学家必须执行解释性工作，这肯定会扭曲和简化社会规范和法律规则。但广义上来讲，代码指挥着世界，换言之，“代码即法律。”①Lawrence Lessig, Code: And other laws of cyberspace, New York: Basic Books, 1999.这意味着两件事：一是代码使世界易于理解——它通过将人和物重新构建为可读取的机器实体来代表它们；二是代码是强制性的——像法律一样，它同样具有承认和排斥、分离和分配的权力。但是，与书面规定的法律必须由不同的机构——通常是人类，因此能行使自由裁量权——来执行不同，代码一旦被编译和运行，那么它就既规定了规则，又自动化了它们。

在物质层面上，编程精英们处于赚钱的有利领域。对于风险投资家来说，数字技术行业企业产品最有吸引力的是它们的良好扩展性。例如，“Facebook”现在全球已经拥有超过26 亿用户，每个用户都自愿地为该平台贡献核心内容。正如莫罗佐夫•耶夫根尼（Evgeny Morozov）所说：“在Facebook 上，人越来越多，它的价值也就越来越高……这也适用于搜索引擎：使用谷歌的人越多，它就变得越好，因为每次搜索都是对服务进行调整和改进的某种形式。”这是第一个优势，可称其为网络效应。第二个优势是机器学习的工作方式所带来的直接结果：它以自动化反馈循环为动力，不断地吞噬新的数据并逐渐提高预测准确性（或者至少声称如此），从而扩大市场可能性。

信息技术的悠久历史，或多或少是一种不断完善对劳动力控制的过程，是对源于工业革命中不断变化的原材料产地和市场的控制。伯里斯•贝弗利（Burris H. Beverly）认为，这种内在的趋势，使得负责技术控制的专家阶层越来越独立于他们的官僚控制。计算机化的控制形式尤其如此。这种形式，往往有利于社会等级制度的扁平化、专家和非专家部门之间的组织两极分化，以及技术和管理职能之间的融合。正如贝弗利所说，“已经证明的专业知识和获得认证的证书，倾向于取代等级权威成为合法权力的基本来源。”①Burris H. Beverly, Technocratic Organization and Control, Organization Studies, vol. 10, 1989, p. 11.

编程精英的权力完全在于他们对技术的控制，而非曾经的定义职业权力的制度化过程。值得注意的是，编程精英普遍对资格考试不屑一顾，他们普遍持有的理念是通过具体的应用证明自身技艺的价值。他们通过“更好更快地完成一项任务的纯粹能力”②Eyal Gil, For A Sociology of Expertise: The Social Origins of The Autism Epidemic, American Journal of Sociology,vol. 118, 2013, p. 869.来获得权力。必要时，他们还会依靠将“预言、壮观和承诺”的诱惑力嵌入技术演示中以获取权力。用科米萨•兰迪（Komisar Randy）的话说，“是浪漫，而不是金融，让业务值得追求。”③Komisar Randy, Kent L. Lineback and Kent Lineback, The Monk and The Riddle: The Education of A Silicon Valley Entrepreneur, Boston: Harvard Business Press, 2000, p. 93.由管理大师、专业杂志和技术狂热者（负责传播特定技术的信念并建立忠实的追随者）组成的文化网络，进一步有助于这种组织的神话制造，并将权力巩固在能够实施和理解代码的人以及资助他们的机构和个人手中。

在追求市场扩张的过程中，科技行业越来越多地削弱和宣称曾经作为专业判断领域受到保护的任务，这些任务曾涉及从商业管理、医疗和刑事司法系统到国防、教育和社会福利的各个职业领域。深植固有的权力和人为机构只不过是暂时性妥协，等待着他们的是最常规任务乃至工作领域的自动化。无论职业多么崇高或者入行的门槛多么高，都不能避免被二次算法意见所评判，甚至完全被其替代。合法性已从专业人士转移到了编程大师，而且的确越来越多地依赖于算法。

在挑战专业领域的过程中，通过使用行为经济学或社会心理学作为论据，编程精英们通常会依靠人类决策者和算法工具之间的正式比较，但这些比较往往会偏向技术。工程师们借鉴了大量文献（其中一些已经被行业媒体和主流媒体滥用），而这些文献表明即使是最有声望的专业人士在客观性或最佳决策方面也会犯错误。他们以机器连贯的一致性对抗这些失败，相比于医生，“算法不需要休息，无论是在凌晨2 点还是早上9 点，它们的警觉度都相同。”④Obermeyer Ziad and Ezekiel J. Emanuel, Predicting the Future - Big Data, Machine Learning, And Clinical Medicine,The New England Journal of Medicine, vol. 375, no. 13, 2016, p. 1218.在他们看来，堆积如山的数据（有时被特别生成来用于训练机器学习算法），使人的决策不足；相反，人们应该使用算法来改革他们自己的理性推理实践。这里，其主要理念是：“人类思维脆弱而有缺陷，导致作出非理性的选择，未能充分考虑广泛的选择结构”。⑤Shoshana Zuboff, The Age of Surveillance Capitalism: The Fight for a Human Future at the New Frontier of Power,New York: Public Affairs, 2019, p. 343.然而，在代码的承诺之下，要驯服人类的“不可预测的、倔强和其他的非理性”⑥Mark Andrejevic, Automated Media, New York: Routledge, 2019.的倾向，背后隐藏着经济上的强大激励，以更好地预测或控制行为，其做法主要是：使人们能够生产更多的数据或看到更多的广告；满足人们的欲望，甚至在他们意识到之前就促使他们购买；或者在经常处于资金短缺状态下的公共机构中获得立足之地，希望加速、简化和自动化过程；取代客户服务；或者解决工作积压问题。

（二）全球网络主义者及其分裂

权力集中于编程精英，也体现在他们从新旧工作中搜刮劳动力的独特手段上。如果工业资本透过商品物神崇拜来掩盖劳动力的存在，那么数字资本主义则故意透过对人工智能（Artificial Intelligence）和虚假自动化的崇拜来隐匿劳动力。即时应用程序、搜索引擎、地图网站、社交媒体网站乃至自动驾驶车辆等许多产品的顺利运行，都依赖大量人群从事幽灵工作的集体智慧。这是因为，在没有对内容进行精心准备、在没有检查和纠正缺陷的结果、在没有人类完成所谓的“最后一公里”工作的情况下，大多数算法系统是无法有效运作的。时至今日，配对司机和乘车请求的工作、为网络页面评分、纠正数字地图、标记和注释视频、双重检查虚拟助手的回答、纠正偏见并进行社交媒体帖子的监管等工作，仍然需要大量真实人力参与。①尽管用户生成内容的审核已经有自动化参与，但大量人工审核员也会承担对被标记内容进行核实，并在内容违反组织政策或版权法时将其删除等任务。——作者注AI 崇拜背后的事实是：一个全球数字装配线，那些默默无闻的男女劳工经常在不稳定的环境下劳动，其中许多人在全球南方的后殖民地工作。这样，一个新的工人阶级站在编程精英的对立面：网络无产阶级。

不管是对于小型初创企业还是大公司来说，劳动力被套入算法系统中的日常运营，都是一个负债。这是因为，他们的估值和利润预测依赖于尽可能完全自动化系统执行的所有任务的可行性。例如，当大规模投资于开发自动化车辆的时候，共乘平台Uber 公司认识到劳动力法规可能会威胁他们不得不支付司机更具正当性的生活工资。然而，令人意外的是，在加利福尼亚州的选民通过了由行业赞助的22 号提案后不久，该公司便放弃了这一计划。22 号提案将App 司机分为承包商而非员工（这些员工可能会向公司施压以获得福利和更高工资）。有时，人员的招募被视为一种临时解决方案，但随着程序员们在可以自动化的计算限制上的挣扎，临时的情况可能变得永久化。在各个行业和组织层级中，工作的平台化正日益增长，这使得企业能够将不确定性转移到外部劳动力身上。没有人是可以幸免的：技术也渗透并剥夺了管理角色的专业能力，例如出租车调度或班次安排。

理解这些重组和创新，并不仅仅是为了将传统的模拟任务数字化或将其外包给全球分布的更廉价的劳动力。这一点非常重要。相反，它们也是数字资本主义运作的本质和必要条件。就像工业产品的生产导致了无产阶级的产生一样，数字产品（算法和人工智能）的生产也导致了“网络无产阶级”②Ursula Huws, Labor in The Global Digital Economy: The Cybertariat Comes of Age, New York: NYU Press, 2014.的诞生。这些“网络无产阶级”承担着“一系列未支付、微支付和低薪人类任务”。③Antonio A Casilli, Global Digital Culture| Digital Labor Studies Go Global: Toward A Digital Decolonial Turn,International Journal of Communication, vol. 11, 2017, pp. 3934-3935.然而，与马克思等人描述的工业无产阶级相比，网络无产阶级存在明显的差异。在具身层面上，工人阶级是同时存在的，并密集地聚集在工厂中。虽然数字仓库和点击农场有时也具备这些特点，但是却越来越少。伴随着“众包”平台的崛起，这个不稳定的数字阶层的成员越来越原子化，并且他们彼此孤立。实际上，他们的工作，更类似于旧的原型工业中分包系统的工作，或者称为计件工作，工人在家中接收材料并对其进行加工。对于网络自由主义者来说，工作和家庭生活之间的界限也变得模糊起来。数字化劳动力的分散化、算法式（而非官僚式）管理，以及工作项目细分成微观任务，使得集体行动和团结变得困难。

对于马克思和恩格斯来说，让无产阶级感到痛苦的是产业工人（即工业后备军）和科技本身带来的竞争。而对于网络无产阶级来说，这两个威胁已经被完全内化。首先，数字公司通过平台扩大劳动力规模并将其工作分解为无数微型任务的投资，旨在支持该劳动力的自主替代——一个被詹娜特•A.韦特西（Janet A. Vertesi）等学者称为“自动化前期”①Janet A Vertesi, et al, Pre-automation: Insourcing and Automating the Gig Economy, Sociologica, vol. 14, 2020, pp.167-193.的过程。换句话说，平台既利用其自身不稳定的网络劳动者来执行那些难以自动化的任务，也同时利用他们产生的数据来自动化这些任务。这些劳动者的工作场所，只能是在被宣传为具有人工智能的平台和系统上。他们的贡献被刻意掩盖，许多购买他们服务的人希望最终完全消除对这种人工计算的需求。第二，平台也加大了劳动者之间的竞争，它允许某些职业（如教师、文化演员）大幅扩大其覆盖范围，有可能减少人力需求并使赢者通吃的逻辑占据主导地位。第三，不论线上还是线下，平台化的劳动力一般都实行算法管理，以便实时优化市场条件、服务质量、地理距离或薪资报酬，所以它能根据市场的需求、服务质量、地理距离或薪酬进行实时优化，在任何地方都能管理。工作经验的不确定性，②其不确定性，包括不稳定的工作、不规律的工作时间表、压抑人心的监控、不断进行高风险评估和薪资的不稳定性，等等。导致了一系列社会问题（其中也包括负面的健康结果）。此外，平台劳工可能会遭受算法残酷对待，例如由于算法规则的变化或危险阈值的越过而突然逆转命运。许多兼职工作者或内容提供者，例如，由于评级的下降或工作时间的减少，他们会突然被从其主要收入来源的平台上剔除。值得注意的是，这种强制的劳动灵活性，行业劳动法规对此坚决反对（例如加州的“第五议案”）。③共享乘车公司和外卖App 公司投入了两个多亿美元，成功说服选民通过了加州第22 号提案，该提案为他们的员工创造了不受第5 号议案约束的特定豁免权。——作者注该议案提议将平台工作者视为雇员而非独立承包商。

最后，网络无产阶级的边界并不限于廉价的平台劳动力。数字资本主义的一个显著特征是依赖于自由劳动力。实际上，在分类和识别方面，许多相关工作都是由未被付费的平台用户和“微任务”完成的。正如哈米德•埃克比亚（Hamid R. Ekbia）和邦妮•纳迪（Bonnie A. Nardi）所定义的那样，这个“异构化”过程包括生成内容、共同解决问题、提供反馈，或者仅仅被追踪。特斯拉驾驶员在每次驾车的时候，都在训练公司的自动驾驶算法；在完成“我不是机器人”验证码测试后他们进入网站时也同样如此。在这个意义上，几乎每个人都属于网络无产阶级。历史学家尤瓦尔•哈拉里（Yuval Harari）写道：“如果马克思今天复活了，他可能会敦促他的少数信徒多花时间研究互联网和人类基因组，而不是阅读《资本论》。”④Yuval Noah Harari, Homo Deus: A Brief History of Tomorrow, New York: Harper, 2017, p. 276.在21 世纪，一位现代的马克思主义者或许会指出，对于资本来说，人的真正价值并不在于他们的劳动力和肉体劳动的减少，而更多地体现在更亲密、也许更接近于他们物种本质的东西上：关于他们是谁以及他们如何相互联系的数百万比特信息。他会发现，数十亿用户进行在线生活时，在未经报酬给付的点击工作中，却产生了新形式的剩余价值。而且，他试图指明与这种积累模式有关的某种类似敌对的关系，以及相关的意识形态斗争。

那么，集体动员和阶级团结的可能性将如何发展？对于网络无产阶级来说，正如过去的无产者所做的那样，通过进行车间组织来抵制劳动力的提取可能更为困难。然而，他们的工作现实不允许这样做。尽管如此，抵抗行动仍在积极进行中。例如，在线下组织的在线论坛。致力于网络劳工权益的编码人员扮演着一定的角色。他们创建工具来帮助网络无产阶级进行信息共享和自我组织。以设想巧妙的“Turkopticon”程序为例。它是一款网页浏览器插件，可以在亚马逊MTurk（Amazon Mechanical Turk）平台上叠加功能，帮助那些按任务计酬的点击工作者避免糟糕的工作质量、延迟付款和直接的工资窃取。相应的伙伴平台“Dynamo”，则支持工作者集体组织以解决这些问题。最后，过去曾使用的蛰伏和按章办事的策略，重现于工作场所算法的操纵之中。这些以及其他形式的算法行动主义，通过利润型算法系统内部反对和超越其范围发挥作用。

事实上，也出现了一些传统的组织形式，包括工会组成和努力实现劳工保护法的努力。以公平调度运动为例，其旨在监管、限制和加剧工人不稳定性的排版软件的使用，并取消对其工作之外时间的控制权。在洛杉矶，“代驾”公司的司机们组成了“共乘司机联合会”（Rideshare Drivers United）。现在，该组织正在增加其在加利福尼亚的会员数量，并在美国其他地区开设分部。最终，作为企业平台主导的一种替代方案，由工人阶级所有的平台出现了。现有的合作社，提供了股票照片收藏、换货和互换托儿服务以及流媒体音乐服务。这种平台合作主义运动，旨在将各种职业和行业中的高科技合作社联结成一个财团，或者说是一种合作社的合作社。

三、精算主义及其不满

通过另一种根本方式，编程精英广阔的领域相关性已经声明改变了组织流程：基于技术效率和机械客观性推进治理逻辑。确实，通过数字进行治理并不是新事物，早在计算机出现的几个世纪前就有了。在刑事司法系统、金融与保险、劳动管理和教育等领域，算法思维模式（例如通过决策树结构）已有长期的繁荣发展。新的模式是采用行为跟踪数据，包括我们在设备上执行的操作以及捕捉在设备环境中的各种信息，而且新的模式越来越依赖计算能力来处理这些数据。

大量的各种类型的数据，使得现有的某些算法类别变得更加强大。此外，一种新的算法类别（也叫深度学习，它是神经网络模型的进化），利用这种丰富性直接从数据中推断出结论。虽然这并不完全恰当地暗示这些算法自己进行编程，但它们确实以超越人类理解的方式进行自我优化。尽管这些技术可以追溯到20 世纪50 年代，但它们在20 世纪80 年代才真正开始迅速发展，当时在金融领域开始得到实施应用。如今的学习算法已嵌入社交媒体动态、工作场所监控系统、智能城市、港口和边境，而且还应用于现代战争中。一个重要的结果是，许多常用于预测人们行为的模型，现在能够根据新数据的不断更新而进行动态调整，并且通过控制论反馈回路进行持续调整。这些技术放大了大卫•哥伦比亚（David Columbia）所称的计算主义的文化权力，即计算机能够并且必须为社会组织和资源分配的基本过程提供支持。

编程精英通过利用人类理性的有限性来巩固自己的权力。他们认为，在技术层面，机器推理不仅更快更优秀，而且更公平。对机械化、非人性化过程优于源于个人决策权过程的相信，并不仅是计算机时代的发明。一个多世纪以前，马克斯•韦伯（Max Weber）讨论了专业行政官僚崛起的问题，他们遵循“可计算规则”并做出“不考虑个人”的决定。①Max Weber, Economy and Society: An Outline of Interpretive Sociology, Berkeley: Univ. Calif. Press, 1978, p. 975, p. 974.他指出，官僚行政取代了可能受到“个人同情和好处，体面和感激”的领主行政。相比之下，任何接受官僚流程管辖的人都会获得同样的公正考虑。实际上，官僚体制越是非人性化，就越能呈现出更为完美的特征。这与资本主义市场经济要求“精确、明确、持续和尽可能快地完成公共行政公务”②Max Weber, Economy and Society: An Outline of Interpretive Sociology, Berkeley: Univ. Calif. Press, 1978, p. 975, p. 974.的理念，是相辅相成的。

将社会群体的历史数据纳入规则驱动的官僚制流程中，使得对未知个体进行更精确的风险评估成为可能。将这种精算学提升为崇高的目标，与提供更公平的社会机构使用权和改善被排除者生活机会的进步思想紧密相连。例如，在信贷和保险领域，包容往往采取积极的市场扩张形式，推动对以前未见过的人群的信息搜索。随着客户群体的增长和贷款业务的逐渐疏离，统计数据，作为一种标准化决策标准以及更好管理不确定性的方法被引入。通过信用记录的普及化和风险的定量评估而建立的国家信托基础设施，使得贷款人更容易与未知的借款人合作。同时，日益丰富的数据可用性扩大了与风险确定相关的变量范围，这推动了从风险评估的群体化逐渐向其个性化的转变。

推动精算方法吸引力的另一个重要因素，是各种机构中变化不定的政治环境。20 世纪70年代，一波新的反歧视立法出现了，这使得依赖人类判断变得越来越棘手。证据表明，私营和公共决策者们经常倾向于根据模糊直觉、个人偏见和主观意见进行决策。而这些决策被认为是不公平的，因为它们往往对地位较低群体产生偏见，或者它们根本不一致。精算技术崛起的历史记载表明，技术的发展进步十分重视对于机构责任的追究以及通过反思偏见、偏爱和排斥的历史来实现。现代算法的机制，则提供了透明的、平等的、不带情感色彩的处理方式——而人为的幕后操纵则无能为力。这种处理方式，不会因为种族或者性别等禁止的人口特征而作出判别。举个例子，由纽约市警察局开发的用于跟踪和绘制犯罪信息的COMPSTAT 系统，就是通过更加客观地警务决策和基于数据的方式减少歧视性警务执法的系统。同样地，洛杉矶警察局采用了预测工具作为对严重的合法性和问责性质疑的回应。③Sarah Brayne, Predict and Surveil: Data, Discretion, and the Future of Policing, Oxford, UK: Oxford Univ. Press,2020, p. 138.

由于消除了人的主观倾向，新的算法分类制度似乎更容易成为程序公平的论据。然而，它可能无法满足关于公平的其他社会定义。现在，学者们逐渐认识到，算法系统可能会再现某些群体的不平等，同时也可能创造新的社会等级制度。与遵守规则的机构或直觉的人类决策制定者产生不平等的方式不同，算法（尤其是机器学习算法）产生不平等的机制和方式，主要是通过检测数据中的模式并从这些模式概括出新的情况来实现的。最后，由于算法决策依赖于高度多维、复杂且常常是专有的模型，所以它们也更加不透明和难以被质疑。

（一）算法不平等

在韦伯的分析框架中，最终塑造阶级（或阶级状况）的是财富和机会在各种制度领域内外的社会分配方式。无论算法如何分配奖励、机会或惩罚，它们都有能力改变个人的生活机会。算法机制实现这一目标的方式，主要是通过精确而理性地分配资源并通过其高效扩展的能力增加可能发生这种分配场所数量的方式。然而，通过这种方式，他们却暗自改变了社会阶级划分的过程。不同于以包容与排斥为基础（例如那些能获得信用与那些被排除在外的人之间的区分）的传统门槛机制，新的算法机制产生了一个滑动的分类情况，这个分类情况具有更加精细的职位差异化。例如，享有有利于信用风险评估的理想借款人将得到慷慨的信贷合同，不理想的借款人将面临深度高利率的合同，而位于两者之间的人将得到一系列或多或少有利的提议。与其完全排除不同，数字化因此可能促进各种形式的捕食性包容。由于这些常常会对种族少数群体造成不平等，所以种族资本主义的熟悉过程正被数字时代重新塑造。

在理论上，算法分配被视为完美、准确和公平，但在实践中却存在多种问题。一个关键的问题是编码人员和模型构建者很少质疑他们使用的输入数据的质量，尽管模型构建中数据质量的问题正在得到解决。许多培训数据集生产时，对不同目标群体的代表性很少关注，他们或从用户或通过“众包”平台雇佣的工人获取的数据。例如，广泛使用的用于训练人脸识别系统的数据集，以及警务数据都很可能具有偏见和错误。这些错误和偏见会在领域内传播。就算警务数据被广泛应用于预测执法等领域，也并不意味着它们能够透明地反映犯罪行为。实际上，警方报告很可能反映制度化的自我呈现或个人和集体绕过官僚标准的策略。社会学家早就知道这一点，值得引起我们重视。正如奥尼尔（O’Neill）所指出的那样，结果就是基于那些可能是警务实践而不是犯罪评估的小违规行为来形成风险预测模型。

在决策中，证明精算逻辑的一个重要前提是，“相信过去观察到的模式提供了关于未来可能发生的活动和事件的有用信息。”①Oscar H. Gandy, Coming to Terms with Chance: Engaging Rational Discrimination and Cumulative Disadvantage,New York: Routledge, 2016, p. 9.但是在人类事务中，基于过去来预测未来的做法可能会进一步实化和再生产现有机构对待不平等的问题，并可能对其进行复制。由于人们的可见性受到数据收集引擎的社会组织的反对，数字编码成为种族、性别和阶级结构熟悉操作的新渠道。因此，针对有色社区的过度执法，再加上制度化的种族偏见的惯例，制定的犯罪数据集严重偏向于过度代表这些群体，并对这些群体的认知严重偏颇。社会服务资格自动化执法将最脆弱的家庭定罪，并使他们偏离他们应享受的福利。相反，针对主要以白人或主要以男性为数据集进行训练的算法可能根本无法看到被统治的群体。一个基于机器学习的算法审查工作申请者，发现了亚马逊存在男性招聘偏向的模式，并对包含女性候选人信号的申请给予低分。

预测系统的其他陷阱，与概念不良或误用有关。虽然使用算法可以使决策更为客观，但这些系统中的目标函数往往反映出其他目标，尤其是机构成本优化和风险最小化。例如，一个被编程用于优化医疗支出的风险评估模型低估了黑人患者病情的严重程度，因为他们平均利用较少的医疗资源，则健康结果更差。①在制度上，对使用机器学习管理人类事务的批评促使美国国会成立了人工智能核心小组，并创建了“公平、问责和透明”系列会议。——作者注值得注意的是，通过动态调整的过程，机器学习模型也可能产生一种有害的反馈循环。例如，被预测的高犯罪区域或高风险个体将受到警方更多的关注，进而导致被逮捕率上升，并加剧对这些人的审查。类似地，对于黑人借款人来说，预测的更高信用违约率将导致贷款条件的不利，其结果是很可能导致更多的违约情况。此外，不成比例参与刑事司法系统以及不良的信用记录都会导致其他社会成本，包括就业、教育或住房的障碍，进而进一步造成经济损害。预测分析的超级表现创造了一种自我实现的预言，即使没有任何歧视意图，也会重复历史上的不利和结构性的不平等。

最后，这些种类的劣势，可能更难以在政治上争议。因为它们是通过对个人而非群体行为的测量来进行渠道化的，所以它们被认为是公平的。而且，因为它们体现在数学公式中“被看作比之前的歧视系统更为客观或进步”，②Ruha Benjamin, Race After Technology: Abolitionist Tools for the New Jim Code, Cambridge, UK: Polity, 2019, p. 5.因而可能更难被发现和挑战。但是，正如伯纳德•哈考特（Bernard E. Harcourt）所指出的，将正义（和惩罚）简化为计算模型是根本性的问题。预测未来的犯罪行为过度决定了决策制定，而忽略了其他因素，如威慑、意图和伤害程度等。这构成了对刑事司法的“认识扭曲”。③Bernard E. Harcourt, Against Prediction: Profiling, Policing, and Punishing in an Actuarial Age, Chicago: Univ.Chicago Press, 2007, p. 22.

公平性可能是当今机器学习领域最受争议的话题，这常常导致有关哪种统计标准最适合特定情况的复杂争论：假阴性与假阳性（false negatives versus false positives）的争论，或者人口平衡性与预测率平衡性的争论。然而，有些批评者坚决反对在防止社会不公方面，数学的客观性在本质上比人类判断更好的观点，无论后者多么主观。弗吉尼亚•尤班克斯（Virginia Eubanks）坚持认为，在社会服务提供中，“同理心”起着基本作用：“对人类决策是不透明和不可访问的假设使我们放弃了社会承诺的承认，即努力理解彼此。”④Virginia Eubanks, Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor, New York: St.Martin’s, 2017, p. 168.弗兰克•帕斯夸雷（Frank Pasquale）回应了这种情绪，并颠覆了韦伯的观点。他得出结论：一个以人为本的规则比机器的规则更能保障合法正当程序。⑤Frank Pasquale, A Rule of Persons, Not Machines: The Limits of Legal Automation, Geo. Wash. L. Rev, vol. 87, 2019,no. 1, pp. 1-55.

（二）算法支配

个人信息的纳入已成为现代公民身份认定的必要条件。数字化的发展拓展了打击欺诈的雄心，同时也促使公民权益和福利向更精准化的方向定制（Fourcade 2021）。这种趋势在全球范围内都存在：在不同的政治和历史背景下，信息化、现代化可能看起来既熟悉又截然不同。在印度，身份证是一个综合性身份识别系统，存储了每位公民的指纹和虹膜扫描数据以及人口统计数据，最初被宣传为反腐工具和高效提供福利服务的手段。然而，由于公共和私人机构之间沟通互动的需要，大量的基础性监控设施被迅速地建造出来。在南非，后种族隔离政府也试图实施全国性生物识别身份证系统，以提高社会福利津贴发放的一致性。政府以韦伯式典范宣称，该系统的通用性和标准化保证了平等待遇。尽管在南非历史上出现过令人压抑的信息基础设施，其中最著名的是存档系统，但这个新的公民数据库还是受到了后种族隔离时期领导人的欢迎。①作为一种基于种族的全面分类系统，对种族隔离政府政策的实施至关重要。参见Geoffrey C Bowker and Susan Leigh Star, Sorting Things Out: Classification and its Consequences, Cambridge, MA: MIT press, 2000。——作者注

在中国，地方政府和中央政府都与私营部门合作发展面向个人和组织的社会信用体系，以增强其金融行为和公民意识。通过将算法生成的社会信用评分与实际结果（方便和特权、公开表扬或羞辱）进行关联，这些系统促进了规则遵从（例如，通过人行横道过马路）和遵守社会期望（例如照顾父母、做志愿工作）。尽管西方评论家对中国社会信用的发展多有诟病，但是有一点值得记住，其他地方的私有数据基础设施同样具有无法逃避的感觉。例如，奥尼尔描述了这样一种情况：一个求职者在美国零售行业的大部分工作岗位中被排除在外，原因是他未能通过由一家在该领域签有合同的软件公司设计的招聘预筛选测试。其他数据系统普遍跨越国界。例如，在自动识别欺诈的网络安全工具中嵌入了以欧洲为中心的假设，已经成为全球基础设施中普遍存在的一部分。

在这些例子中，公平分配并不是唯一的问题。那些被强制管辖的人无法塑造算法统治的条款，或者规避代码的规则，这引发了关于民主和人类自主权的根本问题。编程精英们将其方法框架化为通用的领域和非特定的领域。但是，依赖单一逻辑来塑造跨机构的做法，导致的结果是潜在地会将人们困在自我强化的排斥循环中，包括工作、信用、教育、住房和社会权利的整个社会存在范围。不同的决策逻辑为那些在某些特别领域（例如个人金融）②然而，这种策略并不能完全消除结构性劣势，因为成绩不佳很有可能与各领域相关，社会学家对此深有体会。参见Robert J Sampson, The Characterological Imperative: On Heckman, Humphries, and Kautz's The Myth of Achievement Tests: The GED and the Role of Character in American Life, Journal of Economic Literature, vol. 54, no. 2, 2016, pp. 493-513。——作者注中数据记录为不可预测或不具潜力的候选人，创造了机会和空间。这也是为什么美国监管机构在让车险公司使用信用评分来预测事故风险时持谨慎态度，以及雇主在处理信用报告数据时会小心翼翼地寻找差的数据背后的人性故事的原因。

被一个不能感知或无情的系统支配或操纵，似乎违反了人类尊严和自主的基本概念。欧盟《通用数据保护条例》回应了这些情绪，规定了一项解释权，要求对算法决策进行人工审核。类似地，越来越多的人类学文献表明，人们在工作生活中悄悄地抵制算法的权威。在美国，“算法老板”已经输掉了重要的法律。在英国，针对2020 年大学录取考试周期中使用机器学习来确定学生分数的抗议浪潮，伦敦区议会也取消了对“使用计算机算法来帮助决定福利申请和其他福利问题”的决定。这些民众的反抗活动与广泛的人种学证据相一致，表明配备了算法工具的专业人员在日常工作中也经常表达怀疑，或者推翻或者忽略它们。①塞尔加尼等人的研究表明在一个非常丰富的纵向数据集上训练的机器学习算法在预测儿童伤害方面的表现并不比仅使用少量变量的简单线性回归模型更好。参见Matthew J Salganik, et al., Measuring the Predictability of Life Outcomes With A Scientific Mass Collaboration, Proceedings of the National Academy of Sciences, vol. 117, no. 15, 2020, pp.8398-8403。——作者注

最后，算法系统及其倡导者极有可能助战曾经被冯•哈耶克（Von Hayek）谴责过的致命迷信，认为只有可测量的东西才是重要的。根据算法系统的技术能力构建社会的规范或法律的做法，可能会使我们看不到不可测量但必不可少的过程，或导致我们专注于错误的结果，或产生不值得回报的社会成本。特别是，一心一意地关注对狭窄任务的预测准确性，由于受到可用数据和可以提交的分类数据的限制，所以可以表达的政治或道德主张受到制约。正如奥斯卡•甘地（Oscar H. Gandy）所说，在数字社会中，对风险的关注已经取代了我们对发现美好生活本质的兴趣，试图识别和控制那些可能使其遥不可及的事物。②Oscar H. Gandy, Coming to Terms with Chance: Engaging Rational Discrimination and Cumulative Disadvantage,New York: Routledge, 2016, p. 8.因此，正确的批评必须从认识到算法是伦理政治实体开始，它们会产生自己的“善良、违法和社会应该是什么样子的想法”。③Louise Amoore, Cloud Ethics: Algorithms and the Attributes of Ourselves and Others, Durham, NC: Duke Univ. Press,2020, p. 7.换句话说，算法正在改变我们道德直觉的本质——也就是说，我们与自己和他人关系的本质——以及在社会世界中存在的意义。下文将探讨这种不断变化的地形。

四、量化分类及他者的不满

专家系统，不论是人类还是机械，都对与其交互的普通人有特定的要求：人们必须让自己易于辨认，否则系统将无法识别他们；人们在与其交互时，必须遵守规则；而对系统的决策质疑能力通常也会受到限制。在传统官僚机构中，这些过程的最终仲裁者几乎总是一个人。但随着技术变得越来越自主化，人类处理器和决策者逐渐淡出，甚至这些步骤也可能会被机器引导。安德烈耶维奇（Andrejevic M.）认为，计算机通过强制人们进行预处理，标准化和碎片化信息、思想、身份和交互方式，以便机器识别，从而实现了一种社会技能下降。编程精英并非让机器增强人类智能，而是重新组织社会活动，以使人类支持计算机的操作。因此，在某种程度上人类被自动化了。

具体而言，如果将人类的生活压缩成一堆数据包，通过执行分类功能的算法来过滤体验流，这意味着什么？通常认为，通过当代算法分类器实施的分类情况只在某些关键时刻才重要，例如允许信用检查以申请贷款。但是，数字基础设施的运作方式越来越全面、持续、动态。数字数据的痕迹不仅允许来自远离数据原始收集地的机构的入侵式探测（例如对房东和潜在恋人而言，信用数据很重要，警察部门渴望社交媒体数据），而且它们还通过反应性的、控制行为的网络反馈循环，在实时操作中实现指导或控制。一个人与数字系统互动得越多，他和社交生活的走向就越依赖于算法运算和选择。这不仅适用于上述重大决策的种类，而且也适用于琐碎的、瞬时的行动：例如，每次在线点击都潜在地揭示某种倾向或表明与以前的基准有所偏离。随着新的数据流入，类别和分类得到动态调整，基于这些类别采取的计算系统所采取的行动也得到了调整。这对于人们最终如何感知自己以及社会身份的形成具有重要意义。

（一）身份认同的调和

在现代数据提取和分析系统中，个人的属性往往是从行为痕迹推断出来的。每个有血有肉、有形体的人都有一个“双倍数据”，由这些痕迹构成的数据，是一个监视组合，其组成部分“在各种计算中心流通”①Kevin D Haggerty and Richard V. Ericson, The Surveillant Assemblage, Surveillance, Crime and Social Control, vol.51, no. 4, 2017, p. 611.。这些个人行为的“切片”已经获得了金融产品的流动性，可以用于预测性档案管理。②Julie E. Cohen, Between Truth and Power: The Legal Constructions of Informational Capitalism, Oxford, UK: Oxford University Press, 2019, p. 67.即使是那些曾经被认为是在固定或几乎不会改变的身份方面，如性别、种族、公民身份、国籍，在虚拟化的方式下也变得可读。例如，网页浏览和其他数字活动的模式可以被挖掘，以确定一个人可能是女性还是男性。但是，这些评估（另一组基于算法推导的分类情况）总是灵活和临时的，它取决于数据流和分类器的特定组合。因此，算法推断性别认同可能随时发生改变。因此，技术正在建立并促进更广泛的文化转变，使性别认同可能更多元化和流动化，而不是二元化和稳定化。

基于德勒兹（Deleuze）的理论，切尼•利波德（Cheney-Lippold）指出，算法身份具有调制的特性；也就是说，从行为痕迹中得出的特征，不断地受到改变和修正。德勒兹称之为控制的可模块化性，取代了纪律的僵化性，它将每个人塑造成相同的形态，就像组装线工人、经理和家庭主妇一样。算法对我们作出的推论往往通过可视化、评估、分数或建议反馈给我们，反过来又重新塑造了我们实时理解自己的方式。即使是差异——例如生物年龄和算法年龄之间的差异或性别自我认同和算法性别之间的差异——也可能不再被视为不完美技术系统的有趣错误，而是作为外部客观、不断波动的信号，告诉我们真正的身份是什么。它们甚至可以通过自我强化的反馈过程，如通过提供某种类型的广告或返回特定的搜索结果，帮助加强与测量类型的主观联系。

虽然算法可以让亲身经历的真相变得外在和调节，并转移“我们在世界中取向的感觉”③Hannah Arendt, Between Past and Future: Eight Exercises in Political Thought, New York: Penguin Books, 2006, p. 252.，但它们不太可能从根本上改变在世界中的运作的重要结构形态，例如性别或种族，正如在上文“精算主义及其不满”部分所讨论的那样。相反，可衡量类型的权力可能在用于合法化创造性表达和自我试验或改革机构分类系统时最为强大。通过斯诺登的曝光，我们知道，美国政府试图从数字信息中获取公民资料，以实现违法的数字通信监视，而这种行为被美国宪法所禁止。①根据该方案，算法会对一个合法公民进行涉外性检测，如果测量值高于51%，就会被视为外国人，从而被剥夺“宪法第四修正案”对隐私的保护。——作者注在数据驱动的算法的帮助下，公民身份已经从一个二进制的机构类别转变为行为连续体。

算法不断将我们量化分类，促使我们质疑自己对自己的认识以及这种认识的方式。然而，认为我们将发现某种最终的自我真理，可能是错误的观念。相反，我们可能会观察到令人困惑的自我追踪尺度上下的移动，或不同时间和平台上的多个自我重建和塑造。②在生物领域也是如此，23 and Me 等公司提供快速基因评估，其中包括种族和地区血统。尼尔森（Nelson）讨论了人们如何将这些外部化的表征融入他们的生活和自我认识中，参见Alondra Nelson, The Social Life of DNA: Race,Reparations, and Reconciliation After the Genome, Boston: Beacon, 2016。福尔卡德（Fourcade）对“序化”进行了概括性的介绍，参见Marion Fourcade, Ordinal citizenship, The British Journal of Sociology, vol. 72, no. 2, 2021, pp. 154-173。——作者注哈考特将日益数字化的生活描述为“一座镜面玻璃亭子”（Mirrored Glass Pavilion），③Bernard E Harcourt, Exposed: Desire and Disobedience in the Digital Age, Cambridge, MA: Harvard University Press,2015, p. 253.这是我们有意识地构建自己形象的空间，“展现给他人的视线，当然，也包括我们自己的视线。”但是，对于自我描述的参数，我们有着很少的控制力：曝光和被曝光的欲望已经沉淀到了技术环境中，而那些被认为展示我们个人真实情况的度量、计算器和可视化工具并不是由我们亲手制作的。然而，每天的步行计数、月经周期、心率、情绪状态、社交网络和消费模式等，虽然有其不准确之处，但这些数据反映了我们的真实情况，不仅仅依靠主观自我评估或传统的模拟自我呈现技术；同时，这些数据也向我们展示了我们是谁，并成为机构或他人（例如医生、保险公司、福利机构）和整个世界所无可否认的证据。多亏了算法工具，在可衡量的生物或社会指标中，我们现在可能被迫不断地搜索和发现自己的数据指标，这些指标必须以高度理性化、动态和持续的方式加以管理。如此监测和调查我们的睡眠模式、饮食习惯和社交关系，已经成为我们生活中不可或缺的部分。有时，可能觉得这只是一种有趣的自我诊断，但是实际上却并不是有趣的事情。相反，这是一种不断自我探究的状态，由人类和机器之间不断地反馈循环所推动。

当算法在评估方面出现严重错误（而不是出奇的准确）时，这个过程可能会特别压抑人心。正如我们已经看到的，误认问题的发生并不是在人口中随机分布的。面部识别系统经常辨识不出深色肤色的人脸，并且在错误地识别黑人女性方面存在不成比例的性别歧视问题。搜索引擎的结果返回有偏见的描述，严重影响女性和少数族裔成员。在人与机器的界面上，历史上处于主导地位的群体受到新形式的象征性暴力的不成比例的影响。对于他们来说，“镜子玻璃亭”更像是一个玻璃笼子——充满着无知、漠视和错误分类，坚持“不顾个人主张，将种族身体和个人身份（或群体身份）视为真理”。④Simone Browne, Dark Matters: On the Surveillance of Blackness, Durham, NC: Duke Univ. Press, 2015, p. 110.更根本的是，这种机械化加剧了种族化身份制度和其伴随的不平等所导致的主体性否认。

（二）算法界面的道德经济

许多负责在线交互的广阔数字基础设施，是以广告收入为导向的，并需要人类用户的浏览和点击来维持其运营。数字企业精心编程社交性，以实现最大的经济效益。①例如，当YouTube 的推荐算法开始奖励较长的视频时，平台用户上传视频的时长也随之增长。——作者注这些企业痴迷于追踪用户在某个网站上花费的时间，以此产生个人数据并最大化广告曝光，将其委婉地称作“参与度”（Engagement）所依赖的。网站访问者被要求对输入数字流程中的数据进行预处理。诸如按钮、表情符号、标签、哈希标签、认证和其他形式的用户指导行为等标识，有助于对社交世界的杂乱进行分类，以使其变得机器可读。但是，它们也创造了新的功能，拥有自己的生命力，推动着数字环境中的社交动力学产生。②吉列斯比（Gillespie）和汉考克（Hancock）等众多学者回顾了媒体研究和传播学中有关这些问题的大量文献，其中以计算机为中介的传媒是一个核心子领域问题。参见Tarleton Gillespie, Pablo J. Boczkowski and Kirsten A.Foot (eds.), Media Technologies: Essays on Communication, Materiality, and Society, Cambridge, MA: MIT Press, 2014;Jeffrey T Hancock, Mor Naaman and Karen Levy, Al-mediated Communication: Definition, Research Agenda, and Ethical Considerations, Journal of Computer-Mediated Communication, vol. 25, no. 1,2020, pp. 89-100。——作者注

由 Facebook 等平台带来的持久性延续了人际关系，否则这些关系可能会逐渐消失，而算法的联想特性和平台的引导能力，则使人际关系可以获得原本不存在的机会。平台的策略性提示、被动地更新消息和设计上的社交认可与批准等功能，会进一步培养社交焦虑、强迫性习惯和竞争心态。不参与可能会确保某种自由，但也可能意味着社会孤立。大量参与可能会带来名利，但也可能导致极度过度曝光。平台通常会发现利用病毒式的内容和其他出现的社交方式有利可图，也就是说，除非他们将其解释为操纵算法，否则必须加以控制或消除。

通过这些心理和经济技巧，Twitter、Facebook、YouTube、Instagram、Reddit 等其他少数公司③对网站政策、错误信息或Facebook 公司的政治影响感到厌烦的人可能会转向Instagram 上看似更友好的社区，但他们才意识到这个平台也归Facebook 所有。Facebook 还拥有WhatsApp，“谷歌”拥有YouTube，等等。——作者注运营的数字平台已成为事实上具有几乎垄断社交关注分配权的全球公共领域。现在，由于大多数人都从社交媒体获取信息，任何寻求曝光或追求行动目标的人都必须掌握这个新的领域。公共辩论、知识传播、积极追求和新闻报道都与社交媒体中介及其秘密算法息息相关。但是，人们被要求自己解析的大量信息“经常引发偏执和其他形式的公众知识和参与的猜测”。④Sun-ha Hong, Technologies of Speculation: The Limits of Knowledge in a Data-Driven Society, New York: NYU Press,2020, p. 8.经验丰富或资金充足的活动家新秀、协调的在线暴徒和负责制作“点击诱饵”的人不断取代原先的行业巨头。数字生产手段的不平等斗争，容易使集体动员和反动员的精神顿挫不前。反而，贪婪的算法法术催起了阴谋、信仰和闲言碎语等旧恶魔。

（三）从算法化社会到社会化算法

编程精英的终极目标以及他们专业项目的最终目标，就像他们构建的算法一样，仍然是不透明的。这可能只是反映了缺乏共识；在所持的未来梦想上，他们的成员存在较大的分歧。许多计算机科学家持有的最雄心勃勃的梦想是：算法社会只是新社会物种降临的前奏，一种能够复制或超过人类智能并可能逃脱人们控制的智能通用人工智能。摩尔定律规定了计算机的能力趋向呈指数增长。如果我们接受智能的衡量和进一步发展的能力是根植于处理能力的前提，那么这个定律标志着一条明确的轨迹。

然而，人工智能在社会中的轨迹并不仅是一个人类是否会受益的问题，而是谁会受益的问题。新的学习分野将知者与被知者相对抗；那些使人工智能工作的人对抗那些使人工智能为自己工作的人。不同于受监测者、被误解和疏远的群体，数据资本家可以修正、控制或改善他们的个人数据呈现，或者从监视制度中完全出卖自己，或者从人工智能中获得新的好处。最近，对于神经移植、智能义肢和数据密集型基因工程等方面的讨论和具体投资，重新点燃了旧有的半机械人幻想，释放出了哈拉维（Haraway）等人所思考的可能性。如果这种世界真的到来，那么编程精英不仅能通过对新的数据输出（如神经信息）的产权主张而增加其物质力权力，而且能真正地使用新技术来增强自己的思维和身体。

目前，主导行业的讨论承诺了一种更温和、更可接受、更少偏见的人工智能，符合最佳实践和道德注入。但尽管关于公平性和价值调整的讨论很多，已经确立的技术轨迹仍然牢固：风险投资办公室和初创企业继续推出无处不在的计算世界，覆盖人体、平凡的物体和城市中的一切。

多年来，许多人预言摩尔定律的终结已经迫在眉睫。①就连摩尔定律也可以说是在人类的指导下产生的。英特尔是一家软件公司，由戈登•摩尔（摩尔定律创始人）共同创建的软件公司英特尔，根据这一所谓的定律为微处理器设计师设定了产品开发时间表。——作者注根据那些最有可能实现这种情况的技术专家的说法，人类离开发类似于人类的通用人工智能还有相当遥远的距离，并且距离超智能开发更远。②在2015 年对两个有关机器学习和神经网络的大型技术会议的352 名与会者进行的调查中，受访者认为通用人工智能在未来45 年内出现的可能性为50%，而在未来10 年内出现的可能性仅为10%。参见Katja Grace, et al., When will AI Exceed Human Performance? Evidence from AI Experts, Journal of Artificial Intelligence Research, vol. 62, 2018, pp.729-754。——作者注盲目地接受编程精英的最狂热的支持者的幻想、将算法视为“神学而非科学或文化”，是一个错误的做法。在这方面，社会学提供了一个有用的现实检验。观察数字技术运作的民族学家，已经成功地处理了算法的平凡日常现实，他们记录下了对算法系统的相当大的抵制、频繁的错误和故障以及在社会内外的意义和影响的变化。我们既可以拒绝关于机器智能的神奇思考，也可以承认科技业巨大的经济、政治和文化权力来改变我们所生活的世界。超越未来主义和炒作现有的人工智能，实际上相当平凡。③萨奇曼（Suchman）讨论了人工智能研究语言中如何融入人机等同的假设。埃利斯（Elish）和博伊德（Boyd）以及坎波洛（Campolo）和克劳福德（Crawford）讨论了关于魔法和魔力的论述被用来描述这些系统的不透明性，并进一步将人工智能描绘成超人。参见Lucy Suchman, Algorithmic Warfare and The Reinvention of Accuracy, Critical Studies on Security, vol. 8, no. 2, 2020, pp.175-187; Madeleine Clare Elish and Danah Boyd, Situating Methods in the Magic of Big Data and AI,Commune. Monogr, vol. 85, no. 1, pp. 57-80; Alexander Campolo and Kate Crawford, Enchanted Determinism: Power without Responsibility in Artificial Intelligence, Engaging Science, Technology, and Society, vol. 6, 2020, pp. 1-19。——作者注它由编程精英设计，由网络劳动阶级维持，以主要的大型数字公司提取的个人数据为燃料，经常被优化以实现利润最大化，并受到授权（在撰写本文时）的一系列法律机构的支持，将数据不断流入企业和国家服务器。与先前的控制创新一样，人工智能不断监视、分类、解析、组装和自动化。而且，它深深地牵扯着人类，绝非仅仅是被机械化的问题。与以往形式的社会监视和管制一样，它对贫穷人群和少数群体的打压和歧视更为严重。