数字化“圆形监狱”：算法监控的规训与惩罚

郝 喜

（华中师范大学 马克思主义学院，湖北 武汉 430079）

随着信息技术、网络技术的发展与融合，算法监控作为一种认识与改造世界的重要工具以一种“润物无声”的方式渗透到人类社会各个领域，并对人类生产生活方式产生颠覆性影响。正如麦克卢汉所言，“我们塑造了工具，但工具反过来又会塑造我们”。算法监控在海量数据与强大算力的加持下虽然实现了工具理性的“胜利”，但也孕育了价值理性自我异化的基因，“数据控制”成为算法监控社会滥用的基本依据，《数据安全法》的颁布为算法监控的社会治理提供具体指南。

一、数字化“圆形监狱”释义

在计算机科学界，算法常常被认为“是按照设计程序运营以期获得理想结果的一系列指令。”［1］算法语境中的监控，作为一个学术词，对象是“人”而非“物”，旨在通过形成“数据人”，实现对人的算法筹划。在资本逻辑占统治地位的现代社会，算法通过整合分析监控所得数据展现出的巨大利润图景受到资本推崇。在资本扩张逻辑的支配下，算法监控如毛细血管式遍布社会各个角落，使得社会变成了一个数字化“圆形监狱”。“圆形监狱”作为一个利用特殊物理空间来显现权力的理想建筑由英国思想家边沁首次提出，它是由中心瞭望塔和四周被分割成许多小囚室的环形建筑构成。在这种结构设计中，站在中心瞭望塔的监视者可以清晰窥视被监视者的一举一动，而被监视者只能窥视中心瞭望塔的高大轮廓，在任何时候都不知道自己是否被窥视，“这种清楚和模糊的对立——或者说，就是可见性（确定性）与不可见性（不确定性）之间的对立——保证的权力与服从间关系的稳定不变。”［2］224也就是说，被监视者无法看到瞭望塔上面是否有监视者，这种不可见性保证了规训权力的自动实施，使得被监视者始终保持自我规训。

福柯意识到“圆形监狱”的规训意义，并在此基础上提出全景敞视主义，并认为“全景敞视主义是一种新的‘政治解剖学’的基本原则，其对象和目标不是军权的各种关系，而是规训的各种关系。”［2］234福柯认为，整个社会就是一个“监狱群岛”，工厂、学校、医院、收容所等都遍布“圆形监狱”的身影，社会通过“权力的眼睛”对人们进行监视与规范化训练，迫使个体产生被监视的状态，造成个体“精神对精神的压力”，个体逐渐放弃反抗，最终达到自我规训的状态。也就是说，监视与规范化训练无处不在，每个人被编织在关于力量与肉体的权力技术中，无时无刻都受到其权力效应的干预。

数字化“圆形监狱”是随着算法监控技术的发展而产生的一个数字式虚拟监狱，而非建筑学意义上的物理式圆形监狱。由此，在本体论上就形成了一个不同于“物理式监狱”的一个“新监狱”。相较于传统建筑学意义上的圆形监狱，其隐蔽性大大提高、渗透范围越来越广、监控程度越来越深，它带来的不仅是人们主动接受规训，还有人们被动接受惩罚。一方面，由抽象数字代码组成的算法具有不可见性，这种不可见性隐匿了时空结构对监控机制的限制，迫使人们自身产生一种有意识的“自我约束”状态，人们不知不觉就参与到算法监控对其自身的规训之中；另一方面，技术化存在的人时刻处于算法监控可见范围之内，人们在互联网上贡献的数据反过来会成为统涉人们自身物质生活、精神生活的“原罪”，成为数字化“圆形监狱”中的“数字难民”。可以说，“现代电子技术的发展已经使社会变成了一个数字化‘圆形监狱’，看似自由的现代社会密布着各种监视技术与力量。”［3］

二、算法监控的本质

如上所述，算法监控构造的数字化“圆形监狱”以不可见的方式自动实施规训权力，以超时空控制的方式实现对人的算法谋划。算法监控具有追求权力与控制内在本质，使其与海德格尔所说的“座架”与芒福德所说的“巨机器”的分析联系到一起。

（一）算法监控与“座架”的关系

算法监控在“座架”的支配下演进为算法霸权。“‘座架’是一种解蔽方式，这种解蔽方式在现代技术之本质中起着支配作用，而其本身不是什么技术因素。”［4］根据对海德格尔“座架”的分析可知，作为技术本质的“座架”不是一种“人类行为”，而是与柏拉图的“理念”与黑格尔的“绝对精神”相类似但又有不同的一种“非人的意志”。在海德格尔看来，在这种意志的统治下，不管人们是有意还是无意，都无法逃脱被“座架”支配的命运，人与物的本性都被“遮蔽”了，变成了一种特定的资源，被用于服务预先设定的目的。算法监控在“座架”的支配下，以一种霸权姿态与人们相互“交道”。通过超越人本身能动性的方式“促逼”着人们必须按照算法要求“解蔽”自身，进而形塑人们的行动与知觉。算法监控要求将人“解释”为数据资源，通过分析整合数据资源来提取人们爱好的“DNA”，为人们进行“个性化定制”信息，从而潜移默化地影响人们行动与知觉。

（二）算法监控与“巨机器”的关系

算法监控是一个“新的巨机器”。美国技术哲学家刘易斯·芒福德在其《技术与文明》等著作中提出巨机器这一概念。这一概念最早起源于古埃及，一开始指的不是有形的机器，而是一个由人力组成的，为了追求绝对控制的社会组织形式。最早的巨机器由经过严格组织化的人力组成，受制于当时生产力的发展水平，它的效率很低。随着生产力的快速发展，“新的巨机器”（计算机、算法、大数据、人工智能等）被确立起来，传统巨机器逐渐脱离人们的视野。虽然新型巨机器与传统巨机器在形式上发生了巨大变化，但二者本质特征并没有发生改变，即追求权力与对他人的控制。芒福德用“巨机器”来表征现代社会技术的本质特征。所谓“巨机器”，“就是与生活技术、适用性技术、多元技术相反的一元化专制技术，其目标是权力和控制，其表现是制造整齐划一的秩序。”［5］从这个定义来看，算法监控就是一个巨机器的典范。“外卖平台系统通过潜移默化地收集、分析骑手数据并将数据结果反作用于骑手而使劳动秩序成为可能，进而实现对骑手的‘数字控制’。”［6］外卖平台借助算法巨机器维护自身持续增值，要求进一步控制社会关系，将算法监控内蕴的经济力量转化为政治权力，主要表现在规定劳动秩序上。骑手为了生存需要不得不迎合算法巨机器追求权力与控制的内在偏好，时刻受到技术权力效应的规制，最终“陷入”整齐划一的劳动统治秩序之中无法抽身。

在“座架”与“巨机器”的支配下，算法通过监控数据预测人们未来行为，并在此基础上对人们进行规训与惩罚，主要表现在“信息茧房”与算法歧视等伦理风险。这些伦理风险与“圆形监狱”规训与惩罚的核心要义存在“逻辑共契”。这是因为，从一般意义上来讲，科学知识来源于对数据的分析与解释，算法凭借着强大的分析整合能力能够将海量数据转化为预测知识，在此意义上，算法监控构造的数字化“圆形监狱”，通过数据——权力相互作用来实现规训与惩罚的运行机制，与福柯眼中的“圆形监狱”通过知识——权力相互作用来实现规训与惩罚的运行机制相一致。

三、数字化“圆形监狱”对人的规训：信息茧房

凯斯·桑斯坦在《信息乌托邦》中详细阐述了“信息茧房”这一概念：“在当今网上环境中，人们可以自由地分析和获取大量的信息，但同时也使自己陷入了一个‘回音室’当中。因为公众自身的信息需求并非全方位的，人们习惯性地将自己包裹在由兴趣引导的信息中，从而将自身桎梏在一个‘茧房’中，这种现象被称为‘信息茧房’。”［7］正如福柯所言，在“圆形监狱”中，规训权力是依靠特殊物理空间造成不可见性的自动实施。“信息茧房”作为一种由虚拟网络空间建构的一个虚构舒适世界也可被视为实施规训权力的一种途径。在大数据时代中，人们技术化的生活方式使得每个人都会“沉浸”在“信息茧房”之中，受到技术空间权力的监视与规训，每个人信息权力都有可能受到严重冲击，人们读书、写作、科研都将受到“个性化”推荐算法逻辑的控制。就此而言，文化本身成了“编码空间”，文化空间与网络空间在算法监控中的联合使得文化被算法垄断，算法监控通过强大算力与海量数据不仅塑造与框定了文化，更以不被公众意识到的方式成为文化本身。此时“文化的意义在于操控”。正如尼尔·波斯曼所说，在信息化时代，技术垄断文化，文化已经向技术投降，而信息化技术在其中扮演着至关重要的作用。

“信息茧房”产生的主要原因有两个方面：一是自身原因。人自身的思维惰性热衷于最熟悉的信息来源，这种思维习惯自然而然地会把自身困在“茧房”中；二是技术原因。数字平台为了能够在激烈的竞争中留住用户，就要依靠“投其所好”原则，放大与强化对用户社会需求的满足，不断地推送用户感兴趣的信息，提高用户满意度。数字平台利用算法来监控用户的数据足迹，并在此基础上进行“个性化推荐”，使得用户陷入它们编制的“小世界”中。

“信息茧房”是随着个性化推荐算法的产生而诞生的，而个性化推荐算法是通过分析整合海量监控数据实现的。具体而言：一是基于内容的协同过滤算法下的“信息茧房”。算法通过对用户的数据浏览足迹进行跟踪与记录来发现用户的内在偏好，从而将与用户兴趣爱好相类似的新闻推送给用户。以“今日头条”为例，算法通过监控用户在使用“今日头条”过程中留下的数据足迹，分析与提取用户“爱好DNA”，然后精准推送用户感兴趣的新闻；二是基于用户的协同过滤算法下的“信息茧房”。对于感兴趣的商品或内容，用户一般都会产生点击、购买、收藏等行为，算法通过监控用户的此类行为来衡量用户之间的相似度。这类算法背后隐藏的逻辑前提为“人以类聚，物以群分”。它一方面是根据内容寻找用户之间的关系，当用户在某个平台上填写个人喜好的内容时，算法就能根据用户所填写的个人资料分析与其他用户之间的相关性，如果相关性较高，就会向用户推送与他具有相同爱好的用户所偏好的信息；另一方面是根据日常生活中的人际关系来建立用户之间的关系，算法通过监控用户在现实生活中所存在的人际关系网络来推荐关注对象。举例来说，算法通过分析微博上的点赞数和关系网来衡量用户之间的“友谊”。如果某个人发出的微博，另外一个人经常点赞，算法就会认为这两人“情比金坚”，就会给目标客户推荐关注对象。毫无疑问，无论是基于内容的协同过滤算法，还是基于用户的协同过滤算法都不约而同地把人们困在“茧房”之中，给人们造成不可估量的隐性危害，损害了人们的判断能力。

从技术层面分析“信息茧房”产生的原因具有深刻的哲学反思意蕴。算法通过监控所得数据将人们包裹在“信息茧房”之中，在此意义上，数即是术，具有筹划性与主宰性。算法通过监控数据实现对“人之所是”的“先行领会”，达到算法筹划目的。也就是说，算法利用监控数据先行规定关于人的抽象存在，以“个性化推荐”的方式践行对人之规定的“先行领会”，深刻地改变了人的思维方式与生存环境。一方面，算法通过监控数据为个人定制“画像”，每个人都身处“信息茧房”之内，同质化数据扑面而来，使得人们始终追求自我以为正确的逻辑自洽，其思维方式必然将自己的偏见认为是真理；另一方面，算法监控倾向于将一切“理解”为数据，人与物被同化为二进制数据，成为算法整合分析的对象。数据关系成为数据时代最重要的社会关系之一。数据关系扩张的直接后果就是将人的一切行为举止转换为可以计算的数据，这使得人们的生存环境就像桎梏在蚕茧一般的“茧房”之中。当下阶段，算法监控塑造的“信息茧房”强调利用用户数据进行资本谋划，进而获取资本积累的目的性，而忽视了作为主体的人的丰富性，这表现出工具理性与价值理性的矛盾日益突出。可以说，算法监控的数据生产是影响其“价值理性”的重要因素。

在大数据时代中，“信息茧房”以“个性日报”的形式产生影响。“个性日报”实际掩饰了数据企业深度数据挖掘的卑劣行径。算法通过个性化推送信息，看似迎合了不同用户的需求，实则确切断了我们与外界的交流。随着算法个性化推荐日益渗透在我们的日常生活，各大网络社交平台表面上看是信息自由交流的地方，却不知已经成了“信息茧房”成长的温床。看似自由的交流场域却在算法监控“数据垄断”的规训下内蕴对人们自由的禁锢。人们表面上可以自由地交流且自由做出选择，但本质上早已被数据——权力失衡的运行机制强加了种种不自由的选择。算法监控以推送的方式针对性地强化了用户阅读体验，让用户对某个感兴趣的信息得到几何倍数的增加，但那些对于用户不感兴趣的信息则被悄无声息地“遮蔽”了，用户只能接收到某一范围内的信息，进而减少用户信息相遇的概率，在人与人之间建构出一座座“信息孤岛”。在“个性日报”的助推下，算法操作信息供给，人们可能因此失去了解外界的权力，个人获取信息的渠道趋于窄化，从而影响个人全面的发展。“信息茧房”对人们的自主权也极具威胁。“信息多样性是人进行自主决策的前提条件，而个性化所造成的信息茧房则会排除主体不感兴趣的信息而只推送相关信息，进而阻碍主体进行自主决策。”［8］可以说，算法监控的蔓延使得人由主体性存在转化成工具性存在，人的自主性在算法监控的逻辑控制下烟消云散。束缚在“信息茧房”中的个人被异化为数据“资源”，变得物质化、功能化，作为一种“遗忘的存在”消融在“信息茧房”之中。这本质上是在“数字经济”与“数字社会”转型嬗变过程中出现的新“异化”形式。

四、数字化“圆形监狱”对人的惩罚：算法歧视

福柯将“圆形监狱”隐喻为现代的惩罚式社会。算法与监控的结合塑造的数字化“圆形监狱”以新的实践与形式延伸与强化了传统“圆形监狱”的惩罚功能，数据企业如同“上帝之眼”时刻审视目标客体，进而塑造目标客体的思维方式与预测目标客体的行为轨迹，其带来的这种惩罚会更加残酷，主要表现之一就是算法歧视。“算法歧视是指数据驱动的算法决策会导致歧视的做法和后果，换言之，算法决策可以再现已有的社会歧视模式，继承先前决策者的偏见从而加深流行的不平等。”［9］算法歧视主要分为两类：第一，身份性歧视。在某种程度上，被算法监控所定义的数据人就是数字化“圆形监狱”中的“囚犯”，被烙上了歧视的印记。“算法系统会赋予现实主体一种新的身份——‘算法身份’（algorithmic identity）”［10］，我们被一些秘密算法归类分组，其自动确定了个体的性别、阶级、种族等身份特征。可以说，“我们不是被当作个体，而是被当作某个群体的一员，被迫扣上了某类有色帽子，进而施以不平等对待。”［11］第二，无关身份性的算法歧视。这类歧视主要是指“算法决策中个体虽不受身份影响，仍遭到不平等对待，例如大数据杀熟与算法歧视。”［12］无论是关涉身份性算法歧视，还是无关身份性算法歧视都能对人们产生难以估量的隐性危害。这就需要深入分析算法监控的运行机制，发现算法歧视产生的根源。

（一）编程人员在“撰写剧本”时导致的歧视

算法模型作为一种数学杀伤性武器可以被看成用“数学的方式表达的意见”，算法的运行需要一定的变量，而变量的赋值、分类都是由设计者人为设定的。算法编程人员可以通过道德物化的方式将人们撰写“剧本”中存在的偏见“嵌入”算法中。这主要表现在以下两个方面：一是价格歧视。算法设计者建立的算法模型能够通过监控消费者的消费记录、行动轨迹等行为数据，将同样的商品对不同的用户显示不同的价格，“大数据杀熟”就是典型的歧视性定价行为。二是结果偏袒。算法设计者根据其内在的偏好，使得算法模型对某些结果产生一定的偏袒，从而可能造成歧视行为的出现。进一步而言，就算编程人员没有故意将偏见嵌入算法模型中，但他们作为日常社会中生活的人，思想与行动都会受到当今社会意识形态和个人知识储备水平的影响，从而也很难保证无意识的偏见不被“嵌入”。

（二）数据样本偏差带来的歧视

数据作为算法“活的灵魂”，数据的质量影响算法决策的质量，然而数据具有无边界性、碎片化、滞后性特征，这些特征会导致出现算法歧视现象：一是数据具有无边界性特征。众所周知，数据源于人类的记录，苏轼在《赤壁赋》中说道，“耳得之为声，目遇之成色”，这些声色“取之不尽用之不竭”。这说明我们听到的、看到的一切对象都是没有边界、无穷无尽。换言之，可记录的现象是无穷无尽的，算法监控的数据也难免有遗漏，从而可能导致出乎意料的歧视。二是数据具有碎片化特征。“数据一经产生，就是碎片化的，数据就像玻璃，它从来都是断片的、不连续的，数据只能记录事实的一个或数个侧面，无论怎么记录，它从来都没有、有不可能形成一个完全记录的事实。”［13］也就是说，数据会逼近事实，但数据再多，终究不是事实，海量数据也不能彻底看清万事万物的全貌。因此，算法也不可能完全通过监控看清事实的全貌，从而可能在具体应用中导致歧视行为的发生。三是数据具有滞后性特征。数据是对社会事实的记录，但事实一被记录，就成了过去。事实不断变化，因此记录也肯定滞后于现实。人们犹如刻舟求剑的楚人，仅能记录某一节点的事实，虽然记录的数据越来越多，但我们离现实仍然很远。因此虽然算法监控拥有越来越来的数据之后会发挥更大的威力，但也很有可能做出与事实相悖的预测。

（三）算法设计重视相关性，忽视因果性带来的歧视

例如，贷款公司在训练其贷款算法时，把“邮政编码”等数据纳入其中，从表面上看并没有什么不妥，但从本质上来看，“邮政编码”表达了这么一种观点：某个落后地区的人贷款额度可以适当减少，其中就暗含了歧视。另外，有相关统计表明，美国黑人的犯罪率比白人更高，这个统计结果影响了美国司法部门几十年，让黑人很难得到与白人一样的司法权力。从本质上来看，这个统计结果掩盖了两者的因果关系。在现实社会中，黑人难以享受到跟白人一样的上学待遇，难以找到与白人一样的工作等，在某种程度上说，黑人的高犯罪率正是这种现实不平等带来的后果。算法歧视具有以下两个特征：

1.算法歧视是自我实现的。例如，ZestFinance公司开发的一款算法把一些不寻常的观测值设置了较高的权重，比如申请者的贷款申请是否正确地使用了标点符号与拼写语法。标点符号和拼写错误表明了教育水平的高低，低教育水平又与阶级相关。当穷人不符合标准的语言水平时，算法会抬高他们的贷款利率，如果他们后来因为贷款利率高而导致还款困难，这反过来又会证实他们是高风险群体的假设。

2.算法歧视会自我巩固与加强。用有偏见的数据训练出来的算法模型，其输出的结果必然也带来偏见，然后这一输出结果通过对系统进行反馈，就会使偏见得到巩固与加强。例如，犯罪预测算法的训练数据是关于大量黑人的犯罪历史记录，通过对黑人进行身体歧视导致黑人无法得到与白人一样的公平待遇，黑人的犯罪率更高了。黑人居高不下的犯罪率又反过来又正好印证了算法的预言，故很难对算法进行质疑，算法对黑人的歧视进一步加强。

五、数字化“圆形监狱”的社会治理

算法与监控的秘密合谋塑造的数字化“圆形监狱”迫使人们接受数字化分析与预测，并在此基础上对人们进行规训与惩罚，使人们面临“信息茧房”与算法歧视的伦理风险。算法监控伦理风险的社会治理要以算法监控技术为反思、规范的对象，不仅要考虑算法监控技术本身的特性与结构，而且还要考虑算法监控与人和社会之间的关系——算法监控与设计者以及使用者的关系、其所带来的社会影响等，为此，我们要注意以下应对策略：

（一）个体层面

目前，大多数人对语言功能的理解主要停留在“认识世界”，而非“改造世界”这一层面，把这习以为常的理解搬用到互联网上就会产生这样一种认识，认为只要在网上“君子动口不动手”就不会产生实际影响，从而在网络中随意发表言论。由于只需要赋予算法几条基本的指令，它就能最大限度地挖掘我们在网络上发布的信息，这些信息能带来“信息茧房”与算法歧视。我们必须改变对语言的功能仅为“知”的狭隘理解，要看到语言也能行驶“行”的作用。也就是说，我们要意识到数据能够决定我们做什么，从而在网上“谨言慎行”。而且，伴随着算法监控的塑造作用日益凸显，我们需要反思算法监控技术的社会角色，将人与机器的对立思维转换为协作思维，从人——机交织的框架下认识到算法监控的规范意蕴。

（二）技术设计层面

面对算法监控技术产生的伦理问题，最直接的办法就是挥舞着伦理大棒进行技术批判，随时对该技术的“越界”行为吹口哨，我们可称之为技术伦理研究的“外在主义”进路。“外在主义”进路试图将算法监控的社会应用限定在伦理规定的范围内，这一努力是正当的，因为人要为其创造的技术负责，但也有一定的局限性。算法监控并非是完全被动的“客体”，伴随着算法监控规范意蕴的日益凸显，不断塑形人类思维、行为方式。基于笛卡尔二元本体论的“外在主义”进路已不再适应当前技术实践的需要。拉图尔提出的“行动者网络理论”隐匿了“人”与“非人”的界限，将技术物视为与人地位相平等的“行动者”。鉴于技术物的“行动者”地位，在具体的技术实践中，技术设计者要与伦理学专家共同交流协作，促进“外在进路”与“内在进路”协调共进。通过具体的技术设计将公平、正义、法制等伦理观念“嵌入”算法监控技术之中，使之在使用情境发挥善的作用。“让科技的‘智能’与人的‘智慧’相结合”［14］，将算法巨机器转变为受人掌控与为人服务的“有机技术”。

（三）制度层面

算法通过整合分析监控数据预测人们未来行为，“数据控制”成为算法监控社会滥用的基本依据。因此，制定相关制度与政策是引导算法监控遵循“以人为中心”发展方向的基本前提。基于此发展方向制定的相关政策制度应该遵循：一是引导算法监控朝着为提升人类福祉服务，破除“以资本为中心”的发展逻辑；二是引导数据企业加强算法伦理建设，算法监控发展要兼顾“效率”与“公平”的有机结合，不能以“便利化”为名，行“控制”之实，算法监控并非客观中立，应赋予更多的伦理考量。我国近期颁布的《中华人民共和国数据安全法》指出：“开展数据处理活动，应当遵循法律、法规，尊重社会公德和伦理，遵守商业道德和职业道德，诚实守信，履行数据安全保护义务，承担社会责任，不得危害国家安全、公共利益、不得损害个人、组织的合法权益。”［15］该法律的颁布为算法监控社会治理奠定了基本遵循，能够有效规制算法监控社会应用中“越轨”行为，帮助人们逃离算法监控塑造的数字化“圆形监狱”。

六、结语

算法与监控的结合构造出数字化“圆形监狱”，为了实现精准预测结果，算法监控范围已然从虚拟世界过渡到人们现实生活之中，以新的技术实践形式延伸了边沁眼中的“圆形监狱”。算法监控以不可见的方式自动实施诱导规训权力，以超时空控制的方式实现惩罚谋划。追求权力与控制的算法监控以“座架”“巨机器”为本质特征，秉承“圆形监狱”中规训与惩罚的核心理念。通过对人们日常生活数据的全方位隐蔽监控，导致“工具理性”膨胀，“价值理性”式微，“信息茧房”与算法歧视伦理风险随之产生。对算法监控社会应用的伦理风险不能听之任之、任凭发展，需要在利用与管控算法监控之间保持必要的张力。算法监控在赋能社会道德建设方面的合理效用还有很大的提升空间，但这有赖于对算法监控的合理规范与社会治理。