互联网平台算法歧视及其规制和取证研究

岑 超 李大印 杨承挺 陈云峰 赵 勇 吕 俊

中国人民银行曲靖市中心支行，云南 曲靖 655000

1 研究背景及意义

随着大数据和人工智能技术的广泛应用，算法逐渐成为网络平台的决策中枢，驱动产业实现升级转型，推动数字经济蓬勃发展。但智能算法的大量应用，也带来了各类问题，其中，算法歧视是热议话题。部分互联网经营平台通过大数据和智能算法，对客户实施歧视性的差别对待。例如，被网络曝光的某大型网约车平台，通过智能算法“杀熟”，对老顾客实施价格歧视现象；2021年3月媒体报道“复旦大学研究披露：手机越贵、打车越贵”引发热议；一些互联网电商平台通过智能算法对客户实施差别优惠现象；一些互联网产品对客户性别、身体健康状况等进行差别化的展示、推送现象；甚至一些互联网平台通过年龄等标签，对老年人等数字弱势群体实施差别对待，间接加剧了“数字鸿沟”。诸多研究也证实了算法歧视的存在。2016年，暨南大学对网贷平台“人人贷”进行调查，经分析该平台近三年17万笔交易订单数据得出结论，女性借款人在中国互联网借贷市场中收到了非理性的偏好歧视，国内廖理等人借助一家网络金融平台的交易数据，实证考察了互联网金融借贷中存在地域歧视。中国人民大学小微金融研究中心编写的《2015中国普惠金融发展报告》指出，人工智能算法通过用户画像，实现了对金融客户的精细化管理，可能产生标签性歧视，背离了普惠金融的公平性原则。

算法歧视是什么，其产生机制是什么，有什么影响，实施者的获利如何界定和计算，如何取证等这些问题，都值得深入研究、思考和论证。本文试图从研究算法歧视的原理入手，分析和提出算法歧视的规制和取证方法，以此促进对互联网平台消费者权益的保护。

2 算法歧视的本质和原理

算法歧视( Algorithmic Bias)是计算机程序中的算法在处理数据时产生与人类类似的偏见或歧视的现象，常见于人工智能和大数据应用之中[1]。伴随着网络经济的迅速发展，网络交易已经成为我国社会经济活动中的重要交易方式。2020年，全国网上零售额117 601亿元，约占社会消费品零售总额的30%。网络经营平台为提升自身竞争力和盈利能力，将基于数据挖掘、数据仓库和OLAP联机分析处理的商业智能BI（Business Intelligence）通过计算机编程技术嵌入到网络交易平台中。特别是人工智能、大数据和云计算技术的加速发展和应用，使得商业智能能够在网络交易中快速响应，并基于经营者自身利益，即时做出向消费者展现、推荐、关联、引导交易的决策。而运行在网络平台服务器端的程序算法，是商业智能即时决策的大脑，它决定了通过网络和终端向消费者展现什么样的信息，对消费者发出的信息作出什么样的反馈，引导消费者尽可能快地做出交易决策，并使平台尽可能获取更高的收益。出于利润最大化的目的，通过算法，利用消费者性别、年龄、学历、设备、消费习惯、收入等数据，在商品或服务信息展示、价格、交易操作便捷度、售后服务便捷度等方面，对不同客户输出不同结果，对其中部分客户产生差异性对待，使其利益受损的行为，就是网络交易中的算法歧视。利用算法实施定价歧视，称为算法价格歧视。在金融领域，算法歧视主要表现为互联网金融平台对不同的金融消费者提供有悖公平原则的价格、服务等方面。

2.1 算法歧视的成因

2.1.1 算法构建者的主观偏见导致算法歧视

张玉宏等[2]认为，算法歧视的一大原因就是人类的偏见。人类文化是存在偏见的，作为与人类社会同构的大数据，也必然包含着根深蒂固的偏见。而大数据算法仅仅是把这种歧视文化归纳出来。即使算法研发者主观上没有性别、种族歧视等观念，通常也难以完全规避刻板印象与偏见。在算法构建的过程中，一旦涉及多目标决策、选择和判断，人的成见就如同在生活中的习惯，难以避免地体现到算法之中，其结果就是构造出具有歧视性输出的算法。互联网企业从业者年轻化，算法设计和实现者年龄视角的缺失，导致问题建构视野狭窄的问题，倾向于为同类人群设计和编程，一定程度上导致了近年来老年人群在健康码、移动支付、交通出行等智慧场景中频繁遭遇“数字鸿沟”的问题[3]。

2.1.2 人工智能算法的训练样本和数据偏差导致算法歧视

在网络交易平台上，主要通过人工智能算法构建商品推荐系统。常见的算法有决策树、随机森林、神经网络等，它们的共同特点是需要使用大量数据进行训练和学习，并不断修正参数，获得最佳模型。用于训练的数据如果集中存在歧视性因素，可能导致机器学习得到的参数和模型存在歧视性输出。此外，数据本身的缺陷也可能导致歧视性结果，如少数群体数据过于稀疏导致的数据代表性缺失，在老年人群体中表现尤为突出。老年网民数相对于老年人数量，比例较低，使得老年人在网上留下的数据缺乏代表性，导致人工智能算法难以从稀疏的数据中提取到足够精确的老年人特征，使得算法输出结果产生对老年人不利的歧视现象，这也是当下老年人群体面临的“数字鸿沟”难题之一。特定群体的数据如果被人为地筛选，将造成数据稠密，使得数据代表性过度，同样可能导致人工智能算法产生的结果缺乏客观性。在金融领域，因没有在互联网留下过多的交易和信用数据，“数据空白”“信用空白”人群在智能算法决策下更容易被金融机构拒之门外，成为算法歧视对象。

2.1.3 算法本身存在缺陷导致的歧视

在弱人工智能时代，算法以计算机代码的方式存在，其设计者的设计和编码技术并非是完美无缺的，因此，程序和算法不可避免地存在难以及时获知的缺陷，通过机器学习、深度学习等方式构造的人工智能算法，可能在不断迭代的过程中，因设计的缺陷而产生预料之外的结果，就有可能产生歧视性的输出。

2.1.4 利润最大化驱动的算法价格歧视

以上几种情形下产生的算法歧视，更多是人性、道德和社会问题在数学模型中的折射。而基于利润最大化的算法歧视，也就是算法价格歧视，则具有更为纯粹的经济学动因。它是在交易过程中，掌握信息、数据和算法优势的一方，对不同的人展示不同的价格，使得总体利润实现最大化的行为。这是当前引发关注最多的算法歧视类型，即算法价格歧视。

2.2 算法歧视的技术原理

在网络交易平台中，经营者通过以下几个步骤，实现算法价格歧视。第一步，获取用户数据。尽可能多地采集用户的信息，为用户构建画像，包含用户属性画像，如性别、年龄、学历、收入、婚育状况等，以及行为画像，如消费偏好、上网习惯、饮食习惯、品牌偏好、兴趣爱好等。这些数据的获取，一部分，是通过用户自愿提供，如在注册账户、下单等场景下，自愿以表单方式录入的数据，主要是属性数据；另一部分，则是平台通过大数据技术，在用户交易数据和属性数据的基础上，通过机器学习等算法归纳而得的数据，主要是行为数据；还有一部分数据，是用户非自愿提供的数据，平台通过技术手段对用户设备信息、设备中存储的信息自动读取获得的数据；再有一部分数据，是平台型经营者获取第三方商家的用户数据，并用于自营业务或数据产品业务的情况。第二步，构建算法模型。在有部分数据或全量数据的情况下，通过机器学习等方法，构建合适的算法模型。将用户数据进行分类、聚合，以回归等方式，构建数学模型，实现对用户的画像、分类和预测等功能；第三步，用户访问平台时，通过算法对用户进行识别，并对用户进行预测，向用户个性化推荐商品或展示不同价格，实现智能决策。常被使用的算法及其功能如下：支持向量机用于分类；关联规则算法用于关联营销；协同过滤算法用于“千人千面”的信息展示和推荐；聚类算法根据产品的相似性、顾客的群特征，对消费者进行分类；此外还有贝叶斯、人工神经网络、K-临近、决策树等。

以决策树算法为例，我们利用Python编程，通过一组来源于网络的金融客户脱敏数据，模拟了算法歧视的实现过程。决策树算法的思想是：构建一个树形决策模型，从根节点开始，对实例进行判断，根据判断结果输出给某一子节点（分支），在新的分支上继续递归执行判断，直到输出结果为叶子节点为止。决策树算法在金融风控等领域应用较多，其通过树形结构将实例进行分类。

实验过程为：一是利用Python的Pandas库，读取数据，设置特征变量和目标变量。二是设置训练集、评估测试集和对比测试集数据，利用决策树模型分别进行模型训练和预测。三是记录实验结果。实验记录如表1所示。

表1 原始训练集、其他训练集训练模型及使用对比测试集预测结果对比

实验得到如下结论：去除实际违约率大于0.5的年龄段数据集，将使得该年龄段的预测违约率预测显著降低；去除实际违约率小于0.5的年龄段数据集，将使得该年龄段的预测违约率显著提高。其中，30～40岁年龄段尤为显著，将30～40岁的数据从训练集中去除后，该年龄段的预测违约率从0.28显著提升到0.57，造成了对该群体不利的“歧视性”输出。

在实际应用中，假如互联网平台用于机器学习的训练数据中，某一群体数据缺失或人为剔除，将对该群体造成影响，如果该群体的实际违约率低于整体平均值，那将造成该群体的利益受损，体现为受到平台“算法歧视”。

3 算法歧视的负面影响

算法歧视会对社会、经济和个体产生影响。在研究算法歧视的影响时，大多数研究者都承认其具有复杂性，应该通过综合的因素，如社会整体福利、消费者福利、生产者福利等对其进行判定，而且应当一例一判。有研究认为，算法歧视也未必都是负面影响，其也可能存在正向影响，主要观点有：消费者一定程度上会获得个性化需求的满足[4]；从某种意义上，算法价格歧视是根据消费者资源占有程度对价格进行再调整，这一过程对弱势群体有利，可能会增加社会整体福利，如果企业能够获得消费者一致信息，算法价格歧视能够促进市场竞争。我们认为，算法歧视造成的负面影响大于其正面影响[5]。

3.1 对社会的负面影响：引发公众对社会公平和技术伦理的质疑

人们对公平的追求是理想化的，即便算法歧视没有对社会秩序造成极大的损害，但会引起人们对社会价值准则是否应该被遵从的质疑，这本身就是对社会秩序造成的损害。例如，当某些平台的“杀熟”行为被媒体披露后，总是引起公众的热烈讨论，且公众负面的不满情绪成为主流，但真正诉诸法律的却极少。排除算法歧视在个案中对个体产生的影响较小、造成经济损失较小的因素，说明公众对算法歧视造成的社会公平问题的关注度大于其对诸多个体造成的福利损失的关注度。此外，越是大型平台实施的算法歧视行为，越容易引发公众对经济垄断行为在道德层面的担忧，公众担心这些基于利润最大化的算法价格歧视行为，是否会无限拓展到生活的方方面面，而让社会个体最终被算法所“奴役”。

3.2 对经济金融的负面影响：加剧垄断、抑制创新和普惠

传统的市场垄断提价行为，垄断主体明显且公开地进行涨价。只要有足够多的数据，使用合适的算法就能够实施算法歧视，因此平台越大，数据就越多，越容易实现算法价格歧视，增加更多利润。在市场增量小，甚至是负增量的情况下，小微企业的利润空间和生存空间将因此受到挤压，基于小微企业的广泛创新也会受到抑制。金融领域的算法歧视，使得资金“嫌贫爱富”，加剧“马太效应”，从而加剧实体经济的垄断，抑制实体产业创新和普惠金融发展。

3.3 对个体的负面影响：造成个体福利损失和精神损失

无论何种初衷的或何种形式的歧视，都会对个体造成感知的不适，即精神损失。而算法价格歧视，还会造成个体福利的损失，是一方对另一方的隐蔽剥削，与个体权益受保护的价值准则相违背。例如，金融领域的算法歧视，会造成个体在获得金融服务方面处于劣势，间接造成经济损失；而电子商务平台、O2O平台的算法歧视，使得部分消费者对某一产品或服务支出更多的金钱。

4 算法歧视的规制

4.1 国外政府层面的规制

2016年，美国白宫发布了《大数据报告：算法系统、机会和公民权利》，报告指出，仅因为算法由数据驱动就认为算法是客观的，实乃美丽的误会。该报告将算法的歧视性因素分为两大类，即输入算法的数据资质和算法自身的工作机制。英国发布的《英国人工智能发展的计划、能力与志向》报告指出，如果数据库准确地反映了社会中不公平的一面，同样可能产生歧视。其指出，已有证据表明，训练数据、数据处理、算法设计者的因素都可能导致算法歧视[6]。美国政府规定，使用大数据和算法来进行决策时，应当符合《公平信用报告法》和《民权法案》的要求。奥巴马政府曾建议监管机构“应扩大其技术专长，以便能够识别对受保护群体具有歧视性影响的分析，并制定调查和解决该类歧视行为的计划”[7]。2019 年4 月，欧盟委员会任命的人工智能高级别专家组发布了“可信赖人工智能”伦理指南的最终版本。该指南规定，人工智能系统（算法决策系统）的使用应当遵循多样性、非歧视性和公平性原则。该指南还强调，人工智能系统应避免不公平的偏见，并对所有人开放[8]。

4.2 国内政府层面的规制

2021年，全国金融标准化技术委员会发布的《人工智能算法金融应用评价规范》（JR/T 0221—2021），对于算法歧视有两处提及：在“安全性评价”中，对人工智能算法目标函数评价提出“目标函数不应存在偏见歧视”，判定准则为“设计文档有目标函数的说明，目标函数设计上不存在肤色、性别、国籍、年龄、健康等偏见歧视”；在“特征选择可解释”中，对人工智能算法金融应用特征选择可解释评价的基本要求为“特征选择过程不应有歧视性”，评价方法为“查阅资料”，判定准则为“设计文档中对于特征选择的过程，不能够有明显的歧视”。2021年7月，国家市场监督管理总局公布《价格违法行为行政处罚规定（修订征求意见稿）》，新增了“新业态中的价格违法行为”内容，包含：电子商务平台经营者利用大数据分析、算法等技术手段，根据消费者或其他经营者的偏好、交易习惯等特征，基于成本或正当营销策略之外的因素，对同一商品或服务在同等交易条件下设置不同价格的行为等。2021年7月，深圳市人大常委会公布的《深圳经济特区数据条例》规定，自然人有权拒绝对其进行用户画像和基于此的个性化推荐，数据处理者应为其提供拒绝的途径；还规定了市场主体不得利用数据分析，对交易条件相同的交易对不同人实施差别待遇。

5 算法价格歧视的获利分析——临界损失分析法的应用探讨

在算法价格歧视下，提价多少才能够获利？超出什么样的提价才是不合理的提价？平台提价获取了多少超额利润？回答这些问题，不仅对于研究算法歧视、量化其影响具有积极意义，还对监管和执法取证、量化责任具有操作指导意义。算法价格歧视是变相提价行为，与传统的垄断涨价行为一样，其提价伴随着两种效应：一种是由于销量损失而失去利润，另一种是由于提价而增加利润。我们认为，临界损失分析法作为传统垄断市场的界定方法，也适用于算法价格歧视的获利分析。

临界损失分析法的原理是指垄断企业提高价格的同时，也会造成订单流失，当企业提价获得的利润刚好等于订单流失损失的利润，称之为临界损失。数学表达式为如下：

式中：X为假定价格上涨幅度；CM（Contribution Margin）为边际贡献率，是价格与平均可变成本的差额；CL（Critical Loss）为临界损失。

将这一方法的原理展开叙述，就是当经营者在某一市场上获得垄断地位后，必然会实施一个超过竞争水平的价格，以追逐超额利润，但这个价格并不是随心所欲的，而是要遵循垄断利润最大化原则。在提价幅度为X的情况下，如果损失的销量小于某一“临界”值，还能够增加利润，那么平台便会倾向于提价，计算X值，并将其与合理的涨价幅度（通常为5%[9]）进行比较，就可以判定平台是否超过合理范围提价。

传统的提价行为，是针对所有客户的提价，提价产生的客户流失包含两部分。一部分客户会从自身的经济情况或出价意愿出发，因为超出购买能力或出价意愿而放弃购买；另一部分客户会觉察到提价而倾向于在不同平台和渠道间进行比较，以规避自身的损失。在算法歧视场景下，平台为了实现算法歧视，会刻意制造或利用信息壁垒，使得提价行为具备隐蔽性，成为针对特定群体的提价，而算法和数据，可以让平台规避对第一部分客户进行提价，另一部分客户就没有那么幸运了，他们不知道商家提价，也觉察不到自己支付了相对其他客群更高的价格。因此，隐蔽的算法价格歧视，订单损失数相比传统提价损失的订单更少，也就是说，算法歧视加剧了垄断，降低了价格垄断的门槛，可以获得更多的额外利润。因此，临界损失分析法应用于平台算法价格歧视是可行性的。而且可以推断，在同等条件下，算法价格歧视下的CM相比传统垄断市场提价情况更高，所以CL更大，提价失败的可能变小，提价更容易获利。

6 算法歧视的取证

目前，还没有通用、可靠的算法歧视发现和取证方法。但此方面的研究和实践有一定方法可以借鉴[10]，我们在掌握算法歧视原理，以及对已有方法进行了解和掌握的基础上，将理论上存在的算法歧视取证方法归纳和分析。这些方法适用于所有开放的网络平台，包括：电子商务平台、O2O平台、互联网金融平台等。

6.1 爬虫审计

爬虫审计，即通过网络爬虫技术，采集和分析互联网平台交易数据，对这些数据进行分析和审计。“爬虫”是按照一定规则自动抓取互联网信息的程序或脚本，其原理是模拟浏览器向网络服务器发送请求，以便将所需资源从网络信息流中分离、提取和筛选出来，通常用于获取公开的网络信息。通过网络爬虫，可以对互联网平台开展“大数”分析取证，即通过对采集大量数据进行加工、分析，以数据反映的特征、规律来分析平台是否存在算法歧视行为。如何从大量数据中获取算法歧视的线索，则需要综合互联网平台业务特征、消费者行为和特征、互联网平台行为和特征等开展数据分析。爬虫审计适合用于对开放的互联网平台进行算法歧视取证或事前监督，但对于手机银行、移动APP等数据和用户实现“闭环”的网络应用，则较难实现数据的获取，而且在反爬虫技术被大型网络平台使用的情况下，网络爬虫的难度有所增加。

6.2 虚拟用户

通过注册不同特征的虚拟账号进行搜索和比对。这一方法建立在算法歧视通过“用户画像”，针对不同用户展现不同信息和数据、提供不同服务和价格的行为上，通过注册不同特征的虚拟用户，对目标产品和服务进行访问，甚至模拟交易，如果在虚拟用户的情况下出现不同的信息、数据或价格，且存在歧视性的展现结果，便可以认为存在算法歧视行为。使用这一方法，需要对平台可能存在的算法歧视行为进行假设和推测，尽可能多地将其用户进行分类。其中，较容易模拟的用户特征是用户性别、年龄、学历、收入、婚育状况等，这些数据在注册过程中通过手动添加即可；而用户的投资偏好、消费偏好、上网习惯、饮食习惯、品牌偏好、兴趣爱好等行为特征则不容易被模拟，它们需要通过这些账号进行一定程度虚拟操作，如通过不断浏览高收益的金融产品模拟用户的“投资偏好”，通过不断浏览大额产品模拟用户的“消费偏好”等，实现对算法的“欺骗”。但在互联网平台实名制的情况下，注册虚拟用户较难，大量注册虚拟账号用于测试分析更不具备可行性。

6.3 标签清洗

利用和虚拟用户类似的原理，在注册虚拟用户困难的情况下，可以使用真实账号，通过采取类似虚拟账号模拟用户行为特征的方式打乱该账号的固有特征，如随机搜索、浏览和点击商品，或者在某一特征用户疑似遭受算法歧视的情况下，针对该用户标签或属性进行反向操作，在清洗标签前后比对搜索和展示结果。其不足是可能难以命中算法边界值，或难以突破平台反“作弊”的能力。增加真实账户数量进行操作，可以提高取证发现率，但我们很难找到大量真实的用户，也不容易获得真实用户的授权进行相关操作，这也是在实际应用中面临的难题。

6.4 招募志愿者

针对虚拟用户和标签清洗方法存在的难点和不足，可以通过招募志愿者的方式，招募不同地域、年龄、性别、职业的诸多真实用户，对互联网平台产品进行试用和比对，并记录志愿者试用的数据。复旦大学研究的“手机越贵，打车越贵”问题，就是通过在多个城市招募志愿者进行取证和研究的。这一方法的原理，实质是模拟消费者之间的信息沟通，打破平台算法歧视的基本要素—信息壁垒，使信息在消费者之间发生对比和反馈，从而对算法歧视行为进行证实。这一方法从社会因素和技术因素方面考虑，均具备可操作性。但对于监管机构而言，使用这一方法，将面临与研究机构不同的难点，即执法行为是否应当由普通人或志愿者参与，执法的公正性和严肃性是否会因大量非执法人员的直接介入而受到影响，如何合法使用这一手段进行执法，都是值得探讨的问题。

6.5 代码审查

在可以获取代码的情况下，通过阅读、审查互联网平台的源代码，发现是否存在歧视行为。这一方式的技术原理利用的是软件工程的代码走查技术，通过组织专业人员对目标系统的代码进行阅读、检视，乃至逻辑测试，并记录存在歧视性逻辑设计的算法。在这一方式下，获得的算法歧视证据是直接证据，即可以通过算法的歧视性逻辑设计对其进行定性，如同获取了“违法工具”，其效力是直接而有力的。但这一方式的缺点也很明显，首先，获得算法本身是一个困难的事情，在实际应用场景中，获得商业平台的算法有严格、烦琐的法律流程；其次，代码量过大、代码结构过于复杂都会使得该方法的难度升级，普通的执法机构可能难以完成该项工作；再次，该方法需要专业人员，也增加了实施门槛，特别是在基层执法部门实施存在困难。

7 结 语

算法歧视广泛存在，编程者的主观偏见、训练样本和数据偏差、算法自身缺陷是其产生的客观原因，而利润最大化驱使是主观原因。算法歧视的技术原理是通过计算机程序对用户数据的分析利用和个性化决策来实现的，其往往伴随着用户数据大量获取和制造信息壁垒，以及采用机器学习建模等方法，输出不公平的结果，甚至导致不公平的交易。算法歧视会对社会、经济和个体产生负面影响，在国内外均受到政府的规制。临界损失分析法可以用于算法价格歧视获利分析。可以通过爬虫审计、虚拟用户、标签清洗、招募志愿者和代码审查方法对算法歧视进行取证，这些方法适用于电子商务平台、O2O平台、互联网金融平台，可以用作研究算法歧视，监督算法应用，从而保护消费者权益。