喻继军 熊明华
摘 要:随着电子商务的快速发展,推荐系统作为大数据环境下解决“信息过载”问题的有效工具已广为使用。受数据、算法、人为干预等因素的影响,推荐系统可能会为具有某些属性的消费群体提供不公平的推荐结果从而导致各种问题。近年来,研究者们提出各种解决推荐系统公平性问题的方法。文章总结了近几年的研究成果,从两个方面总结归纳了造成电子商务推荐系统公平性问题的主要原因,并给出五种主要的解决方案;介绍了当前可供研究的数据集及工具,也对电子商务推荐系统公平性研究尚存的问题及未来的研究方向进行了探讨,以期为该领域的研究人员提供参考。
关键词:电子商务;推荐系统;算法公平性;数据偏差
中图分类号:TP391;F274 文献标识码:A 文章编号:2096-4706(2023)14-0115-10
Research Progress on Fairness of E-commerce Recommendation System
YU Jijun1, XIONG Minghua2
(1.School of Information Engineering, Shanwei Institute of Technology, Shanwei 516600;
2.Business School, Foshan University, Foshan 528225, China)
Abstract: With the rapid development of E-commerce, recommendation systems have been widely used as an effective tool to solve the problem of “information overload” in the big data environment. Due to factors such as data, algorithms, and human intervention, recommendation systems may provide unfair recommendation results for consumer groups with certain attributes, leading to various problems. In recent years, researchers have proposed various methods to address the fairness issue of recommendation systems. This paper summarizes the research achievements in recent years, summarizes the main reasons for the fairness issues in E-commerce recommendation systems from two aspects, and provides five main solutions. It introduces the current available datasets and tools for research, and explores the remaining issues and future research directions in the fairness of E-commerce recommendation systems, with the aim of providing reference for researchers in this field.
Keywords: E-commerce; recommendation system; algorithm fairness; data bias
0 引 言
推荐系统作为大数据时代的一种信息检索工具,经过近三十年的发展和积累,已经取得了非常丰富的研究成果。在电子商务领域,推荐系统作为消费者与商家之间的重要桥梁纽带,提升了电商平台与消费者之间的协作效率,也降低了消费者的搜寻成本。但是,近年来,随着推荐系统的普遍使用,推荐结果质量的好坏对消费者的影响日益凸显。特别是“大数据杀熟”现象频繁发生,推荐系统的可解释性、公平性等问题开始受到关注[1,2]。一方面,由于訓练数据的样本偏差、算法设计偏差等因素,推荐结果的准确率也因人而异,从而导致推荐系统对消费者产生不公平的推荐结果[3]。如:不同消费类型的消费者在获得同一类型商品推荐时的价格、质量等存在明显差异[4]。有“偏见”的差异化推荐结果看上去带来了个性化的体验,实际上却损害了不同消费者群体的利益[5]。另外,推荐系统对数据的迭代使用也产生商品销售的长尾现象[6],长尾现象的产生导致商品推荐的公平性问题,即不同商品得不到公平的推荐机会。同时,推荐系统的设计完全由电商平台所主导,使其带有天然的信息不对称性。电商平台以收益最大化为目的,热门、高收益的商品仍然受到电商平台推荐的青睐。随着多目标优化(如保证准确率的前提下提高推荐结果的多样性、新颖性等)成为推荐领域常用的技术手段,多目标优化后的推荐结果为消费者提供更加丰富的商品选择的同时,也给电商平台有意干预推荐结果提供了机会[7],电商平台受收益因素驱动所导致有“偏见”的推荐系统广泛存在[5,8]。当前,现有文献主要从机器学习的角度对算法公平性进行评价[9-12],或者从利益相关者角度对公平性的定义进行综述[13],较少有文献对电子商务领域的推荐系统公平性问题的产生原因及解决方案进行总结归纳。在电子商务领域,消费者与商品之间作为特殊的“用户-项目”关系,既有机器学习领域用户与项目之间分类预测的一般性,又有电子商务领域中电商平台、消费者、商品三者交互的特殊性。为此,论文在现有文献的基础上,对造成不公平性推荐结果潜在的原因以及相应的解决方案进行总结归纳,然后列举了现有供推荐系统公平性研究的数据集和检测工具,最后对电子商务推荐系统公平性研究尚存在的不足及未来研究方向进行探讨,为该领域研究人员提供参考。
1 电子商务推荐系统的公平性
公平理论最早来源于社会科学,常被应用于企业员工的激励,是一种研究人类动机与知觉关系的激励理论[14]。在电子商务领域,传统基于公平理论的研究主要集中于消费者与企业之间在售前沟通、售中的商品属性比较及售后支持等服务过程中所体现的服务公平性的差异[15,16]。近年来,随着推荐系统的广泛应用,推荐系统在商品销售的售前和售中的服务作用日益凸显,推荐服务的技术门槛以及缺乏相应的互动与可解释性,加大了消费者感知公平性差异的风险。有研究表明,企业在为获取利益最大化的情况下存在提供有“偏见”的推荐服务[5],存在公平性差异的推荐结果更加影响消费者的购买行为[3,17,18]。同时,公平性差异不仅体现在消费者与消费者之间,也体现在物与物之间被选择的机会中,推荐系统对数据的迭代使用也会产生商品推荐的长尾现象,即不同商品得不到公平的推荐机会[5]。基于此,本小节从消费者和商品的角度梳理电子商务推荐系统中的公平性定义。
1.1 消费者公平性的定义
推荐系统的消费者公平性主要考虑如何避免推荐算法将部分敏感属性(如性别、收入、职业等)纳入分类依据,从而导致推荐系统对特定群体产生不公平的推荐结果,主要体现在:一是推荐结果的统计评价指标在不同群体间存在差异,二是推荐结果总是有利或不利于某一群体。目前,公平性的定义主要有统计公平[19,20]、因果公平[21,22]、反事实公平性[23]、群体公平[24,25]等,但被广泛接受且易于表征上述两个要求的公平性定义主要包括三个方面,即:差别性对待、差别性影响和差别性误待[26-28]。
1.1.1 差别性对待
差别性对待也称之为统计均等,是指在其他非敏感性特征相似的情况下,决策结果仅在敏感属性特征不同的群体间有差异,差别性对待的数学表达为式(1)所示:
(1)
其中,x为消费者的特征,p为敏感属性, 为预测值,y为真实值。差别性对待是历史最悠久、也是最简单的强制公平性指标。Corbett-Davies等[29]在论文中详细阐释了差别性对待的概念,差别性对待的计算公式输出独立于敏感属性p,即p不会影响输出概率。差别性对待还可使用式(2)计算差别性对待的距离,从而对数据集给出预测偏离差别性对待的程度:
(2)
满足差别性对待的公平性主要存在两个问题,其一,即使推荐结果满足式(1),如果一个组预测为正的概率高于另一个组,那么两个组在假正率和真正率上也可能存在差异。其二,尽管敏感属性能够给出一些对预测有用的信息,但受限于差别性对待的严格规则而不能得到利用,相应的准确率也会受影响。因此,单独的差别性对待的公平性定义并不能完全反映预测的准确率[30],还需要增加新的公平性要求。
1.1.2 差别性影响
差别性影响也被称之为概率均等(Equal Odds),是指推荐结果总是对某种敏感性特征上取某个值的群体更有利(或更不利)。推荐结果不存在差别性影响,即敏感性特征不同的群体有同样的概率被分到某一类,可表达为式(3):
(3)
在实际应用中,由于预测结果的差别性影响难以达到完全相等,有研究认为,当两者之比大于某阈值即可认为满足不存在差别性影响的公平性要求[31]。特别地,在部分应用领域,预测结果仅在具有优势领域要求保证公平性,即只要求实际为正例时,预测也为正例的情况下保证其公平性,达到式(4)的要求即可,满足式(4)的公平性也称之为Equal Opportunity:
(4)
1.1.3 差别性误待
差别性误待是指推荐结果对某一个敏感性属性上取不同值的群体的预测准确率存在差异,表1展示了几种衡量准确率(分类错误率)的测量方式[32]。
分类结果不存在差别性误待,即分类的(五种)错误率不受敏感性属性的影响,按照错误率的计算方式,将这一条件进行形式化定义如式(5)至式(9)所示。
(5)
(6)
(7)
(8)
(9)
在实际应用中,若要实现公平,就要求推荐系统产生的结果能够满足上述三类公平性的定义。现有研究主要从多目标优化的角度对上述三种公平性进行优化,主要应用于特定领域中用户的种族差异,如银行发放貸款的预测评分[32,33]。
除考虑单个消费者的公平性以外,组推荐也是一种在电子商务领域较为广泛的应用,如拼单、组团购买等。组公平性是考虑向一组人公平性地推荐商品。Sacharidis等[24]将组推荐中的公平性定义为组员的最小满意度,满意度的定义可采用多种方式进行计算。如,先为每组员进行Top-N推荐,然后从各个组员的Top-N中进一步挑选出若干商品作为组成员的最终推荐结果,再将两者之间的差异定义组员的满意度。其中,差异的度量可选择准确率、召回率、NDCG等指标。
1.2 商品的公平性定义
推荐系统中商品的公平性是指商品能否得到被公平推荐的机会,常采用基尼系数来描述[34],其数学公式表达如式(10)所示:
(10)
其中,I为集合中商品个数,U为所有消费者的数量,rec(i)为被推荐商品i在推荐列表中的位置。基尼系数越大,表明数据集中商品被推荐的频率越不公平。
推荐系统中商品推荐的不公平性,就消费者而言,使得越来越多的消费者被局限到一个相对狭窄的结果集中,“信息茧房”现象严重,缺乏高异质和新商品的推荐使得消费者对推荐结果产生厌倦,带来低质量的推荐体验,从而降低了消费者的满意度[34];对电商平台而言,长尾现象日趋严重,所有的消费者看到内容的一致性,使得大量的长尾商品得不到有效曝光,从而降低了商品的销售机会收益。推荐系统的商品公平性问题已引起企业界和学术界的关注。当前已有较为丰富的研究,常采用重排名、多目标优化的方法在保证准确率的情况下通过提高推荐结果多样性、新颖性等方式解决商品的公平性问题[35]。
2 公平性问题产生的原因分析
电子商务推荐系统的传统研究主要集中于推荐算法的设计,以及推荐系统如何影响消费者的购买决策和企业的营销策略。近年来,推荐系统的公平性问题开始被引起关注[5](图1中黑色斜体字部分为综述的内容在推荐系统研究领域中的位置)。论文对产生推荐系统公平性的原因进行总结归纳,将其分为推荐算法中所采用的数据与模型偏差及受收益影响的人为干预两个方面。
2.1 数据与模型偏差
推荐系统中所采用的算法本质上属于机器学习范畴,根据机器学习理论,用户的行为数据会影响算法训练的模型,模型的输出结果也会影响用户的决策和行为,从而形成一个从数据到模型再到数据的反馈循环。在没有人工干预的情况下,基于机器学习算法的公平性问题主要来源于用户的数据偏差和所采用的模型偏差。目前,机器学习算法公平性研究主要围绕决策算法在政治广告、就业歧视、风险贷款、就业推荐、种族差异等社会公共管理领域,由偏差所导致算法对不同特征用户的公平性问题[12,32-39],其主要研究内容如图2所示。
机器学习算法中的偏差主要有数据偏差、模型偏差和反馈循环所带来的偏差。数据偏差可分为显示数据中的选择偏差和一致性偏差,以及隐式数据中的曝光偏差和位置偏差[13]。
2.1.1 数据偏差
1)位置偏差。消费者更倾向于和推荐列表中位置比较靠前的商品交互,因此在推荐列表中用户和商品的交互不仅由商品的兴趣决定,还在很大程度上由商品的排名决定。有研究表明[40],用户在垂直展示的列表中,更倾向于点击排名靠前的商品,而忽略排名靠后的商品。
2)曝光偏差。带标签的数据都是曝光过的,未曝光的数据无法确定其用户偏好的标签,直接将未交互的商品当作负样本也会引入偏差。
3)选择偏差。用户倾向于给自己喜欢或者不喜欢的商品进行打分。当用户能够自由地选择给哪些商品打分的时候,则评分数据不具备随机性,观测到的交互数据的分布将不能代表整体数据的分布。
4)一致性偏差。即使群体的打分和消费者的判断并不一致,但消费者的打分也会倾向于和群体一致,消费者的这种倾向将使得评分并不能准确反映消费者的偏好。当消费者从众以后,推荐结果会最终导致对消费者自身不公平的推荐结果,从而带来一致性偏差。
2.1.2 模型偏差
為了让模型更好地适应数据,需要对模型做各种假设,以提升模型的泛化性能,这种假设可能带来模型的归纳偏差。
2.1.3 反馈环路偏差
推荐系统构成动态的反馈环路也会增加偏差。如,流行的商品在推荐结果中有更高的出现频率、展示给消费者后将出现更多流行商品的交互,使得模型更容易推荐流行的物品,从而导致商品推荐机会的公平性问题。
2.1.4 评价指标冲突
电商平台采用推荐系统向消费者进行商品推荐,也面临多方利益以及评价指标的冲突问题。有研究表明,对消费者和对商品的公平性也存在冲突。如,增加推荐的多样性可提高商品推荐的机会从而缓解推荐的商品公平性问题[41],却降低了对消费者的公平性[18]。
2.2 人为干预
在电子商务领域,电商平台采用推荐系统向消费者进行商品推荐,电商平台不仅需要考虑消费者的偏好以便更好地为消费者提供个性化服务,同时也需要考虑如何使其自身的利益最大化。由于信息的不对称性,电商平台为获取最大的利益,除了上述基于数据与模型中的偏差所导致公平性问题,也存在电商平台受收益因素影响的人为干预原因。
在常规推荐算法中,当已预测出每个消费者对商品的未知评分后,即进入Top(N)的推荐产生阶
段。系统可根据某种排序标准,选择最相关的商品向消费者进行推荐。然而,随着推荐列表长度的增加,由于选择偏差的存在,消费者对于推荐列表中的商品的购买意愿会逐渐减弱,电商平台受收益的驱动,也可以在合适位置使用高收益商品替换原本按预测评分排序的偏好商品。本质上而言,电商平台在选择推荐策略的同时,消费者不能完全了解电商平台为其提供怎样的商品推荐,电商平台与消费者之间的交互实际上是一种不完全信息博弈模型。在博弈模型中,电商平台与消费者作为博弈双方的参与人,电商平台可根据不同类型的消费者进行差异化的推荐。在考虑收益的公平性研究中,D'amour等[42]采用博弈分析的方法在一项采用决策系统决定是否发放贷款的研究中发现,特定的群组差别性影响约束并不能使整体群组在总体上满足差别性影响约束,需要采用更详细的分析来确保决策系统能产生预期的公平性要求。
目前,对造成公平性问题的偏差因素的研究较为丰富,对有意识的人为干预造成公平性问题的研究相对较为缺乏。另外,现有研究多数针对短期公平性对各类群体产生的影响,而缺少基于长期结果视角对公平性进行讨论。
3 推荐系统公平性问题的解决方案
推荐系统公平性问题的解决方案主要可总结归纳为五种:公平性表征、正则化学习、去偏机器学习处理方法、强化学习方法以及多目标优化等。
3.1 公平性表征
公平性表征学习的任务是在尽可能地保证效用的同时,构建一种(近似地)满足公平性要求的分类器,即学习公平的表征。这类工作主要是通过找到一种信息丰富的表征Z、一种输入变量X的特征转换方式,从而使Z(近似地)与敏感属性p无关,同时Z仍然包含关于目标Y的丰富信息[43],表征学习的形式化定义如式(11)所示:
(11)
其中,ξ>0为预设的常数,M表示两个随机变量之间的互信息。除了这种较为朴素的公平性表征以外,近年来,随着深度神经网络在表征学习方面的研究进展,有较多研究采用对抗训练算法实现上面的表征问题,以及基于信息论、核模型、解耦学习的公平表征任务等[44-46]。其中,基于信息论的公平表征任务主要从信息论的角度量化公平表征任务;Gorwa等[47]针对在敏感属性难以获取的情况下通过对抗学习的方式进行公平表征,实验结果显示,采用少量样本就可得到不错的效果;Zhao等[48]通过对抗学习的表征方法实现了同时满足近似的准确率均等和几率均等的目的;Xu等[49]则利用深度对抗生成模型并结合因果公平,在表征学习的基础上提高表征的可解释性。此外,还有基于解耦学习的公平表征[50]、基于最优传输理论,采用随机方式改变原始观察到的变量分布进行表征等[13,51]。
3.2 正则化学习
除了公平性表征方法以外,有学者尝试提出了一种考虑公平性约束的正则化决策(分类)算法框架,该框架在分类模型的训练过程中加入公平性约束[52],如式(12)所示。正则化框架中主要包含两个部分:损失函数和公平性约束。前者用于提高模型的预测准确性,后者保证模型的公平性。
(12)
在公平性正则化框架(12)的基础上,Grgichlaca等学者提出一种新的决策边界对不公平性进行测量,通过放宽式(12)中公平性的约束。即:当决策边界不公平性小于某个阈值c时便认为模型满足公平性要求。基于此框架,研究者在设计具体分类模型时只需将式(2)中的损失函数换成相应的分类模型(如逻辑回归、线性或非线性SVM模型等)的损失函数,将公平性约束替换成具体的公平性限制函数[53]。
在公平性正则化的框架下,也有学者提出在式(2)的约束方程中加入L2-正则化项从而改进算法的过程公平性;Yao等[54]提出绝对公平性的概念并将其作为公平性约束条件加入到损失函数中,可获得更好的满足差别性对待的公平性结果;Du等[55]通过构建一个输出对敏感属性无依赖的预测器,然后在深度学习中反向回传梯度,使得不能通过模型输出去预测敏感属性,从而提高推荐结果的公平性。特别值得强调的是,谷歌公司的Beutel等[56]提出一种更为简单的考虑公平性的正则化方法,只是将原本全局模型中会导致公平性差异的数据集独立出来,分为专注数据集和非专注数据集,然后通过参数调节两种数据集在模型中的权重,加强模型对某些原来没有充分学习到的类型的准确率,从而提高预测结果的公平性。
3.3 去偏处理方法
根据2.1小节所述,数据和算法偏差是影响推荐算法公平性的主要来源之一,文献[13]总结了各种去除偏差的方法。公平性的去偏处理方法在流程上可分为前期预处理、中期预处理及后期预处理[57]。其中,前期预处理主要通过为每个组中的训练样例生成权重,并应用于训练数据集中的不同元组,使训练数据集在敏感属性方面能够避免被区分。中期处理则是采用学习分类器模型以最大化预测准确率,并增加帶有偏差意识的正则化项为约束条件来优化预测分类器[58]。在后期处理中,采用算法优化校准的分类器得分输出,从而改变输出标签的概率[59]。
除了上述常用的去偏处理方法以外,也有学者通过自定义公平性进行去偏方法的设计,Singh等[60]针对用户对排序结果的关注度严重受位置的影响,试图实现均摊意义上的公平,提出了均摊公平性。国内学者采用知识图谱的方法解决推荐算法公平性[61];Steck等[62]从曝光分配公平性的角度入手,通过一系列定义和推导将问题转化为线性规划,建立了一个在公平性限制下排序问题的分析和求解框架;国内学者石鑫盛等[63]提出了一种基于分类间隔的加权方法用于处理二分类任务中的歧视现象,并在统计均等和机会均等的公平性判定准则上实现了分类公平。最近,Li等[64]将去偏处理方法与跨域推荐进行结合,组合更多领域信息去除数据中的偏差。
3.4 强化学习
强化学习适合仿真随时间影响的应用场景,近年来,基于强化学习的推荐系统已经成为一个新兴的研究领域[65]。ICML2018会议论文[37]采用强化学习的方法研究了不同推荐策略对于决策系统中用户的公平性影响,而谷歌公司最近发表的文章[42]则针对不同策略对于决策系统长期公平性影响进行了建模仿真。基于强化学习方法的长期公平性的仿真不止在金融,在社交,交通等其他领域也有讨论[65]。尽管强化学习针对长期公平性的研究具有较好的效果,但在电子商务领域,采用该方法的研究目前相对较为缺乏。
3.5 多目标优化
满足公平性要求的推荐算法是确保相似属性的群体应该得到相似的推荐结果,个性化推荐算法则强调不同个体或群体间实现差异化推荐。现有的推荐技术,如协同过滤推荐、基于相似群体的推荐,都更强化了不同用户群体间的差异。为了达到公平性和个性化的统一,有文献提出近邻平衡化的概念,使受保护群体与其他群体在近邻中分布均衡从而达到多方的公平性[66]。同时,基于不同立场其主体公平性的定义也存在差异,这些差异化的定义本身也存在冲突。例如,增加推荐结果的多样性可提升对被推荐商品的公平性,但降低了对消费者的公平性[23]。因此,现有推荐系统也往往需要采取多方面的评价指标以达到多个目标,多目标优化也成为实现公平性目的的常用方法[67,68]。但优化目标的设定和多目标优化两大问题难度都比较高。特别是在涉及多方利益的公平性问题的情况下,需要采用博弈方法进行策略分析和实现,目前这方面的研究也较为缺乏。
4 公平性数据集和检测工具
本小节介绍公平性领域常用的数据集以及可使用的算法公平性检测工具,此类数据集和工具部分虽然不直接来自电商领域,但可作为电商推荐算法的公平性测试使用,也具有较大的参考价值。
4.1 Adult数据集
Adult数据集(http://archive.ics.uci.edu/ml/datasets/Adult)是较早(1996年)从美国的人口普查数据库中提取的数据,该数据集提供近5万条包括年龄、职业、受教育程度、种族、性别、婚姻状况、出生地、每周工作时长等属性。该数据集可用来研究性别或种族特征是对收入的预测是否存在公平性影响。
4.2 German Credit数据集
German Credit 数据集(https://www.heywhale.com/mw/dataset/5d9d5a9a037db3002d3d4f50)主要包括年龄、职业、收入、客户类型、借款记录、是否逾期等20个属性特征,是用来研究根据个人的银行贷款信息和申请客户贷款逾期发生情况来预测贷款违约倾向的数据集,
4.3 COMPAS数据集
COMPAS数据集(https://github.com/propublica/compas-analysis.)包含来自美国的一份被告记录,主要包括监狱、服刑时间、人口统计数据、犯罪历史和COMPAS风险评分等属性特征,该数据集可研究种族和性别特征对累犯预判的公平性影响。
4.4 UCI Bank Marketing数据集
UCI Bank Marketing数据集(https://github.com/propublica/compas-analysis.)包含年龄,工作类型、信用情况、房贷、个人贷款等50个属性。该数据集可用来研究不平衡数据对预测客户是否会认购定期存款的影响。
4.5 KDD CUP 2020 数据集
KDD CUP 2020 数据集(https://tianchi.aliyun.com/competition/entrance/231785/information.)由阿里提供,主要包括商品编号、商品图像特征、用户编号、用户性别、所在城市等属性特征。该数据集可用来研究如何减少点击偏差对推荐系统中的商品公平性影响以改善商品推荐的长尾现象。
除上述主要的数据集以外,也介绍常用的公平检测或消除不公平的工具,如表2所示。
表2 公平性检测工具
工具名称 支持语言 主要用途及优缺点
AI Fairness 360 Python,R 第一款检查数据集和机器学习模型是否存在偏差的模型;需要安装使用
What if tool Python 可视化的偏差检测工具,可免写代码无需安装的情况下在线免费使用,使用方便;主要面向谷歌的TensorFlow机器学习框架
Microsoft fairlearn Python 能够评估机器学习模型的公平性,集成在Azure机器学习的云服务中
其中,AI Fairness 360由IBM研究院开发的可扩展开源工具包(https://github.com/Trusted-AI/AIF360.),可用于帮助开发者在基于机器学习算法的应用程序中检查、报告和减轻机器学习模型的歧视和偏见。
Google What-if工具(https://github.com/PAIR-code/what-if-tool.)集成于谷歌公司的TensorBoard中,可使开发者通过交互式可视界面和反事实推理探究机器学习模型的特征重要性,从而找出误分类原因、确定决策边界及检测算法公平性等。
Fairlearn(https://www.microsoft.com/en-us/research/publication/fairlearn/.)工具允许系统开发人员评估其系统的公平性,并通过比较多个模型,及采用不同学习算法来生成模型从而缓解不公平问题。该工具由微软公司所开发,在具有详细的使用说明和案例,其使用较为方便。
特别值得强调的是,国内学者清华大学张长水教授等也提出了一个算法公平性的解释框架FACTS(https://github.com/weishenpan15/FACTS.)。對于给定的公平性判据,该框架可利用数据以及数据生成满足的因果图,从图中找到引起不公平性的因果路径并把群体间差距分解成以上路径的贡献加总,选择性地移除因果路径对预测结果的作用来得到能够符合公平性要求的预测算法[69]。
5 结 论
推荐系统的设计带有天然的信息不对称性。不公平的推荐结果严重影响着消费者的利益,如何通过技术手段或制度改善推荐算法的公平性,对提高消费者的满意度及维护平台和消费者利益都有着重要的现实意义。基于上述内容的回顾,论文得出以下电子商务推荐系统公平性研究面临的主要挑战和研究方向:
1)传统的电子商务推荐系统主要集中于如何提高推荐结果的准确率,现有研究已经开始关注推荐结果的多样性、新颖性等。随着推荐技术的发展,如何依据现有推荐系统和机器学习领域的相关方法,设计既能满足公平性要求又能提高常用评价指标的算法将是今后及未来发展的一个重要研究方向。
2)现有公平性问题的解决方案主要是从计算机技术的角度,但电商平台以收益最大化为目的的原因使其具有干预推荐结果的动机。推荐结果的列表受空间限制,电商平台需要在消费者的偏好商品与更多收益商品之间做出取舍,在考虑公平性的前提下,采用博弈分析方法研究推荐结果的收益与公平性的长期动态演化将成为解决电子商务推荐系统公平性的重要方法。
3)在公平性检测工具方面,目前主流的公平性检测工具多数由国外企业所开发,国内的检测工具除了FACTS框架以外,相对较为缺乏。国内产业界也急需在保护个人隐私的前提下开放相应的数据集及推出公平检测工具。
4)我国已于2022年3月1号正式实施《互联网信息服务算法推荐管理规定》,该规定对电子商务推荐算法的公平性使用也提供了参考。除技术因素外,也需要政府监管方与行业专家制定合理的公平性准则及相关法律,通过政府监管、行业专家、科研开发者、用户的共同努力来解决推荐算法的公平问题。
参考文献:
[1] ASUDEH A,JAGADISH H V,STOYANOVICH J,et al. Designing fair ranking schemes [J].Management of Data,2019:1259-1276.
[2] CASTRO C,O'BRIEN D,SCHWAN B. Fairness and Machine Fairness [C]//Proceedings of the 2021 AAAI/ACM Conference on AI, Ethics, and Society.[S.I.]:Association for Computing Machinery,2021:446.
[3] WANG W Q,WANG M D. Effects of Sponsorship Disclosure on Perceived Integrity of Biased Recommendation Agents: Psychological Contract Violation and Knowledge-Based Trust Perspectives [J].Information Systems Research,2019,30(2):507-522.
[4] EKSTRAND M D,BURKE R,DIAZ F,et al. Fairness and discrimination in recommendation and retrieval [C]//Proceedings of the 13th ACM Conference on Recommender Systems.Copenhagen:Association for Computing Machinery,2019:576-577.
[5] XIAO B,BENBASAT I. An Empirical Examination of The Influence of Biased Personalized Product Recommendations on Consumers' Decision-Making Outcomes [J].Decision Support Systems,2018,110:46-57.
[6] CHANEY A J.B,STEWART B M,ENGELHARDT B E. How Algorithmic Confounding In Recommendation Systems Increases Homogeneity and Decreases Utility [C]//Proceedings of the 12th ACM Conference on Recommender Systems.Vancouver:Association for Computing Machinery,2018:224-232.
[7] RIEMER K,LEHRKE C. Biased Listing in Electronic Marketplaces -Evidence from the Online Hotel Distribution [J].International Journal of Electronic Commerce,2009,14(1):55–78.
[8] 孟昌,曲寒瑛.算法合謀及其规制研究进展 [J].经济学动态,2021(6):128-143.
[9] 陈晋音,陈奕芃,陈一鸣,等.面向深度学习的公平性研究综述 [J].计算机研究与发展,2021,58(2):264-280.
[10] 刘文炎,沈楚云,王祥丰,等.可信机器学习的公平性综述 [J].软件学报,2021,32(5):1404-1426.
[11] 古天龙,李龙,常亮,等.公平机器学习:概念、分析与设计 [J].计算机学报,2022,45(5):1018-1051.
[12] 赵海燕,周萍,陈庆奎,等.推荐系统公平性评价方法:现状与展望 [J].小型微型计算机系统,2022,43(3):456-465.
[13] CHEN J W,DONG H D,WANG X,et al. Bias and Debias in Recommender System:A Survey and Future Directions [J/OL].arXiv:2010.03240 [cs.IR].[2023-01-10].2020,arXiv:2010.03240.https://arxiv.org/abs/2010.03240v2.
[14] ADAMS J S.Toward an Understanding of Inequity [J].Journal of Abnormal Social Psychology,1963,67(5):422-436.
[15] HUPPERTZ J W,ARENSON S J,EVANS R H. An application of equity theory to buyer-seller exchange situations [J].Journal of Marketing Research,1978,15(2):250-260.
[16] 谢礼珊,申文果,梁晓丹.顾客感知的服务公平性与顾客公民行为关系研究——基于网络服务环境的实证调研 [J].管理评论,2008(6):17-24+63.
[17] XIAO B,BENBASAT I. Designing warning messages for detecting biased online product recommendations: an empirical investigation [J].Information Systems Research,2015,26(4):793-811.
[18] LEONHARDT J,ANAND A,KHOSLA M. User Fairness in Recommender Systems [J/OL]. arXiv:1807.06349 [cs.CY].[2023-01-06].https://arxiv.org/abs/1807.06349v1.
[19] ABDOLLAHPOURI H,BURKE R,MOBASHER B. Controlling Popularity Bias in Learning-to-Rank Recommendation [C]//Proceedings of the Eleventh ACM Conference on Recommender Systems.Como:Association for Computing Machinery,2019:42-46.
[20] VERMA S,RUBIN J. Fairness definitions explained [EB/OL].[2023-01-06].http://aixpaper.com/view/fairness_definitions_explained.
[21] KILBERTUS N,ROJAS-CARULLA M,PARASCANDOLO G,et al. Avoiding Discrimination through Causal Reasoning [C]//NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing Systems.Long Beach:Curran Associates Inc.,2017:656-666.
[22] PEARL J,GLYMOUR M,JEWELL P. Causal Inference in Statistics: A Primer [M].Chichester:Wiley,2016:193-196.
[23] WU Y K,ZHANG L,WU X T. Counterfactual Fairness: Unidentification, Bound and Algorithm [C]//Twenty-Eighth International Joint Conference on Artificial Intelligence.Macao:[s.n.].2019.
[24] SACHARIDIS D. Top-N group recommendations with fairness [C]//Proceedings of the 34th ACM/SIGAPP Symposium on Applied Computing.Limassol:Association for Computing Machinery,2019:1663-1670.
[25] KIM J S,CHEN J H,TALWALKAR A. FACT: A Diagnostic for Group Fairness Trade-offs [J/OL].arXiv:2004.03424 [cs.LG].[2023-01-03].https://arxiv.org/abs/2004.03424v3.
[26] DWORK C,HARDT M,PITASSI T,et al. Fairness through awareness [C]//Proceedings of the 3rd Innovations in Theoretical Computer Science Conference.Cambridge:Association for Computing Machinery,2012:214-226.
[27] HARDT M,PRICE E,SREBRO N. Equality of opportunity in supervised learning [C]//Proceedings of the 30th International Conference on Neural Information Processing Systems.Barcelona:Curran Associates Inc,2016:3323–3331.
[28] ZAFAR M B,VALERA I,ROGRIGUEZ M G,et al. Fairness constraints: Mechanisms for fair classification [C]//Proceedings of the 20th International Conference on Artificial Intelligence and Statistics (AISTATS).Lauderdale:JMLR,2017,54:962-970.
[29] CORBETT-DAVIES S,PIERSON E,FELLER A,et al. Algorithmic Decision Making and the Cost of Fairness [C]//Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining,Halifax:Association for Computing Machinery,2017:797–806.
[30] 米婭撩科技.如何实现算法中的公平性 [EB/OL].(2020-09-12)[2022-09-06].https://www.sohu.com/a/417894466_120775175.
[31] CHOULDECHOVA A. Fair prediction with disparate impact:A study of bias in recidivism prediction instruments [J].Big Data,2017,5(2):153-163.
[32] ZAFAR M B,VALERA I,RODRIGUEZ M G,et al. Fairness Beyond Disparate Treatment & Disparate Impact: Learning Classification without Disparate Mistreatment [C]//Proceedings of the 26th International Conference on World Wide Web.Perth:International World Wide Web Conferences Steering Committee,2017:1171-1180.
[33] KLEINBERG J,MULLAINATHAN S,RAGHAVAN M. Inherent Trade-Offs in the Fair Determination of Risk Scores [J/OL].arXiv:1609.05807 [cs.LG].[2023-01-03].https://arxiv.org/abs/1609.05807v2.
[34] KOWALD D,SCHEDL M,LEX E. The Unfairness of Popularity Bias in Music Recommendation: A Reproducibility Study [J/OL].arXiv:1912.04696 [cs.IR].[2023-01-03].https://arxiv.org/abs/1912.04696v2.
[35] ZHAO N,HE X. Distributed Recommendation Considering Aggregation Diversity [J].International Journal of Distributed Systems and Technologies,2021,12(3):83-97.
[36] BINNS R. Fairness in Machine Learning: Lessons from Political Philosophy [J/OL].arXiv:1712.03586 [cs.CY].[2023-01-03].https://arxiv.org/abs/1712.03586.
[37]. LIU L T,DEAN S,ROLF E,et al. Delayed Impact of Fair Machine Learning [J/OL].arXiv:1803.04383 [cs.LG].[2023-01-02].https://arxiv.org/abs/1803.04383.
[38] 劉璇,朝乐门.AI治理中的公平性及其评价方法研究 [J].情报资料工作,2022,43(5):24-33.
[39] 刘总真,张潇丹,郭涛,等.新闻推荐算法可信评价研究 [J].信息安全学报,2021,6(5):156-168.
[40] KEANE M T,O'BRIEN M. Modeling result-list searching in the world wide web: The role of relevance topologies and trust bias [J].Proceedings of the Annual Meeting of the Cognitive Science Society,2006,28(28):1881-1886.
[41] ADOMAVICIUS G,KWON Y. Improving Aggregate Recommendation Diversity Using Ranking-Based Techniques [J].IEEE Transactions on Knowledge and Data Engineering,2012,24(5):896-911.
[42] D'AMOUR A,SRINIVASAN H,ATWOOD J,et al. Fairness is not static: deeper understanding of long-term fairness via simulation studies [C]//Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency.Barcelona:Association for Computing Machinery,2020:525-534.
[43] ZEMEL R,WU Y,SWERSKY K,et al. learning fair representations [C]//Proceedings of the 30th International Conference on International Conference on Machine Learning.Atlanta:JMLR.org,2013:325-333.
[44] WU L,CHEN L,SHAO P Y,et al. Learning Fair Representations for Recommendation: A Graph-based Perspective [C]//Proceedings of the Web Conference 2021.Ljubljana:Association for Computing Machinery,2021:2198-2208.
[45] SONG J M,KALLURI P,GROVER A,et al. Learning Controllable Fair Representations [J/OL].arXiv:1812.04218 [cs.LG].[2022-12-06].https://arxiv.org/abs/1812.04218v3.
[46] ZHAO H,GORDON G J. Inherent Tradeoffs in Learning Fair Representations [J/OL].arXiv:1906.08386 [cs.LG].[2022-12-06].https://arxiv.org/abs/1906.08386v5.
[47] GORWA R.Towards fairness, accountability, and transparency in platform governance [C]//The 19thAnnual Conference of the Association of Internet Researchers.Montreal:[s.n.],2018:1-3.
[48] ZHAO H,COSTON A,ADEL T,et al. Conditional Learning of Fair Representations [J/OL].arXiv:1910.07162 [cs.LG].[2022-12-06].https://arxiv.org/abs/1910.07162v1.
[49] XU D P,YUAN S H,ZHANG L,et al. FairGAN+: Achieving Fair Data Generation and Classification through Generative Adversarial Nets [C]//2019 IEEE International Conference on Big Data(Big Data).Los Angeles:IEEE,2019:1401-1406.
[50] KOCAOGLU M,SNYDER C,DIMAKIS A G,et al. Learning causal implicit generative models with adversarial training [J/OL].arXiv:1709.02023 [cs.LG].[2022-12-10].https://arxiv.org/abs/1709.02023v2.
[51] BARRIO E,GAMBOA F,GORDALIZA P. Loubes JM. Obtaining fairness using optimal transport theory [J/OL].arXiv:1806.03195 [math.ST]].[2022-12-10].https://arxiv.org/abs/1806.03195?context=stat.
[52] KAMISHIMA T,AKAHO S,SAKUMA J,et al. Fairness-aware Learning through Regularization Approach [C]//2011 IEEE 11th International Conference on Data Mining Workshops.Vancouver:IEEE,2011:643-650.
[53] GRGIC-HLACA N,ZAFAR M B,GUMMADI K P,et al. Beyond Distributive Fairness in Algorithmic Decision Making: Feature Selection for Procedurally Fair Learning [EB/OL].[2022-12-16].https://mlg.eng.cam.ac.uk/adrian/AAAI18-BeyondDistributiveFairness.pdf.
[54] YAO S R,HUANG B. Beyond Parity: Fairness Objectives for Collaborative Filtering [C]//Proceedings of the 31st International Conference on Neural Information Processing Systems.Long Beach:Curran Associates Inc,2017:2925-2934.
[55] DU M N,YANG F,ZOU N,et al. Fairness in Deep Learning: A Computational Perspective [J].IEEE Intelligent Systems,2021,36(4):25-34.
[56] BEUTEL A,CHI E H,CHENG Z Y,et al. Beyond Globally Optimal: Focused Learning for Improved Recommendations [C]//The 26th International Conference.International World Wide Web Conferences Steering Committee,Perth:International World Wide Web Conferences Steering Committee,2017:203-212.
[57] KAMIRAN F,CALDERS T. Data preprocessing techniques for classification without discrimination [J].Knowledge and Information Systems,2012,33(1):1-33.
[58] LI P Z,LIU H F. Achieving Fairness at No Utility Cost via Data Reweighing with Influence [J/OL].arXiv:2202.00787 [cs.LG].[2023-01-06].https://arxiv.org/abs/2202.00787.
[59] BIEGA A J,GUMMADI K P,WEIKUM G. Equity of Attention: Amortizing Individual Fairness in Rankings [C]//The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval.Ann Arbor:Association for Computing Machinery,2018:405–414.
[60] SINGH A,JOACHIMS T. Fairness of Exposure in Rankings [C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining.London:Association for Computing Machinery,2018:2219-2228.
[61] 徐冰珂.基于知识图谱的推荐系统公平性研究[D].成都:电子科技大学,2022.
[62] STECK H. Calibrated Recommendations [C]//RecSys' 18:Proceedings of the 12th ACM Conference on Recommender Systems.Vancouver:Association for Computing Machinery,2018,154-162.
[63] 石鑫盛,李云.公平性机器学习中基于分类间隔的歧视样本发现和消除算法 [J].中国科学:信息科学,2020,50(8):1255-1266.
[64] LI S Q,YAO L Y,MU S L,et al. Debiasing Learning based Cross-domain Recommendation [C]//The 27th ACM SIGKDD Conference on Knowledge Discovery and Data Mining,[S.I.]:Association for Computing Machinery,2021:3190-3199.
[65] 余力,杜启翰,岳博妍,等.基于强化学习的推荐研究综述 [J].计算机科学,2021,48(10):1-18.
[66] BURKE R,SONBOLI N,ORDONEZGAUGER A. Balanced Neighborhoods for Multi-sided Fairness in Recommendation [J/OL].arXiv:1707.00093 [cs.CY].[2022-12-20].https://arxiv.org/abs/1707.00093.
[16] BURKE R,SONBOLI N,ORDONEZ-GAUGER A. Balanced Neighborhoods for Multi-sided Fairness in Recommendation [C]//Proceedings of the 1st Conference on Fairness, Accountability and Transparency.New York:[s.n.].2018,81:202-214.
[67] BURKE R. Multisided Fairness for Recommendation [J/OL].arXiv:1707.00093 [cs.CY].[2023-01-05].https://arxiv.org/abs/1707.00093.
[68] 馬哲.多方参与者环境下的推荐算法与评价指标研究 [D].成都:电子科技大学,2022.
[69] PAN W S,CUI S,BIAN J,et al. Explaining Algorithmic Fairness Through Fairness-Aware Causal Path Decomposition [J/OL].arXiv:2108.05335 [cs.LG].[2023-01-05].https://arxiv.org/abs/2108.05335v1.
作者简介:喻继军(1984—),男,汉族,江西萍乡人,讲师,博士,研究方向:管理信息系统、数据科学、推荐系统;熊明华(1992—),男,汉族,湖南郴州人,讲师,博士,主要研究方向:系统工程、供应链竞合关系。