论电子商务平台个性化推荐的实现

顾徐斌

(上海市行知中学，上海 200431)

一、引言

随着后电商时代的到来，电商巨头将竞争火力集中于下沉市场，网络购物的普及率大大提升，成为了千家万户日常消费生活的标配。从数据来看，天猫“双11”活动销售额从2009年的5200万元增长到了2020年的4982亿元，增长了9581倍。2020年中国网民数量约为9.5亿，故仅考虑天猫这一家电商平台，网民人均消费就达到了524.42元，足以看出该市场的广阔。在供给侧改革的时代背景下，生产力已经不再是限制人们消费的关键因素。电商平台的消费者在产生购物需求时，面临的选择过多，反而难以寻找到自己需要的适合的商品，即产生了信息过载问题。

为了解决信息过载问题，提升用户的购物效率，电商平台均大力开发与迭代个性化推荐系统。电子商务个性化推荐系统就是根据用户的行为数据和兴趣模型，为用户提供可能符合他们需求的特定商品信息，提升用户购物体验的同时促进消费，为平台带来更大的经济效益。如果说，用户搜索商品是一种主动行为，那用户接受个性化推荐则是一种被动化的行为，源于用户被激发了弱化的、潜在的需求。需要关注的是，互联网虽然在技术上能够实现去中心化，然而电商巨头对流量入口的把持又重新塑造了一个中心化的世界，个性化推荐系统能够推动多样化的实现，使得更多小而美的商家能够被看见。总的来说，个性化推荐系统无论对消费者还是商家，都是有一定的积极意义和现实价值，故本文重点研究不同电子商务平台应用个性化推荐系统的现状以及异同点，试图挖掘出个性化系统还有待改进的部分，希望能够为个性化推荐系统的完善提出建议。

二、概念阐释

1.个性化推荐系统的概念

20世纪末Tapestry作为第一个推荐系统诞生，随着时代的飞速发展，现如今个性化推荐系统已经渗入到人们生活的点点滴滴，如短视频、电商平台等。不同的学术研究者也就个性化推荐系统给出了自己的看法。Resnick(1997)认为个性化推荐系统就是为网购平台上的消费者推荐适合他们的产品。朱岩(2009)认为个性化推荐系统是一种辅助工具，它帮助消费者减少检索所耗费的时间，以及帮助消费者更快地做出决定。蒲彬(2016)则认为个性化推荐系统是平台根据消费者的消费习惯、数据所得出的信息，再将此信息主动推送给消费者，帮助他们选取合适的商品。综上所述，目前学界并没有一个统一的定义，本文认为个性化推荐系统是基于消费者过往的消费记录、个人数据等，利用多种算法构建信息处理模型，从而主动为消费者提供符合他们需求的商品的一种系统。

2.个性化推荐系统的发展过程

个性化推荐系统是互联网和电子商务发展的产物，最早在1995年3月，卡耐基梅隆大学的Robert Armstrong等学者在美国人工智能协会上提出了个性化导航系统Web Watcher，但受限于技术，该系统的理论意义强于实践价值。由于技术的限制，主要还是停留在理论探讨阶段。21世纪初，Google创新性地提出了个性化元素，不再单一分析用户的搜索关键词，而是利用用户的浏览记录开展更加精确的分析。此后，个性化推荐系统逐渐成为业界和学术界的研究热点。2009年7月，北京百分点信息科技有限公司成立，其作为国内首个个性化推荐系统科研团队，构建了个性化推荐引擎技术与数据平台，汇聚一百多家知名电商及资讯类网站的信息，尝试为消费者提供实时的商品推荐服务。2011年9月，百度将推荐引擎与云计算共同作为互联网未来发展重要战略，强调个性化，此后个性化推荐系统才真正成为电商平台技术中的重要构成。淘宝、天猫、京东、小红书、苏宁易购、唯品会等电商平台，均推出自己的个性化推荐系统，并不断迭代发展。

三、电商平台个性化推荐系统的原理与价值

1.个性化推荐算法原理及分类

(1)基于内容的推荐

想要基于内容来推荐商品，首先给商品划分属性，然后根据消费者可能感兴趣的物品的属性特征，给消费者推荐同一类别的商品。从现实场景来看，当用户浏览了某一件休闲类女装，那么可以向其推荐其他的休闲类女装。当然在实际应用中，只根据内容类型进行推荐，会有一些片面与不妥，比如未考虑用户对于价格的敏感性、图像中的颜色等信息，无法对其进行详细地分类，有着很大的局限性，但基于内容的推荐仍然是一种基础且可靠的算法。

(2)协同过滤

协同过滤则是通过利用消费者的搜索记录，以及相似消费者的记录来向该用户推荐可能所需求的商品。协同过滤的核心是根据用户及相似用户喜好来推荐该消费者可能感兴趣的商品。对于同一类型的商品，不同消费者对其评价相一致，则被定为相似消费者，然后根据相似消费者对该商品评价的高低，从而决定是否推荐此商品给该消费者。协同过滤的优势在于当被分析及推荐的商品不存在明显的基于内容的分类、或者没有固定的评判标准时，能发挥出较好的推荐效果。同时，来自于相似用户群体的类似偏好时常在空间上具有聚集性特征，故也存在较为明显的即时性特征。其不足之处在于，若某个产品是最新上架的、没有积累足够的评论数据时，其初期的推荐效果就会存在较大的偏差[5]。此外，当某一产品的用户规模逐渐变大时，用户的成分越来越驳杂，衡量用户偏好的影响因素越来越多，反过来影响了面向最初精准定位用户的推荐精度，降低了用户体验。

(3)混合过滤

在个性化推荐技术腾跃式发展的十多年之间，不论是基于内容的推荐还是协同推荐算法，都存在各自的优势与局限性。尤其是当电商领域巨头的用户量达到了数亿的规模后，其面临的场景纷繁复杂，仅靠单一的推荐算法难以一次性解决所有的问题。因此，技术人员考虑将不同的算法组合起来，发挥不同算法各自的优势[2]。组合的基本思想分成3种：在协同过滤中加入基于内容的过滤，在基于内容的过滤中加入协同过滤，或者将两者整合到一个推荐系统中。实践当中，混合过滤大致可以分成加权式、切换式、级联式、合并式、特征组合、特征递增、元层混合等。目前各大电商平台的个性化推荐算法都是不同形式的混合算法，且随着用户反馈不断迭代更新。

2.电商平台个性化推荐系统的实际价值与实现

个性化推荐系统的价值可以从用户维度、产品维度和企业维度等多个角度来衡量。从用户维度，个性化推荐系统可以提高购物效率，帮助用户更快地找到自己感兴趣的商品；从产品维度，更好的用户体验则会带来更高的用户粘性，提升产品的活跃度和整体流量；从企业角度，用户的活跃度提升能够吸引更多卖家入驻，从而提升广告和佣金的收入。

四、不同电商平台的个性化推荐实例

1.拼多多

拼多多是一个以“电商+平台”为属性的平台，其挖掘出了下沉市场的巨大消费潜力，而从电商市场白热化的竞争中脱颖而出，跻身电商三大巨头之一。就其在个性化推荐领域的探索，其推出了所谓的“千人千面”，该系统大致经历了3个发展历程。第一阶段，“千人千面”考虑的因素包括商品类目和标题以及买家浏览记录，用以定向推荐和做重定向标签。第二阶段，在原先基础上增加了商品属性和用户兴趣点，表现在系统加强相似商品的推荐，此外从买家行为中提取兴趣点，定向推荐符合兴趣点的商品。第三阶段，拼多多全量开放最新客户标签库构成的DMP系统，目前人群常见标签包括人群属性、行业偏好、消费能力以及用户轨迹，并利用这些标签设置更加精细的价格段。此外，拼多多给了用户浏览、收藏、下单记录等动态标签更多的权重，而非不常改变的用户信息等静态标签，故其推荐系统能够保持较高的即时性特征。

2.小红书

小红书是由毛文超和瞿芳所创立的一个以记录生活方式为切入口的社交电商平台。由于其吸引了大量年轻人，成为一大流量入口，故启动电商模式仅仅五个月就突破了2亿元营业额，到2017年5月，达成了近2000亿元的惊人营收。在快速发展的过程中，小红书的个性化推荐系统也经历了不断的迭代过程，从最简单的GBDT模型演进到了包含了千亿参数的稀疏离散模型，包括GBDT+LR、GBDT+Deep&Wide等。同时小红书的瀑布流页面背后进行的是实时流计算，即根据用户对已曝光的笔记是否点击、是否点赞以及在该笔记页面的停留时长记录，反馈给LogServer(即日志服务器)系统，接着将数据接入到Kafka系统，随之展开数据计算，系统构建实时的初步用户/笔记画像，同时实时归因，再次导入LogServer系统进行分析，根据训练样本导入Hive系统所得出的模型训练作为参照，分析储存实时指标，在Clickllouse系统进行数据落地，画出最终的用户画像。因此，小红书的算法推荐以用户对笔记的消费行为为输入，再将计算结果输出，实时更新用户标签，为其推荐个性化的笔记。同时，预期模型与策略也包含在庞大的个性化推荐系统之中。当模型对象愈发庞杂时，小红书将线上服务器拆分成独立的集群，线下数据则通过Flink做实时的行为归因，从而使得运营成本和系统复杂度随之有所下降。

3.京东

京东的个性化推荐系统起源于2012年，开发了“看了还看” “买了还买”等版块，底层逻辑是简单的关联推荐，其准确程度并不是很高。到了2014年，京东顺应国内大数据的潮流，着手研发首页猜你喜欢、购物车猜你喜欢、免运费凑单等个性化推荐版块，在算法逻辑上逐渐向场景智能推荐过渡。从2016年至2017年，京东又推出了京东秒杀、智能卖场、陪伴计划、我的618好货、东家小院等多个类型的推荐，即不仅仅局限于商品，而是将其扩展到如活动、文章、清单等其他类型的个性化推荐。此外，京东还推出了所谓的多屏场景，以用户兴趣偏好为出发点，将推荐结果重新排序，便于用户使用。即使是看似简单的多屏整合，其背后涉及到了多种技术和复杂的计算能力，包括前端埋点、打造点击流系统、多屏行为信息手机、实时流计算等。经过了一系列整合和迭代之后，京东平台推荐系统业务架构包含系统架构、模型服务、机器学习、数据平台共4个部分。对于数据处理部分，包括离线数据预处理、机器学习模型训练，以及在线实时行为的接入、实时特征计算；对于推荐平台，它是用户和平台所推荐的个性化商品之间的交互，也是整个个性化推荐流程中的核心模块；在模型服务层面，其主要通过线下的算法训练，达到精确寻找个性化商品的目的；对于特征服务平台，通过提取用户与商品交互的场景特征，从而给推荐给该用户的个性化商品进行排序；而在线学习功能则是即时性更强的深度学习，是大规模的个性化推荐平台进行改进的主要方式。

五、电商平台个性化推荐面临的挑战和发展趋势

1.电商平台个性化推荐发展中的挑战

尽管个性化推荐系统正在快速地发展，但整个行业也面临着一定的瓶颈，其推荐效率和精度难以取得突破性的提升。该领域目前的主要挑战在于数据稀疏性、冷启动、大数据处理、社会化推荐等。

(1)数据稀疏性问题

随着时间推移，个性化推荐系统的规模也是越来越大，变量甚至达到数千亿的规模，但是用户与用户之间选择的重叠非常少。用户和商品关系之间可能存在的比例关系，也被称为稀疏度，其实是非常疏松的，因为单一用户在绝大多数变量上的取值均为0，只有购买过的商品才会取值为1，这也使得个性化推荐系统需要处理的数据矩阵是高阶稀疏矩阵。一般而言，数据的规模越大，商品稀疏度就越低，过滤便越来越困难。由此，绝大部分基于关联分析的算法的效果并不好。

(2)冷启动问题

对于任何个性化推荐系统来说，冷启动阶段都难以有很好的推荐精度。因为新用户罕有有价值的数据或行为信息，所以个性化推荐平台只能通过注册时填写的用户基本信息，如年龄、性别、居住城市、职业等，给出精确度较低的基本的商品推荐。然而，大多数新用户能给一个电商APP的时间是比较有限的，如果使用效果不达预期，则留存率会随之大大降低。

(3)大数据处理与增量计算

如今，一个电商平台能够提供的商品总数动辄几千万，乃至上亿。当涉及到如此大规模的商品、商品标签以及同样庞大的用户规模和实时产生的各类用户数据，如何在短时间内高效地处理这些信息成为了一个难题。一个可能的解决方案是设计增量算法，即当产生新用户、新商品和新的连接关系时，算法不再从整体上采集信息，而是从相连局部进行数据采样，从而降低计算量。

(4)有关社会化推荐

由大数据分析可知，大部分消费者相较于电商平台给出的个性化推荐商品，更希望听取并采纳来自好友的商品推荐。如果个性化推荐系统能够将社会关系考虑在内[6]，能够大幅度提高推荐的精确度。目前社会化推荐的发展方向也存在三种挑战：一是如何利用社会化推荐给出精确的商品推荐，二是如何在社交网络与个性化推荐系统之间建立更加有机的联系，三是道德风险。根据技术接受理论，部分消费者可能认为过于精确的个性化推荐涉及侵犯到自己的隐私，反而引发用户的抵触心理。

2.个性化推荐的发展趋势

大数据推荐及算法是有可拓展性的。目前各大电商平台的个性化推荐系统不仅数据量大，而且新用户新产品会不断进入系统，用户也会生产出新的浏览、收藏、下单、评论等动态行为数据。此外，用户除了会在购物环节有检索需求外，在金融理财、休闲娱乐等不同领域也有同样的个性化需求，因此在互联网世界的探索过程中会积累形成其他能够互补的数据信息[7]。电商平台数据有望和其他领域的数据进行整合，形成跨领域推荐，实现更完善的个性化推荐，故跨领域推荐成为个性化推荐系统的一大发展趋势。

六、总结

在流量时代，用户注意力是最为稀缺的资源，也是各大电商平台所争夺的重点。个性化推荐系统，通过给用户提供有可能感兴趣的商品，来实现提高用户留存率、活跃时间、下单金额的目的，因此受到了电商平台的广泛关注和更新迭代。当下商品规模，即使是同一类目的商品也有成千上万种，做到精确的个性化推荐难度不言而喻，未来个性化推荐系统可能会以更高频率的数据采集速度、更高效的算法模型、更多的数据来源，从而为用户提供更加精准的个性化推荐。