基于RPA技术的优惠商品信息实时收集平台研究

黄英迪 陈立涛 梁通达

收稿日期：2023-08-11

基金项目：2022年自治区级大学生创新创业训练计划立项项目（S202210595354X）

DOI：10.19850/j.cnki.2096-4706.2024.07.028

摘  要：随着电子商务的蓬勃发展和各种购物平台的涌现，商品信息的数量和种类呈现爆炸式增长，给用户带来了巨大的信息搜索压力。面对海量的商品数据，用户在网购时获取商品信息的效率不高，并在比对商品价格时耗费大量的精力，为此文章提出一种基于RPA技术的优惠商品信息实时收集平台，采用RPA机器人流程自动化技术实时抓取各个购物平台的商品信息（价格、优惠信息和用户评价等），并进行信息整合和数据可视化，从而为用户提供更多的选择和参考，帮助他们做出明智的购物决策，极大地提升了用户的购物体验和满足感。

关键词：RPA；优惠商品信息实时收集平台；流程自动化；购物决策

中图分类号：TP242.6；TP399 文献标识码：A 文章编号：2096-4706（2024）07-0136-05

Research on Real-time Collection Platform for Preferential Product Information Based on RPA Technology

HUANG Yingdi， CHEN Litao， LIANG Tongda

（School of Computer and Information Security， Guilin University of Electronic Technology， Guilin  541004， China）

Abstract： With the booming development of E-commerce and the emergence of various shopping platforms， the quantity and variety of product information are showing explosive growth， bringing huge information search pressure to users. Faced with massive product data， users have low efficiency in obtaining product information during online shopping and spend a lot of energy in comparing product prices. Therefore， this paper proposes a real-time collection platform for preferential product information based on RPA technology. RPA robot process automation technology is used to capture product information （price， preferential information， and user feedback） from various shopping platforms in real time， and information integration and data visualization are carried out， thus providing users with more choices and references， helping them make wise shopping decisions， which greatly enhances their shopping experience and satisfaction.

Keywords： RPA; real-time collection platform for preferential product information; process automation; shopping decision

0  引  言

在当今海量数据的时代中，人们面临着一个普遍的问题：如何快速、准确地找到自己所需的优惠商品信息。虽然市场上已经存在一些商品信息收集平台，但仍然存在着信息获取效率低、数据不准确、用户体验欠佳等问题。针对上述问题，本论文提出了基于RPA（Robotic Process Automation）技术的优惠商品信息实时收集平台。相比于传统的手动方式，RPA技术可以通过模拟人类使用浏览器或相关应用程序的行为来获取目标网站或平台的商品信息，具有高效率、低成本、高精度等诸多优势，从而提高用户的购物体验，为用户提供更加便利、高效的商品信息搜索服务，并为商业应用创造可观的价值。

1  研究背景

2023年第51次《中国互联网络发展状况统计报告》显示，一方面，截至2022年12月，我国网民规模达10.67亿，较2021年12月增长3 549万，庞大的网民规模为推动我国经济高质量发展提供强大内生动力；另一方面，我国互联网普及率达75.6%，形成全球最为庞大、生机勃勃的数字社会[1]。

随着中国互联网发展的不断壮大，电商平台也逐渐分散化，电商的购买入口越来越多。为了扩大商品销售渠道和获取最大利益，商家大多会在多个电商平台中开设店铺并销售商品，这时就会出现同一商家的某一商品在不同的购物平台上的价格存在一定的差异。对于消费者来说，面临的选择多种多样，从而在购物前查看历史价格走势，比较其他商城的价格就成为必走流程，由此电商导购的市场也逐渐扩大起来。

基于此市场背景，本团队借助RPA技术进行商品数据爬取，探索出了一条类似推广软件的道路，促使了优惠商品信息实时收集平台的诞生和发展，旨在帮助消费者快速比较心仪商品在不同平台上的价格，并提供详细的商品信息和用户关注度分析，以辅助用户做出明智的购物决策。未来，随着RPA技术的不断发展和创新，该平台将进一步提升用户体验，并为商家和电商平台提供更多商业价值和合作机会。

2  RPA技术

2.1  RPA技术的概念

RPA（Robotic Process Automation）是一种新型的人工智能的虚拟流程自动化。 进行重复性、低价值、无须人工决策等固定性流程化操作，从而有效提升工作效率，减少错误，其可实现多端软件的自动化流程控制[2]。

自动化流程技术（RPA）通过模拟人类操作并记录用户在计算机上的行为，可以实现各种任务，如数据录入、邮件收发等。它使用鼠标键盘命令和系统调用来完成这些任务，并遵循约定的规则[3]。RPA技术能够在计算机上自动进行数据采集、文件上传和下载、图像识别、文本处理以及数据加工和分析。此外，它还能够管理和监控流程，并输出和反馈信息[4]。总体而言，RPA提供了一种低错误率、高合规性和高效率的解决方案。

2.2  RPA技术的特征

2.2.1  基于规则且流程固定

RPA技术通过执行基于规则的固定流程来完成工作，只需按部就班地点击按钮或进行其他机械化操作即可。虽然目前的RPA技术仍需要人工干预，并遵循预先设定的规则，但它通过记录人类操作行为并模拟这些行为（如鼠标点击、数据录入、应用程序触发和调用等），取代了重复且耗时的业务任务[5]。尽管RPA无法完全摆脱人工参与，但它能显著提高业务流程效率，减轻人工工作负担。在此过程中，RPA机器人始终执行着固定流程中的规则操作，并以高效、精确的方式完成工作。

2.2.2  跨系统且无接口

RPA技术具有跨系统和无接口的特性，被称为“非侵入性”[6]。这种技术可以轻松地集成到多个系统平台中，而无须改变企业原有的信息系统架构。通过抓取界面元素和自动化操作，RPA机器人能够实现在不同系统之间获取和写入数据，而无须依赖接口。它通过模拟人类操作行为，例如点击按钮、填写表单等，与系统进行交互并完成任务。这种无接口的特性使得RPA技术能够快速部署和应用于各种系统环境中，节省了与系统集成相关的开发和维护成本。

2.2.3  全天候且不间断

RPA机器人无须休息，能够实现7×24小时高效自动化处理大量重复性任务[7]。这种特性减轻了企业员工的工作压力，并使工作更加高效。RPA机器人能够在几个小时内完成那些人工操作需要一整天才能完成的任务。同时，RPA机器人严格遵循事先设定的规则进行业务操作，不会因为长时间工作而导致疲劳或错误的发生，为高质量工作提供保障。

2.2.4  自动化重复任务

RPA技术能够自动执行高度重复且低附加值的任务，从而显著提高工作效率。大规模的重复性任务往往乏味且容易出错，而RPA机器人可以高效、准确地完成这些任务，从而降低了错误风险。通过使用RPA机器人处理大批量的重复性任务，可以减少错误的发生，提高工作效率，并节省员工的时间和精力[8]。这使得员工能够将更多的时间和注意力投入到需要创造性思维和决策的高价值任务上，进一步提升了工作的满意度和贡献度。

2.2.5  灵活可扩展

RPA技术的可扩展性和灵活性对于高效自动化解决方案的实现起着关键作用。首先，RPA能够无缝集成各种系统和应用程序，对多样化的任务和流程提供支持。无论是简单的、重复性的任务还是复杂的业务流程，RPA都能够适应并快速处理。其次，RPA机器人具备快速调整和扩展的能力[9]。随着业务需求的变化，企业可以迅速修改和优化RPA流程，以适应新的挑战和机会。与传统的软件开发相比，RPA的灵活性使得企业能够更加敏捷地响应市场变化，并在竞争中保持竞争优势。此外，RPA技术的可扩展性也为企业提供了良好的发展空间。无论规模扩大还是业务变化，RPA都可以通过添加新的机器人或扩展现有机器人来满足需求。

RPA机器人流程自动化的特征如图1所示。

3  RPA技术的应用

依托RPA技术流程自动化、能够跨系统操作、7×24不间断工作等优势特征，优惠商品信息实时收集平台运行Python执行脚本来爬取商品优惠信息，使用其可视化流程控制视图以实现对流程机器人的调度与功能控制，并通过平台提供的数据可视化视图分析等功能实现对虚拟信息的初步管理。相较于传统的爬虫发送大量的http请求获取网页信息，RPA通过模拟人工手动操作键盘和鼠标，自动不间断地进行信息爬取[10]。一方面，不易被大型网站的反爬虫机制所侦测，从而无障碍的获取到所需的数据；另一方面，自动化爬取商品信息实现了平台数据的实时更新，保证用户获取最新最全信息。而且，相比于传统的脚本获取方式能更好地获取各种网址上的商品信息与原购物网站的链接，对服务器造成的负担较小。因此，RPA技术在平台的开发和运维中具有不可或缺的地位，以下为其在优惠商品比价平台中的具体应用。RPA技术在平台中的具体应用图如图2所示。

自动化商品信息的抓取过程，使得数据的获取更加快速和准确。相比传统的爬虫技术，RPA通过模拟人工手动操作键盘和鼠标来进行信息抓取，能够应对大型购物网站的反爬虫机制，并且不会给服务器带来过大的负担。这意味着平台可以实时地获取最新的商品信息，保证用户所看到的数据是最准确和及时的。

平台对采集到的商品信息进行价格比较和优惠分析，将不同平台的商品价格、优惠幅度等关键信息进行对比，生成详细的比价报告。用户可以根据自己的需求和偏好，在报告中找到最适合自己的商品选择。

平台根据用户的浏览历史和搜索记录，对商品进行关注度分析。通过统计用户对不同商品的点击量、收藏量等指标，为用户提供个性化的商品推荐和热门商品排行榜，帮助用户更快速地找到感兴趣的商品。

平台通过图表、报表等方式将商品价格走势、优惠幅度等信息进行可视化展示，用户可以直观地了解商品的价格波动和优惠情况。同时，平台还提供对虚拟信息的初步管理，方便用户自定义筛选条件和排序方式，进行更精准的商品搜索。

实现多平台的数据整合。通过RPA技术获取来自京东、天猫商城、拼多多、苏宁易购、唯品会、考拉海购等多个购物平台的商品信息，平台可以提供一个统一的界面，让用户能够方便地对不同平台的商品进行比较和选择。这样，用户无须在不同平台间来回切换，节省了时间和精力。

可扩展性和灵活性使得平台能够适应不断变化的市场需求和规模扩展。随着用户量的增加和新的购物平台的引入，平台可以通过增加更多的机器人来提高系统的处理能力，确保平台的稳定性和响应速度。同时，RPA技术还可以与其他系统和应用程序进行无缝集成，为平台的功能拓展提供更多可能性。

结合智能算法和推荐系统，为用户提供个性化的推荐和建议。通过分析用户的购物记录、喜好和行为模式，平台可以利用RPA技术实时抓取合适的商品信息，并根据用户的偏好和需求进行个性化的推荐。这样，用户可以更加精准地找到符合自己需求的商品，提高购买的满意度。

4  平台核心功能设计与实现

优惠商品信息实时收集平台的设计开发目的是减少用户在选择商品时在多方平台进行商品信息获取以及对商品的价格和品质比较时花费的时间和精力，从而提高用户的购物的准确性和便捷性。通过该平台，用户可以查看平台推送的个性化商品信息以及商品热销排行榜，同时，用户也可以查看商品的近期价格趋势图，便于用户对于最新的商品价格进行一目了然地查看。该平台的功能主要由三大核心模块实现：数据爬取、数据分析与清洗、数据可视化展示。

4.1  RPA数据爬取

在RPA平台中，使用中文脚本对京东、天猫商城、拼多多、苏宁易购、唯品会、考拉海购、途虎养车等多个平台的优惠商品以及什么值得买的网站做文本分析，针对性的使用脚本爬取数据，同时运行多个脚本，多个脚本能够同时执行且不冲突，针对一些网站的规律，如图3所示。

图3  京东秒杀的活动页面

为了在京东秒杀中获取最新的商品信息，对平台设计了定时任务，每2小时进行一次数据爬取。同时，平台还实现了对已获取数据的去重处理，确保数据的准确性。爬取到的数据将被存储到Excel表格中，然后通过Easyexcel插件读取数据，并缓存并导入到MySQL数据库中。MySQL将作为主要的数据存储介质，使用Spring Boot和MyBatis从MySQL中读取数据，并将其存储到Elasticsearch中，以便更高效地检索和查询数据，确保获取到最新的商品信息，并且能够高效地存储和检索这些数据。

4.2  数据的分析与清洗

基于RPA开发平台进行代码开发，将每个购物平台作为一个组件，根据每个购物平台的不同结构进行编码，爬取商品信息并写入至同个Excel文件中。由于每个购物平台的商品信息格式各异，爬取的数据格式也各不相同，因此需要对初步爬取的数据进行分析和清洗，得到结构化的数据，并根据展示需要存储在不同的Excel文件中。最后为了前端页面数据的展示，需要编写组件将Excel文件的数据导入至云数据库中。完成所有组件的开发之后，通过图形化的流程，将所有组件串联起来，按照一定顺序执行，最终就完成了该模块的开发。在RPA开发平台部署功能模块后，通过接口调用的方式与Web页面实现功能模块调用以及数据传输，从而实现数据的可视化展示。

4.3  数据可视化展示

图4为主页界面展示用户所感兴趣的商品轮播图，用户可以通过点击页面大屏，进入具体的商品信息页面，深入了解每个商品的详情。这种设计方式旨在为用户提供更直观、便捷的浏览体验，方便他们快速获取所需信息。

图5为商品信息展示页面提供了多个平台的商品数据，用户可以查看来自不同平台的商品信息，能够比较不同平台上同一商品的价格、评论和其他相关信息，帮助用户可以更全面地了解商品的市场情况，并做出明智的购物决策。

图6为热销排行榜页面展示当前最受欢迎和畅销的商品信息。该页面根据销售量、用户评价和关注度等因素，将商品进行排名，以便用户快速了解当前市场上最热门的商品。用户可以在排行榜页面上查看每个商品的详细信息，并根据排名情况做出购买决策。

图7为商品具体详情页，提供了商品的基本信息，包括商品名称、描述、规格等，帮助用户更全面地了解商品的特点和属性。该页面显示了商品在不同平台上的价格历史趋势图，以帮助用户了解商品价格的波动情况，把握商品价格的走势，做出更明智的购买决策。此外，平台还提供价格的实时监控数据，可以使用户实时获取商品价格的变化情况，可以及时把握商品的最新价格，从而选择最合适的购买时机。

5  结  论

本文设计的优惠商品信息实时收集平台利用了RPA技术自动化运行的独特优势，通过实时收集各个购物平台的商品信息，并利用比价分析和用户关注度等功能，减少用户在多个平台获取商品信息时所花费的时间和精力，从而为用户购物提供更加便捷的服务，为商业应用创造可观的价值。

未来，随着人工智能技术的不断发展，RPA优惠商品比价平台有望在更多领域得到应用。例如，结合自然语言处理和机器学习技术，为用户提供更精准的商品推荐；引入区块链技术，确保数据的安全性和可信度；拓展平台的合作伙伴，增加更多购物平台的支持等。这些发展将为用户提供更便利、高效的商品信息搜索服务，同时为商业应用带来更广阔的市场前景。

参考文献：

[1] 中国互联网络信息中心.CNNIC发布第51次《中国互联网络发展状况统计报告》 [J].互联网天地，2023（3）：3.

[2] GUPTA S，RANI S，DIXIT A. Recent Trends in Automation-A Study of RPA Development Tools [C]//2019 3rd International Conference on Recent Developments in Control，Automation & Power Engineering（RDCAPE）.Noida：IEEE，2019：159-163.

[3] 程平，邓湘煜.RPA财务数据分析机器人：理论框架与研发策略 [J].会计之友，2022（13）：148-155.

[4] 陈虎，孙彦丛，郭奕，等.财务机器人——RPA的财务应用 [J].财务与会计，2019（16）：57-62.

[5] 司玉涛.基于RPA的HB公司财务共享服务中心业务流程优化研究 [D].邯郸：河北工程大学，2022.

[6] 王学平，李长春，毛玲燕.基于RPA的应用交付能力研究与实践 [J].冶金自动化，2023，47（S1）：592-595.

[7] ZHAO C H，QIAN Q，XUE J R，et al. Design and Implementation of Enterprise Sensitive Information Monitoring System Based on RPA [C]//2023 5th International Conference on Communications， Information System and Computer Engineering （CISCE）.Guangzhou：IEEE，2023：263-267.

[8] 田高良，陈虎，郭奕，等.基于RPA技术的财务机器人应用研究 [J].财会月刊，2019（18）：10-14.

[9] LUBIS L S，SEMBIRING D E. Driving Digital Transformation： Leveraging Robotic Process Automation（RPA）to Enhance Business Process Efficiency and Reducing Manual Errors [C]//2023 IEEE International Conference on Data and Software Engineering（ICoDSE）.Toba：IEEE，2023：91-95.

[10] 秦海波，曹莉，叶宜修，等.RPA流程自动化技术分析 [J].自动化技术与应用，2022，41（5）：1-3+25.

作者简介：黄英迪（2002—），女，汉族，山东临沂人，本科在读，主要研究方向：件项目开发与管理；陈立涛2002—），男，汉族，广东汕头人，本科在读，主要研究方向：大数据与区块链技术；梁通达（2000—），男，汉族，广西南宁人，本科在读，主要研究方向：Web前端开发。