基于大数据的精准推送分类信息发布平台

韩雪松 林霞

摘要：目前校园内信息的交换方式主要依靠QQ群、空间动态、朋友圈等，这些方式在区域范围内会产生很多信息孤岛，信息分散、利用率低。分类信息发布平台通过网站、微信服务号、微信小程序等相关服务的部署，实现了失物招领、二手闲置信息、生活优惠信息和招聘信息的精准推送，极大地方便了用户对信息的获取。

关键词：分类信息发布;机器人;精准推送

中图分类号：G642 文献标识码：A

文章编号：1009-3044（2020）14-0086-02

1项目背景

大学区域内在学习资源交流、失物招领、生活信息交流等方面均有信息发布的需求，这部分信息流通主要是在QQ群、微信群、空间动态、朋友圈等平台，这种平台校内存在很多，就像一个个“孤岛”一样，导致信息分散，信息利用率低。并且现有平臺浏览麻烦，信息重复率高。所以需要串联“孤岛”实现信息整合共享，并通过各项技术：机器人服务、微信小程序及大数据技术的应用，将临沂大学区域分类信息实现价值最大化。

2关键实现技术

2.1大数据技术

平台将用户上传的数据或者通过机器人转发的数据等信息作为数据源导人到大数据重要的组成部分：计算层，在这里我们采用了Hadoop平台。Hadoop平台所包含的两大核心框架HDFS（分布式存储）和MapReduce（分布式计算）对于信息发布平台来讲，这两部分较为适合本项目信息整合的需求场景。具体体现在：Hadoop平台适应于一次写入，多次读取的场景，也就是数据复制进去之后，长时间在这些数据上进行分析。同时Hadoop平台还具有一大优势为高效性，这也是Hadoop平台的核心竞争优势所在。接收用户的数据请求后，Hadoop可以在数据所在的集群节点上并发处理。这无疑提高了对于信息处理的效率。当然它也存在一些不足，如在Mapreduce框架下，很难处理实时计算，作业都以日志分析这样的线下作业为主。但对于这样的信息发布平台所需要的需求来讲不会产生任何形象。

通过Hadoop平台对信息资源进行合理的分类整合后，会将信息内容整合到对应的模块，为此我们在信息发布平台设立了切合实际需求的一些信息展示模块。并通过机器人实时推送到有相关需求的群体当中去。

2.2反爬虫技术

分类信息发布网站有可能会遇到黑客爬虫进行的信息抓取盗用，市面上已有的反爬虫技术相对来讲比较完善了，传统反爬虫手段，像动态页面ajax请求，后台对访问进行统计，如果单个IP、session、userAgent访问超过阈值，予以封锁。平台在已有反爬虫的基础上在某些代码层增加SQL注入语句甚至XSS语句，使爬取的黑客爬虫数据库被强行删库或被我方getshell达到另类反爬效果。

2.3静态资源OSS存储

通过OSS存储技术将动态资源与静态资源分离，降低了服务器压力，也同时提高了用户的访问效率。通过对静态资源的OSS存储鉴权验证进一步增强了网站的网络安全防护能力，使得木马文件即使绕过防火墙上传到OSS服务器中也无法执行。

2.4技术架构前后端分离

为保证用户数据安全，提升大数据调用性能，降低维护成本方便多平台接入管理。平台采用前后端分离，解耦思想。前后端分离中，传输的是数据、Model。数据怎么展示，全部交给前端来处理，后端只负责提供数据。网页之间有各种跳转交互，在前后端分离中，跳转的页面控制全部是由前端来决定，跟后端完全没有关系，这也从根源上杜绝了一些前端逻辑漏洞造成getshell的情况。管理上只要做到前端后端一起鉴权，Node层校验登录态，后端校验登录态，同时后端校验数据归属，这几个层面就基本上能够保证系统的软件层安全，再将后台管理服务器与数据库分离，通过IP归属校验与强规则权限限制，可以保证程序数据的安全。

2.5机器人推送

通过QQ机器人功能，联合平台大数据分析中心将用户与多个孤岛平台串联，让用户通过与QQ机器人对话的形式参与平台的使用，增加用户便利性。QQ机器人通过酷Q调用安卓QQ协议登录，并通过HTYP和WebSocket对酷Q的事件进行上报以及接收请求来调用酷Q的DLL接口，实现平台一系列架构功能。

3平台的设计与实现

3.1微信服务号

针对用户行为分析，发现在微信公众号中打开这种方式相对于大众来讲更容易接受，免去程序安装的麻烦。微信服务号也作为自媒体平台运营的阵地之一，通过高质量文章对平台进行引流。通过微信服务号用户可以无感知微信登录，并且可以收到来自微信公众号的最新消息推送。

3.2分类信息网站

信息发布平台的网站，设置了不同的信息类别模块，包括生活优惠信息、闲置信息、招聘信息以及租房信息等。不同的模块的区分对不同信息进行整合。

通过分类信息发布平台可以一键发布需求或一键发布供应信息，供求信息发布后在大数据模块的响应分析后自动生成最优解推送，以供用户选择。在分类信息发布平台上用户发布信息后，对相关信息感兴趣的用户即可发起线上咨询，最新消息提醒将通过微信公众号发布提醒消息，如图1所示。

3.3推送机器人

以用户为中心、满足用户正向需求为原则，我们开发了针对信息发布平台的推送机器人。它可以实现信息的精准推送与校内分类信息孤岛平台的联结。也可以实现快速的信息上传，如图2所示。

通过与QQ机器人直接沟通交流可以获得平台最新信息以及所需的最优方案解决方法，使用的方法也很简单，添加其好友或者加入机器人所在QQ群即可。

3.4小程序

在学校同学们对于失物招领的需求比较大，根据实际情况开发的临沂大学事物招领微信小程序，在功能上可实现对物品信息直接搜索查找，提高信息的利用率。

通过小程序来实现校内失物招领，用户在完善了资料之后就可以发布物品丢失或者捡到物品的信息，发布成功后将展示在首页，用户物品丢失后即可通过首页上方的搜索功能搜索到与自己相关的物品信息，并通过“联系我”功能联系物品发布者，如图3所示。

4平台的优势

项目在传统分类信息的基础上大胆创新融人大数据思想，通过大数据+聊天机器人技术实现用户信息的精准有效交互，解决了传统分类信息的内容庞大繁杂，内容真实性不可保证的缺陷。将大部分的人为因素通过技术、创造合约执行自动化的条件，保证了分类信息平台诚信环境的构建。通过聊天机器人可将当前已有的大多数分类信息平台联结起来实现孤岛整合，信息共享。

用户习惯方面不可一蹴而就，文化认知方面更不是一朝一夕可以养成的。但大众习惯归根结底与大众性格相关。在没有国外交易文化的前提下想要让用户能够对产品产生依赖，就需要产品自身能否给用户带来足够的便利，平台大基于大数据与聊天机器人的结合就可以完美解决该问题，通过搜集用户行为信息形成的人物画像，可以实现信息精准推送，同时也实现了串联已有信息孤岛，整合信息发布类平台实现信息共享，且全程不会给用户在操作上带来任何其他的门槛，一切基于合约执行自动化的思想，无形中创造信息的价值。

将分类信息发布平台与自媒体形式一体化产业化，校园为特殊的用户群体范围，自媒体平台吸引学生流量从而吸引商家人驻与广告投放，配合做好网站文化，自媒体平台通过对产品的设计包装，投放进信息发布平台内，实现包装宣传、定位投放一体化、一条龙信息服务链。

依据功能优势与用户群体特点专注区域信息发布，国内已有的信息发布类网站因为资本运作问题、用户认知问题、用户交易习惯等问题，使得早已失去了原本c2c方向的分类信息发布方式。平台基于大学校园这一特殊用户群体实现的区域信息发布平台，正是由于区域性与大学生的诸多特性不会重蹈国内其他分类信息发布平台的覆辙，也能使精准投放功能更加优秀地实现。

5总结

新形势、新技术下分类信息参与到高校供求关系解决中来，为高校学生的生活带来了新的机遇，也出现了前所未有的挑战，为此，要结合大数据技术对信息分类推送进行深入研究，探索构建分类信息推送系统的具体途径，最终实现高校分类信息推送系统完成新的架构。