李娜 王少英
摘 要:近年来,随着“互联网+”招投标的快速发展,人们开始体会到了信息技術所带来的便利及快捷,同时也出现了一些新问题、新趋势。文章就目前招投标的现状进行分析,从系统的整体设计、数据爬取分析、数据存储、移动端开发、后台管理等几个方面进行展开阐述,并对平台在构建过程中面临的风险进行了探究。
关键词:互联网;招投标平台;构建
Abstract: In recent years, with the rapid development of Internet plus bidding, people begin to realize the convenience and speed brought by information technology, and also have some new problems and new trends. This paper analyzes the current situation of bidding, from the overall design of the system, data crawling analysis, data storage, mobile development, background management and other aspects, and explores the risks faced by the platform in the construction process.
1 概述
随着互联网技术、大数据技术的快速发展,招标采购业也有了创新性的发展,借助网络平台实现的新型招投标方式逐渐得到了应用。日本是世界上最早实现电子招投标的国家,随后美国、德国、加拿大等国家都推行了电子招投标的方式。我国从90年代中期开始,地方政府开始依托相关部门开设互联网门户网站。2017年,国家发改委等六部委发布《“互联网+”招标采购行动方案(2017-2019)》,并明确指出要实现互联网与招投标的深度融合。
基于新一代信息技术,实现互联网和传统招投标行业的融合,能够精准推送企业关注的招投标信息,使企业有的放矢,增加企业中标的几率。但在实际的运行过程中,目前的招投标系统逐渐显露出功能不完善、管理制度不健全等缺陷,这与我国的信息化设施建设、招投标的管理制度等有着很大的关系。
2 招投标存在的问题
2.1 文档归整方式不足
当前的招投标在文档归整方面有的是采用电子招投标平台,而有的还是采用传统的纸质方式进行。纸质的归档方式,势必要投入大量的人力、物力,极易造成资源上的浪费,不利于招投标行业的快速发展。在互联网时代,企业要转变观念,规范文档的管理要求,实现无纸化的招投标方式。[1]
2.2 系统功能不完善
受传统观念的影响,某些地区仍然采用传统的招投标模式,对电子招投标系统的应用还不够重视,导致招投标系统的功能不够完善。在互联网技术快速发展的今天,招投标系统的功能将严重阻碍招标采购业的快速发展。因此,应该根据时代的要求,加强招投标系统的建设,并不断完善系统的功能。[1]
2.3 没有健全的管理制度
当前的招投标在实施过程中,大多是委托第三方代理机构来进行的。某些代理机构的内部管理比较混乱,相应的管理制度不够健全,操作时缺乏相应的公平、公正、公开等原则。而且,在招投标代理机构中,某些工作人员的综合素质水平相对较低,也不能充分胜任招投标的代理工作,严重影响了招投标工作的正常开展。[2]
2.4 资源缺乏共享
在当前的招投标行业中,信息之间缺乏对接,尤其是不同地区的平台之间缺乏统一的数据标准接口以及资源共享。使得信息之间在传递时造成阻碍,企业可能因无法及时、准确的获取招投标信息而丧失良机,而招标单位也可能由于信息的传递问题失去优秀的合作企业。因此,在系统建设过程中,应该加强数据标准接口的统一性,实现数据资源的共享。[3]
3 平台构建原则
随着大数据技术的快速发展,产生了大量的数据。如何应对爆炸式的数据增长,对于企业及个人来说都是一项挑战。基于互联网平台实现招投标的应用,不仅能够顺应时代的潮流发展,而且能够提高企业的工作效率。
3.1 平台监管规范化
一个完善、健全的管理制度,能够促进规范化交易平台的建立。在平台构建过程中,要遵循专业化、市场化的原则,从社会需求出发,编制相关的规范性文件,并不断完善相关规定和细则。搭建规范化的监管平台,加大监管力度,实现一个公平、公正的交易环境,以促进招投标行业的健康发展。
3.2 信息资源公开化
借助互联网技术构建招投标平台,能够实现对信息资源的快速处理,并进行及时发布,确保了信息资源的时效性。利用网络平台对招投标信息的处理,提高了对信息处理的质量和效率,缩短了招投标的周期。同时,通过平台发布的招投标信息,能够实现信息资源的共享,促进了此项工作的公平、公正、公开性,杜绝了腐败行为的滋生,提高了政府工作的公信度。
3.3 减少成本
以较低的成本实现利益的最大化是所有工作的出发点,通过构建的招投标平台能够对信息进行较好的统计以及分析,并且便于保存,避免了传统纸质材料的失误、遗漏以及资源浪费,能够提高工作的效率。同时,借助网络平台实现的招投标,能够确保流程的正常运行,也降低了相应的投资成本及运行成本。[2]
4 招投标平台的构建过程
4.1 系统整体介绍
招投标平台是互联网思维和传统招投标业务融合的产物,基于新一代信息技术,围绕招投标过程提供信息聚合服务、信息推送服务,面向招标单位和投标单位提供招投标过程的增值服务,能够解决企业招投标过程中遇到的各种问题。
招投标平台主要分为面向终端应用的APP和后台管理支撑系统,APP应用能够提供招投标信息的查询、订阅和推送服务,面向注册用户主要提供招标信息之外的增值服务,如招标信息分析、招投标价格分析以及同类项目中标价格分析等附加功能,为投标企业和招标企业在制定招投标业务时提供参考。后台管理系统面向后台管理人员提供爬虫信息的配置、运行监控等功能,后台管理系统主要基于Hadoop平台,实现对爬取的海量数据的存储,基于开源Elasticsearch组件实现对海量数据的快速检索功能。此外,后台管理系统还提供算法中心功能,能够对招标信息和中标信息进行分析,为前端用户提供分析结果的输出。
4.2 数据爬取及数据解析
从海量的招投标网站抓取网站上发布的招标信息、中标信息等,不同的招标网站由不同的网站开发商建设,在技术上存在很大的差异。因此,在数据的爬取上,系统设计上需要考虑通用型和个性化定制的需求,对于通用的网站,可以通过配置URL地址和简单的规则实现网站信息的抓取;对于一些相对复杂的网站,系统需要提供自定义代码的方式实现对数据信息的抓取。
在对抓取网站的数据解析上,需要结合通过正则表达式提取项目的基本信息,进行数据的存储和展示,满足投标人订阅的需要。网站信息在爬取过程中,需要对网站的一些附件进行保存,同时保留原网页完整的URL信息。
4.3 数据标签定义
在大数据时代,数据呈现出海量化、多样化和价值化等特点,如何从海量的数据中获取并筛选出有价值的信息,是信息化的一大挑战。通过构建招投标数据的标签体系,能够支撑精准招投标信息服务。
从短期来看,能够对参与招投标的单位可能关注区域、招标类型(货物、工程、服务)、采购单位等一些事实标签进行定义,以实现招标项目名称的定制化查询。从中长期来看,单一的事实标签已经无法满足业务的发展,需要对招投标单位的属性及行为等抽象和聚类,通过剖析招投标的基础数据为招投标的项目和参与的人员贴上相应的总结概括性标签及指数,以实现更精确的匹配。同时结合招标文件的内容,提炼关键字形成个性化的标签,以满足用户更深层次数据应用的需求。
4.4 数据存储及检索实现
在平臺的构建过程中,主要面向互联网提供应用服务。一方面需要通过互联网抓取招投标的资讯信息,涉及到大量的结构化数据和非结构化的数据(如:招投标发布的附件信息等);另一个方面,招投标系统需要面向大量的用户提供信息检索服务,需要产生高并发的数据查询需求。
在结构化数据的存储上主要采用Mysql数据库,后续可以根据数据量和访问量的大小,对数据库实现水平和垂直切分;水平切分通过分库实现,垂直切分通过分表实现,通过增加数据库实例的数量,增加系统的承载能力和运行效率。对于非结构化数据,主要是招投标的文件,建议采用Hadoop的分布式文件系统实现。
4.5 移动端开发实现
移动端应用是面向终端用户的服务平台,在平台层面需要提供较高的安全性和健壮性。同时,还要兼顾用户体验、面向当前移动终端的多端要求,需要考虑适配型,即开发一次可以实现面向多端、多种类型的适配。在业务层面,平台可以为无注册用户、注册用户提供招标信息的查询、订阅、推送等功能,面向未来需要考虑平台的开放性,随着业务的发展,可以实现功能的快速扩充。
4.5.1 移动端开发框架
MUI是最接近原生App体验的前端框架,可以实现一套代码多个版本的发布。同时基于MUI的标准,增强移动开发使用的各种控件,能够实现标准化的输出,提升应用开发的效率。MUI框架配套Hbuilder的开发平台,采用IDE的方式进行编码设计,容易上手。自诞生以来,MUI受到了大多数互联网企业的青睐,当前的版本基本上可以满足商业应用的需求。
4.5.2 信息查询
用户登陆APP,会出现类似百度的搜索框界面,用户可以通过输入条件进行模糊查询。也可以通过系统提供的的引导式搜索功能,按照行业、金额、时间、地区、类型等属性进行模糊查询。
系统基于ElasticSearch提供信息查询功能,ElasticSearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎,它能使大量数据具有搜索、分析和探索的能力。利用ElasticSearch的水平伸缩性,能够使数据在生产环境变得更有价值。ElasticSearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到ElasticSearch 数据库中;再通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据;当用户搜索数据的时候,再根据权重将结果进行排名、打分;最后将返回结果呈现给用户。
4.5.3 信息订阅
信息订阅功能,是用户通过对信息的发布时间、地区、关键字等进行订阅设置,系统能够向用户自主推送符合订阅条件的招投标信息,大大节省了用户的时间以及精力。
在开发实现时,用户订阅功能通过采集用户的订阅需求,将相应采集到的关键字存储到后台系统中。系统后台启动线程,按照用户的订阅需求,定时进行匹配,对于匹配上的项目进行信息推送。信息订阅功能,主要由前端的H5页面和后台的服务系统实现,前端H5页面实现信息的展示、采集和提交,调用后台管理系统的服务接口,提供订阅信息到后台中。
4.5.4 信息推送
对于完成订阅的项目,用户可以设定推送的时间、推送的频次、推送方式等个性化的方式,从而为用户提供良好的用户体验。
信息推送功能,是根据用户订阅信息,将后台匹配的项目信息及时、准确的推送到用户的APP中。系统集成Quartz组件,在后台部署任务调度服务,通过调用ES的API接口,实现信息的高效检索,从而生成信息的匹配结果。通过推送组件,能够将匹配信息及时的推送到订阅者的手机中,让订阅者第一时间掌握所关注的项目信息。
系统集成个推的SDK,能够实现对终端信息的推送功能。个推是国内领先的推送技术服务商,主要提供消息的推送解决方案,能够帮助企业和开发者快捷高效地建立推送系统。通过高效稳定推送SDK,使APP快速集成云推送功能,免去自行开发成本,上手容易,且免费应用。
4.6 系统开发平台支撑及服务接口实现
系统采用Java的技术路线,并且面向互联网提供服务,需要保证应用系统具有较高的可靠性和健壮性,同时面向互联网海量访问的需求,在架构层面需要支持应用的横向扩展。移动APP和后台管理系统之间通过服务接口调用,需要考虑互联网环境带来的运行风险,平台层面需要做好数据的安全防护和访问认证。
系统采用Sping cloud框架进行开发,简化了分布式系统基础设施的开发,如服务发现注册、配置中心、消息总线、负载均衡、断路器、数据监控等。采用分层设计理念(数据访问层,业务逻辑层,展示层),层次清楚、低耦合,各层必须通过接口才能接入并进行参数校验(如:在展示层不可直接操作数据库),保证了数据操作的安全。
系统前后台服务接口都是采用restful web服务架构方式,使用HTTP作为通讯方式,报文格式为JSON,交易信息存放在http的请求体中。HTTP头部(header)中Content-Type属性需设置为application/json;charset=utf-8,accept-type属性设置为utf-8。
采用get、post提交方式,移动端采用rsa非对称加密认证形式,先使用系统的公钥对信息进行加密,然后使用系统设定的私钥对原始信息进行签名。后台管理系统使用私钥进行解密,解密后使用系统提供的公钥对传递信息进行验签。
5 招投标平台在构建过程中面临的风险
5.1 爬虫的技术风险
当前的爬虫是通过对网站URL和页面内容进行解析实现的,如果源网站发生改版或者规则进行了调整,会对爬虫任务的正常进行产生影响。因此,需要在技术层面做好防范工作,做好系统执行任务的隔离,不会因为个别网站爬取任务的失败而造成整体爬取的失败。另外,对系统增加详细的日志功能,做好运行状态的监控和预警防范,一旦出现异常可以第一时间进行修复。
5.2 数据所有权风险
招投标平台通过爬虫的方式,能够获取政府和企业招投标网站公示的招投标信息,这些信息的所有权尚未明确。将这些数据通过爬虫的方式获取并对外提供服务,会存在一些法律上的模糊地带,未来可能会存在风险。因此,平臺的运营方可以和政府、企业的招投标单位开展业务合作,通过正规途径获取招投标信息。平台以专业化的优势,将招投标的信息进行更大范围的发布,让更多的人员参与招投标的业务中,更好实现供需双方的匹配,实现各方的共赢。
6 结束语
随着信息技术的快速发展,基于互联网的招投标平台的构建得到了创新性发展。基于网络平台的招投标方式,可以方便人们对招投标信息的精准查找,实现对信息的自由订阅及消息的个性化推送。缩短了招投标时间,降低了各项资源的消耗成本,从而实现了绿色采购。另外,基于互联网的招投标平台,对于时空的约束性也比较低,大大增加了投标方参与竞争的机会,便于实现招投标的良性竞争,保障了招投标的公平性、公正性、公开性。
参考文献:
[1]黄炜.“互联网+”时代招标采购业的创新与发展研究[J].全球流通经济,2018(9):28-29.
[2]刘忠明.基于互联网的政府电子采购招投标平台的构建[J].通讯世界,2017(10):270-271.
[3]张远.论电子招标与传统招标[J].中外企业家,2020(2):122-123.