智能招投标资格预审技术的研究与应用

候小虎，高晋凯，冯雷，高瑜，于嘉，赵雪松

(国网山西省电力公司物资分公司(国网山西招标有限公司)，山西 太原 030001)

当前，我国经济正处在转变发展方式、优化经济结构、转换增长动能的攻坚期。党的十九大报告提出，“必须坚持质量第一、效益优先”。作为关系国家能源安全和国民经济命脉的国有重点企业，建设坚强智能电网、打造安全可控的新一代电力系统是国网公司发展的固本之要。设备质量是电网安全稳定运行的物质基础，“选好选优”设备是实现质量强网、推动发展质量转型的关键。

为进一步提升物资采购质量关的把控，提高采购效率效益，压减供应商数量、优化供应商群体结构，持续推动电网设备迈向中高端。国网公司组织开展联合资格预审工作，此项工作为全国网系统首例，没有实施模式及经验可寻，且资格预审工作涉及标段、厂家众多、供应商应答水平参差不齐，同时评审过程需要生成大量的工作表格，所有环节主要依靠人工操作，存在工作量大、工作效率低、追溯效率低、数据利用率低等问题，而且极易出错，资格预审工作期待信息技术来辅助人工作业，从而寻求一种更快捷、准确、高效、有迹可循的方法完成繁重而重要的资格预审工作。

图1 目前难点Fig.1 Current dilemma

国家电网公司已在各个领域均采用信息化工具和手段来辅助工作，并且取得了突破性的进步和改善。为了进一步深化计算机辅助工具应用，充分发挥信息技术在资格预审工作中的支撑作用，提出了基于大数据智能分析技术[1]的全流程资格预审智能评审平台，以提高招标采购工作效率，提升公司物力标准化、集约化管理水平。

1 资格预审评审中存在的问题及解决思路

1.1 资格预审评审工作中目前存在的困难

挑战一：招(投)标数据海量，物资信息高效甄别困难。

2017年配网设备协议库存资格预审变压器类共有24家省公司参加，资格预审申请人有500余家，共接收资格预审文件正本、副本、U盘文件各1200余份(按标段)，资格预审文件光盘10087份(按网省)，评审过程中，共形成2989条资格预审文件否决单，阅标记录表一总体信息汇总表有69列5065行数据，阅标记录表二型式试验报告统计表21列11471行数据，96份合格名单，显然以传统方式，对海量的招(投)标数据进行收集、分类、编码、挖掘，难以在一个相对较短的时间内有效完成。

挑战二：评审标准规则复杂，评标专家精准画像困难。

为保证评标过程的公正、公平、公开，资格预审评审中制定了详细的评审规则，将国网标准化成果、反措要求、行标、国标等要求均细化应用具体工作中，并且将配网设备分级分类技术规范固化至系统中，评审标准涉及各类设备关键技术参数，这就要求专家有较高的业务水平和实际能力，如果评审标准评判尺度不一，就会导致评审结果有失公允。

挑战三：参考准则多样，供应商优选科学决策困难。

借助数理统计分析模型实现评标定标过程的辅助决策是物资采购科学决策的主要方向。但电力物资采购招标，涉及技术、商务和价格，在物资供应商的选择时，既包含一定的定量因素，同时还包括诸多定性因素。定性指标难以量化造成传统基于优化的决策方法不再适用，包含定性和定量指标的混合决策定标方法却难以保证评标结果的一致性。

综上可知，资格预审中招(投)标数据海量、评审标准规则复杂、定标准则多样等问题给评审工作带来了多方面、多层面的挑战。衍生出的问题具有领域相关性，又有多学科交叉性。为此，需立足电力行业特点，借助智能数据处理领域最新研究成果，以全视的视角探索资格预审科学决策的新理论与新方法，推动资格预审工作的科学发展与应用。

1.2 大数据智能分析技术的优势

大数据智能分析技术是预测分析、数据挖掘、统计分析、人工智能并行计算、数据存储等技术的综合运用，其能够准确快速地处理海量数据信息，并能够将大数据中隐藏的信息和知识挖掘出来[2]，支持商业决策和事务决断，是当前智能信息处理领域研究和工程应用的热点。

1.2.1 利用大数据智能分析技术是电力物资采购
决策中的客观需求

电力物资采购中，涉及计划申报、计划审批、招标采购、评标管理、专家管理、供应商评价等不同的业务环节，每项关键业务环节都产生大量复杂数据，且具有以下3个明显特点:(1)数据海量，数据处理时效性要求高，传统的数据分析和处理技术难以满足技术；(2)数据异构，数据格式类型众多，传统的数据分析和处理技术难以同时处理电力物资采购中产生的结构化、半结构化、非结构化数据；(3)电力物资采购涉及资产巨大，通过数据分析可提高电力物资采购效益，存在着较大的经济前景。上述特征使电力物资采购中运用大数据分析与处理技术成为迫切需求。

1.2.2 利用大数据智能分析技术是电力物资采购
决策的必然选择

大数据分析与处理技术为电力物资采购智能决策提供了参考手段，如通过招标分包策略分析和评标方法分析，可确定最优的分包策略和评标方法；通过供应商投标行为分析，根据供应商投标历史行为判断疑似违规现象，可为围标、串标行为提供预警判断[3]；通过评标专家综合评价，可为评标专家的抽取提供依据，等等。通过对电力物资采购各阶段数据的挖掘、利用，可为电力物资采购科学决策提供辅助，进而提高物资招标采购质量和效益。

大数据分析与处理技术实现了对数据的高效处理和智能分析[4]，鉴于资格预审评审工作面临的海量数据处理、大量报表分析、规则设置复杂等问题，提出了以大数据智能分析技术为手段，辅助资格预审评审工作，对于提高资格预审工作质效，确保“选优选好供应商”具有十分重要的意义。

2 基于大数据的智能招投标资格预审技术

2.1 业务功能架构

图2 业务功能架构Fig.2 Business function architecture

(1)平台遵循JavaEE技术规范，采用组件化、动态化的软件技术，利用一致的可共享的数据模型，以提高平台的灵活性、可扩展性、安全性及并发处理能努力。

(2)平台按照多层架构体系，将界面控制、业务逻辑和数据映射分离，实现平台内部的松耦合，以快速、灵活地适应业务变化对平台的需求。

(3)平台层次结构总体上划分为基础支撑层、应用支撑层、数据层、业务层及服务层。通过各层次系统组件间服务的承载关系，实现平台功能。

2.2 大数据分析平台

在物资采购招投标过程中势必产生大量的过程数据，面对海量的各种来源的数据，如何对这些零散的数据进行有效的分析，是业务开展价值提升的关键。

大数据分析处理平台就是整合当前主流的各种具有不同侧重点的大数据处理分析框架和工具，实现对数据的挖掘和分析，一个大数据分析平台涉及的组件众多，如何将其有机地结合起来，完成海量数据的挖掘是一项复杂的工作。

本文采用的主流的Hadoop混搭架构。

图3 Hadoop混搭架构Fig.3 Hadoop mixture architecture

通过Kafka开源流处理平台作为统一采集平台的消息管理层，灵活的对接、适配各种数据源采集(如数据库表、合同资质等电子文档、Excel表单、Word投标文件、html网站页面)，提供灵活、可配置的数据采集能力。

利用Spark和Hadoop技术，构建大数据平台最为核心的基础数据的存储、处理能力中心，提供强大的数据处理能力，满足数据的交互需求。同时通过Sparkstreaming，可以有效满足项目实时数据的要求，构建企业发展的实时指标体系。

同时为了更好地满足数据获取需求，通过RDBMS，提供项目高度汇总的统计数据，满足项目常规的统计报表需求，降低使用门槛。对大数据明细查询需求，则通过构建HBase集群，提供大数据快速查询能力，满足对大数据的查询获取需求。

ETHINK数据智能分析平台，包含大数据存储与集成、大数据可视化、大数据自助分析、大数据挖掘、人工智能等核心技术，采用了分布式内存计算技术以及精心优化的分布式数据挖掘算法。高性能计算引擎，是列存储、分布式计算、内存计算引擎，具备处理TB级数据的快速查询与计算能力[5]。

2.3 基于粗糙集理论的数据建模与决策分析方法

本文采用基于粗糙集理论的数据建模与决策分析方法解决实际评标定标过程中，一些指标不能在统一的框架下量化容易导致结果出现偏差的问题。

2.3.1 乐观多粒度粗糙集

在多粒度决策过程中，本项目重点考虑两种策略，一种是“求同存异”，一种是“求同排异”。求同存异的策略是指，每个决策者根据自己的粒空间进行决策，而不是反对其他决策者所给出的粒空间决策，是一种乐观的决策策略。“求同排异”策略指的是：所有决策者使用共同满意的方案进行决策，而存在分歧的方案则不能用于决策，是一种悲观或者保守的决策策略。基于“求同存异”策略建立一种相应的多粒度数据建模方法，称为乐观多粒度粗糙集，并且假设论域U是一个有限非空集合[6]。

2.3.2 Pawlak粗糙集理论

在信息系统中，假设U/A是一个由属性集合A诱导的U的划分，[x]p是包含x∈U的等价类。

在Pawlak粗糙集理论中，若x⊆U，则X的下近似分别定义为：

(1)

(2)

(3)

为了度量粗糙集的近似进度，Pawlak定义了一个比值：

(4)

称该比值为由U/A近似表示X的精度。近似精度不仅依赖于X的下近似，而且依赖于X的下近似。

给定两个属性子集P和Q，Q关于P的近似质量(也称为依赖度)定义为：

(5)

在粗糙数据分析中，关于条件属性B⊆AT在决策属性D的重要性度量定义为γ(AD,T)-γ(AT,D)。特别的，当B={a},γ(AT,D)-γ(ATD)表示α∈AT关于D的属性重要度[7]。

设S=(U,AT,f)是一个完备信息系统，A,B⊆AT是两个属性子集，若X⊆U，则有

(A+B)0(X)⊆(A∪B)(X)

(A+B)0(X)⊇(A∪B)(X)

(6)

图4给出了Pawlak粗糙集模型与多粒度粗糙集模型之间的不同之处示意图。其中，斜线部分表示目标概念X由P∪Q构成的单个空间表示的下近似，这表示在商集U/P∪Q中包含在X的那些部分，阴影部分表示目标概念X在两个粒空间P+Q下的乐观近似，即由粒空间U/P和粒空间U/Q一起刻画下的近似[8]。

图4 单粒度粗糙集与多粒度粗糙集的对比示意图Fig.4 Lower approximation under a granulation compared with Lower approximation under multi granulations

根据以上分析，我们推广Pawlak粗糙集模型到多粒度粗糙集模型，其中目标概念的乐观多粒度上，下近似通过多个等价的粒空间来表示[9]。

设S=(U,AT,f)是一个完备信息系统，X⊆U和A1,A2,L,Am,⊆AT。X关于A1,A2,L,Am的下、上近似定义如下：

(7)

为了能够运用上述结论应用于资格预审问题中，这里给出了如何用多个等价粒空间计算集合X的下近似的算法[10-13]。

算法：

设S=(U,AT,f)是一个完备信息系统，X⊆U和P⊆2AT，其中P={A1,A2,L,Am}

该算法给出了由P表示X的下近似：

(8)

应用下面的指针：

i=1,2,…,m指向|U/Ai|

用P表示X下的近似计算过程，输出集合L

由此可知，传统的基于粗糙集的数据建模与基于多粒度粗糙集的数据建模可以互为补充，当信息系统中属性之间不存在协调关系，粒空间之间相互独立、或者需要高效计算时，多粒度粗糙集将显示出它的优越性，当粒空间之间可以进行相交运算时，传统的粗糙集将占有主导地位。事实上，在一些实际医用中以上两种情形会同时发生，单粒度粗糙集分为分布式信息系统和多智能Agent环境下的数据分析提供了新方法。尤其是上述理论在电力物资采购评标过程中可有效地将不同类型的评价指标进行量化并约简，进而实现评标过程中不同专家对定标结果形成的一致性结论。

2.4 基于多准则约束下的模型构建及评估

利用智能招投标资格预审技术建立基于多准则约束下的预审决策模型，模型旨在为搭建标准化资格预审大数据管理体系，利用大数据研判分析技术为资格预审业务场景应用提供支持，同时通过可视化呈现手段，甄选大数据应用点，为物资决策提供辅助参考信息。

2.4.1 结合数据特征优选算法构建模型

收集2017年资格预审形成的阅标记录型式试验报告数据，对其进行数据分析，探索各类技术参数与报告合格性及申请人合格性的内在关系，确立不同约束准则下的预审决策结果及模型。

综合考虑关联分析、回归分析、分类分析等多种方法的内在属性，找出其内在联系，建立变量间适当的依赖关系，分析数据的内在规律，帮助管理者完成各种异常信息的发现、分析、识别、评价和预警等，从而得到更为合理准确的合格性结论[14]。

2.4.2 模型构建及训练测试

选取2017年资格预审申请人试验报告阅标记录及资质能力核实证明函件中的相关数据，如某一型号变压器的空载损耗、负载损耗、温升试验(高压绕组)、温升试验(低压绕组)、损耗水平等技术参数，对建立的基于多准则约束下的预审决策模型进行准确性测试[15]，校验是否可得出正确的合格性结论。

图5 技术参数自动对比Fig.5 Technical parameters auto comparison

2.4.3 模型精准度评估

采用大数据智能分析技术研发的全流程资格预审智能评审平台，全面应用于国家电网有限公司2018年度第一次及第二次配网变压器协议库存招标联合资格预审中，从各省公司对预审结果的应用来看，智能招投标资格预审技术的模型精准度可达到98%以上。

3 全流程资格预审智能评审平台的应用成效

开发全流程资格预审智能评审平台，统一供应商申请文件结构格式，固化评审专家工作流程和过程记录，有效避免了专家人工评审的差错，主动帮助供应商提升申请文件编制质量，实现配变供应商资格预审集中评审标准统一，前置选优，深度评审，过程高效、结果可靠。

图6 资格预审智能评审客户端Fig.6 Pre-qulification intelligentaccreditation client

3.1 平台创新性

(1)供应商上报数据结构化，信息填写标准化；

图7 供应商投标文件结构化Fig.7 Structualization of bidders' tender documents

(2)项目经理工作方式信息化，评审专家评审过程智慧化；

图8 专家、项目经理智慧评审Fig.8 Intelligentaccreditation for experts and project managers

(3)痕迹记录：实现全流程行为痕迹记录，确保风险、责任、数据的可追溯性，提高采购过程质量评价的信息共享和联动应用；

(4)建设标准化数据管理体系，构建资格预审大数据管理体系[16]，利用大数据研判分析技术为资格预审业务场景应用提供支持，同时通过可视化呈现手段，甄选大数据应用点，为物资决策提供辅助参考信息。

图9 构建评标前后数据分析Fig.9 Data analysis before and after the bid evaluation

(5)资格预审结果动态追溯机制。

3.2 平台安全性

(1)全流程分阶段模块化设计，实现了不同阶段数据的可靠性和可控性；

(2)基于系统内网的评审环境，保证评审过程资料不外泄，实现了评审过程的保密性。

3.3 平台应用经济性

3.3.1 经济

与资格预审同期批次相比，项目经理工作量减少(5日×35人)-(2日×11人)=153个工作日·人，按照500元/日/人成本计算，减少投入7.65万元；评标专家工作量减少(5日×87人)-(2日×71人)=293个工作日·人，按照1000元/日/人成本计算，减少投入29.3万元；投标商减少了大量的纸质化文件，单个项目投标约减少成本约5000元，按照500家计算，供应商减少投入250万元。项目经理工作量减少153个工作日·人，减少投入约7.65万元，评标专家工作量减少293个工作日·人，减少投入约29.3万元，申请人减少了大量的纸质化文件，单次申请人可减少投入250万元。

3.3.2 时间

与资格预审同期批次相比，申请人等待时间从平均180分钟下降到40分钟，项目经理工作时间从55小时下降为15小时，评标专家评标时间从50小时下降为10小时。

3.3.3 人力

与资格预审同期批次相比，评标专家人数从87人下降到71人，项目经理人员从35人下降到11人。

图10 平台经济性分析Fig.10 Economic analysis for the platform

4 结论

针对资格预审评审过程中出现的工作量大、工作效率低、追溯效率低、数据利用率低等问题难点，本文提出了基于大数据智能分析技术的全流程资格预审智能评审平台，平台自开发以来，创造了配变资格预审数据、流程、表单及规格的标准化、格式化[17-20]；增强了评审工作的科学性和准确性，开发了适应总部新要求的供应商《资格预审申请文件》格式化客户端，搭建出标准统一、传输准确、判断智能的智慧管理平台，汇集和保存全过程各项数据，构建多种维度的数据库，为企业招标采购分析决策提供充分依据，不断提升公信力和服务质量，树立良好的公司形象。