基于过程数据的工程项目管理团队绩效评价

郭 叶12胡 珉 12瞿文婷12

(1. 上海大学 悉尼工商学院，上海 201800，2.上海大学-上海城建集团建筑产业化研究中心，上海 200072；3.上海隧道工程股份有限公司，上海 200040)

0 引言

城市基础设施建设是城市生存和发展所必须具备的集工程性和社会性于一体的基础设施的总称，其发展水平是衡量城市综合竞争力的重要指标之一[1]。考虑到基础设施建设项目工程具有建设规模大、速度快，人员专业广、技术要求高的特点，如何最大程度地提高效益、增强竞争力是施工企业所面临的问题。项目部作为施工企业的基本单元，则成为工程管理的重点，所以推行基于项目过程的管理团队绩效考核是施工企业向管理型、效益型企业转变的主要手段。

其实，不少施工企业已经尝试着通过使用信息化平台取代传统的管理方法，以辅助完成对不同工程项目的管理，其优势在于解决了施工过程中的项目间信息不对称的问题，实现项目信息的收集、筛选、存档以及传送等工作的自动化管理，节约了施工项目参与方与其他部门之间获取信息的成本。但是随时间的推移，信息量不断增长，如何从海量信息中提取出可以为企业决策提供科学依据的信息，将其转化为资产，成为了我们当前亟需解决的重要课题。

本文在梳理国内外团队绩效考核理论的基础上，结合施工企业的具体情况，依托隧道股份“智能化工程信息管理系统”实际运行数据，通过总结、提炼、修正，建立起一套基于层次分析法的项目管理团队绩效评价体系，研究了基于项目过程数据的管理团队绩效考核方法，旨在为管理层提供项目管理团队评估的新思路，以此方式充分调动团队成员的积极性和促进整体绩效的提高。整个体系中最重要的一环是指标的定量化表示，通过使用Microsoft SQL以及R语言工具，对数据源进行处理，然后寻找指标的具体计算方法，从而解决了定性指标不易获取、主观性影响较大的问题。

1 相关研究评述

实施绩效考核是衡量工程项目管理团队工作能力和成果的一种方法或手段，同时又是提升项目管理水平、实现工程项目建设目标的基础和保障。前人对于项目团队绩效考核的研究，前期侧重于绩效管理过程的研究[2-3]，对于指标体系的研究，大多仍是沿用企业绩效评价的维度，而且针对特定项目——工程项目的团队绩效研究更是凤毛麟角。

随后，相关学者发现了研究领域上的这块留白，加入到工程项目管理团队的绩效考核研究队列中来。一部分国内外学者从绩效考核的模型、要点和方法的角度出发进行研究，如P Beaumont[4]认为，绩效考核是指用过去指定的标准来比较员工当前或过去工作绩效的记录过程，它包括设定绩效标准、评价员工的实际绩效、提供反馈。杜春荣[5]将建设项目绩效考核分为业绩、能力、态度考核三部分，使用DEA综合评价模型进行评价。

我国很多学者和专家对工程项目管理团队绩效考核的初始指标进行了研究。例如：梁芙蓉[6]认为，工程项目过程管理绩效考核体系应涉及进度管理指标、进度管理指标、成本管理指标、资金管理指标、文明安全施工管理指标，详细介绍了项目经理部过程管理绩效考核的方法。呼守蒂[7]在参照并修正当前项目团队绩效评价体系的基础上，从业绩、能力、行为三个维度细化指标，建立了一套适合我国工程项目团队绩效评价体系。王达等[8]从质量控制指标、成本控制指标、进度控制指标、管理指标4个方面提出了12项指标构建公路施工企业项目管理团队绩效的模糊综合评价模型。李沅昊[9]设计了质量管理、项目财务管理、合作者满意度、团队建设、成本管理、进度管理、安全管理与文明施工七大指标，并使用层次分析法和问卷调查法两个模型相结合进行综合评价。臧季冬[10]从工作业绩、工作能力与工作态度三个维度提取14个主要考评指标构建适用于总体部项目团队的绩效考核指标体系。

综上，目前的研究侧重于项目管理团队评价指标体系的建立，以体系指标为出发点，有指向性地采集所需要的数据，对于一些定性指标的数据，只能依靠标度打分，忽略了数据的精度和可靠性。所以本研究所提取的工程项目管理团队绩效考核指标是严格参照近几年的相关参考文献，结合建筑行业资深专家的意见而制定的。为了解决定性指标难以获取、主观性较强的问题，创造性地从平台的数据出发，通过对数据的变化处理得到相应细化指标的计算方式，从而注意指标的客观性，保证业绩评价的公平性，提倡基于项目过程数据的定量化方式来评价绩效的新思路。

2 工程项目管理团队绩效评价体系构建

2.1 初始指标的获得

通过上一节对文献的梳理[5-10]，虽然项目背景和考核对象的些许差别，使得提取的指标并非完全一致，但在综合考虑后，确定工程项目管理团队绩效考核中几个比较重要的指标，实现从宏观抽象到具体可衡量指标的层级划分，具体如下：确立三个一级指标分别是从绩效、能力、态度。团队绩效这一维度由进度管理、质量管理、安全管理与文明施工组成。团队能力这一维度由专业技能、执行力组成。团队态度这一维度由沟通和责任感构成。

2.2 数据处理

根据2.1节获得的初始指标，还需要划分为更加具体可量化的三级指标，故依托上海隧道工程股份有限公司自主研发的智能化工程信息管理系统中存储的工程项目过程数据，通过对数据处理，从而发现新指标，寻找指标的具体计算方式，为工程项目管理团队绩效考核的整个指标体系的建立提供可能性。

平台数据中的数据包括文本数据和数值数据，下面将从这两个角度展开处理。

a.文本数据处理。

工程管理过程中会出现大量的文本数据，在对绩效考核时需要将文本数据转化成数值数据用以表示相关指标的得分。通过观察发现，文本中专业词汇(如盾构机、地下连续墙等)以及专有名名词(如地名、项目名等)较多，考虑到统计分词法通过频率和概率在新词识别上的超强能力和词典分词法的简单快速的特点[11]，所以采用统计分词与词典分词相结合对文本进行处理。具体步骤如下：首先使用统计方法完善词典，再使用词典分词方法对目标文本进行分词，基于分完词的文本语料进行目标文本描述计算。

步骤1：词典整理。

本文使用水利词汇大全【官方推荐】、道路工程术语、公路与桥梁、中国地铁【官方推荐】等词库作为基础词库，进行筛选和整理。对于网络词库无法提供的词汇需要从数据库中进行发现。

新词发现的主要方法是基于统计和规则过滤方法，这里使用频率比的方式来进行专有词的发现。具体操作步骤如下：

① 计算单个字在整个语料库中出现的频率。

② 按固定长度对文本进行切割，获得切割后的字串。例如：“场地洒水保洁”此句按照长度为2进行切割，可获得字串“场地、地洒、洒水、水保、保洁”。

③ 计算字串在整个语料库总字串中出现的频率。

采用频率的方式进行新词发现是因为作为词语的两个字同时出现的频率要远远大于两个字单独出现的频率[12-14]，同时能够减少词本身频率对字串频率的影响，更有利于新词发现。表1是使用周报作为语料库进行词语发现的频率表，与现有字典进行对比后，可发现 “管片”、“拼装”、“盾构”、“区间”等新词。

表1 新词发现频率表 Table 1 The frequency table of new words found字串Fp(w1w2)/%字1Fp(w1)/%字2Fp(w2)/%P混凝0.41混0.41凝0.42238.73符合0.31符0.31合0.50198.61管片0.34管0.56片0.34177.45拼装0.34拼0.56装0.34166.35验收0.45验0.32收0.56161.44盾构0.34盾0.51构0.57132.66区间0.34区0.37间0.70127.53安装0.18安0.47装0.56119.15

步骤2：对目标文本进行分词。

使用R语言中最常用的工具包Rwordseg对文本进行分词，Rwordseg使用rJava 调用Java分词器Ansj。Ansj是基于中科院的ictclas中文分词算法，采用隐马尔科夫模型建立的开源Java中文分词工具，其准确率能达到96%以上。

使用Rwordseg 进行分词示例如下：

segmentCN(已阅。下月2 台盾构入洞,项目经理部继续做好相关应急物资、技术准备,确保盾构入洞风险受控。)返回结果:"已阅" 、"下月"、"2 台"、"盾构"、"入洞" 、"项目经理部"、 "继续"、"做好"、"相关" 、"应急"、"物资"、"技术"、"准备"、"确保"、"盾构" 、"入洞"、"风险" 、"受控"

步骤3：文本描述计算。

对文本进行分词后，构造3个属性对其进行描述，侧面体现文本内容，具体解释如下：

① 文本长度：该属性描述文本长度，反应文本数量。

② 文本专业度：该属性描述文明中出现专业词汇的数量，以此来计算文本内容是否更偏向于专业技术内容，专业度得分越高，表明评语有较高的评语更具针对性。

通过添加新的属性来解释文本所含信息量及其价值主要体现在团队能力中专业技能的和态度的相关三级指标得分的计算。

还有关于文本信息中定性数据的数量化操作，目的是转化成可被分析的数值数据。如工程项目周报中会以文字形式对项目的整体情况予以评价，如“进展正常”、“一切正常”、“存在问题”，需要将非结构化的文字数据与数字进行对应。

b.数值数据处理。

在对数据表进行初步筛选，剔除与主题无关的内容后，对数值数据进行清理、转换等操作。该部分数据清理主要是对偏离数据范围、格式不标准、属性间关系不符的3种情况进行处理。

① 偏离数据范围：实际数据中因为粗心等原因导致数据发生偏离，需要对其进行处理，如每月材料记录中，材料的通过率属于[0，100]，所以需要对超过100的值进行调整，使用100来代替。

② 格式变化：系统当初设计时，出于程序性能考虑，将有些数据经拼接后作为一个属性出现，这样不满足第一范式的数据是无法用于数据挖掘的，所以会对这些属性进行格式变化，重新切分处理，如产值数据需要拆分成各年各月的单列产值。

③ 属性间关系不符：属性与属性间存在关联、组合、依赖等关系，当关系偏离预期，需求对其进行调整，如产值数据中，实际产值与计划产值数据有一定相关关系，而实际数据中存在比例超过10 000的数值，根据经验可能是信息员在输入时混淆了金额单位，所以此类数据也需要清理。

数据变换的主要体现是数据聚集，即对数据以不同粒度进行汇总或聚集，如数据库中记录行为的数据：登录次数、每日安全讲评次数、报表评论次数、重大事故次数、报表提交次数等。

2.3 绩效评价指标的确定

基于上述项目过程信息流数据的预处理过程，结合传统的评价体系，将各二级指标细化为具体的三级指标，共21个，含义见表2。

2.4 权重的确定方法

在对上一小节建立的考核评价指标确定权重时，使用T.L.Saaty 教授七十年代提出的层次分析法完成确定各项指标权重的工作，具体步骤如下：

表2 隧道股份项目管理团队绩效考核评价指标及含义Table 2 The performance appraisal indicators and implications of project management team in Tunnel Engineering Co., Ltd.一级指标二级指标三级指标含义占比/%绩效B1(0.540)进度管理C1(0.136)进度偏离D1(0.67)实际施工进度情况汇总后,与原计划进行比较,作为进度管理的指标,考察偏离情况4.92产值偏离D2(0.33)实际产值与计划产值之间按如下公式计算产值偏差:产值偏离值=当年累计实际产值-当年累积计划产值当年累计计划产值2.45实体质量D3(0.614 4)将周报/月报中表示质量状态数据定量化后取对应时间段内的均值7.91质量管理C2(0.238)材料合格率D4(0.117 2)各项目月报对施工过程中使用的材料信息进行记录,并记录抽检合格率。该指标提取每个月各材料合格率,求其均值1.51测点超标量D5(0.268 4)该指标基于每月测点监测信息按如下公式做汇总 各测点情况=1存在超标0没有 3.46安全管理与文明施工C3(0.625)隐患消除率D6(0.333)各项目周报会对发现的安全隐患和已采取预防措施的隐患数进行记录,该指标的公式如下:安全隐患消除率=完成消除数隐患存在总数11.14重大事故数D7(0.667)各项目周报中会记录本周发生的重大事项,包括重大事故。取负值,并以时间段内均值作为评估指标22.51能力B2(0.297)隐患自查信息量D8(0.413)隐患自查通过文字和图片记录了项目管理团队对安全隐患的自我排查,并对现场进行调整。该指标通过安全隐患自查的内容长度(0.667)和照片上传量(0.333)来衡量8.18专业技能C4(0.667)安全讲评信息量D9(0.260)项目管理团队在施工前,需对施工人员的现场安全指导,该指标通过讲评记录次数(0.5)及讲评文本长度(0.5)衡量5.15风险记录次数D10(0.327)项目管理团队识别下周可能出现的风险点,制定相应的措施,记录在平台上,所以该指标通过统计其风险记录次数6.47决策能力C5(0.333)质量整改单完成率D11(0.5)项目管理团队会对项目进行实地检查,若存在质量(D11)/安全(D12)问题,有权对项目人员开具整改单,按要求完成整改后关闭整改单。计算方式:本月完成率=本月完成数量本月发生数量4.95安全整改单完成率D12(0.5)4.95

续表2 隧道股份项目管理团队绩效考核评价指标及含义一级指标二级指标三级指标含义占比/%态度B3(0.163)项目报表回复率D13(0.167)项目管理团队对上级领导针对项目(D13)/安全(D14)报表的相关评论作出回复率,本月回复率=本月回复次数本月评论次数0.91沟通C6(0.333)安全报表回复率D14(0.167)0.91项目报表回复信息量D15(0.333)针对项目(D14)/安全(D15)报表的回复所提供的信息量通过文本长度(0.164)、熵值(0.539)、专业度(0.297)进行评估1.81安全报表回复信息量D16(0.333)1.81有效“质量控制情况”提交率D17(0.349)项目经理在周报中会记录“质量控制情况”安全讲评隐患自查情况,但实际情况中,会出现复制、粘贴相同的论述,或填写“无”等无效文本。计算公式如下:有效提交率=全部文本数量-无效文本数量全部文本数量3.81有效安全讲评率D18(0.098)1.07责任感C7(0.667)有效隐患自查提交率D19(0.184)2.01安全报表提交率D20(0.184)按要求安全(D20)/项目(D21)报表必须每周提交一份,每月提交一份,达到项目人员定期对项目安全管理反思和总结。计算公式如下:报表提交率=当月周报提交数A+当月月报提交数B当月应提交的周报数C+12.01项目报表提交率D21(0.184)2.01

步骤1：建立层次结构模型。

根据上述分析，项目管理团队绩效考核评价指标分为三层：最高层(一级指标)、中间层(二级指标)、最底层(三级指标)。

步骤2：构造各层次中的所有判断矩阵。

本文使用的9级标度方法[15]进行打分，结合文献材料、专家意见以及研究者的学识经验对每一个层次各指标的相对重要性给出赋值，得到判断矩阵如下：

步骤3：层次单排序及一致性检验。

本文通过求和法计算判断矩阵最大特征值λmax及其对应的特征向量W得到每一层次所有因素相对于上一层次而言的重要性次序的权值[15]。

步骤4：层次总排序及一致性检验。

3 评价体系的应用及检验

基于上述提出的评价体系，接下来验证模型是否有存在的意义，故在涵盖了260各有效工程项目管理数据的平台中选取上海虹梅南路—金海路通道越江段、上海西路越江隧道、无锡地铁一号线土建施工、潘广路—逸仙路电力隧道工程、上海轨道交通12号线、上海轨道交通13号线、宁波市轨道交通2号线这7个具有代表性的工程所对应的项目管理团队为评价对象，使用模型进行评分，并邀请专家对结合项目最新一年的成果绩效对分管各个项目的管理团队进行排序。考虑到部分信息的保密性，将上述提及的项目管理团队顺序打乱后使用字母A-G代表，以A项目管理团队为例，详细说明如何基于原始数据求各指标分值，并结合权重得到综合分值，应用步骤如下：

a.获得A项目管理团队最近一年每个月的数据，按照三级指标进行汇总和整理,并求得各项指标的平均值，得到业绩指标、能力指标和态度指标的原始数据如表3、表4。

b.按照同样的方法对其他的6个项目团队进行原始数据的收集，并求其一年内各指标的平均值。

表3 业绩和能力指标Table 3 Performance and capability indicators类别业绩指标进度管理质量管理安全管理与文明施工进度偏离产值偏离实体质量材料合格率测点超标率隐患消除率重大事故数能力指标专业技能决策能力隐患自查信息量安全讲评信息量内容长度照片数量记录次数文本长度风险记录次数质量整改单安全整改单月份权重4.922.457.911.513.4611.1422.511-44.50410.98311-22-611.64410.98311-13-29.78610.98310.9230408.15610.9981105-17.66310.9980.83310605.10310.99810.917 7-17-53.80410.99811-2804.17410.9981109-115.325111101003.8041111011-15.265110.833101206.253110.83310平均值 -1.677.12 1.00 0.990.96 0.99 -0.50 5.453 333 2.726 672.5752.5756.474.954.951712127538057.8820292324206077282214505022302575505722302313100100222725355010035122925044557.88183302874501001152826437557.8813329258350100933022627557.881443130025075113.6728.5254.53.557.9272.79

表4 态度指标Table 4 Attitude indicators类别沟通责任感项目报表回复率安全报表回复率项目报表回复信息量安全报表回复信息量长度专业度熵值长度专业度熵值有效质量控制提交率有效安全讲评率有效隐患自查提交率安全报表提交率项目报表提交率权重 0.910.910.300.980.540.300.980.543.811.072.012.012.01111174.005.72212.675.02100834079.44100210.90223.806.07222.335.2710026100405030.900.90272.805.89402.3810033100608040.860.86111.865.70385.756.53504110010010050.880.89141.636.15445.006.3340531004060月份611112.005.46302.38752010079.4488.8970.890.92112.256.10313.595.29100861006087.5811262.405.4314.504.83100501002060910.88202.474.92283.004.57100702540100100.781131.167.15414.563.6910020402077.78110.90.90282.394.74293.203.61100439079.4460120.920.89302.55302.38100861006075平均值 0.930.9316.922.235.4924.582.884.3688.7550.9282.9256.5378.26

c.再得到所有7个项目管理团队一年的各项指标数据后，将数据列按照公式进行标准化处理，将数值映射到[0，1]之间，

d.将权重向量与标准化数据矩阵相乘，得到综合评价结果，且与专家打分的结果对比如表5所示。

为了验证结果的相似性，将排序结果转化为比较矩阵，即前者优于后者即标记为1，反之标记为

表5 多个项目管理团队模型评分和专家排序结果Table 5 Multiple project management team model scores and expert ranking results项目管理团队业绩能力态度综合模型排序专家排序A22.3014.408.0744.7867B28.229.5910.1247.9336C 26.498.189.4144.0875D 23.7814.827.5746.1744E 15.1521.159.0645.3653F 28.2914.967.0150.2622G 29.0916.706.8852.6811

-1，得到专家评分排序的比较矩阵与模型排序的比较矩阵(表6)。

表6 专家评分与模型评分排序对比Table 6 Comparison of expert ratings and model scores项目管理团队专家(模型)ABCDEFGA—-1(-1)1(-1)-1(-1)-1(-1)-1(-1)-1(-1)B1(1)—1(-1) 1(-1) 1(-1)-1(-1)-1(-1)C-1(1) -1(1) —-1(-1)-1(-1)-1(-1)-1(-1)D1(1)-1(1) 1(1) — 1(-1)-1(-1)-1(-1)E1(1)-1(1) 1(1) -1(1) —-1(-1)-1(-1)F1(1)1(1)1(1) 1(1)1(1)—-1(-1)G1(1)1(1)1(1) 1(1)1(1)1(1)—

比较次数为42次，比较结果一致次数为32次，因此得到比较结果一致率为76.20%>75%，一致率较高，模型具有一定的意义。但还是模型与专家评分的结果还是有些许出入，所以这就要求该公司在推广平台使用时，要通过培训提高各项目管理团队的正确填报的态度，如实反应项目管理团队的工作成果和工作态度，减少瞒报、欺报现象发生，如此才能保证模型结果的准确性。

4 结语

项目管理团队是工程项目管理的核心，团队的工作能力和态度直接关系到整个工程项目的建设质量、项目效益以及施工企业的经营状况等方面，因此必须重视对其绩效的考核工作。考虑到评估是基于数据的一项活动，传统的评估定性指标不易获取，缺乏实践意义。本文试图依托信息化平台，从项目过程数据中提取最底层的评估指标，结合文本数据以及数据处理的相关知识，对数据进行处理，建立以业绩、能力、行为3个维度为评估要素的项目管理团队绩效考核评价体系，实现定量化考核，为工程领域的项目团队评估提供了新思路，同时通过专家打分法验证了模型具有一定的理论意义和实践价值，有利于实现对项目管理团队的有效约束和激励，推进项目管理团队的精细化管理。

同时，本研究提出的基于工程过程信息流数据对项目管理团队绩效进行考核的方法是一个有益的尝试，不仅可以实现对多个项目管理团队的绩效考核情况的排序，帮助企业筛选出优秀的项目团队，还可以实现对单个项目管理团队不同时间段的绩效变化的捕捉，帮助项目管理团队自身发现问题，寻找原因，从而保证自身时刻保持进步性。另一方面，模型存在的缺陷是评估模型指标的提取还较为粗浅，未来可以结合关联分析、聚类等机器学习方法，实现精细化模型指标的提取，使评估模型更为合理、精确。