【摘" 要】金融行业外包技术人员涉及多类角色,包括产品经理、UI、开发、测试、运维等,其中部分角色还会细分为多类子角色,如开发包括前端开发、后端开发、数据开发等,测试包括功能测试、性能测试、自动化测试等。论文参考平衡计分卡、KPI等理论,构建了一套以关键数据指标为基础的效能评估模型,通过量化数据评估各外包人员的人效水平及质量表现。
【关键词】金融行业;外包人员;效能评估;评估模型
【中图分类号】F272.92" " " " " " " " " " " " " " " " " " " " " " "【文献标志码】A" " " " " " " " " " " " " " " " " " " " " " " " "【文章编号】1673-1069(2024)09-0100-03
1 引言
当前金融行业由于业务的需要,大量引入外包服务商以及对应的外包人员参与公司的业务开发及运维。上海市地方金融监督管理局的数据显示,2021年全行业信息技术投入金额338.2亿元,信息技术投入超10亿元的券商,从2020年的4家大幅增至2021年的10家。随之而来的外包人员投入也逐步提升。由于投入巨大,金融行业迫切需要一套对外包服务商和外包人员进行效能评估的模型。
当前,在外包人员考核方面,考核内容主要包括评语、工作饱和度、本期主要工作任务及成果,外加扣分项进行评估。其中,评语和工作饱和度较为主观,且每个考核人对考核标准的理解难以统一。对外包人员的交付效率和交付质量缺乏统一标准的量化数据支撑,且数据由人工统计,缺乏统一标准,难以横向比较每个外包人员的效能。
本模型基于数智中台进行数据自动采集,以平衡计分卡、关键绩效指标作为理论基础,通过科学建模,完成关键数据指标及角色模型设计,形成自动评分,最终获得一套标准的、可量化的外包人员评估模型。
2 外包效能评估模型介绍
2.1 模型应用场景
量化评估:通过收集分析外包人员的效能数据,如代码量、代码质量、缺陷数、测试用例执行数、数据资产发布数等,实现了对外包团队研发效能的量化评估,解决了传统方式中评估标准模糊、主观性强的问题。
资源配置:助力公司自有员工识别高效能和低效能的外包人员,从而优化部门和项目的资源配置,减少资源浪费。同时,通过数据驱动决策,更合理地分配任务和预算。
管理可视化:将外包人员的考勤、任务及产出数据进行可视化归集,同时能看到趋势,提高了管理效率。
2.2 模型设计难点
金融行业步入后数字化转型与降本增效相结合的时代,数据建模能力所提供的决策依据尤为重要。同时,一个研发团队、外包人员以及外包服务商实际的效能难以得到量化的评价,交付内容(如代码)存在很多质量问题。
基于数据建模的研发效能评估平台,通过科学的敏捷效能评估模型,从多维度、分层化对关键效能数据进行计算评估,利用可视化展示现状、评估趋势、目标差距分析并共享数据,促使研发流程及时改进并闭环,运用考核指标推动人员成长,达到考核的管理目标,真正实现数据驱动的研发效能提升。
平台建设基于原子层颗粒度指标进行设计,满足组织级、项目级、中心级、团队级、个人级等维度的逐层效能评估需求。同时,支持按年、月、日不同颗粒度及时间维度,分析研发效能的现状及趋势,从而清晰地展示不同角色的每名外包人员的价值,客观评价每家外包服务商的服务水平,为更加科学合理使用外包人力提供依据,为外包人员直属上级、项目经理、团队经理以及外包管理人员的日常管理工作提供更多的数据支撑和决策依据,可以更高效地获取外包人员效能评估结果,及时对不满足要求的外包进行辅导和培训、人员置换或清退,使在岗外包人员的工作负荷、工作效率、工作质量始终保持较高水平,实现降本增效的目标。
2.3 模型应用价值
提升研发效率:通过研发效率数据,可及时发现并解决外包人员在各个项目研发过程中的瓶颈问题,从而提升整体研发效率。每月针对外包人员效能评分处于前10%和后10%的人员组织进行深入分析,并针对效能得分低于平均分的外包人员制定其下月效能提升改进计划。
提升研发质量:通过缺陷引入追溯机制,对缺陷引入人进行扣分处理,促使相关人员及时分析问题的根本原因,同时提升开发交付代码的质量。
3 外包效能评估模型原理
软件领域的效能评估难度很大,涉及人力资源领域、软件领域、数据领域的多个维度,如:如何跨项目、跨角色、跨编程语言衡量研发人员效能;如何从系统中获取人力、需求、缺陷、代码、用例、版本等研发数据并形成合适的指标;如何确保不同的指标能够适配不同的角色模型并获得相对公允的评估结果,目前业界尚没有一个公开的、标准的模型或方法供工程领域实际落地[1]。
3.1 平衡计分卡
平衡计分卡(Balanced Scorecard Card,BSC)的原理在于将组织的战略目标转化为可以在各个层面进行管理和监控的具体指标,如图1所示。这种方法旨在克服传统财务指标作为唯一绩效衡量标准的局限性,因为传统财务指标往往忽略了非财务因素对于长期成功的重要性。平衡计分卡的核心思想是通过4个不同的视角来衡量组织的表现,确保组织能够从多个方面协同发展,而不是仅仅关注某一个方面。
在设计效能评估系统时,针对不同角色设计对应指标时,将考虑勤勉度、效率、质量、价值、成本、能力等多个维度,确保对指标的整体评估更为合理。
3.2 关键绩效指标
关键绩效指标(Key Performance Indicators,KPI)的原理是将企业的战略目标转化为具体的、可衡量的指标,以便跟踪和评估组织、部门或个人的表现,如图2所示。
KPI的理论基础是二八原理,该原理由意大利经济学家维尔弗雷多·帕累托(Vilfredo Pareto)提出。这个原理认为,在价值创造过程中,大部分的产出或结果(80%)是由少数的原因或投入(20%)所引起的。
因此,在研发效能评估系统中,根据平衡计分卡获得的关键维度进行KPI指标建模,重点关注那些最关键的因素,即那些能够对组织的整体表现产生最大影响的指标,作为个人效能评估的基石。
3.3 指标仿真拟合
在具体数据指标设计时,效能评估系统采用指数曲线拟合的方法。根据研发过程数据,建立对应的基准,针对不同的指标设计不同的拟合曲线。
以代码行数为例,选择8 000行作为基准,且配置对应的分值。然后通过MATLAB仿真,能够获得如图3所示的拟合曲线。
最终采取类似的方法,效能评估系统将获得所有关键的指标模型。
3.4 角色模型建模
根据不同的角色的关键指标模型,设置对应的模型权重,叠加加分、扣分等模型因子,最终按照如下公式,完成每个角色模型的设置:
角色效能模型=∑(角色关键指标×角色关键指标权重×角色关键指标因子)
根据角色效能模型公式,最终自动形成评分。
以研发领域关键角色开发人员为例,在勤勉度、效率、质量、价值、成本、能力等维度分别选择对应的角色关键指标,如在勤勉度方面,采用该开发人员的工时指标、工作量指标等;在效率维度,采用该开发人员对应的标准代码行数指标、代码提交频率指标等;在质量维度,采用该开发人员对应的代码静态缺陷指标、测试代码覆盖度指标、圈复杂度指标、重复度指标等。其他类似,最终形成开发人员的角色模型指标,并根据对应指标权重,获得开发人员的最终效能得分。
3.5 角色模型校正
在建立设计角色模型时,将不同的指标进行整合,确保各个角色得分相对正确。期间采用的校正方法包括:
①个体抽样法:选择该角色头部、中部、尾部各几名研发人员,将其得分情况与该研发人员的管理者进行校对,判断总体得分与各个指标得分是否合理,从而进行模型的设计及调整。
②群体正态分布法:对每个角色按照效能得分进行正态分布,如图4所示。
正常情况下,某个角色的效能得分会大致符合正态分布。如果出现驼峰分布、平均分布等情况,则需要定向进行分析;如果涉及模型问题,再进行适当微调,确保每个角色的得分相对贴合实际情况。
经过上述方法的不断校正,可形成最终的效能评估模型。
3.6 排除异常数据干扰
在效能评估过程中,排除异常数据干扰至关重要,以确保评估结果的准确性和公允性。通过对各类产出数据设置合理的阈值,可以通利用系统能力自动识别并排除那些不符合常规或预期的数据点,从而提高数据分析的可靠性。
例如,对于开发人员的标准代码行,如果开发人员合入代码库中的代码为框架自带的代码或者拷贝的外部开源
代码等,将通过系统剔除;再如,对于研发人员的任务工作量,由于数据填写异常导致的工作量异常,也将通过系统剔除等。
3.7 系统功能模块简介
①角色模型。首先,根据梳理的当前外包人员的各个角色,包括前后端开发、数据开发、功能测试、自动化测试、UED、产品经理等研发角色,按照效能分析的维度,如效率、质量、工作饱和度、产能等,分别采集指标系统的数据。其次,针对每类数据,按照数据独立、数据叠加、数据加权等方法进行每类指标分值计算。最后,遵循平衡计分卡的理论,建立动态可调整的角色模型。此外,在时间维度上,抽取过去几个月的数据,建立各个角色模型的基准,确定中长期效能的效率变化情况。
②供应商模型。供应商模型的核心思想是基于该供应商所属外包人员的效能进行供应商评价,即该供应商所属的外包人员表现越优秀,该供应商得分越高。整体采用“多快好省”的效能评价体系,通过对比评分体系中涉及的各项指标,从产能、效率、质量、成本方面进行综合分析。具体建模时,供应商模型将采集该供应商涉及的所有外包角色,并遵循效能评估系统中的角色模型、该外包角色的等级以及供应商的外包人数等信息,建立综合性的供应商评估模型。为了更进一步地评估供应商效能,该模型还将结合时间维度,对过去数月的数据进行综合评价,以确定供应商的能力。
③采集模块。从现有研发管理类系统,包括Coding、Jira、测试管理平台、IT项目管理系统、Confluence、数智中台等,分别采集原始数据至数智中台。由中台配置数据调度提供数据传输能力,并在研发效能评估系统中进行计算,将计算结果输入指标系统,最终供角色模型调用。所有采集的指标,将根据外包人员信息、项目信息、组织信息,按照时间进行归拢,然后通过单个或多个组合,最终供角色模型调用。
④效能展示模块。根据现有外包人员信息、项目信息、组织信息(中心和团队)等,按照月度根据各个角色模型及数据,自动生成各个外包人员的效能评估信息。所有信息可以基于空间粒度(分中心、项目、个人)和时间维度(年度、季度、月)分别进行查看和展示,包括组织效能、项目效能、人员效能,可展示效能变化趋势。同时,提供组织和项目看板,分别查看组织及项目的当前信息。针对具体的指标,提供指标设置、指标计算及指标展示功能;针对项目及个人的信息,可以提供对应的数据配置;针对具体的指标,如果原有系统数据发生变更,可以再次进行手动采集。对于外包人员的效能评估结果,提供展示、导出等功能。根据外包人员的效能评估信息,结合供应商模型,将同步输出供应商的效能评估信息[2]。
4 结语
本外包效能评估模型在某公司信息技术部上线后,运行状态良好。通过优化资源配置和降低管理成本,实现了成本的节约。自2024年平台上线后,单季度外包整体提效约20%。在金融领域,外包效能评估价值重大,除了能实现数据驱动的研发效能提升,还能为企业带来真金白银的收益。无论在技术或理论实践,均具有广阔的发展前景。
【参考文献】
【1】郑喆颖,王欢,唐飞,等.罗盘研发效能评估系统设计与实现[J].电子技术与软件工程,2021(21):18-20.
【2】尚秀颖.软件开发绩效考核系统设计与实现[D].济南:山东大学,2011.