数据自动化与交互式应用的研发

田巧燕 王英萍 蒲玉洁

［摘 要］随着数字经济技术不断发展，大数据时代已来，大数据对社会各行各业均产生深远影响，大数据决策成为一种新的决策方式，结合实际数据获取源、报表统计汇总要求日益复杂多样化。本文主要以OFFICE 2019集成的Power Query、Power Pivot和透视表基本功能，利用M、DAX语言和度量值等程序，简述人事数据完成数据清洗、建模，实现多源交叉异类异构报表数据自动化统计分析和交互式展示全过程。

［关键词］大数据；数据分析；数据自动化

doi：10.3969/j.issn.1673-0194.2023.23.043

［中图分类号］TP311 ［文献标识码］A ［文章编号］1673-0194（2023）23-0142-04

1     研究背景

如今，在大数据时代下，有效处理大量信息数据，对各领域而言都非常重要。通过深入调研分析，人事员工大部分时间用在处理复杂重复数据统计分析工作上，基层单位员工作中面临大数据统计分析存在的问题：人事員随时需对本单位员工收入情况进行多维度统计汇总及分析，该项工作重复操作工作量较大，跨表计算难度大、数据准确性低、生成报表占用资源偏大。如何解决此类问题？创新研发“人事数据自动化与交互式应用”，实现数据自动化及交互式展示效果。

1.1   研究目标

更新数据后，需【刷新】立即显示为最新数据报表，分分钟生成一份可视化图表。释放劳动强度，提高工作效率及数据准确率，为数据智能化、数据挖掘夯实基础，为数字化转型赋能。

1.2   研究内容

主要以免费OFFICE为载体，利用PQ、PP和透视表基本功能，利用Power Query 和 Power Pivot集成功能中M语言、DAX语言和度量值等程序，完成数据清洗、建模，实现多源交叉异类异构报表数据自动化统计分析和交互式展示全过程［1］。实现人事异构多源报表数据自动化统计汇总及动态交互展示，包括KPI、薪酬趋势和员工交互式分析及10张多样报表自动统计；分析维度：时间、员工、薪酬、用工形式、单位部门、职务级别等。

2     基本概念及需求

2.1   报表自动化

报表自动化是商业智能基础，有以下应用价值：

（1）释放劳动力：在数据如此庞杂的时代，任何一个企业都会有各种各样的数据，但稍微复杂一些就会产生多类数据的融合或者是在时间线上的复杂分析，这时候就需要庞大的人力了，实现自动化可以直接地降低此部分的重复开发，注意是“重复”。

（2）降低错误率：自动化意味着通过编码的手段持久化流程、逻辑，当我们调试正确一次后，那么我们就可以信任这个工具了，我相信在重复劳作场景下机器的稳定产出率要比人更加可靠［2-3］。

（3）时效性高：除了每个月的报表，我们还可以考虑实现在每一天统计当月的情况，实时地汇总每日信息以动态地调控月度计划。

2.2   Power Query（数据编辑查询）

在大数据时代，OFFICE推出了一个叫Power Query的插件，该工具弥补Excel的不足，处理数据的能力边界大大提升。主要完成数据处理（数据获取、清洗和丰富）环节；该工具主要应用M语言。

2.3   Power Pivot（超级透视）

在大数据时代，OFFICE推出了一个叫Power Pivot的插件，是OFFICE高级版本的灵魂，该功能要比数据透视表强大很多，又称数据建模。数据建模为实现数据多维度分析建立数据表之间关系的过程，是数据自动化与交互式应用的基础。

2.4   需求分析

（1）需求目标：如何实现人事数据自动化统计分析？

（2）存在问题：报表不停新增？数据量越来越大？人员信息调整？多维度交叉计算工作逻辑复杂多变？分析方向维度多样？工资、奖金表和员工基本信息表结构不同？自动汇总表样式维度不同？

（3）汇总表需求（工资和奖金表）：按年月自动统计实发、应发工资、扣减情况、税前工资、税前奖金、四项补贴、个人所得税等。

（4）分析需求：按方向及维度自动统计分析。详见图1、图2。

（5）解决办法：创新研发“人事数据自动化与交互式应用”。

3     应用研发实现过程

3.1   设计架构

人事数据自动化应用包括共5部分组成（参见图3），按文件类型分类：

（1）文件夹类型名称：

工资：存放工资EXCEL数据报表。

奖金：存放奖金EXCEL数据报表。

（2）EXCEL类型名称：

员工基础信息表：应用之前需要维护统计分析员工基础信息。

数据自动化应用：实现数据自动化集成应用文件。

（3）PBIX类型名称：

数据可视化应用：实现数据可视化应用文件。

3.2   数据结构

3.2.1   报表名称结构

根据平台设计要求工资和奖金报表名称不能重复，报表名称严格按照标准格式（日期-存放文件夹-****）命名，在自动化汇总报表中生成为【发放日期】、【工资分类】、【工资一级分类】字段。

3.2.2   报表数据结构

（1）工资表：存放于工资文件夹中，需从工资系统下载工资数据，维护到工资报表模板里，根据数据内容严格按照报表名称要求修改表名称，员工编号唯一，程序运行生产工资表汇总。

（2）奖金表：存放于奖金文件夹中，下载奖金表模板并维护数据，根据数据内容严格按照报表名称要求修改表名称，员工编号唯一，程序运行生成奖金表汇总。

（3）员工基础信息表：该表直接存放于本应用文件夹中，该表名称及样式内容不允许修改，只允许按照表格内容如实完善员工信息，员工编号唯一，带*字段为必填项。

3.3   功能研发实现

3.3.1   数据处理：自动生成6张查询报表

Power Query—M语言：完成数据清理，自动生成报表，详细操作步骤如下：

①报表数据源：EXCEL数据—获取数据—【从文件夹】—选择【报表汇总】文件夹路径。②加载文件夹文件后，实现各类报表汇总和一维表生成，插入Excel.Workbook（［content］，true，true），通过高级编辑器编写M语言程序；自动生成相关报表；（Table.Combine（{表1，表2}））。

3.3.2   数据建模，生成星型关系模型

（1）Power Pivot：完成数据建模，生成星型关系模型（如下图所示），明确报表之间关系，为员工人数、职務级别、用工形式和单位部门分析奠定基础。

（2）模型关系说明。员工基本信息表［员工编号］与工资汇总一维表［员工编号］建立了一对多关系；便于从员工基本信息维度分析数据。

3.3.3   度量值创建

根据需求，利用度量值公式便于实现数据高效快捷自动计算，深入分析公式计算逻辑后，本次共创建26个度量值公式。

（1）核心度量值为［金额合计］，计算工资汇总一维表所有金额合计。

金额合计=SUM（'工资汇总一维表'［金额］）

（2）个人所得税交叉计算：通过一维表工资与奖金表个人所得税字段名称一致。

个人所得税=CALCULATE（［金额合计］，'工资汇总一维表'［工资二级分类］="个人所得税"）

（3）保险合计=［基本养老保险合计］+［基本医疗保险合计］+［失业保险合计］+［企业年金合计］

（4）扣减情况合计=［保险合计］+［住房公积金合计］+［个人所得税］

3.3.4   自动化交互式看板展示及汇总报表实现

使用OFFICE 透视表应用，由两部分构成可视化看板和报表管理：

可视化看板：包括3类主题9项分析，报表链接及帮助说明。

报表管理：自动生成10项统计报表和4项基础报表。

3.3.4.1   可视化看板主页

该页面包括3类主题9项分析，报表链接及帮助说明。从多维度实现动态趋势分析。

维度分析：年月、工资、用工形式、单位部门、职务级别、员工姓名等维度。

3.3.4.2   报表管理

自动生成10项统计报表和4项基础报表。

（1）自动生成统计报表：主要通过透视表功能实现多维度（时间、工资、员工、用工形式、职务级别等）数据汇总及分析链接应用。

（2）基础报表自动汇总应用：主要通过工资表、奖金表和员工基础信息表，生成4张数据自动汇总表，便于数据核对及校验，是数据分析、透视表应用的核心基础。

4     技术创新、应用效果及效益评价

4.1   技术创新

（1）数据自动化应用完全替代重复操作，大数据分析由重复低效向快捷高效方向转变，达到一劳永逸效果，工作效率提升95%。

（2）数据交互式应用，辅助决策，数据价值达90%，为数字化转型赋能。包括KPI、薪酬趋势和员工交互式分析及10张多样报表自动统计。

（3）电子报表自动化应用实现可移动性

使用电子报表公式参数，通过数据查询编写M语言，电子报表自动识别路径，从而该应用可以随时移动，应用程序不受位置限制，灵活性较强。

4.2   应用效果

（1）数据处理高效快捷，比传统数据分析效率再提升20余倍。

实例对比：工资表13张、奖金表25张，员工人数10人。分析时间对比：从数据整理、统计汇总和问题差错时长，三项总时长分别为2小时15分和25小时，自动化应用是手工效率20余倍。

（2）多源数据交叉计算高效快捷，报表样式灵活多样。

以人事数据为例，需要统计奖金合计，按照组成部分预发奖金、业绩奖金和其他奖金统计，数据来源工资表与奖金表，数据多维统计分析高效快捷，根据个人需求调整透视表行、列、值及筛选项内容即可，自动生成灵活多样报表。

（3）员工信息核对精准快。

员工报表中，实现按员工、用工形式、单位部门、职务级别分析。同时，根据员工人数分析，当前需要统计11人，表中显示6人，精准快查到表中未统计到5人明细信息，辅助统计人员对报表数据进一步核对及原因分析，效率提升显著。

4.3   效益评价

实现数据报表自动化分析及交互式展示，不仅解决了数据重复汇总统计工作量，降低劳动强度，提高工作效率及数据准确性，实现了数据共享及利用价值，同时在提升经济效益方面也取得了较大成果。

（1）直接效益：将复杂报表实现自动化，降低劳动强度，报表自动化有效提高数据获取及时性和准确性。

（2）间接效益：使用免费软件，自主创新设计开发，零成本实现提质增效目标。

5     结束语

在大数据数字经济时代，拥有处理大数据这个利器，用最少的时间来处理复杂繁琐统计分析工作，进一步分析数据，发现数据背后的规律，实现数据价值及共享性，提高工作效率，降低劳动强度，为数字智能化分析、数据挖掘及AI报告实现夯实基础，为油田建设高质量发展贡献微薄之力，为数智化建设赋能。

主要参考文献

［1］阿尔贝托·费拉里，马尔·科鲁索. PowerBI建模权威指南

［M］.刘钰，译.北京：电子工业出版社，2021.

［2］金晓倩.面向大数据的网络安全策略［J］.智库时代，2017

（13）：168-169.

［3］凌宏伟.基于高校治理视域下的人事信息数据安全研究［J］.中国新技术新产品，2020（21）：130-133.