大数据模式下企业外来人员管理系统的应用

陈海山

（北京九橡科技有限公司，北京 100000）

1 外来施工人员管理的难点

外来施工人员管理的难点主要集中在以下几方面：（1）人员信息真假混杂，资料无法做到精准。能源行业的公司在施工过程中常要面对大量的外来劳务人员，流动频繁，人员资料杂乱。对于人员的信息收集、采集经常是让人员自行填写，企业没有对应的数据库，无法进行验证，因此资料经常是真假混杂，无法做到精细、准确。（2）人员水平参差不齐，且很难快速甄别。因为人员流动频繁，同时各种工作有很强的时效性，很难快速甄别人员素质。传统是采用面试等方式进行筛选，很难做到快速、客观、准确。（3）技能和安全培训不到位，难把教育关。一般企业都会进行入场培训，通过培训普及安全知识，掌握安全操作技能以及现场操作规范等内容，但是大部分企业都是以线下讲解或者口头传达为主，只进行了培训的过程，却很难达到培训的目的，管理人员也很难掌握哪些人员是真正培训到位、哪些是没有掌握，只能加大培训力度，很难准确掌握人员的培训成果和质量。

因此，外来人员的管理很大程度上依赖管理人员的个人能力、操作水平，日常工作以查看、检查纸质记录表的方式，耗时费力，数据无法客观，而且管理存在滞后，无法实现巡检数据、隐患管理、工作量确认等信息的实时传输，也就无法实现现场工作的实时监控。

2 基于大数据的外来人员管理系统

2.1 大数据技术对外来人员管理提供的帮助

大数据是指通过数据平台把不同纬度的数据进行整合，进而形成统一标准、规格，可供统计、分析、挖掘的大规模数据的集合体。基于大数据技术的实现，有以下优点。

2.1.1 通过外部的数据来丰富本系统数据

（1）外来人员管理涉及人员注册、审核、培训、入场、管理等业务环节，在这些环节和场景中，可以收集以及需要的数据均不相同。（2）在人员注册环境，需要人员填报相关的信息，并对该数据进行记录存储，同时还需要能够对人员填写的信息进行核对验证。（3）在人员审核环节，需要能够根据人员的信息去补充和收集，例如根据人员信息查看该人员的健康行程、征信等相关信息。（4）采用大数据技术，可以通过对接外部系统实现对该人员的信息获取和补充，辅助系统进行信息有效性的判断。

2.1.2 存储过程数据实现辅助管理

在日常管理过程中，时常需要对该用户的培训、任务、考核等进行打分，利用大数据技术可以通过对该用户的登录时间、使用时长、点击次数等相关数据来进行分析，从多个角度进行业务管理，辅助管理人员进行业务判断，有效解决作弊、刷分等问题。

通过大数据技术形成一方数据、二方数据、三方数据等综合数据立方体，其中一方数据是用户或者系统本身产生的数据，二方数据是同行业的数据，三方数据是互联网数据。通过以上设计将外来务工人员的信息、技能、培训、健康信息以及历史施工记录等数据进行整合和串联，通过数据挖掘技术的运用，形成可供企业和现场管理人员利用的有价值的数据。

2.1两组患者在治疗前进行比较,差异无统计学意义(P>0.05);治疗后观察组患者的各项观察指标均明显较治疗前改善,且改善幅度较对照组大,P<0.05,见表1。

要使用大数据技术实现外来人员管理，需按数据需求进行拆解，分解成独立的数据立方体分别实现，如可分别从外来人员的业务流程、使用场景、管理需求等方面实现[1]。

2.2 外来人员管理系统

外来人员管理系统是和当前大数据技术相结合的新型信息管理系统。将传统的需要人工主观判断的数据通过大数据立方体形成客观数据，将人员审核、学习与培训的人力资源融合，既能确保资源的有效利用，又能通过信息技术的方案将资源充分利用，同时将学习地图、学习途径、知识点、学习成果等相关功能通过系统实现，发挥多方面的优势，达到较好的培训和学习效果。

3 系统设计

3.1 系统架构分析

在遵循整体性、安全性、规范性、实用性的总体设计思想的基础上，系统采用多级子系统，相对独立，但内部数据又有着密切的联系，方便以后业务的扩展和系统的升级，在总体架构上体现了先进的技术理念。

系统架构采用Spring MVC多层架构开发，Spring MVC模块负责视图层的请求转发，控制逻辑关系的处理，Spring MVC是一个目前比较流行的Web容器框架，可以实现面向接口的开发方式，实现程序和容器之间的控制依赖关系。此类架构体系是业界通用的技术标准，而且系统统一数据存储规则，在此基础上又将系统细致地划分为后台数据处理层、中间业务逻辑处理层、前台业务逻辑处理层和表现层[2]。

3.2 大数据设计

大数据设计重点是大数据部分的数据聚合部分，该部分支持3种来源数据：政务、社会、互联网的数据；5种接入方式：桥接、直接、API、爬虫、流式。数据源类型支持传统关系数据（如Oracle、MySQL、PostgreSQL、Hadoop、Hive、MPPDB等）、半结构化文件、非结构化文件、流式消息数据等，统一存入大数据资源池，如HDFS、Hbase、Mppdb、Hive等。

在数据汇聚方面提供以下几种数据汇聚方式[3]：（1）支持文件、数据库、流数据（物联网平台数据）等多源数据汇聚方式。（2）支持互联网数据汇聚，通过爬虫技术实现互联网相关信息的爬取。（3）实时数据采集：提供高可用性的、高可靠性的、基于分布式的海量日志的采集、聚合和处理能力；支持定义个性化数据接受方用于传输数据，同时可对采集的数据进行预先处理，且进行数据回写能力。（4）批量数据集成：实现大数据平台与关系型数据库、文件系统之间交换“数据”“文件”，同时也可以将数据从关系型数据库或者文件服务器导入大数据平台的HDFS/HBase，或者反过来从HDFS/HBase导出关系型数据库或者文件服务器。（5）分布式消息队列：提供分布式、分区化、多副本的消息发布、订阅，支持消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费场景。

数据按照类别分为以下几种。（1）一方数据：外部企业信息、外部人员信息、人员培训信息、人员工作情况和记录等。（2）二方数据：外部企业从业信息、外部企业行业评价、外部人员从业信息等。（3）三方数据：外部企业工商信息、企业征信信息、外部人员身份信息、外部人员征信信息、外部人员资质信息、外部人员征信信息，其他外部人员信息等。

4 系统设计及应用

4.1 外来人员用户端功能

（1）单位注册。外来单位先进行公司营业执照注册，选择公司场站，填写项目名称并且上传企业资质，判断是否是高风险专业，则上传三措两案，然后填写预计时长和参加工作人数。（2）用户注册。确定参加外来人员人数之后，相关人员通过APP或者Web登录，填写身份证注册、选择公司、场站，然后选择项目名称上传个人资质，例如根据项目是否属于高危行业上传个人资质或者证书资质等，最后等待审核。（3）学习培训。外来人员审查通过进行相关内容学习和考试，考试需按照所设置的学习路线进行，并且每一项都需要通过之后才可以进入下一步。学习课程均有管理人员进行后台设置。（4）我的工作。已通过考试的人员，则可以进入工作模块查看工作内容。

4.2 企业管理端

4.2.1 单位审核管理

对已注册的单位进行审核，可查看当前已经注册的单位信息情况和资质，对于有外部行业资料数据和需要鉴定的内容，系统会根据大数据中的数据立方体进行对比和验证：（1）对公司基本信息自动核实，系统根据公司相关信息去工商注册网站进行验证。（2）对公司进行核实，将营业执照、高新企业等证书会自动识别图片内容，并与国家相关网站信息进行验证。

4.2.2 人员审核管理

对已经注册的单位的员工进行审核，可查看该员工的相关信息和相关资质信息，同样对于该员工的信息，系统会根据大数据中的数据立方体进行对比和验证：（1）对人员身份信息自动核实，系统根据人员填写的基本信息去第三方身份验证网站进行验证。（2）对人员资质信息自动核实，系统根据人员资质信息去第三方资质验证网站进行验证。（3）对人员健康信息自动核实，根据当前环境要求，会验证该人员的健康阿里（对接腾讯健康宝或阿里大健康等平台），显示该人员的健康信息。

4.2.3 培训管理

管理员可将课程内容设置为固定的学习地图，外部人员需要通过固定学习路径才能达到重点，完成培训，针对不同级别人员、不同岗位的培训，由相关项目经理负责建立学习地图。（1）学习地图管理。可对学习地图进行创建，包括地图标题、封面、简介以及相关课程等。（2）地图目录管理。可添加多个阶段，对每个阶段设定学习周期，每个阶段可以添加课程、考试、问卷等内容，便于学员统一学习。（3）统计分析。查看学员的整体学习进度以及每一门课程、考试等的学习进度。

4.2.4 人员技能鉴定与外部人才库管理

（1）人员技能鉴定管理：可根据外部人员在线上完成的情况生成该人员的技能鉴定结果，鉴定结果在培训档案中体现。（2）外部人才库管理：系统自动将完成岗位课程的学员推送到相应岗位的外部人才库，可按照当前岗位和目标岗位管理后备人才，后备人才可以作为公司选拔人才的参考。

4.2.5 数据对接

数据对接模块为轻量化极简ETL工具，基于数据融合平台，可以实现数据的抽取、转化、调度。该模块可进行可视化拖拽式ETL流程配置，支持对KettleJob、Trans文件，SQL任务进行调度，调度过程中，如果出现任务异常，可以设置任务错误提醒、超时提醒等预警。

4.2.6 数据集管理

数据集是指报表人员对各类数据集进行定义、管理的界面，主要包含SQL数据集、Excel数据集两种方式，数据集是定义报表和图形的基础，透视分析、Echarts图形、电子表格都是基于数据集创建的。

4.2.7 数据分析

通过用户数据分析，帮助管理人员进行业务分析和管理。通过建立管理看板，实现查看数据和图表实时主动监控外来人员相关的宏观运营情况，及时决策，并提供以下分析工具。（1）钻取分析：基于会话和事件属性的多维度数据分析，筛选条件可对属性字段进行任意组合，细致洞察用户行为。（2）用户画像：通过多重用户属性确定外来人员详细画像，真正了解外来人员的方方面面。（3）群体分析：针对用户属性和行为偏好进行筛选，创建不同的用户分群，分群数据动态更新。（4）用户路径：追踪外来人员在企业工作过程中的业务路径，及时调整业务流程和体系。（5）管理：管理用户权限和接入应用，快速开通账户，批量接入用于数据分析的各端应用数据。（6）数据看板：针对各种不同诉求规划不同的数据看板，满足从管理层到各个部门的数据诉求。

5 结语

综上所述，文章阐述了一种基于大数据技术的外来人员信息管理系统的实现与应用，系统采用3层系统架构，单独的数据汇聚层，提高了系统数据的准确度、完整性，补全了业务数据缺失等问题，完善了业务流程，减少了实际业务中需要员工进行臆断或者手动操作等环节，并且大大减少了管理人员的工作量等，提高了业务效率和业务准确度。