基于大数据的退役军人从业分析平台研究

中兴通讯 辛丽华

31669部队 成广勋

武汉铁盾民防工程有限公司 陈 岚

中兴通讯 屠 强 杨桂荣

本文针对退役军人从业平台分析的各种问题，提出一种基于大数据的从业分析平台框架，解决了传统退役军人从业分析中的政策反馈不明、执行度未知、数据分析不够深入、以及政策宣贯不够畅通的问题。提供一个执行/反馈的双向通道，缩短问题发现、解决的周期，提高了职能部门工作效率，也为国家政策法规制定提供参考。

序言：2018年7月31日，国务院新闻办公室举行新闻发布会中讲到建国以后退役士兵总数为5700万，并以每年几十万的速度在增长，退役军人的数据的新一轮统计正在进行。

退役军人事务部等军地12个部门联合印发《关于促进新时代退役军人就业创业工作的意见》(以下简称《意见》)。《意见》指出,退役军人是重要的人力资源,是建设中国特色社会主义的重要力量。促进退役军人就业创业,对于更好实现退役军人自身价值助推经济社会发展、服务国防和军队建设都具有重要意义。《意见》给出全方位的退役军人就业优抚政策，要求各机关、企事业单位、教育部门、社会团体互相配合共同努力，提升退役军人就业情况。

在互联网时代的现在，数据是一笔巨大的财富，退役军人的海量信息无疑也潜藏着无穷的宝藏，让数据说话，助力社会发展，是大势所趋。数据，是时代的力量。

1.现有退役军人从业平台现状

在国家支持方面政策支持到位，国家专门成立专门部门来指导退役军人的就业安置，但是在统计方面相对落后，而且目前的统计分析速度慢，效率差，效果也不理想，在当前数据技术飞速发展的现在显得落后

在应用上，统计数据仅用来做简单分析，尚无一个综合的平台深度挖掘、综合研究分析结果，更不用说长期的跟踪调研。即便有些机构、个人、职能部门做了些研究工作，但是研究范围窄，局限性大，而且存在重复劳动，彼此合作沟通不够，形不成合力，造成了极大的资源浪费。

2.基于大数据的退役军人从业平台优势

本平台以大数据做基础，以所有统计数据做出发点，支持各种离线计算、在线分析，针对个体的综合数据做全量计算，从而能够更直观的观察到政策实施效果、个人满意度和政策法规的不足之处，为退役军人从业政策作出反馈，继而指导完善各种法规制度、全方位推动各种优理政策和活动，提高退役军人新职涯的满意度，提高退役军人的生活水平和质量。

本平台支持退役军人对工作的持续跟踪、反馈。跟踪调研就业情况，接受工作情况反馈、生活情况反馈，收集各种就业、创业需求，综合各种政策法规、利好信息作综合计算，确实的贴合需求作反馈，制定真正具有实际意义的指导意见。持续跟踪，持续关怀，使得退役军人真正有组织，有归属，真正增加了军队的向心力和凝聚力。

本平台还打通消息传递渠道，解决了消息闭塞、宣贯不及时的问题，提高了政策法规的实效性，极大了提高了职能部门的工作效率。

3.基于大数据的退役军人从业平台研究

3.1 平台框架设计

平台登记退役军人个人基础信息，包括身体状况、家庭信息、教育经历、服役期间状态、表现等，采集退役军人退役后工作信息，包括薪资信息、技术需求、教育经历需求，接受退役军人的工作满意度、契合度以及各种合理需求反馈，收集企事业单位单位的用人需求，地方各单位的扶持政策、规划、以及各种优抚活动。形成一个健全的退役军人信息数据仓库。

平台对采集数据作全量计算分析，通过聚合聚类等手段，深度挖掘数据，形成完整的工作状态报告，政策落实信息，政策合理性、健全性分析等系列分析结果。

平台支持实时的状态分析，实时分析退役军人的现有状态，接受紧急需求，有问题及时发现及时解决，极大的提高了问题解决效率，充分的在紧要关头站在退役军人身后，保障退役军人的生活状态。

平台还支持退役军人关怀，及时传达各级的优抚政策，及时推送各种优抚活动、建立起有效的宣传、沟通平台。

3.2 关键技术方案

构建面向个各职能部门、退役军人的大数据平台，及时、快速、有效的收集复杂的海量数据。对采集数据进行清洗、加载，持久化保存，形成分布式数据仓库，供大数据分布式计算分析使用。对预处理数据进行分布式计算、深度挖掘，多维度分析。同时，平台不断自学习，更新自己的知识库和算法库，对计算结果进行实时监测和各种离线分析，输出各方面分析计算结果报告。关键信息采用加密技术，对数据进行加密脱敏存储，提高数据的安全性。

平台将系统权限逐级划分给各级职能部门和个人，控制用户的操作权限和数据权限，尊重用户隐私。

平台支持消息推送机制，及时发布、公告各级的最新政策法规、活动规划等，打通消息传达渠道，为消息实效性提供保证。

3.2.1 数据收集

退役军人个人数据基础信息由于涉密性较强，需要专人、专职登录采集，并采录入库。现有的统计信息数据大部分为结构化数据，存储于常规的关系型SQL数据库如mysql、oracle等，可通过Sqoop导入。

退役后职业状态由个人、单位、第三方机构等反馈，平台提供反馈渠道，提供就业双方双通道反馈，更能客观直接的暴露问题。

国家、地方的优抚政策、法规、活动由政府职能部门登记发表，渠道正规、专业性更强。发布的数据直接导入本平台。

其他如syslog日志信息可通过Flume进行采集。

3.2.2 数据预处理

对采集数据进行：

（1）数据清洗，补充缺失值数据，消除数据噪点和离群点，统一数据格式，修正数据，提高数据的一致性、准确性和可用性

（2）数据集成，集成多种数据源，形成集成、统一的数据库、数据立方体等。消除冗余数据，提高了数据质量。

（3）数据规约，在不影响分析结果准确性的情况下简化表示数据集。采用维规约、数据规约、数据抽样等手段提高大数据的价值密度，提高数据的存储价值比例。

（4）数据转换，数据规范化、离散化并概念分层，通过转化实现数据统一，进一步提高了数据的一致性和可用性。

通过以上处理，实现数据的一致性、准确性、真实性、可行人性、可解释性，提高了数据的价值。为后期计算分析打下坚实、可靠的基础。

3.2.3 数据分布式计算及存储

本平台采用分布式云计算技术提高了计算效率。对样本数据采用专门的算法进行计算，以获得期许的结果。采用Spark作为主计算框架，Storm、Flink、Spark Streaming作为流计算支撑，提供全方面的离线数据和实时数据分析。同时提供交互式查询，为各级用户提供更契合的分析结果。分析结果可输入至Hdfs或Es，通过各维度、全方位的分析，充分暴露问题短板，更客观的呈现当前退役军人的工作、生活状态，为后续持续化发展、政策优化等提供参考。

3.2.4 分析结果展示

本平台支持Web、APP等应用终端，支持在不同设备现实计算分析结果。系统根据行政级别、职能等作权限划分，设置不同的操作权限和数据权限，根据不同的需求生成计算报告。

报告形式可定制化，适配不用用户。

平台提供实时分析结果监测，支持焦点、热点、重点展示，可暴露紧、严重、特殊的情况，第一时间发现问题解决问题。

3.2.5 消息推送

平台支持消息订阅/推送，及时发布传达各级政策法规，有效、可靠、正确的传递信息。目前。通过邮件、微信、QQ等常规社交软件，以及APP消息PUSH功能，覆盖使用习惯不同的用户。打通行政区域的政策宣贯渠道，解决消息闭塞的痛点。

4.总结

本平台基于大数据计算，在复杂、海量的信息数据中解读各种政策法规，落实现状，实施效果，充分反馈，深度分析，全方位的计算分析填补大数据应用在此方面的空白。数据分析计算结果受众覆盖广泛，可为国家政策制定、社会研究、职能部门活动策划提供参考。