基于微服务架构的大数据应用开发创新实践

周建业 祝文飞 徐长君 史倩倩

摘要：解决企业面临的海量数据组合查询搜索问题，积极开展基于大数据技术和面向微服务架构的应用架构研究。以开源软件体系为依托，采用分层架构设计的方法，将大数据技术平台划分为数据采集层、数据计算层、数据服务层、数据应用层这几个层次。在各个层次上，研究和探索使用主流的大数据技术产品满足对应层次的需要。在应用架构上，创新性使用微服务架构来替代以往的单体应用开发模式，基于业内主流的SpringCloud技术体系，实现了应用架构的全面微服务化。通过新的应用架构，不仅通过用户实时统计分析的应用开发来验证了微服务相关的服务注册中心、服务配置中心、服务发现、网关路由、服务高可用、服务负载均衡、服务快速API化等相关技术方案，而且为基于大数据与微服务的技术融合提供了一条可工程化的路径。

关键词：大数据;微服务;架构设计;应用创新

引言

目前行业大数据已经广泛应用于配电网和电力设备在线监测中，如运行状态诊断、用户行为特征分析、状态评估、基于复杂相关关系识别的设备故障诊断和预测技术、基于大数据和信息融合的输变电设备关键性能动态评估及预测等。虽然已经产生了海量数据，但大多数仅仅实现了数据存储、查询、统计等最基本层次的功能，尚未深入挖掘出隐藏在海量数据背后潜在的价值。若需要发现大数据中蕴含的更深层次的规律，保证系统运行的经济性、安全性和可靠性，需要通过数据挖掘技术来完成决策任务。

1 概述

双模IT概念由Gartner提出，双模IT是指两种不同的IT工作模式。一种模式专注于可预测性，其目标是可靠、可用和低成本，适用于需求明确的工作。比如ERP实施项目，在需求分析阶段就必须将用户的需求明确下来。另一种模式是探索性的工作，需求在开始阶段并不明确。比如用大数据分析设备缺陷原因或者利用机器学习来预测设备劣化趋势，在项目开始阶段，用户只知道项目的目标，对于具体的需求并不明确，需要和IT部门一起来探索。对于核电企业这种以资产运营为核心的企业，必须通过将双模IT实施，才能在数字化浪潮中打赢数字化转型这场硬仗工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更准确的资讯。大数据有数据量大、数据种类多、要求实时性强、数据所蕴藏的价值大等特点，简称为4V，即Volume、Velocity、Variety、Veracity。大数据的数据来源可能是多种来源，这些来源包括搭载感测设备的移动设备、高空感测科技（遥感）、软件记录、相机、麦克风、无线射频辨识（RFID）和无线感测网络。我们通常声称的大数据应用是指利用先进的大数据管理和处理技术，针对实际业务所面临的日益膨胀的海量数据存储问题以及在此之上的海量数据处理问题而设计相应的解决方案并应用微服务架构是相对于传统的整体式架构（MonolithicArchitecture）而言的。

2 平台建设目标及内容

大数据综合服务平台致力于为政府管理人员、科技工作者和社会大众提供数据信息科技服务，平台通过建立统一的标准规范，集聚科技资源，整合现有多源异构信息系统，提取处理并分析科技数据，形成集数据抽取、归集、整合、存储、处理、分析和服务为一体的全过程大数据综合服务平台。平台基于先进的微服务技术架构建设，通过提供自动化部署及智能服务能力，建设“一个总门户、两个处理中心、五个子平台及多个信息系统”的统一科技大数据综合服务平台。平台包含一个综合服务总门户、微服务调度处理中心和大数据分析处理中心两个处理中心、科技信息系统子平台、科技资源子平台、辅助决策子平台、共享服务子平台和基础支撑子平台五个子平台。综合服务总门户是平台的统一入口。总门户发布最新的通知和动态，提供业务系统申报受理指南文件等，统一各业务子系统的登录认证入口，分类展示科技资源数据，提供决策支持、数据统计的分析结果和报告，并对外提供统一共享服务。微服务调度中心是平台的枢纽，为平台提供基础技术框架。平台通过微服务技术架构完成服务组件的提供与消费、统一的服务发现和注册、系统级消息通信、系统数据缓存、高可用服务集群整合、统一安全和运维体系保障等，微服务调度中心还与大数据分析处理中心协调进行数据共享交換的调度处理。大数据分析处理中心通过建立数据共享交换系统完成各平台系统的数据对接互访与共享交换，并对归集到的数据进行存储，利用统一的基础数据及第三方认证系统对数据进行认证清洗，建立大数据处理模型并采用相应数据处理算法对数据进行处理分析，以此形成对数据的抽取、整理、清洗、存储、分析和服务共享的全过程大数据综合处理。科技信息系统子平台是平台信息化的重要支撑。现有已建成投入运行的信息系统，在建及将来要建的系统都归置到该子平台。整合贯通这些多源异构系统，要按实际情况区分对待，对已有异构系统需进行规范化改造，通过对接统一用户中心等通用模块完成统一的登录认证，并逐步按照标准进一步规范贯通，对在建未建系统则要求在统一用户中心及标准规范下才能继续建设。另外子平台利用总门户和微服务调度中心对外提供统一的信息系统入口、登录登出和统一认证功能，通过集中化管理，达到系统间及平台间共享数据资源的目的。科技资源子平台重点在于整合现有科技资源数据，包含现有的和历史的电子化数据，采用关系型数据库、各类文档、图片、视频等多种存储媒介对多源数据资源进行存储处理。科技资源子平台集中整合科技计划项目、科技奖励推荐、高新技术企业、重点实验室、基础条件平台、工程技术中心、创业孵化平台等科技资源和数据，通过对管理过程中的过程数据和历史数据电子化，归集形成科技资源数据仓库。子平台中可以单独建设科技数据管理系统，对科技业务进行分类化数据管理，初期采集结果数据，后续再采集过程数据。辅助决策子平台是大数据分析处理中心的延伸，该子平台利用大数据模型及分析算法对归集的科技数据进行分析挖掘，为政府决策者和管理人员提供辅助决策支撑。视情况生成科技创新指数、地区科技竞争力等分析报告。按需生成科技数据统计及统计结果输出等。共享服务子平台与总门户协同对外提供服务，是平台与第三方平台交换数据的中介，也是平台为科技人员和社会公众提供服务的桥梁。该子平台包括：与“信用山西”等第三方政府部门的数据共享;与科技部的数据信息互联互通;市县一体的科技领域管理与服务;对科研单位、专业机构、科技人员和评审专家等进行的科研信用评估评价;与实体政务大厅结合的通过线上线下平台对外统一服务。

结语

为解决实际遇到的海量数据组合查询搜索问题，积极开展基于大数据技术和面向微服务架构的应用架构研究。按照分层架构对大数据技术平台进行设计，将平台划分为数据采集层、数据计算层、数据服务层、数据应用层。在各个层次，使用主流的大数据技术解决对应层次的需要。在应用架构上，使用SpringCloud实现应用的微服务化，实现了服务注册、服务发现、网关路由、服务高可用、服务负载均衡等。通过对相关架构的设计和新兴技术的实践，满足了用户实时统计分析的需求。

参考文献：

[1] 袁捷.贵州电网大数据应用探讨[J].电力大数据，2017，20（12）：4-7.

[2] 张冰玉.基于数据挖掘技术的短期电力负荷预测[J].电力大数据，2017，20（10）：18-21.