基于中台架构的投资管理数据分析系统设计与实现

钱晨 　王健生　李欢欢　曹光

摘 要：针对数据分析在投资管理中的效率问题，提出并设计了一套完整高效的数据分析方法及系统。该系统采用数据中台的思想并结合BI前端工具进行数据处理和展示，不仅提取了主数据系统中的关键指标，还将多个原子指标转化为复杂度且综合性更高的衍生指标，挖掘数据背后的商机，让用户直观地看到不同维度下投资情况的对比结果，为企业制定投资蓝图提供参考。系统经过在线测试和试运行阶段后，已正式投入使用，并取得了良好的效果。

关键词：数据分析；投资管理；数据中台；BI前端工具；衍生指标

中图分类号： TP311.5文献标志码： A文章编号：1001-2443（2023）02-0126-05

随着国家能源结构和产业结构的调整，环保能源行业依靠政策的导向快速发展。那么如何在这波浪潮中把握投资机遇是当今环保能源型企業发展面临的主要困难和挑战。目前有一些学者开展了投资管理方面的研究，并取得了实质性的进展。张钟学等人分析了中国各省的面板数据资料，发现投资环境在人力资源、开放化和产业化方面的发展迅速，随着政策与法律环境的逐步完善，东部与中西部的投资环境差异逐渐缩小［1］。卫翔充分利用大数据分析的优势，对证券投资业务管理过程中存在的问题进行有效控制并找到解决策略，从而更好地提升证券投资业务的管理水平［2］。刘艳介绍了移动大数据的概念、发展历程，分析了数据挖掘和数据分析技术在金融投资领域的应用［3］。由上述研究现状总结可见，对投资管理的研究主要偏向于对数据分析系统的应用，而对投资分析系统的设计方法鲜有涉足。在此背景下，本文提供了一套投资管理数据分析方法及系统，该系统基于数据中台的思想，从源头抽取数据进行转换、汇总、统计计算和存储等操作，形成标准的、统一的、有价值的数据，定时推送给前端BI工具进行可视化展示，从而让用户直观地看到不同维度下投资数据的对比结果，为公司高层投资决策提供全方位多角度的数据支撑。

1 技术概述

在本系统设计过程中，主要用到以下两种关键技术：

1.1 中台架构

所谓中台是协调前台和后台矛盾的中间结构。它提供了数据采集、数据共享和数据分析等全链路一体化的服务，提供面向企业业务应用的数据智能平台［4］。由于各行各业的业务范围不同，所以应根据自身信息系统建设水平制定适合企业发展的数据中台方案。

本文严格按照企业内部统一的数据标准和数据模型，利用主流的数据开发工具，以业务需求为导向进行数据采集、整合和分析，形成数据中台的三层服务架构［5］，如图1所示，自上而下分别为数据贴源层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）［7-8］，其中ODS层是把数据直接导入数仓的接入层；CDM层主要是完成对ODS层数据的加工、处理和整合，建立统一的维度，构建可复用的面向分析和统计的明细事实表；ADS层是从CDM层获取所需的明细数据按业务需求进行定制化开发，为前端专题页面提供分析数据。

1.2 商业智能工具（BI）

BI作为一套完整的企业解决方案在大数据应用领域受到人们的广泛关注。它是一种对大量信息进行采集和重新组装的过程，这个过程与知识创造和知识共享紧密结合，帮助企业做出明智的业务经营决策［6］。

由于常规的BI工具都具有强大的数据采集、 数据清洗与转换、 数据分析和可视化等功能，所以使用BI工具工具进行数据分析和挖掘只需掌握基础的SQL语句和JS脚本语言就能够方便地进行企业经营数据分析和可视化展示。

本文利用BI工具将分析处理后的数据进一步清洗和转化，加载到配置好的前端页面模板中，最后以WEB形式展示给客户。

2 业务场景设计

通过与投资管理部业务人员沟通收集需求，并进行需求分析后发现投资管理过程中存在大量的指标数据，如果没有对场景进行清晰的划分，用户很难从中找到自己需要的数据，从而无法进行指标间的对比分析。因此，本文将投资管理数据划分为两大场景，如图2所示，分别是投资项目地图和项目公司投资地图。通过对场景的划分，将数据指标分配在不同场景中，一方面梳理了指标逻辑，另一方面强化了用户对各场景的理解和把控。

2.1 投资项目地图

投资项目地图的主要功能是通过签约年度、项目类型和区域筛选查询出不同年度、项目类型以及地区项目的投资情况，在此基础上通过Axure软件设计出投资项目地图原型，所涉及到的关键指标如表1所示。

2.2 项目公司投资地图

项目公司投资地图的主要功能是通过筛选日期、项目状态、区域、项目类型以及省份等查看分析特定时间，状态和区域的项目公司投资情况，并通过Axure软件绘制出项目公司地图原型，通过条件筛选可以在地图中查看项目公司的投资分布、项目数量以及业务类型，所涉及到的关键指标如表2所示。

3 系统总体设计

业务场景数据域划分完成后根据系统需求，设计出系统总体架构，如图3所示。该系统架构由数据接入、中台系统（数据存储与管理、数据分析处理、结果数据存储）和前端工具构成，并通过日志功能记录系统全流程运行情况。

图4给出了具体设计方案，从图中可以看出中台系统从数据源获取数据，经数据清洗和转换后，把数据按分区加载到数据仓库的ODS层中，完成数据从数据源向目标数据仓库的转移过程［9］，然后按业务上的关联关系将数据表汇总合并生成明细表，按分区存储到数据仓库的CDM层中，进一步对明细表增加业务限定条件再进行分类统计生成统计表，按分区存储到数据仓库的CDM层中，最后将CDM层的明细数据和统计数据整合成一个主题域的宽表，按分区存储到数据仓库的ADS层中等待管道定时将数据写入到BI工具的后台数据库中［10］，如此在调度模块的作用下循环往复执行上述步骤，便可在BI前端展示出面向主题的、集成的、非易失的、随时间变化［11］的投资数据分析结果。

4 系统关键功能实现

根据图3中的系统架构模型，按功能进一步把系统自下而上拆分成抽取转化装载模块（ETL模块）、分析处理模块以及BI应用模块，除此之外还包括辅助功能模块（任务配置和调度配置），如图5所示，下面将对这些功能块分别加以说明。

4.1 ETL模块

根据环保能源项目投资数据分析，设计出符合业务需求的ETL模块［12］。图6给出了设计方案，首先是抽取数据，该模块定时向RESTFUL API接口［13］发起请求获取主数据系统中的相应数据。其次是转化，经过一系列自定义的业务规则、转换规则和变化规则等规则库串联处理后转化成统一、一致和高度集成的标准化数据；最后是装载，将转换完成的数据按分区以增量或全量的方式加载到数据仓库的ODS层中，实现从数据源到数据仓库的转移过程。

4.2 分析处理模块

原数据经过ETL处理后存储在数据仓库的ODS层以便数据处理模块随时调用。数据处理模块的主要功能是对ODS层的数据进行加工处理最终通过不同维度展示企业投资布局，为企业战略制定提供依据。同时，数据处理模块还具备分区功能，本文以时间分区为例，将当天提取、计算、整合的数据划分至同一分区，该分区功能不仅能为全量和增量两种数据更新方式提供合理的存储空间［14］，还能够起到历史数据追踪的功能，一旦某个分区出现问题，可以通过回溯历史分区的方式进行缺陷修复。

由于投资管理过程中需要分析的指标数据很多，所以仅对原子指标的统计分析已经无法满足需求，还需要对多个原子指标汇总计算得出的衍生指标［15］进行分析，通过对衍生指标的统计和分析，能够挖掘更深层次的业务关联性。本系统的数据处理模块能够根据用户需求，灵活处理和计算衍生指标，例如以年平均垃圾处理服务费为例，首先分别对两个度量值处理单价和处理重量按项目编码分组求平均生成对应的原子指标，然后通过统计周期和业务限定等对这两个指标进行约束，生成衍生指标，如图7所示。

4.3 BI应用模块

通过充分共享将分析统计的结果转化为知识，进一步把知识应用到投资管理领域形成智慧，帮助企业投资团队做出更明智的决策。把BI应用模块自下而上分解成数据持久层、基于BI的WEB服务层以及WEB客户端层［16］，如图8所示。其中数据持久层是用于存储从数据仓库ADS层导出的统计分析结果表；基于BI的WEB服务层是通过添加数据源和创建数据集将指定持久层中的结果集读取到BI工具的数据集中，为WEB客户端提供数据服务；WEB客户端层是通过拉取和配置各种组件制作战略驾驶舱、分析页面和报表展示页面等，同时关联数据集中的字段做相应的统计分析工作，这样业务人员和上级管理层就可以在浏览器上看到不同维度下分析的结果，从而挖掘出数据背后的投资商机。

4.4 辅助功能模块

为了增强本系统的性能，避免人工误操作带来的风险，特地引入辅助功能模块作为支撑，该模块主要由调度模块和任务模块组成［17］。其中任务模块的主要功能是配置数据处理任务的层级和执行顺序，使得整个系统的数据处理过程遵循严格的逻辑顺序和前后关联性。任务配置可以按照业务需求自定义任务的名称，动态调整上下游节点以及依赖关系，实现按需弹性快速的配置任务流，同时配合调度模块一起使用，达到定时自动運行的效果。

以项目公司地图场景为例，统计分析不同维度下项目公司的投资情况，如图9所示，当主程序按照调度时间运行后，整个任务流将从【start】节点开始按照层级顺序依次执行，首先从主数据系统获取原始数据作为任务流的第一层，然后经过ETL处理后将各表按主外键关联性汇总合并生成事实明细表作为任务流的第二层，再将明细数据进一步分类统计生成统计表作为任务流的第三层，最后将明细数据和统计数据加以整合形成供前端场景页面调用的宽表作为任务流的第四层，并通过任务节点exp_ads_pub_mgt_company_cm以管道的方式输出到后台持久层数据库存储，等待前端BI工具进一步分析处理后进行页面展示。

5 系统应用

系统在环保能源总部部署以来运行效果良好。图10给出了项目公司地图，最上方以总览的方式概括了项目公司的地理分布和投资概况，紧接着下方通过菜单筛选的方式，统计分析各项目公司在特定时间，不同项目类型和多个区域上的投资情况，并通过地图、柱状图和明细表分类展示统计结果。随后点击结果集上的项目公司名称会进一步下转到项目公司投资项目信息，如图11所示，通过可视化图表从多个维度呈现出不同年度、项目类型以及地区项目的投资情况。

通过上述图表结合，不同维度由点及面的数据分析，可以全面掌控整个公司的投资布局，有利于挖掘数据中的潜在价值，发现投资管理中存在的问题，便于管理层做进一步行动的决策部署。

6 结语

基于中台思想的投资管理数据分析系统由数据接入、数据存储与管理、数据分析处理、结果数据存储和前端BI工具组成。通过对业务场景的划分实现了以不同维度展示投资项目地图和项目公司投资地图的功能，帮助企业在投资管理中从事数据分析和挖掘工作提供思路和建议。

参考文献

［1］张钟学，卞爱莲.中国各省投资环境的空间动态的面板数据分析［J］.四川大学学报（哲学社会科学版），2011（2）：75-83.

［2］卫翔.大数据背景下商业银行证券投资业务管理策略分析［J］.经济研究导刊，2022（12）：68-70.

［3］刘艳.移动大数据在金融投资领域中的应用研究［J］.现代商业，2022（2）：35-37.

［4］翟雪松，楚肖燕，张紫徽，等.基于中台架构的教育信息化数字治理研究［J］.电化教育研究，2021，42（6）：40-46.

［5］李信鹏，刘威，杨智萍，等.电网企业数据中台方案研究［J］.电力信息与通信技术，2020，18（2）：1-8.

［6］乔冰琴，段全虎，高翠莲.企业大数据分析挖掘及大数据BI工具应用实践［J］.会计之友，2021（24）：131-137.

［7］王婷婷.数据仓库和数据挖掘在学生成绩分析中的应用研究［D］.武漢：武汉科技大学，2007.

［8］李学锋.矿山企业数据仓库的应用研究［D］.昆明：昆明理工大学，2005.

［9］郑耀东，李旭峰，陈和平.工业企业数据中台构建方法探索［J］. 现代信息科技， 2020，4（21）：130-133.

［10］刘梦苏. 基于 BI 的数据中心报表系统的设计研究［J］. 信息通信， 2018 （7）： 132-133.

［11］蔡莉， 梁宇， 朱扬勇， 等. 数据质量的历史沿革和发展趋势［J］. 计算机科学， 2018， 45（4）： 1-10.

［12］张建兴. 中国邮政速递数据仓库系统 ETL 的设计与实现［D］. 北京：北京交通大学， 2014.

［13］马青霞，王智钢， 李广水. 基于 RESTFUL 的面向服务数据挖掘原型系统的设计与实现［J］. 计算机应用与软件，2014， 31（2）： 41-43.

［14］赵宏博.实时数据仓库环境中分区技术的研究与应用［D］. 沈阳：东北大学， 2008.

［15］张青.面向对象流程驱动的大数据集中管控模式［J］. 电信科学， 2015， 31（11）： 159-165.

［16］刘广堂.商业智能BI系统在企业中的应用［J］.能源技术与管理，2009（3）：146-148.

［17］郑鹏.数据仓库任务调度管理平台的设计与实现［D］. 济南：山东大学， 2018.

Design and Implementation of Investment Management Data Analysis System based on Middle Platform Architecture

QIAN Chen，WANG Jian-sheng，LI Huan-huan，CAO Guang

（Everbright Environmental Technology （China） Co.， Ltd.， Nanjing 210003，China）

Abstract： Aiming at the efficiency problem of data analysis in investment management， a complete and efficient data analysis method and system is put forward and designed. The system adopts the idea of data middle platform and BI front-end tools for data processing and display， and not only extracts the key indexes in the main data system， it also transforms the atomic index into a more complex and comprehensive derivative index， mining the business opportunities behind the data， allowing users to directly see the results of the comparison of investment in different dimensions， and providing a basis for enterprise strategic planning. After on-line test and trial run， the system has been put into use and achieved good results.

Key words： data analysis; investment management; data middle platform; BI front-end tools; derivative index

（责任编辑：马乃玉）