探讨决策分析在数据仓库中的应用与创新

2018-01-08 19:32张中桢
电脑知识与技术 2017年36期
关键词:决策分析数据仓库创新

张中桢

摘要:随着计算机信息化技术普及应用于各个领域,现代计算机信息化技术也渗透到企业各部门的管理系统之中,通过对各部门信息系统数据的分析和利用,可以建构适宜于决策分析的数据仓库,它是对数据进行组织和管理的技术,是面向主题、集成而稳定的数据集合,通过对数据的抽取、清洗和转换,可以较好地将其应用于分析决策型应用环境,实现决策分析在数据仓库中的应用创新。

关键词:决策分析;数据仓库;应用;创新

中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2017)36-0004-03

在信息化技术普及的背景下,企业面临激烈的竞争,由此产生的各种业务信息也呈现出激增的态势,为了使这些庞大而分散的信息数据成为决策分析的依據和参考,需要利用现代信息化技术和方法,建构相关的决策模型,以集中而系统地把握企业资源配置状态和使用效率,从而利用平台管理系统,实现对企业的投资分析和决策分析。

1 数据仓库系统

1.1 数据仓库系统的特征

数据仓库是一个集成化、系统化、规模化的数据存储体系,可以实现对信息数据的快速、便捷的查询和分析,具有以下主要特征:

(1) 面向主题的仓库数据。数据仓库不同于传统数据库,传统数据库是面向应用进行设计,反映企业内部数据的动态表征;而数据仓库则是面和主题的分析应用而设计,必须对原始数据进行提取、加工、集成。

(2) 集成性。数据仓库中的信息数据来自于不同部门的应用系统,这些部门应用系统中的信息数据是相对分散的,需要对其加以提取、归纳、整理和综合,使之成为统一性的数据,以实现对数据仓库的扩充和更新。

(3) 时间性。数据仓库要根据数据的变化进行调整和改变,这就显现出数据仓库中的数据的时间性特征,对于用于趋势预测分析的数据通常要保留5-10年的历史数据;对于仅用于历史信息查询的、事务性的业务数据则通常只需保留30-90天。

(4) 相对稳定性。数据仓库中用于企业决策分析的信息数据是不同时点数据库快照的集合,是非事务型的数据,通常来说进入到数据仓库中的数据都是相对稳定的,通常情况下无须进行数据修改。

(5) 全新的数据库技术应用。数据仓库是一种全新的数据库技术,它是基于业务数据库的独立信息管理系统,通常不用于日常事务性的操作性工作,而主要是用于对企业高层决策分析的支持。

1.2 数据仓库的组织构成

(1) 数据仓库管理部分。在这一部分之中,需要对数据仓库中的数据库、数据来源、转换清理规则进行设计和定义,由数据源中将数据抽取到数据仓库之中,以较好地实现对数据的清洗、变换、集成、装载和删除。同时,还运用元数据的管理部件,如:技术元数据及业务目录等,实现对元数据的管理、存储、监测和管理。

(2) 数据仓库工具集。这主要是指检索查询工具、多维数据的OLAP分析工具、统计分析工具、数据挖掘工具等。

(3) 数据仓库的数据组织。它是以分级的方式对数据进行组织,具体的等级设置为:存储历史数据且利用率较低的早期细节数据;当前业务情况的细节数据;较小时间粒度的综合数据;基于当前基本数据提取的轻度综合数据;供决策层分析使用的精练、高度综合的数据。

1.3 数据仓库的模型

(1) 数据仓库的概念模型。它是一个粗略的轮廓,用于确认数据仓库的设计者对商务的准确理解方面,可以采用企业数据模型——ER图(ERD),实现对企业组织业务的具体描述。对于要特殊处理的数据,可以在数据仓库模型中载入数据实体的数据量,形成类似于星型或雪花的数据仓库模型。通常来说,星型数据仓库模型是应用极其广泛的数据仓库结构模式,它以事实表为核心,链接不同的维度表,实现多个维度表的相互关联,较好地为用户提供报表服务。它通常用于对特定商业事件数据的描述,可以较好地提升数据查询的质量。而雪花数据仓库模型则是对星型数据仓库模型的扩展和延伸,极大地减少了数据的存储量,但同时也增加了部分查询的复杂性,通常是以折中的方式实现部分维度表的标准化和规范化。

(2) 数据仓库逻辑模型。这是对高层数据概念模型的细分,其实体都有相应的逻辑模型相对应,可以成为开发者和使用者交流探讨的工具,是相较于概念模型而言更为细致的设计结果。

(3) 数据仓库的物理模型。数据仓库的物理模型以事实表模型和维度表模型为构成内容,可以实现大规模的数据查询,有极高的响应速度,其关键在于提升数据仓库系统的性能。具体的技术方法主要包括有:合并表;建立数据序列;适当引入冗余;实现表的物理分割;生成中间数据;建立索引等,通过上述多种技术方法,都可以较好地提升数据仓库系统的性能,使数据仓库的数据更为稳定、加载和处理的效率更高,避免用户重复计算而引发的误差。

1.4 数据仓库的元数据分析

数据仓库中的元数据是数据的数据,可以说是源数据,实现对数据仓库中所有对象的管理、操作,是整个数据仓库的核心和关键。元数据在数据仓库中的应用意义具体表现为以下方面:(1)减轻数据仓库管理工作量。通过对元数据的自动访问、控制和跟踪处理,可以为数据仓库系统提供访问规则和用户权限信息,支持系统集成和复杂的安全体系建构,支持建模分析和设计,具有良好的灵活扩展性和模块可重用性。(2)有效地提升数据信息。元数据通过对数据创建时间、作者、来源、获取的定义方式,可以实现对原始信息数据的精准查询,并可以成为数据分析的有效依据。

1.5 数据仓库的设计与开发

数据仓库的设计与开发要以需求分析为前提和基础,要全面分析投资者的需求、设计需求、开发者的需求、终极用户的需求,并使之贯穿于数据仓库的设计和开发全程。其中:投资者需求主要是指数据仓库建构的投资费用、组织战略影响及应用前景等;设计者需求则主要是数据仓库中各个结构之间的关系处理,如:数据结构、应用程序结构、技术结构等;开发者需求主要是指技术、试用、人员及技术需求等;终极用户的需求则是指用户通过查询工具和报表工具,实现对数据仓库内部数据的访问和了解,以更好地为用户的决策分析提供条件。

2 决策分析理论分析

在互联网信息化技术不断普及的趋势下,企业的各种数据不断累积和叠加,这就使数据的数量极其庞大,为了充分显现出这些业务数据的价值,使之成为企业运营分析和决策的参考,就要较好地采用数据挖掘技术,提升企业的运营绩效和市场竞争力。

2.1 决策分析的特点分析

为了更好地实现企业的运营分析和决策,要注重对数据的集成、协作和信息共享,了解和把握决策分析的相关特点:

(1) 形式的多样性。决策分析是用于对不同决策问题进行解决的具体化方法,涵盖企业运营的各个方面如:风险监控、运营绩效决策及评价等,并对运营中出现矛盾的现象要进行群体决策,以协商、仲裁的方式进行矛盾的解决和处理。

(2) 过程的复杂性。企业运营决策分析活动还表现出时序性的特点,在企业运营的不同阶段要采用不同的决策,由于这些运营过程和阶段存在不可避免的不确定性因素,这就使决策分析的过程具有模糊性、复杂性和不确定性,显现出各种决策化问题,如:结构化的决策问题、半结构化决策问题、非结构化决策问题等,这些不同的决策化问题并不能够完全用形式化的方式加以表达。

(3) 活动的分布性。企业运营活动呈现出模块化的状态,各部门及成员负担不同的子任务模块,并有特定的子任务模块的业务流程,显现出决策活动的分布性特点,它们会由于具体战略目标、决策者偏好等因素而表现各异,然而却拥有一致的总体目标,为了确保总体目标的实现,需要对各部门人员进行协调和控制管理。

2.2 决策分析的概念模型

(1) 战略层。它是决策分析模型的最高层,负有总体协调、管理和控制的职能,是企业运营的战略整体框架和行动指南,涉及企业整个事务和运营活动。(2)战术层。这是将资源分配到企业运营活动中相对稳定且类似的实体,实现对其工作流的监督、管理和控制。(3)执行层。这主要是在企业的制造、销售、供应、运输等运营业务活动中的具体内容,对第一线的业务信息进行采集、分析和整理,并将信息反馈结果作为决策分析的依据。

2.3 决策分析的支撑技术

数据仓库和联机分析处理系统(OLAP系统)是决策分析的支撑技术和组成部分,它从联机分析处理系统中提取数据,并对这些数据进行预处理,使之呈现出直观易懂的状态和形式,成为企业决策分析的数据支撑。

数据仓库的分析和设计还可以采用“自上而下”的方法,先设计全局性、总括式的数据仓库架构,再设计面向具体业务的应用层数据仓库,可以较好地实现对数据的快速高效的组织和分析。

2.4 决策分析的体系架构

决策分析系统主要由以下模块共同构成,具体表现为:(1)人机交互模块。这是系统与用户之间的交互窗口和界面,以Web技术和多媒体技术为手段和支撑,较好地实现企业决策支持的信息交互和知识获取。(2)决策分析及处理模块。它主要是对决策问题进行分析、分解和求解,以决策模型和算法作为结构的抽象化描述,将决策模型、决策方法和决策知识相整合,实时而快速地处理企业管理决策问题。(3)通讯模块。它重点考虑通讯语言和通讯协议两大方面,用于决策成员之间的信息交流和交互。(4)决策信息管理模块。它是决策分析系统的核心和信息源,通过数据库、知识库、模型库、方法库、对象库实现对决策信息的采集、处理和维护,较好地解决企业管理中的决策问题。

3 决策分析在数据仓库中的应用与创新实现

3.1 管理平台系统建构

可以建构企业管理平台系统,提取财务系统、设备管理系统、生产作业系统的相关数据,明确各个系统之间的逻辑关系,通过标准化、系统化的数据接口,形成指定格式的业务相关数据,可以通过网络的方式实现信息的传输和内部资源共享,实现数据的转换和统一。同时,系统还可以实现对数据的维护、逻辑性检验和一致性校验、真实性和完整性的审核、数据处理、统计及决策分析。

具体来说,管理平台系统的功能主要包括以下方面的内容:(1)数据采集。这是通过直接数据库访问或EDI报文的方式进行数据的采集,读取各个子系统的相关数据,如:财务信息子系统、设备管理子系统、生产作业子系统等。其中:直接数据库访问的数据采集方式是以统一的数据格式和精度为前提,将数据写入到相应的中间数据表之中,并将财务系统、设备管理系统、生产作业系统的相关业务数据,进行清洗、转换和集成,进入到管理平台系统的数据仓库表,具有一致性的特点,并能够成为企业决策分析的依据。而EDI报文的数据采集方式则是采用读取磁盘中的EDI报文文件的方式,将数据写入到数据仓库表之中,并在“接收的数据”栏中显示,处理结果则在“反馈信息”栏中显示,在这个采集方式之下要对数据传输内容进行加密处理,提升数据传输的安全性。(2)数据维护。这是对读入到数据仓库表中指定日期的数据进行增添、删除、修改等操作,将“脏数据”予以剔除,而对于已经校验、审核或处理的数据则无须改动,以确保数据的一致性和安全性。对于采集数据中完整有效的数据,则无须进行数据维护,直接进入到数据校验环节。(3)数据校验。这是对数据表中没有审核的数据进行逻辑性和一致性的校验,使之保持一致性和有效性。(4)数据审核。这是对经过校验的数据进行真实性和准确性的校验,以实现对数据的两级安全控制。(5)数据处理。这是将数据仓库表中的各种数据,进行成本、收入等不同指标的计算,它的处理执行过程是在数据库端,通过大量的后台存储过程即可以实现对数据的处理,可以按照设定的成本分摊算法,实现对成本的分摊、收益核算,并将最终的数据写入到统计表中,为统计和决策分析提供依据和支持。但是,要注意的是,在对数据进行处理之前,必须对指定年月的数据表中的数据进行全部审核,并确定当前没有用户进行数据处理。

3.2 数据仓库中的决策分析

可以在平台管理系统的数据仓库中,针对企业管理特定问题,建构相应的决策分析模块,具体来说可以开展对企业管理决策问题中的资源利用分析、盈亏平衡分析和投资决策分析,在这三个决策分析模块之中,更好地为管理者的决策判断提供可信度较高的技术支撑,使企业管理者能够明晰企业运营收益、经营风险和现实状况等,更好地提升企业的运营效益。

综上所述,数据仓库系统可以通过数据抽取和转换的方式,利用数据库直接连接和EDI格式文件建构决策模型,并将模型结合到数据仓库系统平台之中,为企业管理者提供良好的决策分析环境,从而较好地避免传统数据库系统的局限性,为企业管理中的运营管理、生产业务拓展、投资分析决策等提供可信度较高的技术支撑和信息化支持,从而较好地提升业务处理效率,充分挖掘信息数据的实用价值,增强企业的决策水平。

参考文献:

[1] 孙少鹏.基于数据仓库和数据挖掘的企业BOM研究[D].昆明理工大学, 2012.

[2] 梁宁宁.基于标准数据建立企业集团数据仓库及费用分析研究[D].重庆理工大学,2015.

[3] 李忠成.智能仓储物联网的设计与实现[J].计算机系统应用,2011(7).

[4] 曾炫.分布式空间数据管理与应用研究[D].華北电力大学,2012.

[5] 徐璐.基于数据仓库的客户关系管理系统研究[D].南昌大学,2015.

[6] 郑淑琴.新疆农信社数据仓库的设计与实现[D].新疆大学,2015.

猜你喜欢
决策分析数据仓库创新
基于大数据应用的智能公交决策分析平台
基于数据仓库的住房城乡建设信息系统整合研究
当前军事决策分析关注的几个问题
分布式存储系统在液晶面板制造数据仓库中的设计
探析电力系统调度中数据仓库技术的应用
基于数据仓库的数据分析探索与实践
基于GIS的城市交通流模拟与决策分析
美国扩大朝鲜战争的决策分析