统计分析过程中加强对数据资料的管理

陈向丽

一、问题的提出

统计分析的工作对象是各种统计数据。对其进行有效的管理是统计分析工作的前提和保障。在较大规模的统计分析工作过程中,一般涉及的统计指标的数量较多,并且随着时间推移,统计数据的规模不断积累扩大;同时,统计指标体系一般会由于统计口径的经常性变动而变得比较复杂。这些都给统计分析的实际工作带来了许多困难,主要表现为:

1.数据组织困难

在进行一般的统计分析时,由于涉及的统计指标个数比较少,一般的做法是:首先采用手工录入数据的办法,将数据录入到统计分析软件中,并以数据文件的形式存储在磁盘上,然后再对它们进行分析。分析任务完成,就将它们放置到一边存档。

2.数据查询效率低

在实际统计分析工程中,往往需要从不同角度和不同层次对分析数据进行全面深入的分析研究,这就需要对所收集的统计指标在各个层面、各个角度上进行查询。如果统计指标的数量极为庞大就必然要花费相当大的精力对已经存储好的数据进行重新整理、组织甚至重新录入,否则就无法满足统计分析需要。

3.数据含义混乱

在统计分析工作中,一方面,要求统计指标尽可能理想,具有全面性、准确性;但同时另一方面,客观实际情况是,随着时间的推移,由于各种原因会造成统计指标本身缺乏全面性、准确性。统计指标之间缺乏可比性。这个矛盾是经常存在的。

二、数据文件的组织方式和存在的问题

统计分析过程中经常用到统计分析软件,它们在统计分析方法和模型方面具有强大的优势和功能。但统计分析软件是以计算机数据文件的方式来组织统计数据的。这种方式能够满足统计分析模型对数据格式的要求,但在数据的组织和管理方面功能相对较差。在统计分析中,仅采用数据文件的形式存储统计指标必然会出现很多问题。

1.数据文件只是存储统计数据的指标值,不存储指标名

统计分析软件一般以电子表格的形式存储统计数据,统计数据的数值以变量的形式存放,指标名称或者作为各列变量的变量名存储,或者以标签的形式出现,或者根本就不存储,而被统计分析人员记在心里。

2.数据的组织方式不能支持统计分析中对统计数据的任意提取

在进行不同层次,不同角度的统计分析中,需要经常地对已经存储好的数据进行任意提取。但是,正是一般统计分析软件中数据文件的组织方式没有完整地存储统计数据,致使它无法自动地支持对统计数据的任意查询和提取,更无法谈及查询优化,而只能靠人工完成。在数据量庞大的情况下,人工操作是极其困难、甚至是无法实现的。虽然ARIMA系统在实现数据检索方面有其一定的优势,但操作过程十分复杂,并且要在创建数据集时就要对检索条件进行确定。

3.数据组织方式的随意性不支持统计分析的长远要求

利用一般的统计分析软件组织统计数据,数据究竟按照哪种表格形式存储完全取决于统计分析人员的习惯和当时分析的需要。因此,具有很大的随意性和不规范性。这造成:当新一期数据产生时,可能无法有效地支持增加新指标;当分析研究的层次、角度改变时,可能无法满足灵活多变的统计分析模型对数据格式的要求。

4.数据的组织方式不能反映统计指标间的相互关系

由于一般的统计分析软件仅存指标值,不存指标名。因而无法反应统计指标在结构上的相互关系,也无法反应统计指标的体系变化。

综上所述,统计分析软件中的按数据文件方式组织数据的方法较难满足实际统计分析工作的需要。因此,选择一种全新的、科学的、符合统计分析工作实际要求的数据组织方式来管理统计指标成为必然,统计数据库系统无疑是一种理想的选择。

三、统计数据资料的特点

统计数据一般具有以下几个特点:

1.统计数据具有系统性

统计数据是说明自然和社会总体现象数量特征的科学概念。一个完整的统计数据包括六个部分,即时间范围、空间范围、指标名称、指标数值、计量单位和计算方法。所谓系统性是指构成统计数据的各要素是不可分隔、缺一不可的。否则,便会出现不知所云的现象。

2.统计数据具有历史性

统计数据是历史发展的积累,随着时间的推移,以往的历史数据不会失去存在的意义、而是进行统计分析、统计预测的基础。

3.统计数据具有广泛性

统计数据所记录的对象可能横向涉及到各行各业的各种事物,而且随着统计手段的加强和统计能力提高,统计的范围在不断拓展。

4.统计数据具有大量性

统计数据的纵向历史性和横向广泛性造成统计数据的大量性。

5.统计数据具有多维性和层次性

分析单个统计数据,可以看出它具有结构多维性。即:完整的统计指标是由六个基本要素构成的。

6.统计数据具有变化性和不规范性

历史性必然造成统计数据的变化性和不规范性。随着时间的推移和人们对分析问题认识的不断深入,统计数据的核算单位、统计口径等必然会发生变化,导致统计数据不具有可比性。

研究统计数据的自身特点是解决统计数据资料管理的基本思路。

四、数据管理解决方案

解决统计数据管理的方法很多,其中统计数据库是一个较为可行的方案,统计数据库系统的研制是近年来统计学界和计算机界都十分关注的课题。它是存储、管理、分析统计数据的数据库系统,是数据采集和数据传送的解决方案,是数据存储和数据管理根本手段,是提供数据分析和数据服务基础。

由于统计分析所处理的对象是统计数据,因此,一切工作都应围绕如何合理地存储统计数据,如何方便统计分析人员查询提取统计数据等问题展开。在此基础上,结合统计数据的自身特点,建立统计数据库可以从以下几个方面考虑:

1.以统计数据为基本存贮单位,放弃以统计表为基本存储单位的设计思想。

2.统计数据的指标名称和指标数值分别处理,实现统计数据的完整存储,在这个前提之下,寻求更合理的数据组织方式。

3.通过划分统计数据的基本信息实现指标名的存储。

这种统计数据的组织方案能够较好地克服上面提到的诸多问题。它实现了统计数据的完整存储;能够使用户直观地、方便地了解各指标之间的复杂关系,有利于统计指标口径的自动调整;以统计数据为存储基本单位,极大地提高了数据的存储效率和查询效率;能够方便地增加新数据;能够方便快捷地满足统计分析人员对统计数据的各种层次和角度提取需求。◆