污染源普查数据的二次开发利用

卢云霞



污染源普查数据的二次开发利用

卢云霞

福州市环保局环境信息中心

对污染源普查原始数据的二次开发利用途径包括：进行数据抽取、转换和装载，建立重点污染源档案和普查数据库；对数据进行分析、加工、处理和深度挖掘；完成基于普查大类、分行业、分地区、分流域、分规模为基础的主要污染物指标普查汇总数据信息发布平台。

污染源 开发利用 普查数据 成果应用

1 背景介绍

2007年第一次全国污染源普查是我国重大的国情调查，其数据涵盖了各类企事业单位与环境有关的基本信息，健全了各类重点污染源档案和各级污染源信息。之后，国家又组织了两次污染源更新调查（针对2009年和2010年污染源信息），更加完善了各类污染源信息。

笔者全程参与了第一次全国污染源普查及两次更新调查工作，负责数据处理和普查软件系统的管理维护方面的工作，并且参与编写《福州市第一次全国污染源普查技术报告》，该技术报告被国务院第一次全国污染源普查领导小组办公室评为一等奖。其后又组织开发了“福州市污染源普查成果应用系统”，该系统在国家普查软件系统基础上，根据实际的环境管理需求，对污染源普查数据进行二次开发利用，拓展了污染源普查成果的应用层面。

2 国家污染源普查软件特点

在第一次全国污染源普查及其后的两次更新调查工作中，数据处理统一使用全国污染源普查工作办公室组织编制的数据处理软件。国家提供的软件主要是用于污染源基础数据的纸质数据的录入，数据合理性的审核，数据的编辑、汇总和数据上报的传输工作。其中还有专门的软件校验和审核程序，保证数据的真实有效。

由于几次污染源普查及更新调查中使用的是不同版本的软件及不同的数据库，且软件为C/S(Client/Server，客户机/服务器)模式，对使用者而言不仅要求多次安装不同版本的程序，且客户端程序对安装环境有一定要求，不适用于目前所有在用系统；若需使用网络版数据，用户还需进行繁琐的配置工作；用户要对比不同年份的污染源数据，需要同时打开不同客户端，登陆不同服务器才可使用；并且软件对用户权限没有细分，只要能查看数据的人员同时也可以修改数据，对数据的安全造成极大的隐患。另外，国家提供的软件对使用人员的要求较高，必须是经过充分培训或有一定的SQL语句编程基础的专业人员方可进行一些简单的数据查询，阻碍了污染源普查成果的进一步推广应用。

污染源普查及更新调查收集的数据是重要的基础环境数据，覆盖了污染源的方方面面。以福州市第一次全国污染源普查为例，共完成污染源普查对象数30154个，包含了各个行业，涉及到各类重点污染物50多种，其中：工业源7403个；规模以上的生活源6738个；集中式治理设施19个；农业源15994个。这些数据量大面广，但是对于日常的环境管理应用而言，存在着冗余和不直观缺陷。

3 二次开发利用技术路线

要将污染源普查成果方便、直观、安全地应用到日常的环境管理工作中，需要将污染源普查（更新调查）数据进行抽取、转换和装载，建立起统一的污染源普查数据库及一个面向所有用户的数据分析与处理平台。

污染源普查成果二次开发利用目的就是通过对污染源数据的整理、提炼，可以让用户直观地查阅各类污染源的数量和行业、地区、流域的分布；各类污染源排放的主要污染物及其排放量、排放去向，污染治理设施运行状况、污染治理水平和存在问题等情况；通过对不同年份的数据进行整理，还可以掌握污染源变化的各种趋势；通过分级建立福州市级与所属区县级污染源信息数据库，方便环境分级管理工作，有助于实现对各自辖区内重点污染源的动态跟踪、实时监控和总量核算，同时便于梳理存在安全隐患的重点源。通过普查及更新调查建立起的基本单位台账和数据库，还可以直观地查阅，便于今后更好地开展环境监管工作。

二次开发利用数据处理采用了ETL技术。ETL是数据抽取（Extract）、转换（Transform）、清洗（Cleansing）、装载（Load）的过程，是构建数据仓库的重要一环。ETL能够按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。二次开发利用建立的统一普查数据库是一个面向主题的、集成的、稳定的且随时间不断变化数据集合，是整个普查数据分析与处理工作的基础。

数据处理工作按照以下3个步骤进行：

3.1 建立数据字典

根据日常环境管理工作需求，将原始数据中所需数据信息提取出，去除冗余字段和大量的噪声数据，按照统一规则集成，重新编排设计为统一格式的数据字典。

3.2 建立统一普查数据库

普查数据库中的数据必须在对污染源普查基础数据库原始数据进行数据抽取、清理的基础上经过系统加工、汇总和整理得到，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个普查信息的一致的全局信息。

抽取：将数据从各种原始的业务系统中读取出来，这是所有工作的前提。

转换：按照预先设计好的规则将抽取得数据进行转换、清洗，以及处理一些冗余、歧义的数据，使本来异构的数据格式能统一起来。

装载：将转换完的数据按计划增量或全部的导入到数据仓库中。

污染源普查及更新调查原始数据库中表单近1000份，其中2007年第一次污染源普查表单587份，2009年和2010年更新调查表单各135份；数据字段上万个。经过数据抽取、转换、清洗后，留下表单101个，字段3000个左右，分析数据结果972条（不包含污染源基础信息数据）。用户可以方便快速的从这些整理加工后的信息中查阅到自己所需的数据。

3.3 配置用户信息库

用户信息库统一集成到福州市环保局内网门户信息系统原有的用户信息库，在其中配置污染源普查成果应用相应权限，用户可通过统一门户入口共享二次开发利用的污染源普查成果。

图1 福州市污染源普查数据二次开发技术结构图

4 二次开发利用平台特点

福州市污染源普查成果应用平台（数据处理与分析平台）是在充分利用普查现有软硬件环境的基础上，采用数据抽取、转换和装载技术和网络技术等高新信息技术手段开发建设的平台。通过对所形成的污染源普查基础数据库进行进一步的分析、加工、处理和深度挖掘，完成基于普查大类、分行业、分地区、分流域、分规模等为基础的主要污染物指标的普查汇总数据，同时建立福州市污染源普查主题数据库。

福州市污染源普查成果应用平台将普查成果便捷、直观地应用于环境管理工作，进一步拓展了污染源普查数据的应用层面(如图2)。

图2

4.1 福州市污染源普查成果应用平台的内容

4.1.1按污染源大类（工业源、农业源、生活源、集中式污染源）的普查数据处理和分析；

4.1.2按区域普查数据的处理和分析；

4.1.3按流域普查数据的处理和分析；

4.1.4按行业普查数据的处理和分析；

4.1.5按福州市工业园区普查数据的处理和分析

4.2 福州市污染源普查应用平台的系统功能

通过这个平台，用户无需复杂专业的设置，只需点击页面上的按钮或链接，即可得到日常管理工作中需要用到的大量分析数据。

4.2.1快速查询各类污染源中产生排放的各类污染物的分析数据，如图3；

图3

4.2.2可按产生排放污染物的量的大小，快速查询企业列表，并查看到企业的详细信息（企业的基本情况表和这家企业产生的所有污染物信息），更方便管理，如图4；

图4

4.2.3可以按污染源大类、分地域、分流域、分行业等不同方式查看比较各类污染物的产生排放分析情况；

4.2.4查询表现形式多样，有数据列表和图表等多种方式，如图5、图6；

图5

图6

4.2.5可以通过“高级查询”，选取合适的条件，定制查询所需分析数据；

4.2.6选取不同年份的污普原始数据，可以比较不同年份污染源污染物的变化趋势，更方便地实现对重点污染源的动态跟踪和总量核算。

5 结语

在污染源普查及更新调查基础上建立的各类重点污染源档案和各级污染源信息数据库资料，有利于全面分析福州市污染源的基本情况和存在问题，为环境管理和科学决策提供依据。

污染源普查二次开发利用工作，充分利用污染源普查数据及更新调查成果，借此可以深入了解福州市工业、农业、生活等污染源的排放和分布情况，准确了解分析污染物排放情况，正确判断环境形势，科学制定环境保护政策和规划，有效实施主要污染物排放总量控制计划，对于切实改善环境质量，提高环境监管和执法水平，保障环境安全，加强和改善宏观调控，促进经济结构调整等都有着十分重要的意义。

[1] 福州市第一次污染源普查技术报告,2009.

[2] 张宁，贾自艳.数据仓库中ETL技术的研究[J]. 计算机工程与应用，2002,38（24）：213-216 .