清洁生产数据库的建立与应用
余沁园,彭轲,刘刚
(重庆新颜科技咨询有限公司, 重庆401147)
摘要:清洁生产是一种预防污染的环境战略,而开展清洁生产审核、实施清洁生产方案则是提升企业清洁生产水平、提高资源利用效率和从源头削减污染物的有效手段[1]。该文介绍了一种基于关系型数据库的数据表模型和导入规则,用于从清洁生产审核报告中提取清洁生产方案,经数据抽取、转换、装载和清洗等步骤构建清洁生产数据库。同时,借助软件开发工具,实现清洁生产方案的查询和多样性呈现,为工业企业和咨询机构开展清洁生产审核、实现节能降耗提供技术支撑。
关键词:清洁生产;数据库;污染预防
收稿日期:2015-05-25
作者简介:余沁园(1973—),男(羌族),四川北川人,工程师,硕士,研究方向为清洁生产、环境信息化,E-mail:yuqinyuan@hotmail.com
中图分类号:X38
DOI: 10.14068/j.ceia.2015.04.024
在清洁生产审核过程中,工业企业通常会产生和实施不同类型的清洁生产方案。这些方案有的花钱多,有的花钱少或者不花钱,有的侧重于工艺技术改造,有的侧重于加强管理或提高员工技能,然而都可以帮助企业提高资源利用效率,从源头削减污染物的产生,有一定的环境效益和经济效益。清洁生产审核咨询机构如果注重基础资料采集的完整性和准确性[2],以及清洁生产方案的有效收集和积累,则可为后续的其他清洁生产审核项目提供帮助,而构建有特色的清洁生产数据库则是实现知识积累最基础也最重要的工作。
2009年,重庆新颜科技咨询有限公司承担了“重庆清洁生产技术支撑平台”的建设,至今从审核过的200多个清洁生产项目中收集和积累了5000多项清洁生产方案,经数据清洗、整理后导入数据库,初步形成了涵盖汽摩、机械、化工、医药、建材等多个行业的清洁生产数据库。
1数据库构造
清洁生产数据库选用全球应用最广泛使用的开源数据库MySQL,运行于Linux操作系统之上。清洁生产数据库配置为关系型数据库,其E-R模型比较明晰,最基础的数据表为清洁生产方案表(solutions),字段设置如表1所示。
表 1 数据表字段设置
其中,“项目编号”和“方案编号”构成数据表的主关键字。按清洁生产审核的有关规范,“方案类别”共分8类,包括:提高员工素质或完善激励机制、加强管理、资源能源节约或原辅材料替代、优化过程控制或完善计量、回收利用废弃物或削减污染物、更新或维护设备、技术工艺改造、改进产品或包装物。“方案状态”共分3类,包括:已实施、正在实施和计划实施。“方案规模”共分2类,包括:中/高费方案和无/低费方案。
2数据清洗和整理
从形式上看,清洁生产方案的主要数据来源是咨询机构编制的《清洁生产审核报告》。然而,由于报告本身是非结构化的文本格式(多为MS Word格式),其中与清洁生产方案有关的汇总表的样式随编制人员不同而有一定差异,使数据的抽取比较困难。同时,文本格式的表格数据存在段落符号不一致,中、英文符号不统一,半角全角符号混用,以及在Windows系列操作系统下数据编码格式与数据库装载工具要求有差异等问题,因此在进行数据装载时常常存在关键数据的导入异常中断,以及部分数据冗余、重复、缺失等问题。
数据的不规范,是建立清洁生产数据库的难点。要解决这个问题、确保数据装载成功,就需要在获取清洁生产方案后进行数据的抽取、转换和装载(数据ETL,即Extract, Transform & Load),通常如果缺乏专业的数据ETL工具,则利用几个常见工具也可完成,主要包括以下工作步骤:
(1)新建一个MS Excel工作表。从《清洁生产审核报告》“方案的产生和筛选”一章中拷贝清洁生产方案分类汇总表,并从“方案的实施”一章中拷贝已实施的清洁生产方案成果汇总表和正在实施以及计划实施的清洁生产方案汇总表至Excel工作表,并按表 1内容进行数据列标题和内容调整;
(2)在Excel工作表中,将半角逗号“,”全部替换为全角逗号“,”,并将半角双引号“”替换为全角双引号“”;
(3)将文件另存为.csv文件(逗号分隔符文件);
(4)再用Excel重新打开.csv文件,将所有数字类型的字段格式全部改为“常规”;
(5)在Excel中,将数字中的千分号全部删除,并确保所有单元格中的软回车字符全部删除,然后保存文件;
(6)用Word打开.csv文件,将连续两个半角逗号“,,”替换为“,NULL,”;
(7)重复上一步骤,确保所有“,,”全部被替换为“,NULL,”;
(8)利用替换功能将“空格+逗号”替换为“逗号”,并利用高级替换功能将段落标记“,^P”替换为“,NULL^P”,保存文件;
(9)将.csv文件用Notepad打开,另存为solutions.csv文件,记住选择编码为“utf”。
数据按上述步骤清洗、完善之后,再用数据库管理工具(比如phpMyAdmin)导入solutions.csv文件,记住选择“Ignore duplicate rows”,字段分隔符选择逗号“,”。导入和装载作业完成后,初步建立了清洁生产方案数据库。
值得注意的是,如果在清洁生产审核过程中善于使用Excel等软件工具,则可以从Excel中直接进行数据转换和清洗,跳过上述步骤(1),简化工作。
3数据库应用
MySQL数据库的一大优势是有多种数据操纵平台可供选择,流行且简易的平台选择为LAMP(Linux操作系统+Apache服务器+MySQL数据库+PHP编程语言),因此笔者选择PHP程序语言和Smarty模板引擎开发了“方案查询”功能。
目前,可以实现以下5种形式的方案查询:
(1)按投资额查询
(2)按方案种类查询
(3)按行业查询
(4)按企业查询
(5)按组合查询
PHP程序方面,首先是连接数据库,关键语句如下:
$connection=mysql_connect($db_host,$db_username,$db_password);
if (!$connection)
die(“Could not connect to the database:
”.mysql_error());
mysql_select_db($db_database, $connection);
然后是构造SQL查询(以组合查询为例),关键语句如下:
$sql=“select abbreviation, seq_no, name, environment, economic, investment from $db_table where $strCond limit $iStartRecord, $nRecordsPerPage”;
$result=mysql_query($sql,$connection);
if (!$result)
die(“could not get results from the table:$db_table
query condition is: ”.$strCond);
while($result_row=mysql_fetch_array($result))
$arrResult[]=$result_row;
mysql_close($connection);
最后,将查询结果的表现与逻辑分离。这样做有两个好处,一是使用同样的代码可为不同的目标生成数据,二是应用程序设计人员可与开发人员独立工作[3]。笔者选用Smarty模板引擎对查询结果进行规整和修饰,可实现分页显示,代码不再赘述。
比如,笔者正在协助一家机械企业开展清洁生产审核,想查找一下与之有关的中/高费清洁生产方案,于是以投资额为“50万元-500万元”,方案类别为“技术工艺改造”和“更新或维护设备”,以及所属行业为“摩托、汽车和机械”进行数据库查询,如图1所示。
图1 数据查询界面 Fig.1 Data query interface
可以查询到多条清洁生产方案,查询结果如图2所示。
图2 数据查询结果 Fig.2 Data query result
由于正在审核的这家工业企业正好拥有一条自泳线,现场观察发现存在的资源浪费和环境问题较多,于是点击查询结果中的第1个项方案“自泳线改阴极电泳线”,则可以查看详细情况,如图3所示。
图3 数据查询结果详情 Fig.3 Details of data query results
从中可以查看“长安xx”公司实施该方案的简介、经济效益、环境效益等描述,以及具体投资额、节电量等定量数据,对于笔者有重要的启迪作用。
此外,将清洁生产数据库作为外部数据源与Excel等电子表格工具结合,可实现Web发布数据透视图。图4是按“行业”和“方案类别”发布的清洁生产方案在“节约天然气”绩效方面的数据汇总透视图。
图4 数据透视图 Fig.4 Data perspective chart
4结论
选择恰当的数据结构和数据清洗、整理方法,可以快速构建清洁生产数据库,从而将清洁生产审核过程中产生的大量数据,特别是清洁生产方案等予以整理和应用,一方面便于探寻和积累有价值的行业清洁生产方案,另一方面也有助于提高清洁生产审核效率、快速提供有针对性的方案,做到事半功倍。
清洁生产数据库的应用范围很广,可以为技术和管理工作提供更多、更好的支撑。除了进一步优化数据装载和查询效率,以及完善基于Web的数据透视表和数据透视图功能,笔者还在挖掘和尝试实现数据呈现的丰富性和多样性的其他方法,这也是今后值得努力的方向之一。
清洁生产数据库目前仅由笔者所在咨询机构进行维护和使用,应用普及率还不高,若有关主管部门予以协调和支持,则有望推广至全社会使用,为广大工业企业节能减排作出更大的贡献。
参考文献(References):
[1]国家环境保护局. 企业清洁生产审计手册[M]. 北京: 中国环境科学出版社, 1996.
[2]余沁园, 彭轲. 清洁生产审核中基础资料的采集[J]. 三峡环境与生态, 2009, 2(4): 53-59.
[3]W Jason Gilmore. PHP与MySQL程序设计[M]. 朱涛江, 译. 北京:人民邮电出版社, 2009.
Establishment and Application of Cleaner Production Database
YU Qin-yuan, PENG Ke, LIU Gang
(Chongqing New Look Technology Consulting Co., Ltd., Chongqing 401147, China)
Abstract:Cleaner production is a pollution-prevention oriented environmental strategy. Cleaner production assessment (CPA) and implementation of corresponding solutions are efficient and effective ways of elevating cleaner production level, optimizing resource utilization, and cutting pollutants from the source. This article introduces a relational-database based table model and import rules, by which cleaner production solutions are extracted from the CPA report, and database is built through data extraction, conversion, loading, and cleaning. At the same time, with proper software development tools, the query and diversity display of cleaner production solutions can be realized. In this way, it can provide technical support for industrial enterprises and consulting organizations to carry out CPA, save energy and reduce consumption.
Key words: cleaner production; database; pollution prevention