基于Elasticsearch的产品制造过程的碳足迹数据搜索与核算

沈思勋，李仁旺，董莎莎，贾江鸣

(浙江理工大学 机械与自动控制学院，浙江 杭州 310018)

随着全球制造业的飞速发展，困扰制造企业发展的高污染、高排放问题日益突出.为减少碳排放，中国政府建立了制造企业碳排放额度机制[1].碳排放额度是制造企业重要的环境绩效指标[2].基于碳足迹计算制造企业的碳排放量，具有重要的现实意义.目前已有许多学者对碳足迹进行了研究.张翠侠等提出了与碳足迹相关的监测和预警方法，但该方法仅针对机械加工阶段的碳足迹[3].鲍宏等从产品制造的低碳角度考虑了碳足迹不确定因子的影响，但缺少对噪声数据的处理[4].截至目前，涉及碳足迹数据存储和搜索的文献很少.为此，本文针对产品制造过程中碳足迹数据搜索和核算问题，提出一种基于Elasticsearch的碳足迹数据搜索方法，以期有效实现碳足迹的数据搜索、存储与核算.

1 碳足迹数据采集与处理

碳排放的测量方法主要有投入产出分析法、生命周期评价法、实际测量法和Kaya碳排放恒等式法.碳排放的测量应根据碳源的不同来选取不同的方法.产品制造过程会直接或间接产生碳排放，其碳足迹数据需要进行处理，以减少噪声数据、冗余数据和残缺数据，提高碳足迹核算的精度.

1.1 碳足迹数据分类

目前，制造企业的信息系统一般包括：PDM(产品数据管理)系统、PLM(产品生命周期管理)系统、CAx(CAD、CAM、CAPP、CAE等各项技术的总称)系统、ERP(企业资源计划)系统、MES(制造执行系统)、SCM(供应链管理)系统、CRM(客户关系管理)系统和知识管理系统等(图1).其中：PDM/PLM系统主要涉及产品的组成；CAx系统主要涉及零件的加工特征、工艺方法、工装，以及加工过程中机器的转速、进给量、切削深度和刀具型号等信息；ERP系统、MES和SCM系统主要涉及产品的生产计划、作业调度和采购订单等信息；CRM系统主要涉及维修计划信息、产品使用能耗和产品回收能耗信息等.

本文以产品制造过程的碳足迹数据为研究对象,根据碳足迹的数据来源，将碳足迹数据分为基础数据和实时数据.碳足迹的基础数据主要包括产品信息、产品生产计划信息、产品报废信息和其他数据(图2).碳足迹实时数据主要包括产品编号、加工机器编号、产品加工参数和碳排放数据.

图1 制造企业信息系统的组成

图2 碳足迹基础数据的组成

将碳足迹的实时数据和基础数据通过产品编号、加工机器编号、零件编号等信息相关联，实现碳足迹的数据存储、搜索与核算.

1.2 碳足迹数据采集

对碳足迹核算边界进行分析可知，产品制造过程的碳足迹核算边界为“从大门到大门”，指产品的一个、多个或者整个加工阶段，具体包含多个“从大门到大门”的过程.产品碳足迹核算的一般方法有生命周期评价法(即过程分析法)、投入产出分析法和实际测量法.但是，投入产出分析法的核算边界是整个系统，是一种自上而下、从前往后的核算方法，不适用于产品制造过程的碳足迹核算；实际测量方法是通过碳排放监测工具在碳排放源附近测量碳排放的流量、浓度等相关信息，并将有关数据代入公式来获取碳排放量，也不适用于产品制造过程的碳足迹核算.

因此，碳足迹数据获取可采用生命周期评价法，从产品原材料生产、运输到产品使用以及产品废弃被回收的整个过程获取碳足迹数据，且产品制造过程的输入、输出数据应符合ISO14044和PAS2050国际标准.采用生命周期评价法时，产品的碳足迹为：

(1)

式中：Qi为输入第i种资源的总量或能源的消耗量;αi为单位碳排放因子.

生命周期评价法适用于微观系统的碳排放量核算，也适用于产品制造过程单个产品或特定生产工艺的碳排放量核算.

1.3 碳足迹数据处理

碳足迹数据来源复杂，包括实时数据和基础数据.其中，实时数据与加工工艺、机器参数等因素相关，且无法保证数据的高清洁性.因此，在获取碳足迹数据之后必须进行数据清洗和数据归纳才能进行数据存储，以便有效减少噪声数据和残缺数据.如果将错误数据或者异常数据存储到Elasticsearch分布式数据库中，则不仅占用存储空间，同时会影响搜索响应速度和搜索结果的正确性.

碳足迹的数据包括冗余数据、缺失数据和噪声数据等.对于冗余数据，要进行清理，以节省数据存储空间，提高搜索效率.对于缺失数据，要经过数据查询，根据数据源的不同来补充对应数据，并及时存储到Elasticsearch分布式数据库中.制造企业主要采用Text、Excel等方式进行碳足迹数据的存储.当数据量达到一定程度时，采用传统方式进行数据存储和搜索要耗费大量的时间和精力.若采用Elasticsearch分布式数据库，则可快速高效地实现碳足迹数据的存储和搜索，解决产品制造过程中碳足迹的大数据量问题.对于噪声数据，可采用正态分布方法进行清理.与正常数据比较，噪声数据为小概率事件.碳足迹数据的正态分布符合下列公式：

(2)

式中：f(x)为数据x的概率值；σ为数据集的标准差；μ为数据集的均值；x为数据集中具体数据.

图3所示为碳足迹数据的正态分布曲线.

图3 碳足迹数据的正态分布曲线

在图3中：y方向表示数据落在对应区间的概率；(μ,μ+σ)区间分布的数据概率为34.1%；(μ+σ,μ+2σ)区间分布的数据概率为13.6%；(μ+2σ,μ+3σ)区间分布的数据概率为2.1%；(μ-3σ,μ+3σ)以外的数据概率小于0.3%.通过计算该数据集的标准差，可将3σ标准差之外的数据点作为碳足迹的噪声数据进行清洗，而对3σ标准差之内的数据进行存储.

2 碳足迹数据存储与搜索

2.1 碳足迹数据存储规则

碳足迹数据以结构化形式存储在Elasticsearch分布式数据库中，可按照数据存储规则快速高效地搜索产品的碳足迹数据.Elasticsearch分布式数据库适用于大数据量的数据存储，当数据量较小时，数据存储和搜索效率的提升并不明显.通过数据搜索可以快速查询产品，根据产品可以查询对应的零件，由零件对应的加工工序可获取其加工阶段的碳足迹数据.根据产品名称可获取产品编号，而产品编号伴随产品的全生命周期.产品编号的唯一标识符由UUID(Universally Unique Identifier)生成.产品编号与加工机器编号、零件编号、产品维修信息、产品使用信息、产品报废信息等相互关联[5]，通过产品编号可获取产品基本信息以及与产品相关联的信息.按照以上逻辑可建立产品碳足迹数据的存储规则.

(1) PLM/PDM系统以产品为核心，通过UUID生成产品编号.由产品编号可建立部件编号、组件编号、零件编号之间的组织关系.

(2) 在CAx系统与PLM/PDM系统中，由产品编号、零件编号可获取零件的加工特征，包括零部件加工过程中机器的转速、进给量、切削深度、刀具型号等信息.通过建立零件编号与加工机器编号的关联，可查询零件加工过程中使用的机器编号，进而计算零件加工过程的碳排放量.

(3) ERP系统、MES、SCM系统以产品的加工计划为核心，与产品编号相互关联.通过产品的加工计划可明确生产计划和加工机器，设计产品加工工时，协调整个车间的工作进度.

2.2 碳足迹数据存储

Elasticsearch是基于全文索引的分布式存储系统，具有基于lucene的服务引擎.通过其封装接口，用户可直接调用其api命令[6]，完成对碳足迹数据的搜索.Elasticsearch分布式存储系统可创建多个大小不同的分片和分段，同时支持创建若干分片副本.Elasticsearch分布式存储系统采用一主多副的整体架构(图4).

注：P1为主分片；R1、R2为副分片.图4 Elasticsearch分布式存储系统的整体架构

在Elasticsearch整体架构中，按照存储规则可创建索引(index).每个索引由多个分片(shard)组成(图4中有3个分片)，每个分片包括一个主节点和多个副节点.副节点个数可按照需求配置.存储碳足迹数据时采用默认配置，即一个主节点和5个副节点.对于用户的每次请求，首先根据规则_routing来选择并发送分片，在请求中以对应的Field值作为路由参数(如果请求中未设置Field值，则使用Mapping中的配置；如果Mapping中也没有配置，则以_id作为路由参数)；然后通过_routing的hash值选择shard，并从集群的Meta中找出该分片的主节点.在图4中，请求首先被发送给主分片，主分片执行成功后发送给副分片，在多个副分片上执行成功后再返回给主分片，最终，响应结果返回客户端.Elasticsearch分布式存储系统的请求类型主要包括：Index(Create)、Update、Delete和Bulk.图5所示为Elasticsearch分布式存储系统的写入流程.它以Bulk请求为例，以请求入口到数据响应结果返回客户端为全过程.

Elasticsearch分布式存储系统具有分布式、副本集、容灾、负载均衡等特性[7].它在集群中可以实现去中心化，从外部来看，集群中任何节点的通信和整个集群通信完全等价.Elasticsearch分布式存储系统作为大数据查询引擎组件，解决了碳足迹海量数据存储和搜索的难题.

2.3 碳足迹数据搜索

产品制造过程会产生大量碳足迹数据(PB量级的数据)，大数据量只有通过水平扩容才可以提高搜索效率.若只在相同节点数目的集群上增设副分片，则并不能提升碳足迹数据的搜索性能，因为分片从节点上获取信息将导致资源的相应减少.为提高碳足迹数据的搜索效率，可通过水平扩展方式提升系统性能[8].

通过Elasticsearch分布式存储系统，可快速准确地搜索碳足迹数据.通过碳足迹核算模型，能够计算产品制造各阶段的碳足迹.将每个阶段的碳排放量累加，可得到产品整个制造过程的碳足迹.图6所示为基于Elasticsearch的碳足迹核算流程.

图6中碳足迹核算流程的核心是搜索模块.搜索模块通过搜索引擎进行产品碳足迹数据的搜索，查找相匹配的存储数据，并根据文档的搜索结果进行评分，显示搜索结果.

在产品制造的不同阶段可获取产品的不同信息.针对产品的结构(产品-部件-组件-零件-工艺)进行产品碳足迹数据搜索[9]，通过碳足迹核算模型可计算产品制造过程的碳排放量.

图5 Elasticsearch分布式存储系统的写入流程

图6 基于Elasticsearch的碳足迹核算流程

按照Json格式建立数据搜索条件(queryJson)，通过产品(index)信息可获取Elasticsearch数据库的命中信息(getHits).该命中信息包含产品参数，且产品参数会以高亮的形式显示出来.通过数据搜索的查询条件、核心代码，可搜索产品i的碳足迹数据.碳足迹数据搜索结果的结构如图7所示.

图7 碳足迹数据搜索结果的结构

从图7可看出，数据搜索的结果主要包括产品基本信息、零件加工信息、产品生产计划信息、产品使用阶段信息.碳足迹数据搜索的核心代码如下：

//获取对应产品碳足迹信息(index对应产品)

publicJSONObjectgetCarbonFootprintInformations(TransportClienttransportClient, String queryJson){

JSONObject query = JSON.parseObject(queryJson);

String condition = query.getJSONArray(“condition”).toString();

GetIndexResponsesearchResponse = transportClient.admin().indices().prepareGetIndex().execute().actionGet();

List indexes = new ArrayList<>();

for (String indice : searchResponse.indices()){

if (!indice.startsWith(“.”)){

indexes.add(indice);

}

}

JSONObjectjsonObject=new JSONObject();

QueryBuilderqueryBuilder;

if (condition.contains(“?”)) {

queryBuilder = QueryBuilders.wildcardQuery(“_all”, condition);

} else {

queryBuilder = QueryBuilders.matchPhraseQuery(“_all”, condition);

“两票制”的实施，对于药品流通行业是一重大变革，在调整行业结构、规范药品流通行为的作用上已初显成效。如何使政策落实到位，充分发挥效力，促进行业长期健康发展，还需要从立法、市场、监管等多个层面共同发力。在立法层面，有关部门通过出台相关细则，增加政策可操作性，保障政策的稳步实施；在市场层面，企业需提高自身管理水平，调整经营思路，尽快进入角色，积极谋求发展；在监管层面，监管部门需加强对违反“两票制”行为的打击力度，规范药品市场秩序，保护守法企业的合法利益。

}

//碳足迹数据搜索结果

SearchRequestBuildersearchRequestBuilder = transportClient.prepareSearch(indexes.get(0)).setQuery(queryBuilder).setFrom(0).setSize(10);

HighlightBuilderhighlightBuilder = new HighlightBuilder ().field (“*”).requireFieldMatch (false);

highlightBuilder.preTags(“”);

highlightBuilder.postTags(“”);

searchRequestBuilder.highlighter(highlightBuilder);

SearchHit[ ] hits = response.getHits().getHits();

jsonObject.put(“hits”,hits);

//返回碳足迹数据结果

returnjsonObject;

}

根据Elasticsearch的javaAPI进行碳足迹数据搜索的代码开发，通过Elasticsearch的客户端建立搜索语句，由搜索语句可访问Elasticsearch数据库存储的碳足迹数据.HighlightBuilder使访问数据库的结果以高亮的形式显示出来，由getHits()方法获取数据搜索的命中结果，并将该结果按json格式进行显示.

3 碳足迹核算

3.1 产品制造过程分析

碳足迹研究以产品为中心，主要对产品制造过程的碳足迹数据进行搜索与核算.本文对产品制造过程“从大门到大门”的系统边界进行研究，并以阀体HT150为例，在CAx系统中根据产品信息来获取零件信息，以便进行碳足迹核算.阀体HT150的主要作用是控制流体的流动.其最大尺寸为150 mm，主要加工位置为阀体的两个端面；其余铸造端面没有配合要求，仅通过铸造加工完全能够满足阀体技术要求，因此其余铸造端面不进行机械加工.

阀体HT150加工的工艺路线为：铸造-时效处理-粗铣右端面-粗铣下端面-钻孔-去毛刺-清洗-终检入库[10].阀体HT150产品制造过程主要为粗铣和钻孔.粗铣和钻孔有设备的启动、预热、加工、空转、停止5个阶段.设备运转各阶段的功率如图8所示.设备在加工、空转阶段功率处于稳定状态，在启动、预热、停止阶段功率有一定波动.

图8 设备运转各阶段的功率

在产品制造过程中应主要考虑产品机械加工的碳足迹，因此可根据设备运转各阶段的功率核算产品制造过程的碳排放量.同时，需要核算产品制造过程消耗冷却液导致的碳排放量，并考虑节能减排因素所减少的碳排放.

3.2 产品制造过程碳足迹核算

从产品时间维考虑产品制造过程，根据机械制造的5个阶段可分别计算产品各加工阶段的碳排放量[11].产品i在设备j上加工阶段的碳排放量为：

Wmach,i j=αePmach,i jtmach,i j

(3)

式中：αe为产品在机械加工阶段的电能排放因子；Pmach,i j为机械加工功率；tmach,i j为机械加工阶段的时间.

产品i在设备空转阶段的碳排放量为：

Wno-mach,i j=αePi jti j

(4)

式中：Pi j为产品i在设备j上加工的设备空转功率；ti j为设备j空转的时间.在产品制造过程中，加工阶段和空转阶段的设备功率趋于稳定，相应的碳排放量可以直接进行核算.

在产品制造过程中，设备的启动、预热、停止必不可少.考虑到设备在启动、预热、停止的过程中，运转功率具有一定的波动性，通过积分可避免由设备运转功率波动产生的核算误差.产品i在设备启动、预热、停止阶段的碳排放量为：

(5)

式中：t1、t2分别为设备启动、预热、停止阶段对应的起止时间；pi为单位功率.

产品i在机械加工中的碳排放量为：

(6)

产品i在机械加工中的碳排放量为机械加工各阶段碳排放量的累加.该核算过程所用数据是从Elasticsearch分布式存储系统中获取的.在机械加工中，为防止摩擦生热导致材料变形、刀具损坏等的发生，需要循环使用冷却液.使用冷却液导致的碳排放量为：

(7)

式中：αc为冷却液的碳排放因子；L为冷却液的总量；Tc为冷却液使用周期；tend、tstart分别为零件(HT150阀体)粗铣加工的开始时间和结束时间.

在产品的机械加工中，原材料的损耗是无法避免的.机械加工中原材料损耗所导致的碳排放量为：

Wm,i=αm(mi,start-mi,end)

(8)

式中：αm为零件原材料的碳排放系数；mi,start、mi,end分别为原材料的质量和加工后零件的质量.

综合考虑式(6)～式(8)，产品制造过程的碳排放量Wp,total是产品机械加工导致的碳排放量、材料损耗导致的碳排放量、冷却液导致的碳排放量的累加，即：

(9)

通过制造企业的知识管理系统，强化企业碳排放意识，可在产品制造过程的各阶段减少碳排放.为量化强化节能减排意识所减少的碳排放量，可通过节能减排意识因子核算碳排放量.产品制造过程强化节能减排意识所减少的碳排放量为：

WESER,total=βESERWp,total

(10)

式中，βESER为节能减排意识因子，是产品制造过程碳排放量的百分比.

产品制造过程碳足迹的核算涉及产品机械加工的碳足迹核算、材料损耗的碳足迹核算、使用冷却液的碳足迹核算等.产品制造过程会产生海量的数据，通过Elasticsearch进行数据搜索，并根据搜索的数据信息进行建模，有利于进一步核算产品制造过程的碳排放量.

综上所述，产品制造过程碳足迹的核算模型为：

WcratonFootprint,total=Wp,total-WESER,total

(11)

产品制造过程碳足迹的核算涉及产品制造过程的实时数据和基础数据.产品制造过程的大量数据按照一定的数据存储规则存储在Elasticsearch数据库中.通过搜索，可建立产品制造过程的碳足迹核算模型.该模型考虑了节能减排因素，可以为节能减排工作提供核算碳排放量的依据.

4 结束语

本文在研究产品制造过程碳足迹海量数据搜索问题的基础上，结合HT150阀体实例分析，建立了产品制造过程碳足迹的核算模型.企业的产品制造过程会产生大量的数据，其中碳足迹的实时数据和基础数据按照一定的存储规则存储在Elasticsearch数据库中.在数据处理时去除噪声数据，有利于提高碳足迹核算的准确性.基于Elasticsearch的产品制造过程碳足迹数据搜索与核算方法，能够解决产品制造过程大量碳足迹数据存储、搜索的瓶颈问题.