Datist数据处理专家在日常会商中的初步应用

李玉铰，宋美琴，张馨怡

(1.山西省地震局，山西 太原 030021；2.太原大陆裂谷动力学国家野外科学观测研究站，山西 太原 030025)

0 引言

震情会商是我国地震主管部门50多年来形成的工作机制，是地震预报意见产出的关键环节。地震会商作为重要的震情研判手段，在地震监测预报业务体系内具有重要意义[1-3]。日常会商主要围绕测震、形变、地下流体、电磁以及流动观测中的数据变化来对地震形势进行判定。测震学科中重要的一环节是近期地震活动的分析与汇总。传统的工作模式一般分四步:从中国地震台网中心地震编目网，针对不同需求分别下载并筛选相应目录；利用mapsis或superseis等专用软件根据会商需要通过手动调节不同选项，开展山西省、华北地区、大同窗等不同区域的地震统计、震中分布图、N-T图、M-T图绘制，并将生成的图件逐一保存到指定目录下；按照汇报顺序，将上述产出的震中分布图等图件以及相应的文字概况汇总到ppt；将ppt上传FTP指定会商文件夹。上述工作如由一人来完成，基本上需要3～4个小时，且每日进行一次，耗费人力物力。若用自动化流程替代人工来完成，则能提高工作效率，节约人力资源[4-5]。

中国地震局地球物理研究所陈石研究员主导引入长安大学Datist数据处理专家系统，解决了上述问题,针对不同需求开发一系列流程，在日常工作中发挥积极的作用[6]。该文围绕山西省地震局会商工作自身特点，结合传统工作模式，开发系列流程，在实际工作中运行一年多，在提高工作效率等方面有较好的效果。

1 平台简介

Datist( 数据专家) 开发平台是长安大学数字油田研究所历时5年时间研发的，专项服务于大数据时代场景式( Context) 数据分析与数据挖掘的工具软件，以管道式的数据处理方式增强业务逻辑的灵活度[7]。Datist最大特点就是在整体设计上遵循零代码原则，用户不需要了解复杂的编程技术，仅需要排列和组合各种功能节点，采用乐高式工作模式，即可实现对海量多源异构数据的整合与应用，且这些节点由使用人员来开发，克服了以往第三方提供的软件经常由于售后中断而报废的弊端。2017年初，中国地震局地球物理所牵头将 Datist 平台引入地震领域，此后不断更新针对性功能，与地震监测预报业务具有良好的兼容性，主要提供应急会商、震情跟踪、前兆学科数据分析、台站分布监测等日常会商服务[6]。Datist运行界面主要包括工具箱和工作区两部分，工作箱如第44页图1a所示，其中有多个节点供用户直接使用，依据节点功能，分为14类，在此对较常用的做简要介绍。

(1) 数据源节点。该分类项中包含16个节点，用户通过连接数据库、数据录入、Excel、TXT、FTP、网页抓取等多种方式将数据导入流程中。

(2) 行列计算节点。该分类项中包含33个节点，如筛选节点能通过简单填写筛选条件实现数据的筛选，过滤节点能将不需要的列直接删除；汇总节点能通过汇总项的不同汇总得出某列数据不同项的和、均值，或对各项进行计数等。

(3) 脚本工具节点。该类节点为多种编程语言提供接口，如python、R、GMT、bas等，使编写好的脚本能完美链接于Datist中。

(4) 制作报告节点。该分类项中的节点给用户提供多种报告显示方式，如，报告、Word、PPT、Excel等。使用户能通过所需的方式将处理后的数据或图以一定方式展示出来。

(5) 数据发布节点。该类节点为用户提供多种数据发布方式，包括写入数据库，保存为文件，FTP下载、上传，发微信等多种方式，使用户生成的最终产品能通过流程推送至各种终端。工作区如图1b所示，用户在使用时，将所需节点拖拽至工作区，将节点内所需内容简单填写，以一定顺序排列，并将不同节点连接起来，便能完成各种功能的实现。总体来说，Datist不仅节点可视化，操作简单，仅需节点之间简单拼接便能完成一定需求，降低了对用户编程能力的要求，而且输入输出方式多样，能与多种编程语言完美衔接，将过去不同编程语言实验的功能程序有机整合，同时也便于用户使用自己熟悉的编程工具开发不同的分析处理方法，随时可植入Datist系统，用户不需要安装配置分析处理方法所用的语言环境，只需在Datist系统上执行。

图1 Datist数据处理专家界面展示Fig.1 Datist data processing expert interface display

2 流程开发

基于传统工作的四步模式，编写相应流程，分别完成各项需求，最终将各“小支流”以一定顺序连接起来，完成整个会商ppt一键生成并传送微信、FTP端的流程。下面按照不同功能分述如下。

2.1 不同类型地震目录下载

在日常会商时，需要山西省ML≥1、华北地区ML≥2以及大同窗的地震目录，按照传统工作模式，每个地震目录要分别进入网站，人工输入参数下载,再根据需求进行筛选。如，大同窗地震目录较繁琐，分三步：下载山西省小震地震目录；根据大同窗定义，筛选纬度在39°50′～40°05′、经度在113°50′～114°05′范围内可定位地震及河北阳原台、山西山自皂台、山西阳原台单台记录的S-P≤3.0 s的所有地震目录[7]，整合成一个完整的大同窗地震目录。若没有筛选脚本，在大量的地震目录数据中逐一筛选，基本需要1～2 h才能完成。下面对比介绍通过流程的方式完成大同窗地震目录的获取。当前所用的山西小震目录库是通过长安大学王磊老师编写的流程，从网页上抓取山西地震目录，以一定规则每日定时更新存放于中国地震局第二监测中心服务器上的数据库。如图2所示，通过数据库节点填写相应地址便能读取该数据库中的地震目录，再通过筛选节点选出大同窗内的地震目录，合并整理便完成了大同窗地震目录的自动化获取，整个过程需要3～4 min，每天通过后台发送预报人员直接使用。

图2 大同窗地震目录获取流程Fig.2 Acquisition flow of the ‘Datong window’ earthquake catalogue

2.2 地震目录统计与绘图

在会商PPT中，为清晰展示近期地震情况，需要对地震目录进行分类统计，如分震级档、分区域统计等；还需要大量的图形，如震中分布图、M-T图、N-T图等来进行直观展示。传统工作方式中，对地震目录的统计和绘图一般为将编目网上下载的不同地震目录分别导入mapsis或superseis中[8-13]，再通过多项操作来逐一完成每个图件的绘制，一个完整的会商PPT所需图件较多，导致工作人员需进行多次重复操作。通过编写的流程，将每一步工作流程化，实现数据及图件的自动化生成。在此以分震级档统计地震数目及绘制震中分布图为例来做展示。第45页图3为分震级档统计地震数量的流程。图3a所示首先连接数据库，从数据库中读取地震目录，日期节点加入了起始日期供下一步筛选地震做准备。在筛选地震目录节点中，通过日期条件，分别筛选近一周和上周地震(见图3b)；震级档统计节点将不同震级的地震做出标识(见图3c)。如，1.0≤震级<2.0级的地震标记为1～1.9，依次类推，将所有地震根据不同震级来区分；汇总节点又将不同标识的地震进行数目统计(见图3d)；通过合并节点将本周与上周统计结果合并；格式调整节点将流程前面得出的数据根据所需格式进行调整，将多余的列删除，最终得到所需的分震级档统计列(见图3d,括号内为上周地震数)；流程节点也可根据用户需求来重新设定，如统计月情况，需将筛选节点的时间改为月尺度即可。如上所述，通过编写流程实现地震分震级档统计一键生成，当地震目录出现变化，得出的结果也随之变化。图4为震中分布图自动化生成流程。先通过数据库节点连接数据库，从数据库中读取地震目录；后通过筛选节点分别筛选出本周与上周地震目录，再通过过滤节点，将绘图所需的数据保留。绘制震中分布图时，保留经度、纬度和震级三列，通过文件收集器将数据收集，供绘图使用，最后通过GMT节点编写脚本(见图4b)，调用流程前面整理出的数据便可得出震中分布图(见图4c)。图片的修饰美化，可在GMT节点脚本进行修改，地震目录的截取也可在前面流程中根据实际需求进行修改。

2.3 汇总PPT

未使用流程前，会商ppt的制作过程为将前期生成的图片、统计的结果逐一粘贴到ppt，并按一定顺序整合起来。运用流程的PPT节点省去了人工的多次复制、粘贴，实现了自动化替换整合ppt的功能。根据实际需求先设置一个ppt模板(见图5a)，将所需的图案文字预先进行排版，确定所在位置，后将其都设为变量，流程处理得到的数据、图形便会根据变量名在相应的位置将其替换(见图5b)。

2.4 上传FTP

Datist数据专家提供了FTP节点，只需将FTP地址及所要上传FTP目录设置，便能将流程前面生成的PPT、报告等上传至相应位置。

一个完整的流程由不同分支的小支流组合而成，不同的小流程处理不同的需求，通过小支流的拼接，按照预设的顺序组合，最终产出一份完整的报告或PPT，通过数据发布中的节点推送至相应位置。

3 结论与讨论

一键生成会商ppt流程已运行1年多，期间根据实际需求进行完善与改进。目前该流程已放于中国地震局第二监测中心服务器上，设定在每周二下午4点自动触发，推送会商PPT至FTP指定位置。此外，设定口令触发机制，根据需求，随时在企业微信端发送口令，触发该流程。根据当前Datist数据专家流程使用情况，得出如下结论。

(1) Datist数据专家是一款实用性强，操作简单的平台，根据不同需求进行流程编写，将一些简单、重复性高的工作流程化，实现结果的一键产出化、智能化。

(2) 每个流程都是由多个小支流组合而成，用户可随时根据需求的变化对流程进行部分修改与完善，操作简易，方便实用。

图3 分震级档统计地震目录流程Fig.3 The flow of earthquake catalogue by magnitude

图4 山西省近两周震中分布图自动化生成流程Fig.4 Automatic generation process of epicenter distribution map in recent two weeks in Shanxi Province

图5 PPT模板及自动生成的PPTFig.5 PPT template and the automatically generated PPT

(3) 流程的开发，使业务人员节约了大量的时间，尤其在紧急会商时，通过流程，在短时间内得到所需汇报课件，为快速产出后期的震情研判提供条件。

(4) 当前的流程只是对地震目录的简单统计、绘图，其余测震学方法仍未开发，今后还需将一些成熟的测震学方法已有脚本或编写新的代码链接于Datist平台，更好地服务于日常工作。