冶金检验实验室设备数据智能采集系统的研究和实现

张智　徐桂红

摘  要：近年来，随着互联网技术的飞速发展，对企业的信息化管理提出了更高的要求，用户也产生了及时高效、准确全面掌握相关信息的需求。而冶金检测实验室设备接口类型多、数据参数格式不一、数据采集实时性要求高、项目实施和管理难度大等问题是实验室设备数据智能采集和分析面临的挑战。基于工业互联网平台技术，结合冶金检验实验室的实际需求，对系统实现中的关键问题和技术进行研究，给出系统设计和实现方案，以更加高效便捷的方式解决用户痛点，为用户快速决策提供数据支撑。

关键词：冶金实验室；数据采集；系统设计；数据处理

中图分类号：TP274+.2  文献标识码：A  文章编号：2096-4706（2023）12-0036-04

Research and Implementation of Intelligent Data Acquisition System for Metallurgical Inspection Laboratory Equipment

ZHANG Zhi， XU Guihong

（Shanghai Baosight Software Co.， Ltd.， Shanghai  201203， China）

Abstract： In recent years， with the rapid development of internet technology， higher requirements have been put forward for enterprise informatization management， and users have also developed a demand for timely， efficient， and accurate comprehensive grasp of relevant information. The challenges faced by intelligent data collection and analysis in metallurgical testing laboratories include multiple types of equipment interfaces， inconsistent data parameter formats， high real-time requirements for data collection， and high difficulty in project implementation and management. Based on the Industrial Internet platform technology， combined with the actual needs of the metallurgical inspection laboratory， the key problems and technologies in the system implementation are studied， and the system design and implementation scheme are given， so as to solve the user pain points in a more efficient and convenient way， and provide data support for the user to make rapid decisions.

Keywords： metallurgical laboratory; data acquisition; system design; data processing

0  引  言

实验室设备数据采集是冶金实验室系统较为关键的部分，将会给实验室管理和工作质量助力增效，为实验室实现无纸化提供有力的支持，对提高工作效率、降低成本、缩短出报告时间起到重要作用[1，2]。在传统的实验设备数据采集工作中，通常会受外界因素的干扰，尤其是人工采集记录，整个流程效率低下，还容易出现各种错误，这对数据统计分析以及决策制定来说，都会带来一定的影响[3，4]。加之原始数据收集方式存在效率低、错误率高、易篡改等问题，对工作效率也会造成很大影响[5]。采用實验设备数据采集系统能够快速精准地进行数据采集，比传统工作模式更有优势，检验数据通过检测设备直接上传至检验数据采集系统，减轻了试验人员的负担，提高了效率[6]。

实验室数据采集系统通过仪器数据的自动采集，可以减少人为传递过程中产生的差错率，提高数据的准确度[7，8]。实现自动对检测设备进行数据采集，以及针对化验数据依据标准公式进行计算，可以减少人为因素造成的数据误差，设置系统的超限示警功能，能够对内部异常错误进行控制，减少误差[9]。

然而冶金检验实验室通常仪器设备数量较多，设备种类也比较繁杂，依据现场设备条件，实现分析实绩的自动化采集。一般的通信支持RS232、TCP/IP、FTP、socket、文本文件（mes、csv、txt、xml、xls、doc）、数据库（Access、SQL server、MySql、Oracle）等方式。即便是同一个项目检测的仪器设备，如果设备制造商不是同一家，那么采集设备输出的数据也千差万别，导致仪器设备数据采集难度较大、成本较高。

1  研究思路

为了更好地解决冶金检测实验室数据自动采集过程中存在的各类问题，我们采用自底向上与自顶而下相结合的思路分层架构、模块化集成，以工业互联网服务化的方式向外部提供数据服务的能力，系统可弹性伸缩和扩展。

1.1  系统架构

根据实验室现场设备的类型，实验室设备通常支持的数据接口格式有串口、TCP/IP、FTP、Socket、文本文件（csv、txt、xml、xls、doc等）、数据库（Access、SQL server、MySQL、Oracle）等。如图1所示，通信前置服务器负责读取实验室设备的原始数据，首先获取各种接口类型的原始数据，然后根据既定的数据解析方案对原始数据进行拆分处理，并将解析后的数据上传至实验室管理系统，云服务器负责数据解析和下发传输，实现设备仪器数据智能采集和分析处理的功能。

本系统提供配置实验室设备的基本接口信息、信息传递触发频率等。开启监听服務程序后，按照设定的频率实时采集设备电脑端的各种数据，实现设备原始数据的采集和接收功能。实际运行过程中系统自动接收的设备原始数据格式不一，每种类型的数据需要建立解析规则、设备数据字段及配置表进行对应关联，自动按照规则解析所需的数据，并且存储在前置服务器的数据库中。

1.2  研究内容

本文提出的数据采集系统实现检验仪器设备数据的智能采集传输和分析处理，尽可能兼容各种检验设备的接口协议，完成多种设备的统一配置、数据的智能采集和上传服务。内容包括设备电脑数据获取、数据上传实验室前置机、原始数据按既定规则解析、解析数据前置机服务器存储、解析数据上传至应用系统、系统监控、数据追溯分析等。

数据获取、数据解析、数据上传的过程中，为了保证各个环节可能出现的异常情况有记录可查、可追踪，在实际开发实施的过程中要保存记录详细的日志信息，方便后期快速定位解决问题。本系统获取的原始数据和解析完成的数据均存储在前置机服务器的数据库中，在实际解析和上传的过程中需要考虑数据归档的问题，保证在数据量很大的情况下减轻数据表的访问效率和数据稳定。

考虑到未来可以把软件系统部署到客户的服务器供客户使用以及保证信息安全，数据采集系统增加一个License授权的机制，限制系统的使用期限。License需要实现的功能有：在License中保存一些配置信息（比如有效期、服务器ID等）；对License进行加密处理，避免他人识别License包含的信息；对License签名校验，避免他人破解后进行篡改。

2  系统实现

2.1  总体功能

实验室的设备接口类型有TCP/IP、文本文件、串口、数据库等格式，如图2所示，首先在实验室的各台设备上部署采集小程序，事先在前置服务器上配置各个设备的基础信息及数据读取路径等，小程序按照配置的采集频率定时通过Http协议向实验室前置机服务器上传原始设备实验数据，完成数据获取的工作。然后按照预先配置好的设备表、对应的解析服务方法、存储表、数据解析规则表等条件进行数据解析和数据存储。解析完的数据向外提供数据服务能力，包括上传至第三方应用服务器的原始记录和检测实绩数据等信息。

2.2  数据获取服务

设备电脑上的数据采集小程序首先读取采集服务器上的设备信息参数及上传配置信息，然后根据设备接口类型按照轮询时间定时将设备试验数据上传至前置服务器。

2.3  数据分析处理服务

设备电脑的数据按照设定的任务规则采集完成后就进入下一个重要的数据分析处理服务环节，如图3所示，根据解析配置的基本信息，调用对应接口类型的解析方法，对上传的数据进行解析和存储。并将这个过程中所有流转的节点动作以日志的方式进行记录，方便进一步跟踪和问题查摆。

2.4  主要功能

冶金检验设备接口种类较多，本系统对所有采集数据格式统一考虑，通过前端交互页面进行少许配置维护即可实现数据的快速采集和解析，方便使用者的使用和修改，提供外部API数据接口，做到数据采集和传输安全稳定，数据解析和分析处理完备可控可解释，过程易追踪和维护，功能和接口易扩展。

2.4.1  数据上传配置

包括数据库地址、连接字符串、用户名、密码、服务名称等基本信息维护，用于设备端采集小程序读取对应设备的连接信息和路由地址。

2.4.2  设备信息配置

若第三方应用系统具有设备数据同样的功能，则可实现与外部信息同步互通的功能，保证设备信息来源唯一。包括采集设备的设备编码、接口方式、设备名称等信息维护，实现设备信息统一管理、数据源唯一的目的。

2.4.3  设备接口配置

按照设备接口类型配置相关信息，如文本类型有设备编码、监听路径、轮询时间、备份路径等；串口类型有设备编码、串口号、起始位、停止位、波特率等；TCP/IP类型有设备编码、IP地址、端口号、起始符、结束符等；数据库类型有设备编码、数据库类型、数据库路径、连接字符串、用户名、密码等，实现现有设备类型和新增设备类型集中分类管理。

2.4.4  数据解析基础管理

此功能用于配置设备编码、用到的解析方法、数据的存储方式、解析完成的数据存储路径、数据的存储数据库和数据表等。

2.4.5  数据解析项管理

用来维护数据对应的设备编码、数据项、顺序号、项解析方式、获取行号、起始位置、结束位置、子项拆分符、数据位置等。数据解析项在实际应用过程中比较复杂，例如数据项中包含固定数据项和循环数据项的内容，需要另外配置循环解析的规则。

2.4.6  数据采集小程序

通常部署于实验室设备电脑，根据数据上传配置、采集信息配置的基础信息，定时获取指定路径的设备检验数据，通过传输协议上传至前置机服务器。

2.4.7  数据解析函数（库）

根据数据解析项配置，读取数据解析规则表中的逻辑，对采集到的数据字符串文本进行数据解析，然后把处理完成的结果存储在对应的数据库表中。此处的解析函数依据要处理数据的格式不同，划分为不同的函数库，使用者按需指定调用即可。

2.4.8  数据上传服务

根据数据上传配置信息，将解析完成的数据上传至第三方应用系统对应的数据库表中。在上传第三方应用服务过程中考虑到上传失败的情况，采取配置发送失败后重试的机制，超过最大上传次数发送第三方应用系统将记录失败日志信息。

2.4.9  工作任务管理

用于自定义维护数据解析任务、数据上传任务的触发时间和机制、数据表中数据达到预定数据量自动归档处理功能等。

2.4.10  API服务

对外提供数据API通用服务，端与端之间通过调用API进行交互，输出服务、能力和数据，具有较强的灵活性和拓展性，高效安全获取相应的数据信息。

2.4.11  密钥管理

通过TrueLicense的相关方法进行复写应用，实现对所颁发许可文件的生效和过期时间、应用部署服务器的IP地址、MAC地址、CPU序列号、主板序列号等信息的校验，在应用启动的时候加载证书，在登录或进行其他关键操作的时候校验证书的有效性，保证系统对外使用安全管理。

2.4.12  数据日志管理

内容包括系统在数据获取、数据解析、数据上传、数据任务调度等过程中的日志信息记录，实现数据在关键节点和应用处理时的全生命周期管理，也用于数据和任务的监控管理、数据全链路追踪和问题定位等。

3  系统应用与评价

为验证实验室数据采集系统的性能和适用性，选取实际项目案例A、B进行对比，两个项目都是冶金实验室数据采集项目，设备类型和数量基本相同。其中A项目采用每台类型设备定制开发和维护的方式，B项目采用本文设计和开发的系统平台。详细对比数据如表1所示。

A、B项目中都有近200台设备进行数据采集，在A项目中完全根据设备接口类型按照现场实际采集要求定制化开发和实施，不仅开发和实施的周期较长，而且实验室对设备采集的参数进行调整的情况下，就需要重新开发和调试，这样导致维护成本提高，难度上升，影响项目的正常交接。

B项目的实施采用本文设计的系统，一定程度上避免了A项目中的问题，极大地方便了项目的顺利实施和数据管理。

4  结  论

本文剖析了冶金检测实验室设备数据采集过程中的诸多难点和不便之处，这些问题造成每种设备需要定制开发设备数据采集功能，在实施和调试上需要花费大量的时间，也间接带来了后期维护管理难度和维护成本的提高。加之冶金检测实验室在设备数据采集上具有高可靠性、高稳定性、实时性的特点，我们根据不同设备的通信接口类型分而治之，提出满足冶金检测实验室要求的采集思路，从数据产生、采集、消费等各个环节进行全方位的智能管理，实现智能采集后按照预定的分析规则进行解析处理，并且实时完成与第三方数据应用消费接口的对接和处理。

通过现场实际应用和实施，我们的智能采集系统在实施过程中减少了费用支出，可以不必进行定制开发，各种类型的数据可以高效采集和分析，数据操作和处理的过程实现可记录和追溯，便于实施和维护管理工作的开展，也为后期的大数据分析奠定了良好的基础。

参考文献：

[1] 张聪.测长仪数据自动采集模块在LIMS中的集成与应用 [J].计量与测试技术，2019，46（9）：29-31.

[2] 楼纬.自动化设备数据采集系统的开发与应用 [J].中国金属通报，2018，993（6）：270+272.

[3] 孙丽翠，杜玉萍，刘春丽，等.LIMS在科研型实验室管理中的应用研究 [J].中国公共卫生管理，2018，34（3）：364-367.

[4] 刘洁，余小鸽，吴博.LIMS系统在实验室仪器设备数据自动化采集中的应用 [J].中国检验检测，2020，28（6）：91-93.

[5] 吴义平.基于Web下开放性实验室管理系统开发与应用 [J].企业科技与发展，2019，448（2）：188-189.

[6] 李珺婵.药品实验室自动化及无纸化检测的设计与实现 [D].上海：东华大学，2016.

[7] 张健.基于工作流的实验室信息管理系统的研究与开发 [D].杭州：浙江理工大学，2018.

[8] LARS E. LIMS： Trends and Developments  [J]. Instrument Business Outlook，2012，21（6）：1-3.

[9] 邓新.油品检测数据自动采集处理系统的研究开发 [D]. 廣州：华南理工大学，2015.

作者简介：张智（1989—），男，汉族，甘肃武威人，工程师，硕士研究生，主要研究方向：工业互联网技术及其相关应用。