面向数控加工过程智能管控的多源异构数据管理方法*

（1.北京航空航天大学机械工程及自动化学院，北京 100191；2.北京航天新风机械设备有限公司，北京 100049）

随着中国制造2025 国家战略的不断推进，智能制造及其相关理论与技术方法已深入人心。智能制造的内涵可以用“动态感知、实时分析、自主决策、精准执行和改进提高”的20 字方针来高度概括，这其中动态感知是基础，而感知得到的多源异构数据则是进行制造过程分析、决策、执行和改进提高的驱动力。数控机床作为一种先进的制造装备在智能制造中扮演着十分重要的角色。在离散制造业中，数控机床是制造过程的末端执行装置，人、机、料、法、环、测等要素在加工过程中高度融合。因此，数控加工过程的输出数据就成为评价加工过程、生产计划、工艺规程、产品质量、设备可靠性以及数控程序质量高低的重要依据。数控加工过程产生的数据呈现出实时、多源、异构等特点。比如，与加工任务相关的产品、工艺、设备、原材料、工位、操作人员等制造情境数据是典型的非实时数据；来自数控系统内部的程序段执行信息、机床加工状态信息、坐标值、进给速度、主轴转速、主轴负载等,虽然是实时数据，但其更新的频率一般不高于10Hz[1–4]；而加工过程中采集的来自外部传感器的主轴振动、切削噪声等信号的采样频率则一般高于10kHz，这样就给数据的组织、访问控制与存储管理带来挑战。

针对数控加工过程中产生数据的组织与管理问题，工业界和学术界展开了大量的研究。由于数据类型和使用目的不同，数据的存储与管理方式也不尽相同，主要包括实时内存数据库、关系数据库、技术数据管理流以及非关系数据库等。

实时内存数据库主要是针对高频、实时数据的短时间存取和过程实时监测的需要而设计的。王宏伟等[5]针对工业现场实时监测的需要，给出了一种基于内存数据库构建实时监测系统的方法。

关系数据库适用于对数据项固定、数据类型比较单一的非实时数据，或者采样频率不高的实时数据的存储与管理。刘福民[6]和肖士利[7]等给出了利用Oracle 关系数据库进行机床状态数据的采集与管理的方法，并用于实现对数据的非实时处理和统计分析等。

技术数据管理流（Technical Data Management Streaming，TDMS）是一种美国国家仪器（National Instruments，NI）公司推出的能实现多通道实时高频数据存储管理的数据存储文件格式。Klocke 等[8]设计了一套基于TDMS 的抛光过程监控系统，实现了对实时数据流的存取和访问控制；李强[9]利用TDMS 作为数据存储方式，构建了机械设备早期故障预警系统。张丹等[10]针对轴承故障数据采集与分析系统中，实时高频故障信号的采集与存储管理、历史故障信息的查询和分析的需要，采用TDMS 文件存储实时采集的原始波形数据，采用关系数据库存储经过处理的故障指标数据供后期查看，较好地解决了实时与非实时数据的访问与存储管理问题。上述研究可以看出，TDMS 在利用NI 技术体系下的传感网络构建实时数据存储管理系统时，具有很好的技术优势。

非关系数据库是为了解决互联网环境下超大规模和高并发数据存储和管理的需求而设计的。它采用“键–值（Key–Value）对”形式进行数据存储，具有扩展灵活、高并发、读写能力强等特点。Angrish 等[11]利用MongoDB 非关系数据库构建了一种信息物理系统的存储架构，探索了新型数据存储模式的有效性。冯磊等[12]针对航空磁力测量数据管理中，测量数据量日益增大、对数据检索与存取效率要求日益提高、对未知格式新增数据支持能力增强等需求，提出了基于非关系型数据库MongoDB 的数据存储与管理方案，来取代原有的基于Oracle 关系数据库的数据管理模式，取得了良好的效果。郭匡宇[13]针对物联网环境下传感器数据高并发和大容量存储管理的需求，设计了基于MongoDB 非关系数据库的传感器数据分布式存储管理系统，满足了传感器数据高并发、跨平台和快速查询的需求。

分析发现，目前对机床加工过程数据采集与管理方法的研究主要集中在两个方面。一是面向车间生产管理的需求，仅采集数控机床的工作状态信息，用于对机床工作状态和加工效率进行统计分析。这类研究，没有考虑加工过程中实时工况监测带来的对实时海量数据的快速存取与处理问题。二是面向加工过程中工艺参数改进的需求，对某些工况信息（主轴振动、切削噪声等）进行实时采集与监测分析。这类研究，没有考虑生产过程系统性优化带来的对历史工况数据的管理和工况信息与制造情境信息的关联问题。本文从生产加工过程智能管控的需求出发，综合考虑生产加工过程中加工工况的实时监测与异常报警、质量问题的快速分析与追溯、工艺质量分析与评价、生产过程管理等业务对数据采集和数据组织与管理的需求，对数控加工过程中多源异构数据的管理方法展开研究。提出面向不同管理需求的海量实时、多源异构数控加工数据与制造情境数据相融合的数据组织管理策略；构建针对非实时结构化数据、实时加工过程数据和加工过程历史数据的管理模型。在此基础上，设计开发了基于智能感知的数控生产线数据采集与管理系统，并通过在薄壁回转体零件数控加工过程智能管控的应用，验证了所提方法的可行性与有效性。

需求分析

1 数据采集需求分析

数控加工过程会产生大量的数据，包括零件的几何尺寸和形位公差等产品检测数据，进给速度、主轴转速等工艺数据，主轴振动、切削力等工况数据等。传统数控加工过程的数据采集，主要集中在对被加工零件几何尺寸和形位公差检测数据、机床的启停和运行时间等数据的采集方面。机床运行过程中，主轴和进给轴的速度、电流、负载、振动、切削力等工况数据一般不予采集，仅靠操作人员的经验进行判断和处理。而要实现对数控加工过程的智能管控，除了采集零件加工后的尺寸和形位公差数据进行质量评价外，还需要对加工过程进行监测和异常预警、对质量问题进行快速分析与追溯、对加工工艺进行分析与评价、对整个制造过程进行全局优化等，这就需要对数控加工过程的工况数据和制造情境数据等进行采集与管理。图1给出了数控加工过程的组成要素及主要的过程监测信息。

因此，面向数控加工过程智能管控的数据需求可以概括如下：

（1）实时加工过程数据。

该类数据是指由数控机床内部、数控机床内置和外置的各类传感器在数控加工过程中采集得到的各类实时数据。这些数据包括：各坐标轴的实时坐标值、主轴转速、进给速度、主轴和进给轴负载、程序运行时间、主轴和进给轴倍率、机床工作状态、切削力、主轴振动、切削噪声、环境温度等。其中，来自数控机床内部和内置传感器数据的更新频率一般不高于10Hz。如西门子840D sl 数控系统提供基于OPC UA 服务器的机床内部数据访问功能，最高数据更新频率为10Hz。主轴振动、切削噪声等来自外置传感器采集的工况数据，其采样频率需要能覆盖加工过程典型异常信号的频率范围，采样频率一般高于10kHz。需要注意的是，不同类型的零件在不同类型加工工序中需要采集的工况信息不同，因此，对该类数据的管理需要支持数据项的横向可扩展。实时采集的加工过程数据包含了丰富的切削加工工况信息，但其本身并不包含非加工过程的制造情境信息，如果不为这些实时数据附加必要的情境标签信息，它们只是在加工过程实时监测时有价值，在监测结束后这些数据将无法再利用，这与加工过程智能管控的需求不符。

（2）数控加工情境数据。

该类数据是指数控加工任务中所包含的人、机、料、法、环、测等基础数据。主要包括：产品信息、工艺信息、工序信息、人员信息、设备信息、传感器信息、工件材料信息以及工位信息等，这些信息是数控加工过程实时工况数据的宿主信息，是进行工艺改进、质量问题追溯以及相关关系挖掘的分类标签信息。

（3）过程结果数据。

该类数据是指数控加工过程的结果数据。主要包括被加工零件的尺寸和几何公差的实测值、物理特性的实测值；以及包括各类加工过程异常的状态监测结果等。

2 数据特点及管理需求分析

数据组织与管理模式的选择与数据本身的组成、数据量大小、存取与处理速度、可扩展性和使用时效性等特点密不可分。基于此，将第1 节采集的各类数据分为实时加工过程数据、非实时结构化数据和加工过程历史数据3 大类，其数据特点和管理需求分析如下：

（1）实时加工过程数据。

该类数据主要是指在数控加工过程中需要进行实时监测与处理的数据，它们具有数据更新频率高、需要在短时间内进行存取和计算处理等特点。以磁盘为存储介质的数据文件和关系型数据库难以满足对数据高速存取和数据项横向可扩展的需求；相比较而言，实时内存数据库是管理该类数据的不错选择。

（2）非实时结构化数据。

该类数据包括数控加工情境数据和过程结果数据，它们具有结构化程度高、数据量小、更新频率低、短时间内处理速度要求不高等特点。情境数据是实时加工过程数据的宿主，需要具有良好的查询和统计能力，因此该类数据适合使用以磁盘为存储介质的关系型数据库进行存储管理。

（3）加工过程历史数据。

图1 数控加工组成要素及过程监测信息Fig.1 Components and process monitoring information of CNC machining

该类数据是指失去时效性的实时加工过程数据，它们具有数据量大、对数据处理的实时性要求不高、数据项横向可扩展要求较高以及长时间存储等特点。因此，该类数据适合使用以磁盘为存储介质的数据管理模式。但关系数据库一般适合数据项固定的数据类，而非关系数据库和TDMS 文件则更适合数据量大、数据项不确定数据类的存储与管理，便于后续数据处理与回溯分析使用。

基于上述分析，面向数控加工过程智能管控需求的多源异构数据的特点分析对比如表1所示。

多源异构数据的组织与管理

1 多源异构数据的组织策略

面向数控加工过程智能管控需求的多源异构数据，由于其在实时性、数据量、存取速度、可扩展性和数据利用时效性等方面都存在差异，因此需要将多种数据存储与管理方法进行融合来满足对数据管理的多元化需求，图2给出了多源异构数据的存储管理策略。

由图2可知，数据来源主要有两类：实时的加工过程数据流和非实时的结构化数据。系统将实时数据流中的数据首先存放于实时内存数据库中，利用实时内存数据库对数据存取和处理速度快的优势，来完成加工工况实时监测、异常识别与预警等数据处理业务。而丧失时效性的加工过程数据，则在经过数据压缩处理后，存入处理和访问效率高的非关系数据库或TDMS 文件中。利用非关系数据库和TDMS 文件的灵活性以及其与时间戳关联的特性，将历史数据有效地管理起来，并与存储于关系数据库中的非实时结构化情境数据相关联，以实现数控加工过程数据的有效管理，为基于多源数据的加工过程融合分析、潜在质量问题识别与追溯、工艺参数优化等提供数据支持。图3给出了实时加工过程数据与情境数据之间的关联模型。

图2 多源异构数据的存储管理策略Fig.2 Multi-source heterogeneous data storage strategy

由于实时加工过程数据是连续采集的，因此实时加工过程数据与情境数据的关联需要充分利用数据记录的时间戳信息。首先，从当前工位的情境数据中将当前加工任务信息提取出来，将任务信息中的实际开始时间与实时加工过程数据的时间戳相比对，以此来获取当前的加工任务信息。同时，将实时加工过程数据域中得到的当前加工程序名称与加工任务中的程序名称相匹配，实现实时加工过程数据与情境数据的二次确认与关联。任务信息中的实际结束时间与实时加工过程数据的时间戳比对实现了加工过程历史数据的截取和分组。

表1 多源异构数据特点分析对比Table1 Analysis and comparison of multi-source heterogeneous data characteristics

图3 实时加工过程数据与情境数据间的关联模型Fig.3 Association model between real-time processing data and situational data

2 非实时结构化数据管理

非实时结构化数据包括情境数据和过程结果数据，该类数据具有非实时、结构化等特点，适合采用关系数据库进行存储管理。情境数据是实现面向数控加工过程智能管控的关键基础信息，由与数控加工任务相关联的产品、工艺、物料、设备、车间、工位以及人员等数据对象组合而成的。图4给出了面向典型数控加工过程的情境对象的实体关系模型，将此实体关系模型映射到关系数据库中，就可以实现对情境数据的管理。

3 实时加工过程数据管理

针对实时加工过程数据对数据处理实时性要求高的特点，本文提出一种将采集到的数据按项分类存储于内存队列组的方式来实现对实时数据的管理。图5给出了内存队列与各监测变量之间的映射关系，这种方式既利用了内存中数据存取速度快、计算效率高的优点，又可以实现数据的可扩展。

为了实现对数控加工过程的智能管控，实时加工过程数据不仅被用来直接计算输出，还需要对一段时间内的多个被监测数据项进行实时计算，以实现加工过程的异常识别和预警。本文通过定义数据计算对象来实现对内存数据的应用管理，如图6所示。

图4 面向典型数控加工过程情境对象实体关系模型Fig.4 Entity-relationship model for situational object of typical CNC machining process

图5 内存队列与监测变量间的映射关系Fig.5 Mapping relationship between memory queue and each monitoring variable

图6 实时加工过程数据管理模型Fig.6 Real-time process data management model

将每个参与实时计算的单个监测变量定义为一个数据计算对象，该对象需要记录的数据包括：数据项唯一标识、计算数据队列和数据长度。考虑到实时数据分析所需的数据项个数可能随算法迭代而有所变化，本文采用双向链表来实现对数据计算对象的存储管理。每当需要增加新的计算对象时，系统自动将新增的数据对象添加到链表末尾，实现数据计算对象的扩展。

4 加工过程历史数据管理

实时加工过程数据失去时效性后就成为了历史数据。由于计算机内存空间有限，不适合数据持久化存储，因此需要将历史数据存储在计算机磁盘上。为了实现更高的数据存取效率和数据的有序组织管理，不同类型的历史数据可以采用不同的存储管理方案。在此给出基于非关系数据库MongoDB 和TDMS 文件两种加工过程历史数据管理方案。

（1）基于MongoDB 的加工过程历史数据管理。

MongoDB 是一种面向集合且模式自由的非关系数据库，支持的数据类型丰富。一个MongoDB 数据库包含多个集合，而一个集合可以存储多个文档，一个文档类似于关系数据库中二维表中的一条记录。文档是MongoDB 数据库中的基本单元，由键–值对组成。

为了满足对加工过程历史数据重用的需求，图7给出了基于MongoDB 的数据管理模型。

在利用MongoDB 进行加工过程历史数据管理时，首先在MongoDB中按照工位创建对应的集合，集合中的文档被定义为机床加工过程数据存储对象，由加工任务唯一标识、系统时间戳和机床加工过程数据列表构成。从图7中可以看出，机床加工过程数据列表中包含了多个数据存储项，每一个数据存储项代表一个被监测变量，如机床工作状态、进给速度、主轴转速等机床加工过程数据项。数据存储项中包括：数据项唯一标识、数据项当前值、系统时间戳以及数据刷新周期4个键–值对。同时，为了提高数据检索效率，可以以加工任务唯一标识来建立索引。

（2）基于TDMS 文件的加工过程历史数据管理。

用于进行数控加工工况监测的外置传感器的数据采样频率一般高达10kHz 以上，常规的文本和关系数据库无法满足这种高速数字信号的实时存储需求。TDMS 文件格式是一种适用于高速测试测量采集数据管理的文件格式。它具有方便交换、具有内在结构、支持高速流盘和可扩展等多种优势，能够在NI 的各种数据分析或挖掘软件之间进行无缝交互，也能够提供一系列API 函数供其他应用程序调用。

TDMS 文件的逻辑结构分为3 层：文件（File）、通道组（Channel Groups）和通道（Channels）。文件层级可以包含任意数量的通道组，每个通道组又可以包含任意数量的通道。同时每个层级都允许自定义任意数量的标量属性，通过自定义属性，可以形成结构清楚、易于搜索的数据文件。因此，TDMS 文件模型的最大优点在于，通过文件结构的可扩展性将描述性信息包含在文件中，而并不需要其他工作。当需要增加传感器数据的描述信息时，无需重新设计程序，只需扩展该模型即可满足需求。此外，在使用过程中，TDMS 文件会自动生成一个补充性的*.tdms_index 文件，该文件可以汇总数据文件中所有属性和指针，能极大地提高读取大数据组中数据的速度。

在利用TDMS 文件进行加工过程历史数据管理时，可以通过在通道层次上附加关系数据库中的数据采集项唯一标识–加工任务编号，实现TDMS 格式的加工过程历史数据与存储于关系数据库中的情境数据之间的关联。考虑到外置传感器数据与机床内部过程数据时序同步的问题，需要在通道层次存储采样点幅值数据，同时创建时间戳通道组，存储采样点对应的时间戳数据。借助TDMS 文件模型，同时考虑到历史数据的关联需求，给出如图8所示的基于TDMS 文件的加工过程历史数据管理模型。

应用案例

本课题组在国防基础科研项目的支持下，对基于智能感知的数控生产线数据采集与管理技术展开研究。设计开发了基于智能感知的数控生产线数据采集与管理系统，并在薄壁回转体零件的加工过程中进行了智能管控应用。

1 应用场景及目标

薄壁回转体零件加工过程智能管控的应用场景组成如下：

（1）一台德国德玛吉DMG 80P数控机床，数控系统为西门子840D sl，支持OPC DA 标准通信协议，机床内部状态及内置传感器数据的更新频率为10Hz。

（2）一套外置切削噪声信号采集系统，声压传感器采用丹麦GRAS公司的46AE 型声压传感器，数据采集卡采用美国国家仪器公司的NI 9234 数据采集卡，采样频率为51.2kHz。

（3）一套外置主轴振动信号采集系统，加速度传感器采用美国PCB公司的356A32 型三轴加速度传感器，数据采集卡与切削噪声信号采集系统共用，采样频率为51.2kHz。

图7 基于MongoDB的加工过程历史数据管理模型Fig.7 MongoDB-based historical data management model for processing

图8 基于TDMS的加工过程历史数据管理模型Fig.8 Management model of historical data of machining based on TDMS file

（4）一台笔记本计算机，安装基于智能感知的数控生产线数据采集与管理系统，计算机硬件配置为：酷睿i5处理器、16G内存、1T硬盘、千兆网卡和一个八端口Hub。

应用目标是实现对薄壁回转体零件加工过程工况参数和机床工作状态等信息的实时采集与监测，对薄壁回转体零件在加工过程中出现的负载周期性变化、颤振、刀具过度磨损和刀具断裂等典型加工异常进行实时识别与报警，并能实现对加工过程中任意时间段工况参数波动情况的回溯，以及对数控加工过程平稳性的评价等。

2 加工过程多源异构数据管理方案应用

图9为加工过程多源异构数据管理方案。在进行加工状态实时监测前，通过创建加工任务，将人员、工位、设备、生产批次、物料和工件等情境对象信息统一关联起来。在进行加工状态监测时，将实时采集到的外置传感器数据和机床内部工况数据读入到实时内存数据库中进行时域、频域、时频域分析和异常识别等运算处理。同时，将实时工况数据进行压缩处理，然后分别存储在MongoDB非关系数据库和TDMS 文件中用于后续的非实时分析与评价。其中，情境数据等非实时结构化数据存储在MySQL 关系数据库中，通过OPC DA采集的机床内部状态和工况历史数据存储在MongoDB 非关系数据库中，通过外置传感器采集的主轴振动、切削噪声历史数据存储在TDMS文件中，加工任务与TDMS 文件存储目录相关信息存放在MySQL 关系数据库中。

图9 加工过程多源异构数据管理方案应用Fig.9 Application of multi-source heterogeneous data management scheme

3 应用结果与评价

基于上一节给出的加工过程多源异构数据管理方案，开发了“基于智能感知的数控生产线数据采集与管理系统”。系统实现了对数控加工过程中主轴转速、进给速度、主轴负载、主轴倍率、进给轴倍率、零件几何尺寸、环境温度、主轴振动、切削加工噪声、切削力、坐标值、程序段信息以及机床操作模式13 种加工过程数据的实时采集。基于大量的切削试验数据，采用信号处理和机器学习算法得到了典型薄壁回转体零件加工异常的数据特征，实现了对薄壁回转体零件加工过程中出现的刀具磨损、刀具断裂、负载周期性变化和加工颤振4 种典型异常的实时识别与报警。通过对实时加工过程数据与情境数据的关联融合与管理，实现了基于加工工况历史数据的质量问题追溯，以及面向数控加工程序段的加工过程平稳性分析。

图10中给出了系统对刀具磨损、刀具断裂、负载周期性变化和加工颤振4 种薄壁回转体零件加工过程典型异常识别结果。图10（a）～ （d）中，左侧是切削过程中实时工况波动情况监测区，加载的监测信号为主轴在X、Y、Z3 个坐标轴方向的振动信号和声压信号；右侧是加工异常监测结果显示区，监测结果指示灯从上到下为对刀具磨损、刀具断裂、负载周期性变化和加工颤振4 种异常的监测结果（其中，红色为异常，绿色为正常）。通过对加工过程的实时监测，操作人员可以实时掌握加工过程的状态，并可根据识别结果采取有针对性的措施。

图11为基于历史工况数据回溯的质量问题分析应用界面。由于系统实现了情境数据、实时加工过程数据与加工过程历史数据的整合与管理，用户可以在历史工况数据回溯应用中，选择任意工位、任意产品、任意加工时段的工况数据进行加工过程的回溯分析。系统提供了多个工况信号的同时加载回溯功能，便于质量问题原因的快速查找。

图12是利用加工过程历史数据进行加工过程平稳性分析的应用界面。系统支持按操作人员、产品名称、工序名称和程序名称为线索的组合查询，实现加工数据的快速检索。图12的上半部分为加工数据的查询结果，下半部分为以程序段为单位的基于平稳熵的加工过程平稳性分析结果，且平稳熵值越大表明该程序段的加工过程平稳性越差，这是工艺改进的重点。

图10 加工工况实时监测与异常识别应用Fig.10 Application of real-time monitoring of machining conditions and abnormality identification

图11 基于历史工况数据回溯的质量问题分析应用Fig.11 Analysis of quality problems based on historical data backtracking

应用表明，基于内存数据库的实时加工过程数据管理，可以满足对实时高频信号快速存取、处理与实时监测的需求。基于MongoDB 非关系数据库和TDMS 的加工过程历史数据管理，可以解决加工过程中采集数据项可扩展和海量数据的存储与管理问题。情境数据与加工过程数据的融合，为实现人、机、料、法、环、测多维度分析质量问题、寻找工艺改进点提供了途径。基于本课题的研究成果，改进了某型号薄壁回转体零件的装夹方式和部分工艺参数，产品的一次交检合格率由原来的不足80%提高到接近100%。

图12 基于加工过程历史数据的加工过程平稳性分析应用Fig.12 Application of process stability analysis based on historical data

结论

数控机床作为智能执行装备在智能制造系统中起着举足轻重的作用，如何将数控加工过程中产生的大量实时工况信息变为对加工过程进行智能管控、制造过程优化和持续提升产品质量的驱动力就成为智能工厂建设中需要解决的关键问题之一。本文以面向数控加工过程智能管控的多源异构数据的组织与管理为研究对象，在分析梳理了数控加工过程中多源异构数据的组成和特点的基础上，针对加工过程实时监测、加工过程历史数据重用等需求，提出了一种包含内存数据库、关系数据库、非关系数据库和TDMS 数据流文件在内的多种数据管理模式相融合的数控加工过程数据管理方法，为解决数控加工过程中多源、多态、异构、海量实时加工过程数据的组织管理与应用提供了一种解决方案。最后，以典型薄壁回转体零件加工过程智能监控应用为例，验证了所提方案的可行性与有效性。