大型港机结构安全控制中数据 挖掘的预处理

董锦昭　邵靖楠

摘要：大型港机的调配的数据交互系统较为复杂，通常需要对安全控制数据预处理。预处理将原始数据进行集成、挑选和转换等操作，再对数据进行逻辑区分汇总和数据质量准确度深入控制，创建出适用于港机结构控制的安全体系，建立控制系统数据合集。

关键词：港机;挖掘数据;控制系统;预处理

港机是港口物资交换的主要传输工具。港机的工作年限较长，许多港口的港机均存在老龄化的特点，由于港口繁忙的运输工作，其工作安全性成为了较大的隐患。目前检测的手段，具体为使材料不同位置受力，绘制各个位置的应力应变曲线，然后根据其强度和韧性，来判断材料的使用安全性和报废寿命。但是这种方法需要有专业的测试人员来管理设备，测试周期较长、数据波动大，同时对测试人员的专业素养要求较高。另外在测试过程中可以得到很多有益的信息或者规律，但缺乏专业的研究人员深入寻找规律，导致数据不能充分应用。

现阶段，大量检测数据的处理和分析已经逐渐得到重视，尤其是通过电气控制模型来实现对于数据的控制与处理，虽然能够达到较好的安全控制效果，但对数据处理能力依旧不足，对大型港机的检测数据处理挖掘为当务之急。目前数据挖掘领域研究方向为先设置空白对照模型，此模型为极低噪音、一致性较好的高质量数据。但是在现实数据分析中，数据不可能这么完美，经常会有噪音，甚至有不完整，不一致的情况出现，此时数据预处理的重要性凸显。

1数据预处理的概念与步骤

1.1数据预处理的概念

数据预处理是数据挖掘系统必要的一个组成模块，它的目的为发现任务，通过指导引用相关领域的知识，使用全新的算法模型来重新计算原有的数据，将与目标关系弱的部分删除，使数据的计算更加迅速准确。同时更有利于对数据的分类，有针对的处理，可以减少运算的压力，优化算法内核。数据预处理可以挖掘到更深的规律，提高港机工作效率和精准度。

预处理的运转模式大致为理解用户所需挖掘点，确定起点和任务。随后将会调用数据源中与任务相关的部分，通过预先输入的某个知识领域约束规则作为合法判定依据，通过对违规的操作进行数据记录，最终生成我们所需要的目标数据。目标数据即为最终处理后的二维表，其横向阅读为记录和元组，纵向一般为变量，比如属性或者字段。这就搭建了最初始的知识信息模板，该模板汇集了所有数据的总特征。

为了便于数据的汇总和此后的分析，可以通过数据预处理阶段提高数据的质量。数据的分析主要有可视化分析和数据挖掘质量分析。由于数据并非是按照理想的规则排列，总会存在异质性和非标准性，因此可以通过预处理对数据进行标准化。

1.2数据预处理的过程

（1） 数据预处理的首要工作为数据集成，基层指的是将多个文件或者是多种数据库中所有的数据进行合并归类处理。把那些遗漏、波动异常或者是语意不明有争议的数据删除。需要注意的是，数据集成并不是数据合并，而是将单位不同字长不一的数据进行整合，将最原始的数据在低层次进行提炼凝聚，这是属于最初级的信息挖掘。

（2） 通过将源数据噪声和无关的数据进行清洗，处理掉空白数据库中的噪点，通过数据选择对数据库中的目标进行检索，数据选择涵盖了不同模式数据的变换、汇总和统一。根据时间的先后次序和数据变化的状况，可以将数据清洗分成两大类。一类为有监督过程清洗，这种过程是在某领域专业人员指导下，通过处理收集来的各种数据，剔掉明显错误的或者是不用重复的数据。另一类为无监督过程清洗，这种清洗是根据大数据训练而得的算法，使计算更加智能化向AI方向发展，在处理过程中可以自动的鉴别有问题的地方进行清洗。

（3） 在数据处理中需要有转换环节，将不同的字段取值转成数字格式，有利于进行检索，

数据变换主要是找到数据的特征表示，用维变换或转换方法减少有效变量的数目或找到数据的不变式，包括规格化、归约、切换、旋转和投影等操作。

（4） 通过电气控制的模式来达到对整个数据的预处理，主要是以人为的方式对其进行干扰，真正实现预处理过程的自动化与智能化水平，电气控制的主要目的在于对数据中的杂点和乱点进行清除，同时利用其自动化水平来实现进一步操作。

2数据预处理的具体流程

2.1结构安全控制数据集成

建立模型的基础为调用数据和理解数据。在进行可视化数据分析前，一定要明确关键的业务问题和目标。确立目标后，需要对该工作的基本特征有具体的了解，这样才能保证数据更加真实有效。在随后的数据抽取过程需要对数据灵活的转化，以方便进行数据库的更新和管理。对于大型港口港机的检测，主要是通过震动信号的反馈，对支撑结構进行运载大型物件时应力应变的情况实时采集，以此为大型港机结构安全控制数据的原数据。随后在数据分析前，实施数据预处理。

在港机工作时的数据中突出的字段有：载荷、时间、循环，港机的具体数据字段为：尺寸、材料和焊接状况。因此通过这些字段的含义，可以进行结构疲劳分析，或稳定安全性测试。根据不同的字段就可以提取到有效的数据，在大量数据的积累下，通过预处理删除掉不合理的数据， 就可以得到一致性较强的结果，可以把不同类型的结果，存放在同一个数据库中，以便于随后的深入挖掘。提数据的关联性靠时间连接，这样可以方便后续调用数据。

之后在较高准确性和一致性的基础上，仍要继续进行检验和净化。

数据的重要部分是在机械进行作业时，通过运输吊装货物现场获得各观测点的应力应变情况，但由于现场的变量较多，比如干扰信号、接触问题或者是间隙配合归零等误差，因此数据的准确性或有效性，将受到不同程度的干扰。因此，现在大多为绘制受力时的波形图。通过对异常信号的处理，剔除掉错误的无效数据。具体的分析方法如图1图2所示。

比如在对原始信号进行分析的过程中，不难发现图1在第5个循环处存在异常波动现象，这主要是由于峰值与峰谷之间存在较大的差异性，因此造成整体传出的信号不同，而预处理模型能够对此进行识别，根据其预先设置的预处理电控模式将异常数据进行删除，进而达到优化整体数据的目的。通过图2我们可知，往往很多数据的波动现象都不是容易被发现的，而电控模型的有效应用可以真正实现对噪点的识别，进而对其进行删除和优化。

2.2结构安全控制数据挖掘的数据选择

数据的收集工作较为漫长，需要较多的测试，收集结束后需要进行数据选择，为后续的可视化数据挖掘提供基础。在数据选择的过程中包含数据的转换和汇总。数据选择的意义是在于缩小处理区域，提高处理效率，并且能够更加深入的挖掘数据。

单侧点测试数据，是在整个测试作业过程中，根据应力应变绘制载荷图谱，确定临界应力。从而进行材料损伤的判断。在数据挖掘时用到的字段为：屈服强度、抗拉强度、测试时间、应力应变等。针对多测点测试数据，进行数据的挖掘较为复杂，其主要内容是在作业过程中，随着时间的流逝小车位置变化，在每一时刻对应的都有应力应变的不同状况。针对强度峰值的指标，分析人员可以确定出危险点。此数据字段主要为：循环次数、测试时间、名称、小车位置坐标等。选择不同的字段进行合并和整理形成一个数据库，以便于可视化分析的读取。

抽取是从数据集中选择用于分析的数据段.清洗则是在将数据加入数据集之前，对源数据进行修改.在大型港机结构安全控制中，如果是对单测点进行分析，要对数据进行滤波，滤掉较小的波动，以减少不必要的计算量，简化计算过程，提高分析效率。图3为一大型港机结构在测试作业中原始的应力波形图，我们可以对重复部分进行抽取，一般来说只需要选用500-1500范围内的数据即可，这就使得原有工作量大大减少，从而有效提升了整个数据分析的工作效率。

3结束语

对于大型港机结构安全控制数据挖掘中的数据预处理的论述，针对的是具体数据挖掘模型的需要，主要目的是为进行结构疲劳寿命的估计与分类模型以及结构扩展寿命的预测模型提供数据依据。随着对数据质量和有效数据挖掘研究工作的不断深入，从内容到方法将会不断完善。

参考文献：

[1] 刘园， 宓为建. 大型港口机械结构安全控制中的数据挖掘[C]// 上海市国际工业博览会暨上海市"工程与振动"科技论坛. 2005.

[2] 赵蕴华， 张静. 基于数据挖掘的专利数据预处理系统的设计与实现[J]. 情报科学， 2011（12）：1851-1855.

[3] 菅志刚， 金旭. 数据挖掘中数据预处理的研究与实现[J]. 计算机应用研究， 2004， 21（7）：117-118.