基于智能终端和数据仓库的工业数据融合系统关键技术研究

石晓亮

【摘  要】目前的工业控制系统一般采用二级系统，基于OPC软件，实现对一级PLC系统的数据通信，但很多老旧控制系统或者在户外的分散式控制设备，在设计之初就没有二级系统，户外远距离分散的特点也很难实施网线交换机和服务器的部署。基于以上痛点，本项目提出使用工业智能终端设备实现快速灵活的对老旧控制系统，保证工业数据的实时性和有效性。

【关键词】智能终端;数据采集;数据仓库

引言

2018年发布的制造行业现状表明，我国目前仍处于“工业2.0”（电气化）的后期阶段，“工业3.0”（信息化）还待普及，“工业4.0”正在尝试尽可能做一些示范，制造的自动化和信息化正在逐步布局。目前国内很多的企业仅仅实现了局部自动化，信息化还没有完全做到，其中很多企业只是实现了一个设备或者单元的自动化，真正要达到工业4.0，还有很长的路要走。

1.工业控制系统现状分析

1.1目前“工业2.0”升级方案复杂，成本较高，对中间件和现场控制依赖性强

目前常规的对于PLC控制系统的升级改造，还是采用基于OPC技术的搭建本地二级服务器的方式，例如罗克韦尔AB系列PLC采用的RSLinks，西门子S7系列PLC采用SIMATIC NET OPC等。搭建二级服务器后，还需开发基于本地的客户端软件，成本较高，且工程师只能在工业现场的工程师站进行集中的操作和管理，无法做到远程实时监控，且整个生产控制还是以人工操作为主，对产生的大量工业数据无法做到即时的分析处理和管控，整个生产过程还是主要处于后“工业2.0”时代，非常的不灵活方便。

1.2基于二级服务器的PLC控制系统改造，在实时性上很难达到工业要求

基于二级服务器的PLC控制体系，一级PLC工业数据和二级系统，以及三级MES/ERP系统之间的交互，还是主要以复杂的工业网络和交换机为主，因此数据在通信过程的实时性、同步性受到极大的影响，很多时候，二级系统反馈回来的指令在当前的PLC控制层中已经失去了意義。

1.3工业数据结构复杂，体量巨大，分布广泛，应用层系统难以统一调用

现代工业数据具有四大特征：（1）随着工业自动化和信息化的发展，由传感器和仪器仪表大量接入而带来的工业数据呈现井喷式增长，数据存储量将达到EB级别;（2）工业数据分布广泛，常常分布于生产线、机器设备、工业产品和管理系统中;（3）工业数据结构复杂，有结构化、半结构化和非结构化等不同类型;（4）工业数据持续采集，具有鲜明的动态时空特性。因此就给工业数据的采集、存储和处理实时性提出了极高的要求，对工业数据信息化整合的需求也愈发的迫切。

2.基于智能终端和数据仓库的工业数据融合系统关键技术分析

针对目前“工业2.0”系统升级方案复杂，成本较高，对中间件和现场控制依赖性强，工业数据处理实时性、同步性差，并且对工业数据整合存储混乱等痛点，本系统应用边缘计算和数据仓库相结合的前沿技术，开发出基于智能终端和数据仓库的工业数据融合系统，达到以快速灵活方式改造现有老旧控制系统并实时采集分析处理PLC数据信息的目的。数据仓库利用标准字典信息，统一各节点的数据标准和接口标准，为全厂系统的BI应用层和数据访问层提供数据整合和数据储备。

关键技术点分析如下：

2.1底层通信关键技术实现

针对不使用OPC中间件的情况，结合西门子系列PLC底层驱动，打通通信接口，完成智能终端和PLC系统数据的上行/下行交互。本项目以西门子系列PLC（S7-200、300、400、1200、1500）为主要研究对象，基于以太网协议和Modbus协议，无需OPC中间件辅助，直接完成和PLC系统的即插即连通信模式。

2.2边缘计算关键技术的实现

将边缘计算功能部署在终端智能硬件中，除了工业数据的实时采集，关键是能同步完成数据的清洗、特征提取以及设备参数衰退监测等功能，在工业场景中，边缘端计算的实时性比云端更强。针对工业数据实时性要求高的特点，在智能终端进行边缘计算，采集数据的同时完成对工业数据的清洗、特征提取以及设备参数衰退监测等工作。并且智能终端采用4G无线通讯模块和VPN技术，能实时安全的将优化后的数据上传到数据仓库。

2.3数据仓库的实现

数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点（如开始应用数据仓库的时点）到当前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。

3.基于智能终端和数据仓库的工业数据融合系统的实现

本系统针对目前“工业2.0”系统升级方案复杂，成本较高，对中间件和现场控制依赖性强，工业数据处理实时性、同步性差，并且对工业数据整合存储混乱等痛点，有效的将解决痛点的关键技术分解到了智能终端和数据仓库两侧，两者既发挥各自特长，又相互配合。

3.1打通PLC系统与智能终端的直连通信，并完成智能终端、4G通信模块和VPN通道的整合

针对智能终端与PLC系统直连通信的具体要求，系统开发过程中需着重注意以下几点：（1）完全实现与PLC系统（西门子系列为主）底层驱动建立连接的功能，无需OPC中间件，保障基本数据交互通畅;（2）智能终端基于边缘计算，实时完成工业数据的清洗、特征提取以及设备参数衰退监测等功能;（3）采用4G无线通讯模块和VPN技术，保障工业数据上传的安全性。

3.2工业数据仓库系统的实现

本系统数据仓库采用Hadoop框架实现，数据仓库层的数据是ODS（Operation Data Store）层数据经过ETL清洗、转换、加载生成的。Hadoop数据仓库的DW层通常都是基于Kimball的维度建模理论来构建的，并通过维度一致性和和数据总线来保证各个子主题的维度一致性。DW层的数据一定是清洗过的、干净的、一致的、规范的、准确的数据。数据平台 的下游用户将会直接使用DW层数据，而ODS层数据原则上不允许下游用户直接接触和访问。此外，出于性能、重复计算和使用便捷性考虑，DW层数据除了保存基于Kimball维度建模的最细粒度的事实表和维度表（DW层的明细层，data warehouse detail 细节数据层），还会基于它们生成一层汇总数据（即DW层的汇总层，data warehouse service 服务数据层）。汇总层的设计主要出于性能及避免重复计算考虑。原则上，业务使用频繁的的维度需要对这些维度建立汇总层，汇总的指标可以和业务需求共同设计完成。

4.结束语

总之，基于智能终端和数据仓库的工业数据融合系统，智能终端基于以太网协议和Modbus协议，实现直接与工业现场PLC可编程逻辑控制器的通信连接，无需OPC软件和二级系统，达到以快速灵活方式改造现有老旧控制系统并实时采集分析处理PLC数据信息的目的。本系统的成功实施为之后的规模化推广提供了有效的技术支撑。

参考文献

[1] 孙立. 工业大数据对智慧云制造的推动与创新[J]. 科技管理研究， 2016， 36（13）：156-158.