面向IOT数据的可视化平台设计与实现

叶雪茹，龙忠琳，高瑜雄，叶婉茹

(中国机械总院集团云南分院有限公司<云南省机电一体化应用技术重点实验室> 云南 昆明 650000）

0 引言

近些年，信息化与数字化已经成为工业发展的重要领域，大部分生产制造企业已经引入了诸如ERP、MES等工业生产管理系统，工厂生产经营管理基本实现数字化。在系统使用过程中，会产生大量的生产、运营数据，已经逐渐成为企业新的数字资产。数据分析在企业运营决策中的重要地位日趋明显，通过自动或半自动的工具对数据进行探索和分析，能够发现数据中蕴含的模式和规律。

大量的生产数据应该如何被展现出来也是决策支持的一个核心问题。企业过去的数据汇总和展示依托于大量的纸质报表，公司的管理人员可能无法在第一时间发现生产过程的“痛点”。运用可视化技术就可以较好地解决这个问题。可视化分析技术不是简单的报表电子化过程，而是一个有意义的分析过程，通过图表的形式来创建人们可以快速理解的数据信息。相较于繁多、一时难以快速发现其规律的数字表格，人脑通常可以更快地将图像转化为可理解的信息，通过设计图表可以引导决策者快速地找出问题的关键，从而摆脱分析大量表格带来的繁琐。

1 相关技术

1.1 数据可视化技术概述

数据可视化概念最早来源于科学计算可视化（Visualization in Scientific Computing），是研究数据视觉表现的一种科学技术[1]，运用可视化技术的主旨在于借助图形化的手段增强认知能力，提高信息传达以及获取的效率，直观地传达信息的基础上丰富视觉效果，作为一种信息交流的媒介让用户在第一时间找出分析对象的最明显特征。

在针对生产制造工厂的实际需求设计并实现数据可视化的图表过程中，通常都是根据数据之间的关系来决定选择图表的样式，图表通常不宜太过复杂，但必须遵循有效、能够快速地传递信息的要求。数据之间的关系一般可以被归纳为：成分关系、排序关系、时间序列关系、相关关系以及比较关系几种。明确数据之间的关系以及想要表达的主题之后，就可以依据设计者想要呈现的基本效果选择相应的图表来进行制作。

1.2 MySQL数据库概述

在IOT数据采集以及数据存储的过程中，对采集到的数据采用了便于用户理解和查询的关系型数据库（由二维表组织）。MySQL就是一个典型的关系型数据库，它通过数据库标准化语言SQL语言实现数据库管理以及基本数据访问[2]。在本企业生产数据可视化的过程中，使用MySQL数据库作为基本数据存储工具的原因有以下几点：MySQL数据库是开源数据库，提供免费的版本给普通用户，极大降低了民用企业在技术升级成本；MySQL体积小，命令执行的速度快，且在可靠性和适应性方面具有一定的优势；MySQL数据库支持多用户访问，且对访问的人数没有限制，在一个大型生产制造企业中需要访问数据的部门有很多，有时候处理一项工作需要多个人员的有效配合，因此多用户访问是必须具备的功能。MySQL数据库是网络化的数据库，通过网络可以和任何地方的任何人共享该数据库。MSQL数据库具有多样的API接口可实现多编程语言的融合，在SQL语言的基础上添加JAVA数据分析包，实现数据处理与分析的需要。

2 功能结构设计与实现

2.1 整体功能设计分析

本文介绍的机床生产制造企业在2021年底实现了IOT以及MES生产数据的采集。在日常生产的过程中已经积累了大量的IOT以及生产数据。工厂管理人员提出，希望能够对这些数据加以整合，形成完整的，可供日常经营决策中做出参考的生产监控数据观察面板。平台的管理者希望能够对工厂机床运行数据更集中地进行管理以及查询，管理的难度能够有所降低[3-4]。根据企业的实际需求，确定了车间生产监控面板的建设目标。

2.1.1 建立数据模型，实现数据的整合与集成

数据模型是实现数据存储，分析以及可视化的根基。数据模型的建立是实现数据的整合与集成的基础，形成一个较为统一的数据中心。在建立数据模型的过程中，也能够明晰分析的维度。完成基本的维度表事实表，明确数据分析的主题以及数据的粒度等基本工作。

2.1.2 根据公司日常报表查询需求设计报表

对于该机床生产企业来说，机床的实时运行数据，日常机床维护以及保养数据，人员管理等信息的日常查询和分析离不开报表的支持，因此还需要根据企业运营人员的需求对相应的报表进行设计以及组合，并分主题挂载到系统中，以供日常的查询。

2.1.3 搭建机床运维数据可视化驾驶舱

利用可视化平台，设计直观且丰富的图表。简便、快捷、形象、具体地展现企业的各项经营指标，为公司的经营管理提供有力依据，为领导层决策提供支持。

2.2 非功能性设计分析

2.2.1 性能保障

要满足多用户并发登录查询的场景，要尽量避免出现上班高峰期由于登录使用的工人过多，查看报表系统的人员并发导致的服务器瘫痪的出现，并且均能在短时间内获得实时分析功能响应。业务数据的增量导入和数据清洗时间不能过长。

2.2.2 可靠性和可用性

对于可靠性需求，要求系统不能频繁地出现错误。可用性与可靠性密切相关，在系统出现问题停机后应该要能够及时地做出响应，修复问题，及时地恢复系统的正常运转。

2.2.3 容错性

平台在一定程度上对自身错误的作用（软件错误）具有屏蔽能力，并且即使某一主题的模块出现了问题，应不影响其余模块的显示。

2.2.4 硬件要求

目前工厂机床运行的实时数据量已经比较的庞大，并且业务数据和日志每天都还在持续地增加，要求系统能够在目前的数据增长速度下，在不增加节点的情况下至少使用三年。

2.2.5 扩展性

要求能够通过动态增加节点和存储来提高系统的计算能力和存储能力。在服务器的承载范围内，不管有多少数据，有多少用户，都可以实现弹性扩充。

2.3 数据加载以及预处理

由于系统数据来源具有多样性，并且针对不同的数据，需要根据数据的更新频率制定不同的数据加载以及更新规则。主要包括了以下几种更新方式。

（1）全量更新数据

日期，地域，机床位置信息这类确定之后，在长时间范围内不会存在变更的数据，在数据开始组织的时候进行一次全量的更新。

（2）缓慢更新数据

对于系统人员信息、机床基本信息、刀具信息这一类，需要进行维护，但是更新的频率较低的数据，可以采用缓慢更新的方式进行维护。这些数据通常已经有了一定的规模以及组织的规则，可采用增量抽取的方式进行数据的更新。

（3）实时更新数据

对于机床报警信息，机床实时状态，机床生产数据，需要做到实时的监控与更新。这些数据已经通过日志流实时不断地被存储到IOT数据库中。对于这些数据更新的方式是：获取实时表更新的时间戳，设置更新的时间间隔（如：每3 s查看一次时间戳，判定是否有更新）；从源数据库中读取最后更新的时间戳之后存储的所有数据，按照维度表所需的字段抽取到视图中；生成新的更新时间戳也放入视图中，并将视图中的数据按照规则进行转换。将转换好的数据加载到可视化工具中进行更新[5]。

2.4 数据分析及可视化

本数据可视化平台主要实现数据的汇总分析，在基础数据报表支持下，用户可以根据自身的决策需求从不同的维度实现数据简化、数据检索、数图转换以及对基础数据进行一定的维护。同时为了契合公司展示以及实时查看的需求，设计了大屏展示以及WEB在线访问两种访问方式，使得用户可以快速，准确，实时地掌握工厂的生产运行状况。本次设计主要包括了机床总体运行状况，单机实时运行状况两个主题。如表1所示。

表1 数据分析与可视化

2.5 用户权限控制

对于一个生产企业的生产管理数据可视化看板而言，使用该平台的人员众多，包括众多的一线生产人员以及企业高层的管理人员。不同的职工对数据展示的需求不同，所能获取的数据权限也应该有所区别。为了保证数据的安全，必须对数据的访问进行控制。使得拥有不同数据查看权限的用户登录到系统之后能够有针对性地获取到看板的具体内容。本设计采取了用户管理、角色管理、数据管理以及权限管理的方式保证数据的基本安全。管理员可以根据管理的需求为用户分配权限项，包括人员管理、目录权限、管理系统、数据连接、数据权限（数据表）、定时调度管理权限。

在本系统中采取了根据用户的角色以及用户部门分配用户权限的方法。选择权限管理中的权限配置功能，根据角色配置该角色的用户可以查看的目录，报表以及驾驶舱等。根据管理人员在后台设定的用户权限，用户可以通过账号和密码验证登录系统，系统会根据权限信息为用户呈现相应的界面，当用户提交需求时，页面会发起权限验证，通过验证后为用户提供所需的功能，与用户权限不符的需求系统将会发起提示。登录及权限验证的时序如图1所示。

图1 权限控制时序图

3 功能实现及成果展示

3.1 机床总体运行状态

设备监控总体运行状况看板主要包含机床总体实时状态、机床当日运行状况、机床周运行状况累计以及机床一月运行状况累计四个模块。该看板以时间作为分析维度，关注工厂所有联网机床的总体运行状态。对工厂的管理人员而言，该看板能够使他们把握工厂整体的生产以及运营状态。分析内容以及相关说明如表2所示。

表2 设备监控总体运行状况看板内容

该模块的数据展现形式主要以汇总为主，目的是希望工厂管理人员能够掌握总体生产趋势数据，方便他们及时地掌握工厂生产的总体情况，及时地做出相应，调整自己的管理策略。对于普通生产人员以及班组长而言，总体数据能够使他们对个体的生产状况与总体的生产情况做出比较，从而有效地激励生产落后的员工个人和班组，提高生产效率。面板页面如图2所示。

图2 机床总体运行状态面板

3.2 单机实时运行情况

设备单机运行状况看板关注工厂每一台联网机床的实时状态，主要包括：设备状态、设备运行信息、生产分析、实时参数等模块。对工厂的管理人员而言，该看板能够使他们把握工厂内每一台机床单独的生产以及运营状态，可针对某一台具体的设备提出改进意见，从而提高生产效率。分析内容以及相关说明如表3所示。

表3 设备监控总体运行状况看板内容

该模块的数据展现形式主要以具体机床的详细运行数据为主，观测总体看板，发现单台机床的生产问题后，可以深入地了解生产过程中单台机床的具体运行状况，从而发现具体的问题，提出改进或解决方案，切实解决生产“痛点”。页面如图3所示。

图3 单机实时运行情况面板

4 结语

综上所述，该系统将生产制造业工厂通过IOT或MES系统收集到的设备运行数据，根据其业务特点建立起相应的数据模型后进行存储，经过数据预处理及清洗整理后减小体积并加以分析，深入挖掘其价值，制作成可视化的驾驶舱提供管理者以决策价值。本文合理地对数据进行不同纬度的分析，利用可视化工具对数据进行可视化呈现，并向用户展示了设备总体以及单机实时运行情况。若将该系统合理利用，可助力宏观经济发展，提升对行业及区域工业发展的掌控能力。