基于智能制造系统的物联网3D监控

刘昭斌, 刘文芝, 顾才东, 张玉成

(1. 苏州市职业大学, 江苏 苏州 215104; 2.江苏省现代企业信息化应用支撑软件工程技术研发中心,江苏 苏州 215104; 3. 中国科学院 计算技术研究所无线通信技术研究中心, 北京 100080)



基于智能制造系统的物联网3D监控

刘昭斌1,2, 刘文芝1,2, 顾才东1,2, 张玉成3

(1. 苏州市职业大学, 江苏 苏州 215104; 2.江苏省现代企业信息化应用支撑软件工程技术研发中心,江苏 苏州 215104; 3. 中国科学院 计算技术研究所无线通信技术研究中心, 北京 100080)

针对柔性智能制造系统在生产过程中环境参数、操作行为、随机事件对产品质量的影响的判断数据不完善等问题，给出了一种有效的融合多种传感器为一体的三维虚拟监控的设计方法,模拟仿真和实现柔性智能制造系统中复杂的制造和控制过程。该系统实现了从数据的采集、分析、处理、建模、通信,以及工件的库存状态显示,构建了一个完整的物联网3D监控体系。仿真实验表明,与改造前相比,智能制造系统环境自适应、在线学习、系统运行状态得到了明显的提高。

智能制造; 物联网; 3D; 监控; 环境感知

智能制造系统(intelligent manufacturing system,IMS)是一种由智能装备、智能控制和智能信息共同组成的人机一体化制造系统,它集合了人工智能、柔性制造、虚拟制造、系统控制、网络集成、信息处理等学科和技术的发展[1-3],能够实现各种制造过程自动化、智能化、精益化、绿色化,是传统产业转型升级和战略性新兴产业发展需求[4]。适用于中小制造企业的分布式网络化IMS基本构架,将是结合数控加工系统的可由系统管理、任务规划、设计和生产者等组成的系统,以实现制造单元的柔性智能化与基于网络的制造系统柔性智能化集成。从产品生命周期看,智能制造过程包括了用户产品订单、订单产品任务规划、产品设计并生成CAD/CAPP数据、加工单元获取并完成加工任务、系统信息处理、客户获取订单执行结果。因此,智能制造也对企业资源(人力、物流、资金等)管理提出了新的要求。

目前,苏州市职业大学“智能制造与控制工程训练中心”为适应我国智能制造技术发展,培养符合现代制造业所需的技术应用型人才,引进了一套柔性智能制造系统,实现了制造过程自动化、智能化和精益化,同时也能够为专业人才培养提供企业生产和管理环境体验及项目训练。但是,生产过程中通过协调机制对操作行为的规划、事件(如预报、评价、监控、诊断、决策、优化、制造资源变化、违规操作等)协调反应和实现行为可控的判断数据不完善;同时,通过感知环境状态学习动态系统的最优行为策略无支撑；其次,对系统的整体运行状态没有评估和预测。为解决这些问题,我们课题组参与了“基于苏州市职业大学智能制造系统的物联网控制”项目，利用先进物联网技术来感知、监控和管理每个工位,同时利用移动互联网来提供智能远程监控服务,实现对其设备的远程监测、升级和故障修复。企业管理人员可以通过基于Web的友好界面实现对企业人员、设备等的实时监控和管理。

1 系统模型

本设计基于智能终端的感知监测和分析架构,通过加载多传感器获取智能制造系统异常瞬间的数据和网络数据,截获异常信息并通过无线传感网业务信道与远程监测服务器建立点到点连接[5-6],实时上传异常数据至控制服务器分析呈现,通过3D监控软件系统自动分析异常原因。这样,既不会影响用户日常使用,还可以发现诸如“数据业务接入失败”等用户无法感知的异常事件。系统模型如图1所示。

(1) 接口层。本模型利用各类传感器已有的驱动层及操作系统层接口,通过在物联网网络层新增业务异常智能感知模块,并通过该模块的串口I/O 控制获取操作系统接口和传感测量信息接口上报的原始数据。通过测量信息接口上报给操作系统层,操作系统层利用Trace 输出接口读取底层上报的信息[7],通过操作系统接口上传至应用层的业务感知异常监测模块,监测模块通过对数据实时解码、自动判断异常发生原因,按照数据分析要求对测量数据、信令数据进行格式处理,进而利用终端内置存储空间(如Flash)进行暂存，并在业务空闲时发送数据给上传和控制模块。

(2) 集成服务。中央控制服务器数据存储及解析提供基于Web方式的整体系统访问入口,提供所有业务的Web访问方式,并实现对现有系统的集成服务。集成和Web推送的模块有:基于Web的客户端Session管理模块，基于Web客户端的Session管理模块实现对Web连接的持久化管理及映射;基于Web的异步服务器实时数据推送模块，基于Web的异步服务器实时数据推送模块借助JDK7的HTTP异步传输能力,并借助JavaScript的XMLHttpRequest对象完成对旧版本浏览器的实时推送;基于WebSocket的实时数据推送模块，对于支持HTML5标准的浏览器,借助WebSocket技术,实现高效的数据实时推送;基于WebGL的3D建模及解析模块，WebGL为OpenGL的Web集成版本,借助该技术,可以在Web上实现高效的3D建模渲染;基于Java com互联技术的系统集成模块，基于Java com组建技术完成对基于微软技术的现有系统的集成;数据解析模块完成与中央控制服务器数据存储及解析支持,提供某些IE的专用系统的集成,借助Silverlight技术完成对微软系统的集成[8];基于Adobe Air技术的Web集成调用模块,借助Adobe Air技术实现对Web应用的桌面化需求。

图1 基于智能制造系统的物联网3D系统模型

(3) 云计算与虚拟化处理。该平台提供数据控制中心功能,为各类多媒体业务提供运算及存储平台,开展视频监控、物联数据分发、模式识别等业务。云计算依靠的虚拟化技术,在一个给定的硬件平台上宿主机创造一个模拟的计算机环境(虚拟机)并提供给客户机,控制平面虚拟化与数据平面虚拟化[9]。结合集成服务、接入二层网络结构,提供硬件资源管理模块、虚拟机资源动态管理模块、虚拟机管理模块、系统负载监控模块、数据集成调用模块、物联网数据存储模块等。

硬件资源管理模块在服务器操作系统的基础上完成集群管理功能。其主要功能包括:服务请求分发功能;Socket的进程并发管理功能;集群服务器增加、删除功能。

虚拟机资源动态管理模块根据虚拟机的负载情况动态地为虚拟机分配不同的计算资源,并向下与硬件资源管理模块进行通信。其主要功能包括虚拟机负载监控、计算资源分配、硬件资源管理与通信接口。

虚拟机管理模块维护虚拟机的基本信息,手动指定虚拟机资源管理策略。其功能包括虚拟机添加、虚拟机删除、虚拟机共享设置、虚拟机类型管理、虚拟机基本资源分配策略管理。

系统负载监控模块提供系统的负载监控,为动态资源分配提供参考。其功能包括系统CPU占用率分析、系统内存使用分析、文件系统使用信息分析、任务优先级管理。

数据集成调用模块主要完成业务逻辑的数据库操作,完成由用户业务逻辑到数据库操作之间的映射。

物联网数据存储模块位于实际存储数据的关系数据库的上层,为不同的数据库提供统一封装接口,并为上层模块提供访问接口[10]。

2 系统设计与实现

2.1 硬件设计

硬件平台分为传感器节点、Sick节点和后台服务器。传感器节点以Telosb节点为主,配备多种传感器和CC2420通信模块。CC2420工作在2.4 GHz的频道上,是一款完全符合IEEE 802.15.4协议规范的芯片。此外,CC2420是基于包的通信芯片,即它能自动判断数据包的开始和结束,因此其传输和接收是以一个数据包为单位[11]。这样能极大简化上层链路层协议的开发,并提高处理效率。

传感器节点用于感知数据和信息采集,并自组织多跳网传输数据给Sick节点,Sick节点用于汇聚区域数据、打包压缩,并接入局域网、传输数据给服务器。后台服务器用于数据计算、处理、存储和管理。移动智能设备通过用户接口查看、显示和推送信息。

传感器网络硬件上由12个传感器节点和2个Sick网关组成。网络中硬件设备连接如图2所示。12个传感器节点和Sick上均有基于ZigBee的无线通信模块,传感器节点将感知数据和状态数据以无线方式最终汇聚到Sick网关,Sick网关将数据封装并以TCP/IP方式发送到远程的服务器。同时来自服务器的命令数据包沿着相反的路线被发送到指定节点,完成控制功能[12]。

图2 传感网络硬件连接

2.2 软件设计

系统平台的软件设计包括传感器软件、移动终端软件与服务器软件设计3部分。传感器软件就是烧写到芯片内部的软件,移动终端软件包括基于iOS的iPad和Android,供用户进行移动监视和控制。服务器软件用于大型数据计算、处理、存储、诊断和推送。

(1) 传感器软件设计。传感器网络涉及的硬件模块有数据采集无线传感网节点(温度、湿度、光照度、位置、速度、烟尘、红外传感器)、Sick等。这部分软件设计包括硬件各个模块驱动程序的设计、主程序的设计和中断处理函数的设计。所用到的模块的驱动都是基于TinyOs操作系统的驱动[13]。

(2) 服务器软件设计。服务器是基于Linux系统平台,并以数据库MySql5.5为基础,采用C/S通信模式,对传感器网络系统进行管理。服务器接受来自传感网络的状态数据流,在CS站点上进行相应的功能数据展示,移动终端系统接受来自服务器的命令数据流,完成对智能制造系统传感网络相应的控制功能。详细的软件构架如图3所示。

图3 基于分布式的服务器软件构架

对智能制造系统的3D监控服务器端的业务包括智能制造系统实时信息展示[14]、操作行为和事件的协调评估与策略、网络状态监控3部分。智能制造系统实时信息展示部分将在一个单独界面绘制当前智能制造系统整体效果图,涉及到的数据包括环境参数、产品运行状态参数、产品库存状态参数、3D的可视化显示等。操作行为和事件的协调评估与策略部分是服务器对传感器网络进行简单配置、管理和评估的接口,包括查询并修改传感节点的工作模式、采集数据的周期,配置和推送移动端的地址和数据等。而评估与策略包括环境恶化或者违规操作时向管理员手机、智能制造控制服务器发送报警,以及监测系统故障向系统管理员报警两部分。网络状态监控部分涉及到的数据包括各个节点之间物理相对位置、节点当前的通信半径/发射功率、节点的工作状态(休眠模式/高功率模式/低功率模式)、节点采集数据的周期(动态可调)、节点剩余电量等。图4为智能制造系统的物联网3D仿真界面，图5为智能制造系统的同步现场。

图4 智能制造系统的物联网3D仿真界面

图5 智能制造系统的同步现场

(3) 移动终端软件设计。移动终端网络的业务包括监测数据查询展示、远程感知服务。监测数据查询展示部分负责实时视频监控智能制造系统现场参数。涉及到的参数包括环境参数(温湿度、光照度、二氧化碳浓度等)、产品运行状态参数(位置、速度等)、产品库存状态参数(毛坯件、成品数量等)、现场监控等。远程感知服务部分包括远程开启智能制造物联网子系统、远程开启模拟工作、远程开启实际工作、远程控制工况视角,以及自动复位工况视角等。图6和图7分别为截取的iPad的智能制造系统物联网3D系统和Android终端显示与控制界面。

图6 基于iPad的智能制造系统物联网3D系统

图7 基于Android终端显示与控制界面

驱动管理软件的操作系统使用Windows系列和Linux/Unix系列操作系统。软件的运行环境需要安装JRE1.6及其以上版本,以及TinyOs编译环境。开发工具上层使用的软件开发平台是Unity3D、Microsoft Visual Studio 2010、Expression Blend4,采用WPF技术。底层开发使用C和C++编写,并使用多种编译器进行测试,保证源代码的可移植性。

3 结束语

本设计主要突出了底层感知和上层GIS显示2个部分,底层感知部分详细叙述了驱动层及操作系统层接口,通过在物联网网络层新增业务异常智能感知模块,并通过该模块的串口I/O 控制获取操作系统接口和传感测量信息接口上报原始数据。层次化模块之间通过标准协议进行通信,模块间耦合度低,重用性好,扩展性强。GIS显示部分利用云计算的虚拟化技术,将大量的传感节点、机械设备和系统资源池化,利用统一计算系统、统一存储系统、统一网络系统,分别构建计算池、存储池、共享数据池,通过整合、虚拟化、移动推送实现智能制造系统的物联网3D监控管理,提供基于移动端、浏览器等多种浏览方式实时地在三维场景中仿真显示来自硬件感知层的数据，从而提高了设备实时在线跟踪和调度便捷性,减少了运行成本。

References)

[1] Setoya H.History and review of the IMS (Intelligent Manufacturing System)[C]// 2011 International Conference on,Mechatronics and Automation (ICMA).2002:30-33.

[2] 朱剑英.智能制造的意义、技术与实现[J].机械制造与自动化,2013,42(3):1-6.

[3] Popescu M,Ungureanu-Anghel D,Filip I.Designing complex Petri nets using submodels with application in flexible manufacturing systems[C]// 2013 IEEE 8th International Symposium on,Applied Computational Intelligence and Informatics (SACI).2013:257-262.

[4] 物联网“十二五”发展规划[EB/OL].[2014-07-10].http://www.miit.gov.cn/n11293472/n11293832/n12771663/14473808.html.

[5] Marzencki M,Lin P, Cho T, et al. Remote health,activity,and asset monitoring with wireless sensor networks[C]//13th IEEE International Conference on.2011:98-101.

[6] 曾文潇.基于无线传感器网络和互联网的矿井井下通信系统研究与技术实现[D].北京:中国科学院大学,2013.

[7] 刘林峰,刘业,庄艳艳.高效能耗传感器网络的模型分析与路由算法设计[J].电子学报,2007,35(3):459-462.

[8] Alodib,Mohammed.Towards a Monitoring Framework for Cloud Services[C]// 2014 International Conference on,Computational Science and Computational Intelligence (CSCI).2014:146-151.

[9] Shuping Peng ,Nejabati R,Simeonidou D.Role of optical network virtualization in cloud computing[J].Optical Communications and Networking,2013,10:A162-A170.

[10] Lin Xingzhi.Design and realization of the logistic storage temperature control Unified Information System based on Internet of Things[C]// 2011 International Conference on,Business Management and Electronic Information (BMEI).2011:32-35.

[11] Ma Qiang.Link Scanner:Faulty link detection for wireless sensor networks[C]// 2013 Proceedings IEEE,INFOCOM.2013:2688-2696.

[12] Neuhaeuser J,D Angelo L.Collecting and distributing wearable sensor data:An embedded personal area network to local area network gateway server[C]//35th Annual International Conference of the IEEE,Engineering in Medicine and Biology Society (EMBC).2013:4650-4653.

[13] Kothari N,Millstein T,Govindan R.Deriving State Machines from TinyOS Programs Using Symbolic Execution[C] // IPSN ’08 International Conference on,Information Processing in Sensor Networks.2008:22-24.

[14] Kaul M,Bin Yang,Jensen C S.Building Accurate 3D Spatial Networks to Enable Next Generation Intelligent Transportation Systems[C]//IEEE 14th International Conference on,Mobile Data Management (MDM).2013:137-146.

3D monitoring for IOT based on intelligent manufacturing system

Liu Zhaobin1,2, Liu Wenzhi1,2, Gu Caidong1,2, Zhang Yucheng3

(1. Suzhou Vocational University,Suzhou 215104,China; 2. Jiangsu Province Support Software Engineering R&D Center for Modern Information Technology Application in Enterprise,Suzhou 215104,China; 3. Wireless Communication Technology Research Center,Institute of Computing Technology,Chinese Academy of Sciences,Beijing 100080,China)

There is a comprehensive pre-platform for the effects of flexible intelligent manufacturing system in the production process of environmental parameters,operating behavior,random events on product quality.This paper presents a design method of the effective fusion of multi-sensor integrated 3D virtual monitoring,it realizes the manufacturing and process control of flexible manufacturing system in the complex.The system has realized from the data acquisition,analysis,processing,modeling,communication,and inventory status to display the artifacts, and built a complete 3D monitoring system for IOT.Simulation results show that,compared with the former,the environment adaptive, online learning, and the running state of the intelligent manufacturing system have been significantly improved.

intelligent manufacturing; Internet of things(IOT); 3D; monitoring; environmental perception

2014- 07- 19 修改日期：2014- 08- 28

国家自然科学基金资助项目(61472211，61472268)；苏州市科技计划项目(SYG201257)；苏州市科技计划指导性项目(SGZ2013138)；苏州市职业大学预研基金项目(2012SZDYY08)；苏州市职业大学教学建设项目(SZDJG-12006)

刘昭斌(1965—)，男，山东威海，硕士，副教授，主要研究方向为情境感知计算、无线传感器网络协议.

E-mail：zbliusz@126.com

TP277

A

1002-4956(2015)2- 0089- 05