基于惯性传感器的智慧工厂产线管控系统*

卢 赢，欧 文，王卫东，刘 洋

(1. 中国科学院大学 微电子学院，北京 100029；2. 中国科学院物联网研究发展中心 智能传感器工程中心，江苏 无锡 214315)

基于惯性传感器的智慧工厂产线管控系统*

卢 赢1,2，欧 文1,2，王卫东1,2，刘 洋1,2

(1. 中国科学院大学 微电子学院，北京 100029；2. 中国科学院物联网研究发展中心 智能传感器工程中心，江苏 无锡 214315)

在智慧工厂中，可以利用物联网技术和设备监控技术对员工进行管控。在工业生产线的评价体系中，生产线的生产质量可以根据最终产品的品质和数量进行判断，但是生产线上的每一名工人却无法以此评价。为了评价每一个工人的工作效率，提出了一种基于惯性传感器的管控系统。工人在生产线上工作时佩戴带有惯性传感器的手环，该手环可以实时检测工人手腕的运动轨迹，然后通过运动轨迹来判断工人从生产线上取件和放件的过程，进而得到该工人完成一个工件的时间和单位时间内完成的工件数量，这样就可以评价该工人的工作效率。实验结果表明，该方法可以较为准确地检测出工人在单位时间完成的工件数量。

惯性传感器；手环；管控；工作效率

0 引言

随着“中国制造2025”概念的提出，我国的制造产业高速发展。为提高生产效率，越来越多的工厂采用流水化作业。流水化的作业方式在装配企业中不仅可以提高工厂的装配效率、加快生产进度，而且可以统计每个工人的生产信息状况以供管理人员调查[1-2]。但是，在一条流水线生产系统中，某一个工人的装配速度都有可能影响整条流水线的效率。因此，需要一套流水线管控系统来监控每个工人的工作效率。

目前的流水线监控系统主要是工人使用采集器扫描工件上的条形码，通过采集器中工人的工号和扫描条形码的时间来判定一个工人的操作时间和操作的工件数量。这种方式虽然可以准确地检测工人的操作时间，但是需要在生产线上额外加上条形码系统和采集器，增加了工人的工作量，降低了流水线的工作效率[3-4]。文献[5-7]中提出了基于计算机视觉的监控工人装配动作的方法，但这种监控方式只适合于流水线中的传送带上无遮挡物的情况下，并且基于图像的检测方法存在一定的检测误差，容易被遮挡，并不适用于大部分的流水线装配系统。

为此，本文提出了一种基于惯性传感器的产线管控系统。工人在工作期间需要佩戴上带有惯性传感器的手环，该手环可以检测工人的实时状态和运动轨迹，检测工人在传送带上取件和往传送带上放回工件的动作。实验结果表明，该方法可以比较准确地检测工人的取件和放回工件动作，从而可以评价工人的工作效率。

1 系统概述

本系统要实现的主要功能是检测操作工人在工作时的动作状态。操作工人在正常工作时，主要会进行3个操作：从传送带上取工件、加工工件、将工件放回传送带。为了检测操作工人加工完成的工件数量和相应的工件加工时间，本系统主要检测如下4个动作：空手取件、带件返回、放回工件、缩手。装配流水线示意图如图1所示。

图1 装配流水线示意图

本系统主要是运行在手环内部，手环内部主要包含3个部分：数据采集、数据处理、数据传输。系统结构图如图2所示。数据采集部分采用九轴惯性传感器，它主要包含加速度计、陀螺仪和电子罗盘，用以采集工人在工作时的加速度、角速度和地磁场信息。数据处理部分采用STM32单片机，它是本系统的核心部分，用于数据滤波、姿态解算、轨迹追踪和动作检测。数据传输部分采用无线蓝牙传输方式，主要负责与流水线上的上位机监控系统进行通信，发送操作工人的操作工件数和相应的操作时间到流水线上的上位机信息监控系统。

图2 系统结构图

硬件部分，本系统的数据采集部分采用InvenSense公司生产的九轴惯性传感器MPU9250，该传感器是全球首例整合九轴运动姿态检测的数字传感器，其内部集成了三轴加速度计、三轴陀螺仪和三轴电子罗盘。加速度测量范围可以达到±16 g，角速度测量范围±2 000°/s。MPU9250传感器的输出数据采用串行外设接口SPI(Serial Peripheral Interface)或者I2C(Inter-Integrated Circuit)总线方式与单片机进行高速通信。本系统采用SPI方式与微处理器进行数据交互，传输速度可以达到1 MHz。数据处理部分采用STM32单片机，型号为STM32F302K8。该处理器体积小、功耗低，同时其内部带有DSP(Digital Signal Processor)和FPU(Float Point Unit)，可以快速地进行姿态解算和动作检测。无线数据传输部分采用蓝牙串口透传模块HC-05，该模块体积小、功耗低，最大发射功率为8 db，最大传输距离80 m，可以比较方便地和上位机监控系统进行无线通信。

软件部分，主要分为数据采集和滤波、姿态解算、轨迹追踪、动作检测和数据发送5个部分。系统流程图如图3所示。数据采集和滤波部分主要是微处理器通过SPI总线读取九轴惯性传感器内的寄存器信息得到原始加速度、角速度和地磁场数据，然后经过零漂补偿、平滑滤波和低通滤波得到较为准确的加速度、角速度和地磁场数据。姿态解算部分[8]采用基于四元数的捷联式惯性导航方法解算出运动载体的欧拉角，即偏航角、翻滚角和俯仰角，这三者可以描绘出运动载体在空间中的实时姿态。轨迹追踪[9]是根据姿态解算出的四元数确定出状态矩阵进行载体坐标系和地理坐标系之间的坐标转换，然后计算出去除重力后的运动加速度数据，通过二次积分可以得到载体在空间中的运动轨迹。动作检测部分是根据轨迹和实时的欧拉角数据检测空手取件、带件返回、放回工件和缩手四个动作，进而判断何时完成一个工件的完整加工过程。数据发送部分是当工人加工完成一个工件后，发送工件数量和时间信息到上位机信息监控系统中。

图3 动作检测流程图

2 基于惯性传感器的动作检测方法

为了检测工人的操作动作，首先需要确定出工人在工作时手环的实时位置信息，进而绘制出完整的运动轨迹。因此，在检测动作之前需要对工人的工作轨迹进行实时追踪。

2.1基于惯性传感器的轨迹追踪

载体的运动轨迹是根据惯性传感器采集到的运动数据经过一系列的处理得到的位置信息绘制而成，其原理图如图4所示。

图4 轨迹追踪原理图

加速度、角速度和地磁场数据经过滤波、姿态解算和卡尔曼滤波可以解算出表示载体空间状态信息的四元数[9-10]。四元数是一个超复数，表达式为：

Q(q0,q1,q2,q3)=q0+q1i+q2j+q3k

(1)

(2)

由式(2)可以求得载体在空间位置相对于地面的加速度：

(3)

(4)

根据式(4)，对运动速度再次进行积分可以得到载体运动的位移：

(5)

2.2动作检测方法

本系统主要检测的动作为以下4个：空手取件、带件返回、放回工件和缩手。通过惯性传感器采集操作工人在完整的装配工件过程中的所有动作，经过轨迹追踪之后可以得到如图5所示的运动轨迹图(XY平面)。从图5中可以看出，空手取件和带件返回的轨迹基本重合，可以归结为取件过程；在工作过程中会长时间停留在工作台上；放回工件动作和缩手的动作基本重合，可以归结为放件过程。

图5 运动轨迹图

图6 动作判断流程图

根据图5所示的运动轨迹图可以比较准确地判断出工人在操作时所处的位置区域。

得到实时的位置坐标后，可以根据坐标中x和y的大小判断出工人操作时是处在工作过程、取件过程还是放回工件过程。判断的具体流程如图6所示。

判断出工人是处在取件过程还是放回工件过程后还要对工人是否完成了一次完整的工件操作进行判断。在取件和放回工件过程中，工人的运动轨迹存在着重合，这就需要对运动方向进行判断。这两个过程存在一定的相似性，接下来将以放回工件的过程为例来介绍如何进行运动方向判断。

在运动方向判定上，采用载体运动坐标的一阶微分计算。即：

Δx(ti)=x(ti)-x(ti-1)

(6)

Δy(ti)=y(ti)-y(ti-1)

(7)

式中，x(ti)、y(ti)为i时刻载体位置的坐标。

载体运动中的方向向量为：

(8)

由式(8)得到方向向量后，就可以判断出在取件过程中是空手取件还是带件返回动作，在放件过程中是放回工件还是缩手动作。

当连续检测到完整的取件过程、工作过程和放件过程，则可以判定为工人完成了一次工件的操作，此时应将工人完成的工件数量增加一个，同时记录下完成这个过程所需要的时间，最后将数据以蓝牙方式发送到生产线上的信息监控系统中。至此，就完成了一次动作检测过程。

3 实验结果分析

为了验证本文提出的基于惯性传感器的动作检测方法的性能，进行了多次现场测试。在实验过程中，首先将工人的操作过程分解为三个部分分别进行测试，即工作过程、取件过程和放件过程，实验结果如表1所示。

表1 分解过程实验数据

从表1中可以看出本方法在分解动作识别过程中可达到较高的准确率。这为整体测试提供了较好的基础数据。

在评价工人工作效率中，主要检测的是连贯的一套动作，所以本文后续进行了连续动作的测试，通过记录工人每次操作所需要的时间来进行判断，如果准确测出连续动作则记录测出的时间，如果未测出连续操作动作则将测出的时间记为0。测试结果如图7所示。

图7 完整动作测试结果

从图7可以看出，在100次实验中本系统有95次可以正确地识别出完整的动作，正确率达到95%。经过计算可以得出时间误差平均为2.3 s。实验结果表明，本系统可以比较准确地测出操作工人操作工件的数量和相应的操作时间，进而确定出工人的工作效率。

4 结论

本文提出了一种基于惯性传感器的产线管控系统。首先介绍了实现该系统的硬件和软件平台，然后着重介绍了基于惯性传感器的轨迹追踪算法和动作检测方法。实验结果表明，本文设计的产线管控系统在检测工人的取件和放件过程中有较高的准确率，可以为工厂评价工人的工作效率提供重要参考。

[1] 王丽萍.流水线:世界经济助推器[J].理财， 2009(10):41-42.

[2] 方敏，周蝉.浅谈传统传送带式流水线生产方式与细胞式生产方式的比较[J].中国商界，2010(7):164-165.

[3] 杨海, 杨小虎.基于流水线装配型生产的计算机辅助工序质量管理[J].计算机集成制造系统，2000,6(3):86-90.

[4] 李哲林，姜立军，罗杜宇. 装配型企业生产现场质量监控系统[J]. 江苏大学学报(自然科学版)，2006,27(S1):5-8.

[5] 尚淑玲. 基于计算机视觉的物流暴力分拣行为识别[J].计算机仿真，2013,30(12):430-433.

[6] BOWYER K W, CHANG K, FLYNN P. A survey of approaches and challenges in 3D and multimodal 2d+3d face recognition[J]．Couputer Vision and Image Understanding,2006,101(1):1-15.

[7] CHEN H M, LEE S, RAO R M, et al. Imaging for concealed weapon detection[J]. IEEE Signal Processing Magazine,2005,22(2):52-61.

[8] 孙冬梅，田增山，韩令军. 捷联惯导系统中四元素法求解姿态角仿真模拟[J].弹箭与制导学报，2009,29(1):51-53.

[9] 邓正隆. 惯性导航原理[M]. 北京:宇航出版社, 1994.

[10] 秦永元. 惯性导航[M]. 北京:科学出版社, 2006.

Production line management and control system based on inertial sensor

Lu Ying1,2, Ou Wen1,2, Wang Weidong1,2, Liu Yang1,2

(1. School of Microelectronics, University of Chinese Academy of Sciences, Beijing 100029, China;2. Intelligent Sensors Engineering Center, Chinese Academy of Sciences R&D Center for Internet of Things, Wuxi 214315, China)

In the smart factory, staff can be managed and controlled by the Internet of Things technology and equipment monitoring technology. The quality of an industrial product line can be judged from the quality and quantity of the product, but we cannot evaluate the efficiency of each worker from the final product quality. This paper proposed a management-control system based on inertial sensor in order to test the efficiency of each worker. Workers wear bracelets with inertial sensors when they work on the assembly line. This bracelet can detect the movement of workers arm, from the movement, we can judge the process of picking and placing, and then calculate the time for the worker to complete a piece of work and quantity completed per unit time, so as to evaluate the efficiency of the workers. The experimental results show that this method can accurately detect the number of workpieces completed per unit time and the time of completion of each workpiece.

inertial sensor; bracelet; monitoring; work efficiency

TP274+.3

：A

10.19358/j.issn.1674- 7720.2017.17.002

卢赢，欧文，王卫东，等.基于惯性传感器的智慧工厂产线管控系统[J].微型机与应用，2017,36(17)：4-7,14.

2017-04-12)

江苏省科技支撑重点项目(BE2014003)；江苏省自然科学基金(BK20161149)

卢赢(1991-)，男，硕士研究生，主要研究方向：智能传感器及其网络。

欧文(1966-)，男，研究员，硕士生导师，主要研究方向：半导体器件物理、超大规模集成电路技术。

王卫东(1982-)，男，副研究员，硕士生导师，主要研究方向：智能传感器及其网络。