基于大数据的产品开发管理系统的设计与实现

张冬,刘旭波

(南昌大学先进制造学院,江西 南昌 330031)

随着大数据技术与新一代信息技术的发展,全球制造业都面临着新的挑战与机遇。从国家层面,2015年,我国提出要搭建智能制造平台[1];2020年,中央深改委提出要加快提升制造业数字化、智能化水平[2]。从市场方面,全球每天产生的数据量已经超过了1 000亿GB,国际数据公司预计到2025年全球数据规模将达到175 ZB,其中制造业数据所占比例远超其他行业。调查显示,越来越多的制造企业也愿意采取大数据技术来指导产品的设计研发[3]。因此,不管是从国家的政策还是企业内部寻求发展转型,制造业数据化、智能化都不可避免。

随着制造业智能化、信息化的不断发展,各类工业传感器和各种信息系统的应用,产品开发过程中产生的数据也越来越多[4]。如制造执行系统(manufacturing execution system,MES)产生大量不同结构类型的生产数据,产品质量信息系统产生的产品质量数据。这些海量的数据中隐藏着许多对产品开发有价值的信息,可以驱动企业管理以及帮助设计师在产品设计研发时做出正确的决策[5]。在智能制造的大环境下,将大数据技术与产品开发管理系统相结合,实现了产品开发全生命周期数据的管理和分析,提高了产品开发的效率。

1 需求分析

产品的开发流程主要有设计研发、生产制造、质量检测等,每个流程产生的数据都具有来源多样、实时性高、数据信息复杂的特点[6]。各个流程数据特点如表1所示。要想从这些来源不同、结构不同的数据中发现对产品开发有用的数据,就需要对这些数据进行综合研究[7],即对多源异构数据的处理。传统的关系型数据库是按照结构化的方法来存储数据的,不能满足非结构化数据的存储要求,并且产品开发过程中的许多数据具有很高的时效性,因此需要使用大数据的数据库组件进行存储。

表1 产品开发各阶段数据特点

目前在制造业应用的信息系统大多是独立的,各个系统都有自己的数据库以及存储格式,因此不能对整个产品生命周期的数据进行共享分析,导致生产制造系统、产品质量信息系统等系统的数据不能有效指导产品的设计研发。同时,产品开发的设计方案如何进行优化也不能通过数据分析得到反馈。因此,要想提高产品研发效率、优化成本,就需要对产品整个生命周期的大数据进行管理分析,从而作出正确的决策。基于大数据的产品开发管理系统针对目前存在的问题可满足以下需求:

1)满足产品开发过程中全生命周期各类数据的采集分类存储。

2)完成对产品生产制造数据和产品质量数据的分析处理,优化产品的设计研发。

3)实现产品开发数据的图形展示。

4)拥有完善的权限管理机制,帮助加强企业管理。

5)产品设计开发方案的评价。

2 系统设计

2.1 系统架构设计

基于大数据的产品开发管理系统的大数据架构分为4层,分别为数据采集层、数据存储层、数据分析层和应用层。基于大数据的系统架构如图1所示。

1)数据采集层。

产品生命周期各个环节数据的采集是实现系统功能的前提[8]。产品开发大数据主要有历史数据和实时数据2种。实时数据一般是生产制造系统中的数据,当实时数据导入系统时可能会产生数据堆积,所以采用Kafka来进行数据缓存。该系统通过API接口实现生产制造系统、产品质量信息系统数据的导入。关系型数据库MySql中的数据则通过Sqoop与本系统完成数据的相互转移。产品设计图纸则通过CAD的集成人工进行上传。

2)数据存储层。

数据存储层主要是完成对产品开发全生命周期的不同类型数据的多级别存储,尤其是产品生产制造数据的存储[9]。HDFS文件系统作为系统的底层存储,实现对结构化和非结构化数据的分布式存储,采用NoSql数据库HBase和Hive数据仓库实现对各种类型数据的管理。系统日志、人员信息等数据则采用关系型数据库MySql进行存储。

3)数据分析层。

数据分析层用于完成对产品全生命周期数据的分析处理和数据挖掘,以此指导产品的设计研发。制造业的数据挖掘已经在航空航天方面得到应用[10]。数据处理大致分为2类:一类是对数据的批处理,采用MapReduce框架计算;一类是数据流处理,采用Spark框架计算。数据的分析汇总主要通过MapReduce的检索查询实现,Spark框架主要为聚类分析、关联分析等算法应用提供计算,实现产品设计的优化和成本优化。

4)应用层。

大数据技术在制造业领域已经有着多方面的应用[11],本文设计的应用层为基于Vue框架开发的Web平台,用于实现产品设计开发的功能。产品开发每个流程的审批、设计图纸的上传下载以及经过分析层处理后产品数据的展示等功能都是在应用层得到体现。

2.2 系统功能设计

2.2.1 系统管理功能设计

本系统采用JWT(JSON web token)来实现用户的登录认证,JWT是一种基于Token的认证授权机制,安全性更高。权限设计采用的是业界主流的RBAC(role-based access control)模型,通过给用户角色授予相关的权限,实现用户的权限管理。

2.2.2 产品开发功能设计

产品开发是一个流程复杂且需要多人参与的工作,主要分为策划阶段和设计阶段。策划阶段包括市场调研、可行性分析、项目立项、任务分组和项目计划制定5个部分。设计阶段分为总体方案设计、零部件设计、工艺设计、工装设计4个部分。每个阶段都需要经过相关人员审批后,才能进入下一个阶段。产品开发设计的流程如图2所示。

图2 产品开发设计流程图

2.2.3 产品设计开发方案评价设计

只有经过对产品全生命周期数据的分析验证,才能发现产品设计方案的优缺点,进而根据需求作出优化。本系统通过采集获取产品试制阶段在生产制造系统和产品质量信息系统的数据,经过聚类分析得到评价指标数据[12],并采用模糊层次分析法对产品设计研发方案进行评价。模糊层次分析法即模糊评价与层次分析法的结合,已有相关学者对其进行研究应用[13-14]。

假如从n维角度对产品设计方案进行综合评价,产品设计研发方案可表示为:G=f(X1,X2,…,Xn,t)。其中,G为设计方案,f是关于X1,X2,…,Xn和t的函数,Xi为关于设计方案的第i维度的属性值,t是时间维度。具体的评价过程如下:

1)建立评价因素集。将产品设计方案所有的评价指标放在一个集合中。用公式表示为

U={u1,u2,…,ui,…,un}

式中:ui(i=1,2,…,n)为第i个评价指标。

2)基于评价集,依次对产品设计方案的各评价因素ui进行量化,得出模糊关系矩阵R。

3)建立评价指标的权重集。对各指标因素ui赋予对应的权数ai,进而进行归一化处理:

A=(a1,a2,…,an)

4)进行模糊层次综合评价。R矩阵中的每一行代表着评价方案的各种单一因素对处于不同层次的模糊子集的相关隶属度。那么综合评价B可表示为:

(b1,b2,…,bj,…,bn)

式中:bj表示从整体上看评价对象对不同层次的模糊层次评价子集的隶属程度,j=1,2,…,m。

5)对模糊层次综合评价结果的分析。将评价对象的每一个糊层次综合评价结果都视为一个模糊向量,最终结果就包含了评价完整的信息。然后对不同层次的综合评价权重进行排序。

3 关键技术及系统实现

3.1 关键技术分析

3.1.1 NoSQL数据库HBase

HBase是一个非关系型的分布式数据库。它是Google公司Big Table的开源实现,主要用来存储异构数据,采用的是key-value数据模型。HBase在Hadoop生态体系中是通过其他组件为其提供服务的,例如HBase利用ZooKeeper来分配数据库资源。HBase的结构图如图3所示。

图3 HBase结构图

3.1.2 Spark计算框架

Spark是一种通用、快速、专门处理大规模数据的计算框架。它是为了解决大数据领域的各种计算要求而被设计出来。Spark不仅具有Hadoop框架下MapReduce的优点,而且还具有能够进行交互式查询和优化迭代工作负载的优点,Spark是基于内存的计算框架,不提供存储的功能,只涉及到计算,因此计算速度非常快[15]。Spark具有4个核心组件,如图4所示,用于满足不同计算要求。

图4 Spark核心组件

Spark SQL主要用于结构化数据的处理。Spark Streaming主要用于快速构建高吞吐量、高容错的流处理程序。MLlib是Spark的机器学习库,提供了多种算法和模型。Graphx主要用于图形计算。

3.2 大数据平台搭建

本系统使用3台服务器搭建集群,其中1台为主节点,其他2台为从节点。在搭建集群之前已经根据系统需求确定了集群模式方案,明确使用哪些组件,使集群能够更有效地运行。具体的集群搭建方案如表2所示。

表2 大数据集群搭建方案

3.3 主要功能实现

3.3.1 产品开发功能实现

用户经过系统身份验证后,进入功能主页面。身份权限不同,能够操作的页面也不相同。系统主要的产品开发功能模块有项目立项、总体设计、零部件设计、工艺设计、工装设计和项目管理6个子模块。项目立项子模块显示的是项目准备阶段的功能页面,具有市场调研报告、可行性分析报告的上传下载,项目审批状态的显示等功能。项目管理子模块是对历史项目的汇总。其他4个模块是设计阶段的功能显示,总体设计、零部件设计、工艺设计、工装设计每个流程对应一个子模块,产品在该阶段的具体信息以及该阶段的审批进度都会在对应页面显示,并提供查询、下载等功能。图5为零部件设计的界面图。

图5 零部件设计界面图

3.3.2 产品设计研发方案评价

产品设计研发方案评价是基于大数据技术完成的,将分析计算后的指标数据注入模糊层次模型,得到产品设计方案的评分,进而对产品设计方案作出优化,评价结果是不能人为修改。产品设计研发方案具体评价指标如表3所示。

表3 产品设计方案评价指标

4 结语

本文针对产品开发管理系统存在的问题,研究并设计了基于大数据的产品开发管理系统,系统以产品开发的全生命周期数据为出发点,围绕产品开发设计、分析、管理、优化等需求,构建了集系统管理、产品开发设计管理、产品设计方案评价于一体的产品开发管理系统,通过大数据技术实现对产品开发全生命周期各类数据的存储分析,优化了产品开发设计流程,提高了产品开发的效率。