大数据的技术影响下机械制造业的前瞻

吴应桦 赵雯桐 阎翔

摘要：随着物联网以及5G网络的逐渐普及，大数据技术的重要性显得越来越高，并且深入了社会的方方面面，机械制造行业作为工业的基础，也受到了深远的影响，由此而来产生的数据也出现了几何级别的增长，于是大数据技术也成为了各种领域研究的热点。大数据技术为了和机械制造领域的应用紧密的结合起来，则需要一系列系统完整科学的理论和方法来应对当前局面下所遇到的挑战。

Abstract： With the gradual popularization of the Internet of things and 5G network， the importance of big data technology is becoming higher and higher， and it has penetrated into all aspects of the society. As the foundation of industry， the machinery manufacturing industry has also been deeply affected. The data generated from this has also increased at a geometric level， so big data technology has become a hot spot in various fields. In order to combine big data technology with the application of mechanical manufacturing field， it needs a series of systematic， complete and scientific theories and methods to meet the challenges in the current situation.

关键词：大数据;云计算;数据挖掘;机械制造

Key words： big data;cloud computing;data mining;mechanical manufacturing

中图分类号：F426.4                                     文献标识码：A                                  文章编号：1006-4311（2020）31-0164-02

0  引言

随着全人类进入了数字化信息时代以来，出现了万物皆可数据化的趋势。在先前的发展历程中，由于数据的应用受到采集手段、传输手段以及处理速度等瓶颈制约的限制，并没有完全发挥出来数据应有成效。而随着最近几年我国的移动设备端基础建设日趋完善，硬件软件平台的不断加强，特别是4G网络全世界第一的覆盖率和全世界最庞大数量的智能机的使用群体这两项，使得我国的大数据技术飞速发展，并且由于较高的技术投入回报，使得腾讯阿里京东等独角兽级的信息产业新兴公司纷纷入局，也大大促进了大数据的技术的提升，对国家企业和社会的发展也有着很大的促进作用。而近一年国家和社会在5G技术应用中的布局，则反过来对大数据的技术提出了更高更先进的要求，在这个大背景之下，如何把新技术和机械制造更好的结合起来使两者发挥出来一加一大于二的效果，以更好的满足我国的工业升级更新换代的需求，成为了摆在我们面前的重要课题。

1  大数据的特征

概括性的看，大数据有着5V的特性，分别是Volume、Velocity、Veracity、Veriety、Value五大特性。

Volume含义为数据量极大，甚至是ZB或者PB级别的海量数据;Velocity含义为对数据的响应处理时间要求低;Veracity的含义是数据的模糊性，由于大数据的特殊性，采集来的数据往往充满了噪声以及数据的不连贯和一些模棱两可无法归类的数据;Veriety的含义为数据类型和数据源多元化，文本、音频、图片甚至视频等等都有着一定的比例;Value的含义是数据所蕴含的价值，价值一方面很高，否则也无法如此大规模的应用，另一方面数据所蕴含的价值很稀疏，单位数据量价值含量极低，含有大量的冗余和无效的数据。

相对应这几大特性，机械制造业的大数据还包含有以下的很多特性：

数据质量低下：由于机械制造行业的生产环境的限制，生产流程中的环境很复杂，传感器摄像头等收集到的数据都比一般的数据有着更高的噪声比。

数据的实时性高：由于生产线的检测数据都是采用的连续的采样数据，有着严格的次序比例，并且间隔时间极短，一旦数据处理不及时，会导致出现的结果有着一定的滞后性，这样再得到的分析处理方案就显得意义不大了。

数据的信息复杂：由于机械制造行业门类众多，上下游的企业的数据化程度和普及度也有着参差不齐的现实情况，有一些信息化程度高的企业机器产生的数据比例较高，而一些信息化程度低的小型企业则甚至大量依赖人工输入的原始方法，所以对于机械制造业来说数据情况会更加复杂同时数据的来源也多种多样，错误的比例会更高。

综上所述，在机械制造业中的大數据分析要力求提高数据的质量和精度的同时，还需要根据应用场景来自我完善分析数据的建模流程，这个建模的流程则是需要设计出一套对实时性要求很高的分析算法，最终使用这个分析结果来知道企业对生产的流程做出管理和优化。

2  技术体系分析

大数据的技术体系，主要的侧重点是针对如何在很短的时间内面对海量的包含大量冗余无效的数据中挖掘分析提炼出有效的数据然后以用户要求的可视化的模式呈现出来，以及总体的来说流程如图1所示。

2.1 数据采集  由于面对的数据类型多种多样，这里会先按照数据结构的不同对数据进行初步的分类，先分为结构化数据、半结构化数据和非结构化数据。其中结构化数据采用传统的二维表的结构来构建，非结构化的数据则采用文件系统存储的方式来进行。在实际应用中，以数字文本等为主体的结构化数据占据少数，大量的以图片视频等为主体的非结构化数据占据了主要地位并随着时间的推移呈几何倍数增长。而在我们机械制造行业中，比较容易作为结构化数据出现的则是订单、尺寸、产量以及供需关系等比较单一的参数;而非结构化的例如故障诊断、营销策略、售后数据以及物联网和感应器的数据等，都是以视频或者图片的形式为主。

2.2 数据存储  数据的存储方面则根据数据的类型划分，比如针对关系型数据库的SQL，非关系数据库的NoSQL 以及新型数据库 NewSQL，这些数据库都可以针对大数据的查询进行简单的处理需求。当数据规模达到一定的数量级的时候，则需要使用分布式数据库存储集群，而随着网络带宽设备的逐步完善，云环境下的数据存储则占据了越来越重要的地位。严格意义上来说，云存储并不是一种存储，而是一种多个服务的集合体，它将数据存于各种分布式的设备中并提供给用户在任何时间地点和网络设备中对数据皆可进行访问的服务。

2.3 数据处理与计算  在不同类型的领域中，数据处理的需求的分类也不同。在互联网行业中，按照处理的要求时间分类，则分为毫秒级的在线模式、小时分鐘级的近线模式以及天级别的离线模式三大类。早期的计算机网络处理模式依靠单独的计算机，但是随着技术的发展和数据量的不断庞大，逐渐转变为分布式的计算模式，最终在最近几年孕育出了云计算这一新产物，云计算在将来会成为极为重要的计算模式。

2.4 数据挖掘  数据挖掘的复杂度高，计算量大的特点对于信息提炼的技术提出了更高的要求，在实际应用中则主要通过以下几种方法进行处理：数据预处理技术，是通过一些特殊的算法技术，通过一定的规则对原始的流式数据筛选出具有一个特征的子集，使用该子集来代替原始数据以达到减少存储量对数据进行初步预处理的功能;另一种方法则是通过滑动窗口、输出粒度等算法，基于任务进行优化，在空间上减少整个数据流的计算规模，这是一种对数据进行压缩的思路。

非向量数据挖掘，相对应传统的向量数据为主的数据库，大数据总体数据类型更加多样化多元化，半结构化和非结构化的数据占据了很大的比例，所以提高非向量数据挖掘的能力可以使得大数据的数据处理技术上升一个台阶，但是由于半结构化和非结构化的数据具有很大的不确定性，所以数据的价值性也呈现出一种不稳定的状态，对数据挖掘能力提出了更高的要求和巨大的挑战。

可拓展的大数据挖掘算法，为了面对大数据在使用过程中数据依旧不停的增长的特性，大数据挖掘算法应具备可拓展性。在实际应用中通常通过使用不同的并行策略以及云服务来增强算法的可拓展性，并且实现数据的聚类，例如将树构建的子任务并行分配与若干进程，从而减少大数据的挖掘响应时间。

3  大数据的影响

大数据技术可以通过数据挖掘分析出来机械制造生产的各种上下游产业的产品特点和需求特征，然后针对结果制定出与之相对应的生产策略和方针，生产出更好的产品的同时也能反过来推动上下游的一系列产业链的发展和进步，从而实现国家层面上总体机械制造业的大转型。同时大数据技术也能大大的提高机械制造和其他各个行业的结合，企业在大数据的利用背景中，可以提高自身的竞争力，促进企业的发展，为机械制造行业带来创新和变革。首先大数据技术会影响总体人类社会的思维模式，将思维模式从计算为中心逐步转变为数据为中心的思维模式;其次大数据技术同样会改变人们生活的方式，4G、传感技术以及物联网等技术的飞速发展，影响到了我们生活的方方面面，直接改变了我们获取信息资源的模式，而云计算的发展则改变了我们应用信息资源做出决策的方式，从或许信息到应用信息做出决策的过程，更加强调人、机和物的融合，而伴随着技术的进步和发展，人们也对这些提出了更高的需求;第三则会直接改变生产方式，例如德国提出了工业4.0的智能加工制造的概念，即第四次工业革命，它的目的是通过网络系统采集产品和零部件以及产量耗材耗时等信息，然后通过算法实现决策过程非人为干预的职能方式来实现自动化处理。

4  结论

大数据技术在机械制造业中还面临着更多的挑战，很多技术层面的成果还正处在实验和推广阶段，另外，数据建模和算法部署的场景还需要考虑很多不同的因素在内。而管理者还需要考虑在企业的日常管理中如何将大数据的分析结果并产生的方案融合到生产和实际中去。大数据技术作为未来的重要构成，引起个各个国家各个领域以及机构部门的广泛重视，并且成为未来市场以及国家之间技术领域竞争的重要手段和砝码。在未来的竞争中，必然会掀起一股更加猛烈的技术革新和科技创新的潮流，推动生产力和人类社会的进一步发展。

参考文献：

[1]彭宇，庞景月，刘大同，彭喜元.大数据：内涵、技术体系与展望[J].电子测量与仪器学报，2015，4.

[2]梁志宇，王宏志，李建中，高宏.制造业中大数据分析技术应用研究综述[J].机械，2018，6.

[3]刘康宁.浅析大数据时代的机械设计发展趋势[J].山洞工业技术，2019，6.