基于强化学习的尺寸质量解决方案

付红圣 曾辉 罗钧鼎

（上海蔚来汽车有限公司，上海 201805）

1 前言

工业大数据中，尺寸工程的数据链在制造业全生命周期发挥着重要的作用，当前生产现场尺寸质量问题分析更多依赖于基础的统计分析工具，效率低下，分析准确性更多依靠个人经验及能力[1]。研发与生产阶段的数据交互应用普遍处于初级阶段，原因主要有以下2 方面。

a.当前尺寸虚拟分析难以定量、准确、实时反馈现场实际状态，受限于模型本身，无法基于实测数据进行自动反馈、敏感度分析及预测；

b.受限于较高的人力成本或测量资源，当前工厂内的尺寸数据难以形成工业大数据规模。此外尺寸数据之间存在着空间几何及装配的内在关联性，常规的人工智能算法不能准确的探索尺寸数据内在关联性。

基于尺寸工程独有的方法论，促进尺寸数据应用的快速升级，将尺寸虚拟分析模型、工厂及外购件的实测数据、人工智能算法形成合力，以数据驱动问题解决效率的提升。本文创新地提出一种基于尺寸虚拟分析模型及强化学习算法的尺寸质量解决方案，可以快速诊断原因、控制制造偏差和加速工业化调试过程，缩短项目的研发周期，为制造现场的柔性数字化监控、问题快速分析、精准预测及预警提供支持，为数字化工厂及智能制造提供新的应用场景。

2 尺寸工程方法介绍

尺寸工程是一项覆盖产品造型、产品结构设计、工艺开发及质量改进监控的全生命周期、全业务链的系统工程[2]。本文依据的尺寸工程方法主要包含3部分：尺寸虚拟分析、测点、尺寸数据管理系统。

2.1 尺寸虚拟分析

尺寸虚拟分析(Dimensional Virtual Analysis，DVA)是借助偏差分析软件，通过模拟零件的结构、装配工艺，赋予零件公差，建立数学模型，快速分析产品及制造过程中的偏差，识别高敏感因子，确保产品结构、工装工艺、定位及公差满足整车DTS（尺寸技术规范）美学、功能和性能要求。以3DCS软件[3]为例，尺寸虚拟分析过程如图1 所示。

图1 尺寸虚拟分析过程

对于复杂的非线性尺寸链，常使用蒙特卡洛方法(Monte Carlo)进行三维尺寸链仿真，基于蒙特卡洛随机抽样原理的数学模型[4]如图2所示。

图2 Monte Carlo数学模型[4]

蒙特卡洛仿真并不是直接计算公差的累积而是按照设定的次数n模拟制造过程，在每一次过程中，按照公差分布和设计范围随机取值{x1,x2,……,xn}作为输入，基于零件装配工艺建立装配，测量所需点的偏差{y1,y2,……,yn}，重复随机抽样和计算过程，可以得到大量的测量数据y及对应的分布,并且基于敏感度分析可以得到对于测量y高敏感的影响因子x及对应的敏感度。

基于Vary-One-At-a-Time(VOAT)理论的High-Low-Median(HLM)敏感度分析如图3所示。

图3 HLM敏感度模型

基于泰勒展开式，图3 可以转换为公式（1）。

式中，M为敏感度；M0为敏感度初始值；ti、tj为不同参数的矢量方向值。

现阶段，尺寸虚拟分析常被用于工程开发阶段评估外观匹配风险，优化产品结构、工装工艺、零件定位系统及公差。结果的准确性依赖于虚拟分析模型与零件实际定位、公差分布、装配形式、工装夹具实际状态的契合程度。当前缺乏实际测量数据对虚拟分析模型进行反馈和修正，难以准确、定量分析现场尺寸质量问题影响因子及敏感度。

2.2 测点

测点是根据GD&T 图纸要求，结合生产工艺定位点，用于监控及反映产品和工艺尺寸特性的测量点。GD&T 图纸对产品特性的公差要求是一段连续型面或边界，受测量设备限制，较难实现。用离散测点代表整体零件尺寸，选取适当的测量点，可以经济、有效、全面地监控并反映产品和工艺要求的尺寸特性,确保满足图纸要求。

测点是尺寸数据流的纽带，将整车、白车身总成、分总成、单件、尺寸虚拟分析测点关联，打通实测数据及理论分析模型的壁垒，才能做到上下游数据流自由贯通。

2.3 尺寸数据管理系统

汽车是复杂的装配体，生产周期跨度长、零件庞杂、制造工艺复杂，零件本身、装配工艺及过程工装夹具都会带来尺寸偏差，需要在工厂及合作伙伴对尺寸数据进行全面监控。而这些数据需要有统一的数据系统[5]，将各类型数据整合，同时从流程体系上加强对数据获取及数据质量的重视，打破各区域的数据孤岛，提高数据查询、分析效率。并且基于开放的系统，通过实测数据建模，进行二次开发，实现数据自动诊断及报警。整车厂各车间及零部件尺寸数据如图4 所示。

图4 尺寸数据管理系统数据

3 强化学习的基本原理

强化学习[6]是人工智能领域中机器学习技术的一大分支，目前已广泛应用于游戏对抗、城市交通、商业活动等领域，是实现通用人工智能的关键技术之一。

强化学习的核心是研究智能体与环境的相互作用，通过与环境的即时交互获得环境的状态信息，通过反馈强化信号对所采取的行动进行评价，不断的试错与选择后，做出最优的策略。强化学习的基本原理是，如果智能体的某一行为导致环境对智能体正的奖励，智能体采取这一行为的趋势会加强，反之，则会减弱。

强化学习的过程可以描述为图5 所示的马尔可夫决策过程，智能体选择一个动作A 作用于环境，环境接收该动作后产生一个强化信号(奖或罚R)反馈给智能体，智能体根据奖赏值以及当前的状态S 调整策略，并做出下一个动作，如此不断的学习，找到能够带来最大长期累积回报的最优策略。当智能体学习到最优策略之后，进而求解状态价值函数和动作价值函数。

图5 强化学习基本模型

在强化学习中，智能体需要平衡探索和利用的关系来获得最优策略，多采用贪婪策略（ε-Greedy）。在ε-Greedy 方法中，智能体有1-ε的较大概率执行现有最优策略下价值最高的动作，同时保留ε的小概率随机选取动作，实现对状态空间的持续探索。

4 基于强化学习的尺寸质量解决方案

基于尺寸工程方法及强化学习算法，首先将虚拟分析模型中蒙特卡洛算法n次计算过程得到的数据，训练独立的模型函数f,得到(y1,y2,……,yn)=f(x1,x2,……,xn)；然后通过虚拟分析模型测量点与零件实际测点关联后，用尺寸数据管理系统中的实测数据，使用机器学习算法训练函数f*，得到能定量诊断工厂实际质量问题的函数关系，并根据HLM敏感度算法，得到影响实测的影响因子，如图6所示。形成双向数据分析流，自上而下，整车及总成质量问题分析，定量诊断高敏感影响因子及敏感度，快速诊断质量问题；自下而上，通过单件实测数据预测整车装配结果。

图6 尺寸质量解决方案

方案中提及的模型训练过程如图7 所示。

图7 模型训练过程

5 方案实例

以某车型前大灯与发盖间隙为例，前大灯与发盖测量点1、2 号点间隙作为分析目标，如图8 所示，在3DCS 中建立此分析模型，使用装配类型为Six-Plane Move，模拟装配5000 次。

图8 某项目前大灯与发盖间隙

首先，基于3DCS 计算的蒙特卡洛每次抽样的过程数据，计算形位公差、尺寸公差和孔销余量后并进行线性拟合，可以得到独立的模型f0分布，将此模型f0的分布如与原始DVA 分布结果对比，如表1 所示。

表1 不同模型的DVA结果对比

使用2 个指标平均误差/DVAσ以及皮尔森相关性系数[7]来评价模型。

式中，σˉ为平均误差；f i为每次抽样初始训练模型值；fLi为每次抽样理论DVA 模型值。平均误差/DVAσ的评价方法可以将均值和σ综合考虑,结果分别为0.88%、0.53%。皮尔森相关性系数是评价数组间相关性的指数，如公式（3）所示，初始训练模型f0与原始DVA 模型相关性为99.99%，从这2 个评价指标来看，初始训练模型f0与DVA 模型计算结果准确性可达99.12%以上。

式中，r为2 个变量X,Y的相关系数；Xi、Yi为2个变量观测值；Xˉ、Yˉ分别为2 个变量的均值。

在比对初始模型f0与DVA 模型准确度之后，在尺寸数据管理系统中按批次对应整车、白车身及零部件数据，通过实际测点与DVA测点关联后拟合实测数据分布，将实际数据筛选后与理论DVA数据混合作为数据训练集，对初始模型f0进行训练，判断由(x*1,x*2,……,x*n)计算得到的分布是否更接近于实测数据(y*1,y*2,……,y*n)分布，如果是，则保留此抽样数据并基于此组数据修改初始模型f0为f1，最终得到fn模型。将实车间隙测量值、理论DVA值、零件实际测量数据迭代至理论DVA模型预测值、最终模型fn的均值及σ，比对结果见表2。

表2 不同模型结果与实车表现对比 mm

由分析结果可知，理论DVA 分析不考虑均值偏移,基于设定的初始理论公差分析，σ在分析结果中最大。零件实测数据迭代至DVA 模型，均值及σ趋势同实车间隙测量值相近，虽然基于零件实际测量数据对初始理论公差进行了修正，但此模型结果更多依赖于理论DVA 模型。最终模型fn的均值与实测数据一致，1 号点σ为0.34，2 号点σ为0.47 mm，均小于理论DVA 值及零件实测数据迭代回DVA 模型的σ，与实际数据最为接近。

在此基础上，分别对各个模型进行HLM 敏感度分析，得到各影响因子及对应敏感度，见表3，即可识别翼子板上前大灯Z向定位面面轮廓度为对前大灯与发盖间隙贡献最大的点,敏感度为50.36%，经过与现场实际问题影响因子分析结果对比，此种分析方法比理论DVA 分析及单纯依靠人工经验更加精确地分析工厂实际问题。

表3 不同模型的敏感度结果对比 %

将实测数据迭代回DVA 的计算方法，考虑了零件实际公差替代理论公差进行分析，而在实际装配过程中，零件之间的空间几何函数也会随着零件实际状态和零件变形而发生变化，这些在DVA 模型中是无法实时体现的，而新建模型会对零件及总成的数据状态进行交互分析，从而修正空间函数，更接近于实际装配状态。

基于此分析思路，开发了尺寸质量解决方案(NIO Dimensional Quality System，NDQS)系统，如图9所示，以系统方式实时计算并展现质量问题影响因子及实际表现，帮助现场分析人员快速找到问题根本原因。

图9 NDQS系统展示

6 结论

本文创新的提出了一种基于尺寸工程方法与强化学习算法的尺寸质量解决方案，打通前期理论分析与现场制造、质量管理壁垒。实际案例表明，依据此方案得到的最终实际模型均值及σ结果更接近于实车表现，同时影响因子及敏感度也与实际问题根本原因及贡献度接近。此方案能够更加精确、快速的指导质量问题分析解决，改变现有的问题管理模式。