考虑双供应商的维护和备件订购联合决策优化

叶鸿庆， 苏华德， 郑美妹， 夏唐斌

(1. 上海交通大学 机械与动力工程学院, 上海 200240； 2. 上海江南长兴造船有限责任公司，上海201913)

符号说明

a—决策动作

A—决策动作空间，a∈A

c1—常规供应商备件的单位购买价格

c2—紧急供应商备件的单位购买价格

cc—单个零件故障后替换成本

cd—单个零件失效的惩罚成本

cF—零件订购的固定成本

ch—单个零件的持货成本

cp—单个零件预防性替换成本

cs—替换的准备成本

C(s,a)—状态s下执行动作a后的动作成本

f—策略的总成本

g—策略的计算时间

h0—在库库存量

hj—j个检测间隔后到达的备件数量

hj|a—执行动作a后的备件数量

H—系统库存水平限制

l1—常规供应商的提前期

l2—紧急供应商的提前期

L—失效阈值

mi—零件i的替换决策，1表示替换，0表示不替换

N—系统零件数量

p1,p2—向常规和紧急供应商订购的备件数量

q—启发式策略的成本增加率

r(xi)—单个零件的替换成本函数

s—马尔科夫决策的系统状态

sa—执行动作a后的系统状态

S—系统状态空间，s∈S

T—检测周期

Vn(s)—系统状态s在算法第n次迭代时的状态值

xi—零件i退化值

xi|a—执行动作a后的零件退化状态

α—零件退化率

ε—算法迭代的误差收敛因子

制造企业中，设备维护成本是企业总成本的重要组成部分，与维护相关的支出(设备替换和停机成本等)最高可占据生产成本的70%[1].有效的设备维护策略可以减少设备故障时间，是降低维护成本，增强企业竞争力的重要举措.维护策略中，基于设备状态的维护(视情维护)策略根据设备退化的实时状态动态地制定维护决策，从而具有精确性和实时性，逐渐成为维护策略的主流.在视情维护策略研究中，沈南燕等[2]根据关键设备的状态监测数据预估故障概率，在此基础上建立数学模型，优化了设备的维护时间.De Jonge等[3]针对单零件系统，通过数值实验比较了视情维护策略和其余维护策略的有效性.侯文瑞等[4]基于相对劣化度建立了视情维护决策模型，并通过算例分析验证了模型有效性.

大多数维护文献都假设备件的库存量始终得到满足，忽略了备件库存决策[5].然而实际中，设备维护策略的实施依赖于备件库存.设备的维护频率和维护零件数量会根据备件库存量和订购量进行相应的调整.备件存量过少会导致缺货、设备维护频率降低和设备故障概率增加，存量过多将造成空间和资金的浪费，甚至导致维护频率增加.因此，企业应考虑设备维护和备件库存管理的联合优化.近年来，越来越多的文献关注两者的联合优化.针对单零件系统，文献[6-8]考虑基于阈值的预防性维护与备件订购策略的联合优化，以成本最小化为目标建立数学模型，求解了预防性维护周期、阈值等参数.在单零件系统之外，很多文献也研究了多零件系统的联合优化问题.肖罗椿[9]考虑了同类型多零件系统的视情维修和备件供应联合决策优化，以最小化平均费用率为目标，通过仿真和遗传算法求解了预防性失效阈值等参数.Zhang等[10]针对视情维护和备件订购联合策略，基于阈值进行建模，通过遗传算法优化了检测间隔、维护阈值和安全库存.Olde Keizer等[5]将多台设备的视情维护和备件订购策略建模为马尔科夫决策过程，通过值迭代方法求解了最优的联合策略.

上述联合优化的文献均假设备件从单供应商处订购，但实际上备件订购往往面临价格和提前期不同的多个供应商，决策者需根据设备和库存状态选择有效的供应商进行补货.文献[11-12]分析了价格、提前期不同的双供应商(双源)订购模型对库存决策的影响，相比单源订购，双源订购在成本、补货速度等方面显示出了较高的优越性.但上述文献都忽略了维护对备件库存的影响.在考虑双供应商的设备维护策略中，决策者一方面需要平衡备件的订购成本和设备的故障成本.订购过多会增加总订购成本和持货成本，订货过少则易导致备件不足和设备故障.另一方面需要权衡供应商订购的提前期和价格，例如设备健康状态下可以向提前期长而订购价格低的供应商订购备件，而当设备的零件急需替换时则可以以更高的价格向提前期短的供应商补货.少数设备维护和备件订购联合优化的文献考虑了价格和提前期不同的双源订购模型[13-14]，但均采用阈值控制策略，即当零件退化值或备件库存水平满足阈值条件时执行维护或订购决策.相比于阈值决策，马尔科夫决策模型能根据设备和库存状态信息进行动态决策，在降低成本上往往有更高的优越性[5].

针对以上问题，本文基于价格和提前期不同的双供应商(双源)订购模型研究设备维护与备件订购联合决策优化，以多台设备组成的并行制造系统为对象，以平均总成本最小化为目标，基于离散时间的马尔科夫决策过程进行建模，通过值迭代方法和启发式方法进行模型求解.本文创新可主要体现在两方面.一方面，本文的模型不仅考虑设备维护，还考虑备件的双供应商订购，实现了设备维护和备件订购两个系统的整体优化，有效降低总成本.而以往的文献，大多数只考虑设备维护或者双供应商订购，未曾考虑两者的结合.另一方面，本论文设计了启发式方法求解模型，有效降低了模型的求解时间.以往文献中针对于马尔科夫决策过程建立的模型多采用值迭代方法求解.但是，在多设备系统中，考虑双供应商和备件订购将导致状态和决策空间变大，使值迭代方法的求解时间变得很长.针对该问题，本文设计了启发式策略，有效缩短了求解时间.

1 问题描述

本文以多台设备组成的并行制造系统为研究对象，研究视情预防性维护和备件订购联合决策优化.系统结构参考文献[15]设置，如图1所示.

图1 多设备并行制造系统Fig.1 Multi-unit parallel manufacturing system

每台设备都包含一个关键零件，零件服从退化率为α的泊松退化过程，彼此之间退化过程相互独立.零件的状态由退化值xi∈{0, 1, …,L}描述，当零件的退化值到达阈值L时零件故障.关键零件的故障将导致设备关闭，造成高额的设备失效成本并应即刻替换，零件可由库存中的备件替换.当库存中的备件数量减少时，制造系统需从常规供应商和紧急供应商处补充备件.本文参考文献[16]假设供应商的提前期为固定值，其中常规供应商的提前期l1较长，但是零件的单位购买价格c1较低.当系统在库备件量不足以满足替换需求时，将通过紧急供应商补充需要替换的备件.紧急供应商的提前期l2可忽略，但收取的单位价格c2较高(>c1).系统检测策略参考文献[13]采取周期性检测，检测间隔为T.决策者在检测点tk=kT(k=1, 2, …)处获得设备状态信息和库存状态信息，并做出相应决策.系统的决策包括替换和订购两部分.替换分为预防性替换和故障后替换.当零件退化值xi低于故障阈值时为预防性替换，否则为故障后替换.替换后零件状态恢复至起始状态.

本文的研究目标为最小化系统的长期平均总成本.总成本由替换成本、故障成本、订购成本和持货成本4个部分组成.替换成本包括替换的准备成本cs和每个零件的单位替换成本cp(预防性替换)和cc(故障后替换)，其中替换的准备成本与替换的零件数量无关，当替换发生时发生[10].当设备因关键零件失效而故障时，会产生惩罚成本cd.订购导致的成本包括固定成本cF和每个零件的单位订购成本c1(常规供应商)或c2(紧急供应商).在决策后，仓库中的每个备件在下一个检测间隔间会产生持货成本ch.

2 维护与订购策略联合建模

介绍视情维护和备件订购联合决策模型和求解方法.首先通过马尔科夫决策过程对系统决策状态、转移概率等进行建模.之后采用值迭代算法求解最优策略.最后通过序列优化的启发式方法求得启发式策略，改进求解效率.

2.1 马尔科夫决策模型

l=maxl1T, l2T ,

马尔科夫决策模型是求解序列决策问题常用的方法之一[17].本文采用离散时间的马尔科夫决策模型对上述系统进行决策建模.根据图1的制造系统模型，马尔科夫决策过程可以用状态、决策、成本和转移概率表示.系统状态s由图1中各台设备关键零件的退化值、在库库存量和在途库存量组成，表示为s(x1,x2, …,xN,h0,h1, …,hl-1)，缩写为s.其中(x1,x2, …,xN)表示系统退化状态，xi表示零件i(i=1, 2, …,N)的退化状态.(h0,h1, …,hl-1)表示系统库存状态，hj表示j(j=0, 1, …,l-1)个检测间隔后到达的备件数量，h0为在库库存量.代表备件到达所需的最长检测间隔数量，其中l2根据模型假设可忽略，设置为0；

x

表示大于等于x的最小整数.

系统动作由替换和订购组成，表示为a(m1,m2, …,mN,p1,p2)，缩写为a.其中mi描述是否替换关键零件i，mi=1(替换)或0(不替换)，p1和p2依次表示向常规供应商和紧急供应商订购的备件数量.

(1)

(2)

l=maxl1T, l2T ,

系统的总成本由值函数Vn(s)描述，表示经过算法n次迭代后的累计总成本，由各个阶段的动作成本C(s,a)组成.根据Bellman方程[18]，最优值函数的迭代计算公式为

(3)

式中：E(Vn-1(s′))表示经过动作a后系统在下一个决策点的累计总成本期望，即

(4)

2.2 求解算法

上述模型可以通过值迭代算法来求得最优的维护和订购联合策略以及最优的平均总成本.在本文中假定当迭代的误差|Mn-mn|≤εmn时，算法收敛，其中Mn和mn分别为

(5)

(6)

图2 值迭代算法流程图Fig.2 Process of value iteration algorithm

值迭代方法是求解马尔科夫决策模型的最优化方法，可以获得最优的维护和订购联合决策.然而，算法需要大量的计算时间.为提高计算效率，本文采用了一种序列优化的启发式方法，在保证成本增加率低的同时减少计算时间.具体思想为：将维护决策和订购决策分离，先优化维护决策，在此基础上优化订购决策.对于维护，由于零件相同且相互独立，本文将系统状态(多个零件和库存状态)分为单个零件和库存状态，通过值迭代算法快速求出单个零件的最优维护决策.之后按照零件退化值降序判断单个零件是否维护.当决定完维护决策后通过枚举的方法选择最优的订购量，得到最终的维护和订购联合决策.具体的算法流程如下：

(1) 初始化n=0,V0(s)=0, 输入T,cp,cc, …,l1.

(2) 根据图2的值迭代算法输出单个零件维护决策函数m(xi,h0,h1, …,hl-1).

(4) 计算收敛误差.若|Mn-mn|≤εmn，算法收敛，输出最终策略和平均总成本；否则重复步骤3.

上述启发式算法对于计算效率的改进主要在于减少了计算联合决策时迭代的次数.值迭代算法中，最优联合决策通过遍历所有决策获得.由于设备维护仅考虑替换决策，每个零件的决策数量为2，则N个零件的维护决策空间规模为2N.采购决策应满足最大库存限制，即p1+p2≤H.同时，紧急订购量应不超过系统零件数量，即p2≤N.所以，采购决策空间规模为HN.综合维护和订购决策，值迭代算法每次遍历的决策空间规模为2NHN.相比值迭代算法，启发式算法在算法的步骤3中计算联合决策时，只需遍历零件个数和订购决策p1.每轮迭代的次数由2NHN缩短至N+H，从而提高计算效率.

3 算例分析

为了验证本文所采用的启发式策略有效性，以2个零件和4个零件的系统进行算例分析.首先以2零件的系统分析最优策略和启发式策略的决策异同.之后以4零件的系统分析参数(持货成本、预防性替换成本、订购成本)的变化对成本和计算时间的影响.

3.1 决策和成本分析

所采用的2零件系统算例参数参考文献[19]和假设得到，具体参数如表1所示.

表1 算例参数Tab.1 Parameters of numerical experiments

图3和图4对比了值迭代算法和启发式算法在不同库存状态下的决策策略.图中决策表示为“m1m2-p1p2”.前两位数表示是否替换零件，1表示替换，0表示不替换；后两位数依次表示向常规供应商和紧急供应商订购的零件数量.

由图3(a)～3(c)和图4(a)～4(c)可知，当在库量为0时，最优策略和启发式策略的决策差异小.这是因为启发式策略主要改变了零件的替换策略.当系统无替换决策时，启发式策略将采取和最优策略相同的订购策略.当系统在库库存量不为0时，如图3(d)和图4(d)所示，随着零件退化值的增加，当两个零件的退化值都较高时，系统将会延迟零件的替换动作.零件1由替换变为不替换，而启发式策略则无延迟替换决策.这是因为多个零件共享备件，零件间的替换决策会相互影响.当备件数量有限且零件的退化值相同时，由于退化的随机性，难以确定下一决策点零件退化值的高低，此时将替换延迟到下一决策点可以减少设备失效的成本.随着在库备件数量的增加，延迟替换决策减少.如图3(f)和图4(f)所示，启发式策略和最优策略的差异逐渐减小，启发式策略优越性逐渐增加.因此在采用启发式策略时可以适当增加备件存量，从而减少与最优策略的差异，降低总成本.

图3 最优决策策略Fig.3 Optimal strategy of value iteration algorithm

图4 启发式决策策略Fig.4 Heuristic strategy of heuristic method

表2对比了最优策略、阈值策略和启发式策略在2零件和4零件系统的平均总成本f和计算时间g.阈值策略采取(Y,y,Lp)策略[20-21]，即当零件状态达到Lp时执行替换，不足的零件通过紧急订购p2补充，常规供应商的订购量p1为

表2 2零件和4零件系统平均总成本和计算时间Tab.2 Average total costs and computation times for two-unit and four-unit systems

其中：h0|a为执行完替换和紧急订购后的在库库存，即h0|a=h0+p2-r.在本次实验中，选择Lp=L-1，并枚举得到最优的库存阈值(Y,y).由于最大库存容量为N+2且Y≥y，针对2零件和4零件系统，(Y,y)共有15和28种组合.计算时间基于AMD Ryzen 9 3900X 12-Core@3.80 GHz处理器和Python语言得到.由表2可知，启发式策略相比最优策略平均总成本有所上升，但成本增加率q小于5%.计算时间上，启发式策略优于最优策略，尤其是当系统零件数量为4时，计算时间从 5 214 s 减少到了 255 s.对比阈值策略，启发式策略所花时间更少.同时，由于启发式策略的联合决策基于单个零件的最优决策获得，相比固定阈值策略启发式策略平均总成本更低.由表2可知，对于4零件系统，阈值策略成本增加率为10.4%，而启发式策略成本增加率只有1.4%.

3.2 敏感性分析

为进一步分析启发式策略的有效性，以4零件的制造系统为对象，采用表1的算例参数，对模型中的备件持货成本、预防性替换成本和常规供应商的订购成本进行敏感性分析，研究参数对启发式策略的成本增加率和计算时间的影响，结果如表3～5所示.

表3 ch对启发式策略平均总成本和计算时间的影响

表3显示了持货成本ch对启发式策略平均总成本和计算时间的影响.当ch较大时，为降低成本，系统会减少备件存量.多个零件共享备件，根据图3和图4的决策分析，备件库存减少时维护策略的影响增加.启发式策略的替换策略相比最优策略会带来更多的成本.因此，随着ch的增加，启发式策略成本增加率增加，说明启发式策略更适合于ch小的场景.计算时间上，启发式策略的求解时间显著优于最优策略，相似的结果如表4和 5所示.

表4显示了预防性替换成本cp如何影响启发式策略的优越性.设备替换存在准备成本，从而零件退化状态间存在依赖，同时替换多个零件会倾向于降低总成本.当cp较小时准备成本影响较大，维护的依赖性更强.启发式策略根据单台设备的状态判断是否维护，忽略了设备之间的依赖性，导致成本增加率较大.同时，当cp增加时，系统会减少备件库存，替换策略对总成本的影响增强，从而启发式策略的成本增加率将增加，优越性减弱.

表4 cp对启发式策略平均总成本和计算时间的影响

表5显示了常规供应商的单位订购成本c1对启发式策略优越性的影响.备件的订购存在固定成本.当c1较小时，固定成本的影响较大，系统订购的频率降低，从而替换策略的影响增大，启发式策略有更大的成本增加率.当c1逐渐增加至靠近紧急供应商的订购成本c2时，系统会减少向常规供应商的订购频率，替换策略影响增强，启发式策略成本增加率会随着c1的增加再次增加.

表5 c1对启发式策略平均总成本和计算时间的影响

4 结语

针对双供应商情形下的多零件设备维护和备件订购联合决策问题，建立了基于马尔科夫决策过程的预防性维护模型，基于设备状态和库存状态信息进行维护和订购联合决策优化，通过值迭代算法求取了最优的联合决策策略.在此基础上设计了启发式的设备维护和备件订购联合策略，在平均总成本增加率在一定范围(5%)内时减少了策略求解时间，通过算例分析验证了启发式策略的有效性.

针对拓展方向，将从以下两个方向拓展：① 本文仅考虑替换，在替换之外，可以引入小修、大修等维护动作，包括机会维护等策略；② 本文考虑并行的制造系统，在此基础上可以考虑串联以及k-out-of-n架构的制造系统.