曾亮亮, 朱江雷, 张 杰
(中国航空工业集团公司成都飞机设计研究所,四川 成都 610091)
测试性试验是按事先设计好的试验方案和试验程序,在受试样件上实施故障注入,并通过规定的方法进行实际测试,判断产生的结果是否符合预期,以发现系统的测试性设计缺陷,采取改进措施,从而提高系统测试性,并评估系统的测试性相关指标。通常,一个完整的测试性试验过程,包括试验方案确定、故障注入、试验评估等三部分内容。
当前,国内在重要飞机型号上已成功实施了成品级(含设备、子系统)测试性试验验证与评估,其结果能够作为设备、子系统级设计鉴定的依据之一。然而,针对机载系统层次的测试性试验,没有实施先例,存在理论和方法欠缺、缺乏实践经验等问题[1]。
从军用飞机实际使用阶段的表现来看,在系统层的功能报故虚警率较高,暴露出在研制阶段系统层故障逻辑验证不充分的问题,因此,有必要开展系统级测试性试验技术研究[2]。
本文以某大型察打一体无人机机载系统测试项试验为契机,依托成品级测试项试验的技术基础,重点从试验方案设计、系统级故障注入方法和试验实施几方面入手,研究并实施机载系统级测试性试验。
某大型察打一体无人机在设计鉴定阶段需评估系统测试性指标,使用评估阶段的故障样本量并不能满足测试性评估数量要求,因此,需补充系统级测试性试验,根据试验结果综合评价系统测试性水平。机载系统级测试性试验对象为飞机管理系统、任务系统和机载链路系统。
飞机管理系统能够为无人机的飞行控制和其他机载系统实时提供多余度、高可靠的位置、速度、加速度、姿态、航向等飞行运动参数。
任务系统是基于某总线的综合化系统,能够执行情报侦察监视任务和对面精确打击任务。
机载链路系统主要实现视距链路数据传输、卫通数据传输功能。
某大型察打一体无人机此次试验的机载系统组成复杂、交联关系复杂、故障影响关系复杂,一般由大量子系统/外场可更换单元(Line Replaceable Unit,LRU)组成,是典型的电子类系统,其中飞机管理系统是以电子类设备为主的机电一体化系统。典型飞机管理系统组成如图1所示。
图1 典型飞机管理系统组成框图
某大型察打一体无人机已经完成成品级(含子系统和设备)测试性试验,为相关成品的设计鉴定提供了有力支撑。
根据航空装备研制与使用过程中暴露出的问题,笔者提出机载系统完整的测试性试验应包含机载系统级和成品级试验[2]。
系统级测试性试验的需求主要体现在以下几个方面。
① 验证系统故障逻辑的正确性。
② 评估系统级机内自测试(Built in Test,BIT)故障检测和隔离能力。
③ 评估系统级BIT对关键故障的检测能力。
④ 对于具备BIT能力但部分故障不能通过自身BIT检测的设备,需要系统级BIT进行故障检测,这部分检测能力需在系统级进行分析和验证。
⑤ 对于不具备BIT能力但有信号输出,且其输出信号反映设备主要功能故障的设备,在系统级编制故障判断算法,实现对该设备的故障检测,其测试性能力需在系统级进行分析和验证。
⑥ 对于不具备信号输出能力的设备,应结合其故障对系统功能通道影响的表征,验证系统级BIT、外场测试设备、外场人工检测手段对该类设备的原位检测能力。
系统级测试性试验对象是整个系统,通常包含电子类和机电类系统,必须依托于系统试验台实施,而故障注入的对象往往只能深入到内场可更换单元(Shop Replaceable Unit,SRU)级,因此,相对成品级测试性试验,试验理论、方法和流程是可共用的,但在试验方法、故障注入方法、试验实施和试验评估等方面有较大区别,如图2所示,具体描述如下。
图2 系统级与成品级测试性试验流程差异对比
① 系统级故障模式、影响及安全性分析(FMECA)。系统级故障模式面临的问题是如何合理地整合LRU级传递的大规模故障模式,定义系统级故障模式,以及利用外场故障信息优化分析结果。
② 故障样本选择。由于试验对象为机载系统,进行样本量抽样的输入应该为系统的FMECA中LRU功能故障模式和独立的系统级故障模式。同时,根据系统级测试性试验需求,要求验证全系统的故障检测、隔离和故障后自主处置逻辑的正确性,因此,试验样本应对系统故障模式进行全部覆盖,即在进行样本量补充时,应补充所有未分配样本的可BIT检测的故障。
③ 故障注入方法。系统级测试性试验样本主要为LRU功能故障,其故障注入主要从LRU的供电、输出、通信等入手,注入的最小颗粒度为SRU级,从试验目的、试验周期和成本等方面考虑,一般不考虑在功能电路上对LRU进行破坏性注入。
④ 试验实施。在试验实施方面的差异主要体现在试验环境搭建、试验组织和试验程序上。对于系统级测试性试验,由于其具有特殊性,故只能利用系统试验台实施,且由于故障注入级别的差异,故障注入设备往往采用系统综合试验设备、设施实现,如信号模拟器、断线箱、串口仿真设备等。在试验组织方面,在研制阶段,系统级测试性研制试验一般以主机所为主,在设计鉴定阶段才引入第三方试验;在试验时,由于涉及的LRU众多,考虑成品研制方对试验支持的需求,从试验组织的角度,应对单个LRU相关的试验用例集中试验;对于机电类系统的试验,需发送相应的指令使故障动作,才能触发系统BIT进行故障检测和隔离,因此在进行试验程序设计时,需考虑相应的指令动作及其对系统的影响。
⑤ 试验结果评估。根据系统级测试性试验需求,要求从装备使用的角度对测试性进行评估,同时,由于无人机系统使用模式更强调系统自主能力,在出现故障时要求能够实时自主判断、自主处置,实现系统重构,保证自主执行的能力,因此,评估项目不能局限于系统研制要求的BIT故障检测率和故障隔离率,还应评估故障后系统的自动故障处置能力。
下面结合测试性试验流程,主要描述系统级测试性试验方法在某大型察打一体无人机的应用,并对试验过程中与成品级测试性试验有差异的部分进行重点阐述。
3.1.1 系统级故障模式分析方法
系统FMECA是进行系统测试性试验的输入。然而,目前系统级FMECA只以LRU作为分析对象,甚至直接以系统组成的LRU作为分析对象,进行故障模式、影响分析,严重缺少站在系统的视角对系统功能层、LRU功能层的深入分析[3]。
系统级FMECA应对两个层次进行分析,分别是系统层和子系统/LRU层。
子系统/LRU级故障模式对上一层的功能影响,即为系统层的故障模式。在定义系统层的故障模式时应从系统输出功能的角度,综合考虑空中、地面工作模式和系统降级重构状态。故障模式的最终影响为对飞机安全和所执行的任务的影响。
在定义子系统/LRU层的故障模式时,首先应该对成品厂提供的子系统/LRU级FMECA结果进行处理和完善,包括完善故障模式的影响,在系统级重新评定严酷度,综合考虑并更新外场检测方式,以及对定义不合理的故障模式进行修正,对故障模式进行裁剪与合并等。将处理的结果作为系统级FMECA的内容之一[2]。
3.1.2 故障模式影响分析与优化
在进行系统测试性试验前,须对飞机管理系统、任务系统和链路机载数据终端的FMECA进行优化,主要从3个方面入手。
(1) 增加系统层的故障模式及影响分析。
(2) 对现有子系统/LRU层FMECA存在的问题进行优化。问题主要体现在:故障模式定义模糊、故障模式定义不全、故障模式定义层次低、故障影响层次不统一、检测方式定义不规范等。采取的优化措施为:依据LRU的功能、性能定义和故障判据,从系统功能、LRU功能输出失效、性能降级的角度去重新定义。
(3) 利用外场发生的故障对FMECA进行优化。优化的原则如下。
① 若外场故障与FMECA中的故障模式定义实质为同一故障,则将该外场故障合并至与之对应的FMECA的故障模式。
② 若外场故障与FMECA中的故障模式定义实质为同一故障,但检测方式不一致,则将外场故障独立作为系统的故障模式,按故障模式命名规则命名,检测方式以外场实际检测方式为准。
③ 若外场故障没有与FMECA中的任一故障模式定义实质为同一故障,则将外场故障独立作为系统的故障模式,检测方式以外场实际检测方式为准。
④ 外场故障独立作为系统的故障模式定义时,取所属LRU中相似故障模式的故障率的最大值,按此值确定该故障模式的故障率。
3.2.1 初步样本量确定
系统测试性试验根据指标考核要求,将飞管系统、任务系统和链路机载数据终端LRU级功能故障模式合并作为确定试验方案的输入。飞管系统、任务系统和链路机载数据终端LRU级功能故障模式总数为306,根据FMECA优化原则,采用状态固化后发生的28个外场故障对故障模式进行优化,优化后的故障模式总数为313个。
根据GJB 8895-2017《装备测试性试验与评价》[3]和无人机机载电子系统的最低可接受值/规定值的机内自检测故障检测率定量指标要求,选取最低可接受值的试验方案[4-5],并确定初步样本量,计算公式见式(1)[6-7]。按该公式计算得到满足条件的一组样本量(N,r),在多组样本量中选取大于∑ni的最小值作为初步样本量N。
(1)
式中,N为初步样本量;r为合格判定数;q1为接受概率为β时的故障检测率;β为订购方风险,此处给定β=0.2;∑ni=(n1+n2)为所有受试系统相应层级故障模式总和,其中,n1为所有系统的LRU级故障模式总数,n2为所有系统独立的系统级故障模式总数(指非LRU级传递上来的系统级独立的故障模式)。
进行机载系统测试性试验时,取订购方风险β=0.2,采用最低可接受值试验方案,选取样本量N=321。
3.2.2 样本量抽样与分配
初步样本量n确定后,为了尽可能地模拟受试系统使用时发生故障的分布情况,以受试系统相应层级的故障模式的相对发生频率为依据,采用基于准随机序列的抽样方法进行抽样[8-9],分配结果参与故障检测率和故障隔离率指标计算,得到各故障模式的样本量。本次试验分配的样本覆盖故障模式数为130个。
3.2.3 样本量补充
初步样本量的分配不能覆盖所有故障模式,因此,根据验证系统级故障逻辑的试验目的,对于BIT可检测的故障模式,尤其是系统层故障模式,都应作为初步样本的补充。补充的样本不参与指标评估[10]。大型察打一体无人机系统级测试性试验补充的样本量为Nb=142,覆盖所有BIT可检测的故障模式。
备选样本库包含样本量分配和补充的故障模式(包括BIT可检、外场测试设备、人工检测),重点描述分配的BIT可检的故障样本是否可注入,如果不可注入,明确不可注入原因;如果可注入,确定故障注入类型、手段、注入成功判据、检测成功判据、处置成功判据等内容。
为了充分暴露产品的测试性设计缺陷,受试系统备选故障样本库的建立应基于覆盖充分性的理论,同成品级测试性试验,不再赘述。
受试系统备选故障样本库建立完成后,需要从库中选择n(参与故障检测率,隔离率指标评估的样本)+nb(补充的样本量中选取的试验样本数量)个备选故障样本,即按照“样本量的分配”的结果分别从相应层级的故障模式对应的备选故障样本中选取ni(分配的样本量)个备选故障样本作为试验样本。试验样本的选取原则同成品级测试性试验,不再赘述。
系统级测试性试验在选择试验样本时,应在备选故障样本库中选取检测方式为BIT且可注入的备选故障样本作为试验样本,外场故障样本不作为试验样本,总共选取的试验样本为162个(含78个可BIT检测的补充试验样本量),并据此编制试验用例。
针对系统级测试性试验特殊性,开展参数评估研究[11-12]。
3.4.1 故障检测率
设分配到的样本量为N,使用规定检测手段正确检测到的样本量为nS,故障检测率的点估计值为
(2)
单侧置信下限值为
(3)
3.4.2 故障隔离率
设使用规定检测手段正确检测到的样本量为nS,正确隔离到模糊组为L的样本量为nL,隔离到模糊组为L的故障隔离率的点估计值为
(4)
单侧置信下限值为
(5)
3.4.3 关键故障检测率
设关键故障数量为Nk,使用规定检测手段正确检测到的关键故障数量为nSk,关键故障检测率为
(6)
3.4.4 故障处置成功率
设故障处置成功数量为nt,故障处置成功率为
(7)
目前,成品级的测试性试验注入层级为功能电路和元器件级,其技术和方法相对成熟。而系统级测试性试验注入层级主要为LRU级和SRU级。
系统级测试性试验选择飞管系统、任务系统和链路机载数据终端的LRU级功能故障模式作为试验故障注入方法设计的输入,功能故障模式的故障原因一般为向上传递的SRU级或功能电路级故障模式,系统测试性试验的故障注入的对象根据导致该“故障原因”发生的硬件来确定,一般原则如下。
① LRU功能完全丧失类故障,故障注入对象为LRU、SRU,通常通过使LRU不上电、断开通信电缆、功能输出信号、插拔关键内部组件等方式实现。
② LRU通信通断类故障,故障注入对象为LRU、SRU或电路板,通常通过断开通断电缆、插拔承载通信功能的SRU或电路板等方式实现。
③ LRU部分功能故障,故障注入对象为LRU、SRU,通常通过更改功能软件或插拔相应SRU等方式实现。
不同层级测试性试验故障注入方法对比如表1所示。
表1 不同层级测试性试验故障注入对比
成品级测试性试验的故障注入方法主要有:总线故障注入方法、基于探针的故障注入方法、基于转接板的故障注入方法、插拔式故障注入方法、软件故障注入方法[13]。而系统级测试性试验的故障注入对象最深只能到SRU级,所采用的方法主要为总线故障注入、插拔式故障注入、软件注入。而且,由于一般不深入到功能电路级进行破坏性故障注入,因此所用的故障注入设备一般优先采用系统试验台现有的设备,如总线仿真器、串口仿真设备、系统输入输出仿真设备、系统信号断线箱等。故障代码查看一般采用系统试验台状态显示设备和飞机既有的故障显示设备,如维修BIT(MBIT)设备、便携式维护终端(PMA)等。
系统级测试性试验的常用故障注入在系统级测试性试验中的适用范围总结如下。
① 总线故障注入方法可分为物理层故障注入、电气层故障注入和协议层故障注入。物理层故障注入和电气层故障注入一般适用于具有总线通信的设备间的详细的通信故障,能够模拟物理链路断路、接地以及输入信号参数漂移、幅值超差、固高、固低等故障。协议层故障注入适用于不具备开箱条件且通过内部总线或外部总线传输控制信号、反馈信号和故障信息的设备的功能控制故障,能够通过1553B、1394B、RS232/422/485等总线故障模拟器写入故障,如模拟控制通道的输出异常。
② 插拔式故障注入方法一般适用于LRU级、SRU级或电路板级的电源故障、通信通断、处理器故障、功能模块故障等整体功能丧失的故障注入。
③ 软件故障注入的方式一般适用于无法对硬件进行故障注入而通过软件模拟故障,如通过武器模拟器注入武器不能发射故障;还适用于硬件不具备实施条件,而通过软件能够等效实现故障注入的功能故障[14]。
本次试验属于系统级测试性试验,故障注入的层级主要为LRU级、SRU级,个别可到电路板级,采用的故障注入方法包括插拔、总线注入、软件共3类,故障注入方法占比如表2所示。
表2 故障注入方法占比
根据选择的试验样本和拟实施的故障注入方法,制定试验用例。试验用例重点描述针对故障模式进行故障注入的方法、手段、注入成功判据、故障检测成功判据、试验执行步骤。本次试验共编制试验用例162个。
无人机系统实现故障检测的BIT形式一般有:周期BT、上电BIT、维护BIT、启动BIT。对于不同的BIT类型,用例中故障注入执行步骤不一样,具体总结如下。
(1) 周期BIT。
① 系统上电,根据系统功能、性能检测要求,确认系统运行正常。
② 注入故障,确认注入成功。
③ 查看故障检测指示。
④ 系统下电,系统恢复正常状态,并确认。
(2) 上电BIT。
① 系统上电,根据系统功能、性能检测要求,确认系统运行正常。
② 系统下电。
③ 注入故障。
④ 系统上电,确认注入成功。
⑤ 查看故障检测指示。
⑥ 系统下电,系统恢复正常状态,并确认。
(3) 维护BIT。
① 系统上电,根据系统功能、性能检测要求,确认系统运行正常。
② 系统下电。
③ 注入故障。
④ 系统上电,确认注入成功。
⑤ 触发维护BIT,查看故障检测指示。
⑥ 系统下电,系统恢复正常状态,并确认。
(4) 启动BIT。
① 系统上电,根据系统功能、性能检测要求,确认系统运行正常。
② 系统下电。
③ 注入故障。
④ 系统上电,确认注入成功。
⑤ 触发启动BIT,查看故障检测指示。
⑥ 系统下电,系统恢复正常状态,并确认。
系统测试性试验必须依托飞管系统、任务系统、机载链路系统试验台,建立试验系统。试验系统须具备支持系统正常运行、故障注入、故障注入成功指示、故障检测指示、系统状态显示的功能[15]。典型飞机管理系统测试性试验构型如图3所示,试验台采用真实的机载设备,并仿真系统运行环境,系统综合试验设施用于控制试验进程,能够向设备发送控制指令,查看系统状态;串口仿真设备和信号断线箱等能够实现硬件故障注入;MBIT/PMA用于故障信息显示[16-17]。
图3 典型飞机管理系统测试性试验构型
系统级测试性试验实施流程与设备试验类似,不再赘述。
系统级测试性试验利用故障注入设备,采用插拔、总线注入、软件注入等故障注入方法,在LRU级、SRU级注入规定的故障,并通过测试设备/软件查看BIT检测结果,以此发现系统设计缺陷,根据BIT检测的结果计算系统的BIT故障检测率和故障隔离率。
试验实施结束后,对所有试验数据,包括注入故障数据、不可注入故障数据进行整理,给出的无人机系统测试性指标项目的评估指标值如表3~表6所示。
表3 故障检测率指标评估值
表4 故障隔离率指标评估值
表5 关键故障检测率
表6 故障处置成功率
将试验结果与该型无人机测试性定量指标相比较,该型无人机故障检测率和隔离率满足指标要求,96.62%的关键故障可以通过BIT进行检测,检测出的故障全部能够实现机上自主处置,满足使用要求。
通过本次试验技术研究和应用得到如下结论:
① 系统FMECA是系统级测试性试验的基础,须加以重视,否则在研制阶段系统级测试性试验无法开展,进而不能在研制阶段发现系统级测试性设计缺陷;
② 系统级测试性试验可依托系统的物理/半物理系统试验台实施,并辅助相应的故障注入设备;
③ 系统级测试性试验与成品级测试性试验总体思路和流程基本一致,但试验方案、故障注入方法和试验结果评估方面存在较大差异。
本文提出了一种适用于复杂机载系统的系统级测试性试验方法,并在某大型无人机成功实施了故障注入试验,试验结果为该无人机系统设计鉴定提供了有力支撑。该试验技术能够广泛应用于复杂机载系统的系统级测试性试验。