基于双基点模糊推理的智能系统评估方法

汪霜玲，李宇飞，黄凯鹏，易 侃，朱先强

(1.信息系统工程重点实验室，南京 210007；2.中国电子科技集团有限公司第二十八研究所，南京 210007；3.西安电子科技大学 计算机科学与技术学院，西安 710071；4.国防科技大学 信息系统工程重点实验室，长沙 410073)

1 引言

随着人工智能技术在各行各业加速渗透，人工智能技术在军、民领域都有众多应用，为了衡量一套具有智能化功能的系统/设备的智能化水平，即其智能化程度处于什么阶段，许多行业的研究人员都针对各自研究的领域特征，提出了相应的智能化分级标准，用于判定该领域内系统/设备的智能化发展水平。

在民用领域，澳大利亚的iOmniscient公司作为世界知名的智能监控供应商之一，率先在视频监控领域建立了一套视频监控系统的智能IQ评级系统，从智能视频监控系统检测并获取目标的信息量、适用场景的复杂度等方面将系统分为7个等级，为衡量视频监控系统的智能化水平提供了一个等级评估的参考模型。针对智能音箱，中科院团队从语音识别能力、自然语言理解能力和内容推荐算法性能3个角度来评估其智能化水平。

在军事领域，美国国家标准研究院提出并建立针对地面无人平台分类和评估的无人系统自主级别(ALFUS)框架，从感知、规划、运动控制、行为、学习五个方面将系统的自主性能力分为10个等级；美空军在《自主地平线-通往未来的道路(2015)》报告中考虑到系统实现辅助执行、态势感知支持、辅助决策和监管控制等任务的难易程度不同，提出将系统自主性根据系统功能的难易划分为6个等级，介于全手工和全自主之间。

然而，上述研究本质都是基于系统静态特征构建以定性分析为主的等级评估模型，这类模型根据系统具备的功能、适用的范围、采用的机制等静态特征，判定系统所处的等级，评估粒度较粗，且难以支撑结合系统在实际运行中的效果，做出基于效能的评估。针对上述问题，我们提出基于深度双基点模糊推理的系统智能化水平评估法，在智能化等级模型的基础上，进一步对系统智能化水平给出更加细粒度的评价和更加直观的对比分析。

首先给出智能化水平评估的问题定义，其次，基于国内外智能化评估研究，给出系统智能化评估指标体系，进一步，介绍基于深度双基点模糊推理的系统智能化水平评估方法，最后，基于2个案例对该评估方法的适用性及泛用性进行评估。

2 问题定义

为研究智能系统评估方法，对于待评价对象，构建与其领域特点相适应的智能化水平评估指标体系，结合相关领域的专家知识，评估该对象的智能化水平。下面，首先介绍一些相关的概念及符号表示，随后给出完整的问题定义。

待评价对象(S)：现有的许多的智能化产品，例如智能音箱、智能化音响、智能化信息系统[15-16]等。

智能化水平评估指标体系(EIS)：给定S，存在诸多因素影响其智能化水平，这些因素又可按照维度或层级不同进行划分，最终形成一个智能化水平评估指标体系，如图 1所示，其中每个指标的取值范围存在一定的限制。

图1 智能化水平评估指标体系抽象表示

专家知识(K)：给定S及EIS，相关领域专家可根据其经验给出一些深层见解，这有助于对智能化水平的评估。

智能化水平评估模型(F)：对给定S及EIS，结合K，给出智能化水平评估结果。

其完整的问题定义可表示为

F(S|EIS,K)→Ψ

其中，Ψ为S所有可能的智能化水平集合。

3 系统智能化评估指标体系

根据智能化系统的特征，从功能维度和技术维度两方面选取指标，构建系统智能化水平的评估指标体系，如图2所示。

图2 系统智能化评估指标体系

其中，自主性主要是从功能维度出发，评价系统在场景感知、自主决策、人机交互等方面的智能化水平。适应性从人工智能技术特点出发，重点从鲁棒性和可解释性2个方面分析系统的适应性水平。学习性同样侧重从技术特点出发，重点从预先学习、自主学习、迁移学习3个方面分析系统的学习性能力。

4 深度TOPSIS模糊推理评估方法

为在各维度评估结果的基础上，综合评估系统整体的智能化水平，我们采用综合评估方法对信息系统智能化水平进行综合评估。现有的综合评估方法[1-11]主要分为3类：基于结构关系的评估方法[1-6]，广泛应用于雷达和船舰电子信息系统等复杂系统的评估[7]，主要关注系统结构的内联关系，通过建立树状或网状的对象模型，建立评估指标与影响因素的映射关系，运用权重、模糊、粗糙和遗传等不同算法分析评估系统；基于机器学习的评估方法[8-9]，该类方法能较好地抽取评价指标的特征表示；其他方法，为了避免上述两类方法存在的问题，研究人员提出了一些评估方法，例如基于云模型的评估模型[9]、基于贝叶斯网络模型的评估模型[10]、基于TOPSIS(technique for order preference by similarity an ideal solution)的评估模型[11]等。

现有的方法都存在一定的局限性，基于结构的评估方法能够较为贴近复杂系统结构特征，通常实现较简单，但存在影响影响因素权重确定困难、可解释性不强等问题。基于机器学习的评估方法由于样本量稀少，难以训练性能良好的模型，且缺乏可解释性。基于TOPSIS的评估方法直接根据专家知识为评估指标赋予权重，没有对专家知识进行进一步的提取。

为了改善上述评估方法的不足之处，本节提出一种基于深度TOPSIS的模糊推理评估法，将TOPSIS模型扩展为深度TOPSIS模型，并与自适应模糊推理网络(ANFIS)结合。其整体流程如算法1及图3所示。

图3 深度TOPSIS模糊推理评估算法流程图

算法1基于深度TOPSIS的模糊推理评估法

输入 评估指标体系EIS，各维度最低级指标得分表L={A,B,…}←Evaluate(S|EIS)，专家知识K

输出 评估得分r

m←Deep(L)；/*最低级指标层级*/

Lp={〈A[a1]…[am],B[b1]…[bm],…〉}/*所有维度笛卡尔乘积，形成m级指标对集合*/

Topsis(A[a1]…[am],B[b1]…[bm],…)；

k=1；

Whilek≤m-1：/*逐层Topsis*/

|forrm-(k-1)in{1,2,len(R[r1]…[rm-k])})；k=k+1；

Endwhile

R←Transform(K)；/*转换专家知识*/

4.1 深度TOPSIS

TOPSIS模型在1981年被提出，最早应用于挑选满足一定条件的最优解，随后被广泛应用于多标准决策辅助(multi-criteria decision aid，MCDA)以及多标准决策(mulit-criteria decision making，MCDM)领域，主要功能是对解进行评估及排序，由于其出色的评估能力，至今仍是一个常用的评估方法。

如图1所示，EIS通常具有一个或多个维度，每个维度又分为多个等级。要对S进行全面客观的评价，必须考虑所有的评价指标，于是本研究提出使用深度TOPSIS模型对评价指标体系进行建模，具体步骤如下。

步骤1：搭建TOPSIS模型

为最低级指标得分搭建TOPSIS模型，首先是将原始矩阵正向化，常见的四种评价指标类型包括：极大型指标、极小型指标、中间型指标以及区间型指标。所述的将原始矩阵正向化，就是要将所有类型的指标统一转化极大型指标，可根据指标类型不同采取不同形式的转换函数。若EIS中的指标均为极大型指标，可考虑跳过该步骤。

步骤2：正向化矩阵标准化

此步骤的目的是为了消去不同指标量纲的影响，需要对正向化后的矩阵进行标准化处理。假设有n个待评价的信息系统对象，EIS中包含m个最低级评价指标，则正向化矩阵如下：

步骤3：计算归一化得分

步骤4：搭建深度TOPSIS模型

按照EIS中的评价指标等级划分，逐级为评价指标搭建TOPSIS模型，即重复步骤1～步骤3，最终完成深度TOPSIS模型。

4.2 自适应模糊推理网络

基于模糊集合理论、模糊规则和模糊推理的模糊推理系统是一种流行的计算框架，广泛应用于各个领域，如模式识别、信号处理等。由于模糊推理系统比较适合于表达模糊或定性的知识，其推理方式类似人的思维模式，容易把目标系统的知识直接融于建模过程。

大多数现有的评估方法，如TOPSIS，直接利用专家知识赋予模型权重，存在很强的主观性。且目前没有通用的方法用于专家的知识和经验的转换，所以，本研究提出使用自适应模糊推理网络(ANFIS)对专家知识进行转化，达到自适应确定权重的效果，从而弱化专家知识在评估过程中的影响，降低人类的主观性。其步骤如下。

步骤1：构建ANFIS网络

ANFIS是一种基于Takagi-Sugeno模型的多输入单输出(MISO)的模糊推理系统，既有模糊逻辑易于表达人类知识的优点，又有神经网络的分布式存储以及学习能力。以两输出、单输出的ANFIS为例，其模型图如图4所示。

图4 ANFIS网络结构

ANFIS包含5层网络结构，分别是模糊分割层、规则推理层、模糊化层、去模糊化层及输出层，每一层的节点具有不同的参数及功能。

步骤2：专家知识规则化

对专家知识进行分析，并抽象转化为“if-then”形式的规则，使用A[i][j]表示维度A中第i个一级指标的第j个二级指标，若专家认为指标对〈[A[1][2],B[2][1]〉越接近其对应的理想解〈A[1][2],B[2][1]〉+或(负理想解)，信息系统的智能化水平y越高(低)，可转化为如下规则表示形式：

ifD(〈A[1][2],B[2][1]〉,〈A[1][2],B[2][1]〉+)→0,

theny→ymax

ifD(〈A[1][2],B[2][1]〉,〈A[1][2],B[2][1]〉-)→0,

theny→ymin

其中，“if-part”可通过“and”运算进行扩展。该规则可以用于任意的层级指标，并反映出专家认为某些评价指标更为重要，即对信息系统智能化水平的影响程度大。

步骤3：ANFIS参数确定

确定ANFIS自适应模糊推理网络的参数，包含架构参数及算法参数。首先确定模糊化分区，通过高斯隶属度函数将每个一级指标划分为2个分区，即1和0，可表示为

其中d=1or0用于区分所在分区，σ的取值不影响分区结果，此处可取常数1简化后续计算，{σ,d}即为算法参数中前件参数的取值。

基于转化后的规则集R={r1,…,rm}，首先将ri中的“if-part”所涉及的评价指标对转换为对应层级的打分(其中涉及的指标打分用正(负)理想值代替，未涉及的指标对打分用平均值或缺省值代替)，然后利用深度TOPSIS模型将其转换对应的一级指标得分，最后通过隶属度计算映射转换为网络架构(即架构参数)，具体流程如图5所示。

图5 专家知识映射到网络结构流程图

基于上述规则转化的结果，并将ri中“then-part”转换为对应的理想(负理想)信息系统智能化评分，利用最小二乘估计进行训练，获得网络的后件参数。

4.3 使用深度TOPSIS模糊推理模型进行智能化水平评估

使用4.2中参数化后的ANFIS对4.1中得到的一级指标评价结果进行分析，推理输出智能化水平结果，并输出一级指标的雷达图。

5 案例分析

本节基于2个经典案例，分析深度TOPSIS模糊推理模型的有效性及泛用性，在Intel®CoreTMi7-8700 CPU@3.20GHz 3.19GHz环境中进行实验，运行软件环境为Python 3.7。

5.1 案例1(有效性)

针对某品牌智能音箱，评估其智能化水平。根据测试结果判定各评价指标测的等级，并使用TOPSIS方法计算出二级指标的得分情况、根据二级指标的得分计算出一级指标的得分，最后结合ANFIS网络及专家知识得到智能音箱最终的智能化得分。

1)实验设置。基于专家对每个指标的评估结果，验证模型的有效性，以场景感知为例，假设场景感知等级为2，其下限为1，上限为4，则根据理想解运算规则，计算结果为(2-1)/(4-1)=0.33。计算得到所有二级指标的得分见表1。

表1 二级指标得分数据

与此同时，专家希望理想的系统具备尽可能高的自主决策能力，同时自主学习能力不能太低。对专家知识进行分析，并抽象转化为“if-then”形式的规则，给出如下规则表示：

ifD(A[1][2],A[1][2]+)→0

theny→ymax

ifD(A[3][2],A[3][2]-)→0

theny→ymin

2)实验结果及分析。利用深度TOPSIS模型逐级将表1中的数据转换对应的一级指标得分，如表2所示。

表2 一级指标得分数据

使用ANFIS神经网络，结合上述参数，分析一级指标对评估结果，推理输出智能化水平得分，利用表1中的数据，可以得到，基于样例中的专家知识所得的智能化评分为60.46(百分制)。

最终，根据对应的智能化水平等级模型，将智能化水平得分映射为最终的信息系统智能化水平评估结果，智能化等级示例如表3所示。

表3 智能化等级与得分对应示例

并输出一级指标对雷达图，如图6所示。

图6 智能化评估——一级指标雷达图

从雷达图可以看出，该系统在自主性及适应性方面的能力较为优异，但学习性能力相对较弱，这样分析有助于发现系统的智能化开发和改进的方向。结果表明，本评估模型在传统评估的基础上，能够融入专家知识，同时避免了主观性偏差，有效性得以保证。

5.2 案例2(泛用性)

针对更复杂的系统，智能化评估需要结合多维度指标体系进行。针对某战区级信息系统，根据应用场景，将评估指标体系的维度进行扩展，验证模型的泛用性。

1)实验设置。本实验将使用高维度EIS，使用不同K进行实验，验证模型的泛用性，打分结果及不同K如表4所示。

表4 二级指标得分情况

K来源于相关领域的不同专家，随机从K中选取两条专家知识进行分析，并抽象转化为“if-then”形式的规则，给出如下规则表示：

专家规则-样例1(包含2条)：

ifD(〈A[1][2],B[2][1]〉,〈A[1][2],B[2][1]〉+)→0

andD(〈A[3][1],B[2][2]〉 ,〈A[3][1],B[2][2]〉+)→0

andD(〈A[2][2],B[1][4]〉 ,〈A[2][2],B[1][4]〉+)→0

andD(〈A[1][3],B[3][1]〉 ,〈A[1][3],B[3][1]〉+)→0

theny→ymax,

if D(〈A[3][2],B[1][1]〉 ,〈A[3][2],B[1][1]〉-)→0

andD(〈A[2][3],B[2][2]〉 ,〈A[2][3],B[2][2]〉-)→0

theny→ymin

专家规则-样例2(包含3条)：

ifD(〈A[1][2],B[2][1]〉 ,〈A[1][2],B[2][1]〉+)→0

theny→ymax,

ifD(〈A[2][2],B[1][4]〉 ,〈A[2][2],B[1][4]〉+)→0

theny→ymax,

ifD(〈A[3][2],B[1][1]〉 ,〈A[3][2],B[1][1]〉-)→0

theny→ymin

2)实验结果及分析。利用深度TOPSIS模型逐级将其转换对应的一级指标得分，如表5所示。

表5 一级指标对评估情况

将转换后的规则利用4.3的方法映射为模糊推理系统的架构参数(即网络结构)，具体映射结果如图7所示。

图7 规则-网络架构映射结果

最后，使用ANFIS神经网络，结合上述参数，分析一级指标对评估结果，推理输出智能化水平得分，利用表4的数据，可以得到，基于样例1中的专家知识所得的智能化评分为20.66，基于样例2中的专家知识所得的智能化评分为30.54。根据benchmark或对应的智能化水平等级模型，将智能化水平得分映射为最终的信息系统智能化水平评估结果，并输出一级指标对雷达图，如图8所示。

图8 一级指标雷达图

专家知识可以从专家规则中提炼，对比样例2，样例1中的专家知识更为严谨，对评估结果的约束较强，因此，基于样例1的智能化评分更低，符合通常的认知和评估需求。

由于实验中随机抽取了2条专家知识，具有较强的主观性，但该方法有效地降低了主观性，并得出相近的评估结果，说明该方法具有较强的抗干扰能力，能作出一致的评估，模型的泛用性得以确定。

6 结论

1)针对现有的系统智能化水平评估方法存在泛用性差、不可解释等缺点，提出一种基于深度双基点模糊推理的智能化水平评估方法，通过定性评估与定量评估相结合、专家知识和模糊推理相结合的方法，达到结果可解释且泛用性强的评估效果。

2)提出一套通用的智能化水平评估指标体系，并基于该体系搭建深度双基点模型，该模型能根据多个维度指标生成初步综合评价，并根据模糊推理网络进行模糊计算，得到智能化水平。

3)针对不同的信息系统，基于智能化水平评估指标体系、数据及相关领域的专家知识进行实验，实验结果表明所提出方法能够稳定地进行智能化水平评估，且具有良好的可解释性和泛用性。