基于可达阵的多级评分最简完备Q矩阵设计

摘 要 Q矩阵的完备性是认知诊断模型具有可识别性的关键。多级评分含有比0-1评分更丰富的诊断信息， 却鲜见多级评分完备Q矩阵的设计研究。用最少的题量获得最高判准率是测验设计者追求的目标， 借鉴0-1评分完备Q矩阵的设计方法， 本文提出从可达阵中获取多级评分结构化/非结构化最简完备Q矩阵（SSCQM/USCQM）的方法和算法。模拟实验得出以下结论：（1）测验含SSCQM/USCQM越多， 判准率越高; （2）当列数相同时， 含多个SSCQM或多个USCQM测验的判准率与含可达阵测验的判准率非常接近; （3）对于一些结构， 纵使多个SSCQM/USCQM的列数少于可达阵列数， 其判准率仍不低于可达阵。总之， 短测验设计优先选择SSCQM; 长测验设计优先选择USCQM。

关键词 多级评分， 测验设计， 结构化最简完备Q矩阵， 非结构化最简完备Q矩阵， 算法

分类号 B841

1 引言

认知诊断评估提供被试潜在认知能力（也即知识状态， Knowledge State， KS）的诊断信息， 有利于因材施教， 提升学生的能力（Leighton & Gierl， 2007; Tatsuoka， 2009）。在“双减”背景下， 如何灵活地通过最少的题量实现对学生认知能力的精准诊断， 是测验设计者面临的实际问题。在认知诊断测验中， 刻画项目与属性关系的Q矩阵对被试分类的精度有着非常重要的影响（Chiu， 2013; De Carlo， 2011， 2012; Groß & George， 2014; Liu et al.， 2012， 2013; Madison & Bradshaw， 2015）。通过Q矩阵， 诱导出被试的差异性作答， 差异性越大越有利于用认知诊断模型精准地识别被试， 故基于Q矩阵的认知诊断模型可识别问题受到广泛关注（Chiu et al.， 2009; Chiu & Köhn 2015; Fang et al.， 2019; Gu & Xu， 2019， 2021; Köhn & Chiu， 2017; Lin & Xu， 2023; Ouyang & Xu， 2022）。

Q矩阵完备性是Q矩阵可识别问题的主要研究内容之一。能够识别所有被试的Q矩阵称为完备Q矩阵（Complete Q Matrix）; 否则， 称为非完备Q矩阵（Uncomplete Q Matrix） （Chiu et al.， 2009; Chiu & Köhn 2015; Köhn & Chiu， 2017）。已有研究表明， 非完备Q矩阵会将一些被试划分到错误的类别中去（Chiu et al.， 2009）， 因此Q矩阵的完备性是可识别的充分或（和）必要条件之一， 是认知诊断模型具有可识别性的关键条件（Gu & Xu， 2019， 2021a; Lin & Xu， 2023; Ouyang & Xu， 2022）。根据完备Q矩阵中项目表达是否与属性层级结构一致， 完备Q矩阵可细分为结构化完备Q矩阵（Structured complete Q Matrix）和非结构化完备Q矩阵（Unstructured complete Q Matrix ） （丁树良 等， 2022; Köhn & Chiu， 2021）。在现有研究中， 结构化完备Q矩阵以测验包含可达阵为主， 非结构化完备Q矩阵（除独立结构外）主要有两种， 一种为测验包含单位阵（Chiu et al.， 2009; Fang et al.， 2019; Lin & Xu， 2023; Ouyang & Xu， 2022; Xu & Zhang， 2016; Gu & Xu， 2021b）， 另一种为Köhn和Chiu （2021）提出的新方法， 他们认为， 对于0-1评分， Q矩阵中所有项目遵循某种属性层级结构不是提高认知诊断分类精度的必要条件， 故提出并证明满足的非结构化矩阵是非结构化完备Q矩阵（R与E分别表示给定的属性及其层级关系对应的可达阵和单位阵）。

KS、理想反应模式（Ideal Response Pattern， IRP）和观察反应模式（Observe Response Pattern， ORP）等三者的关系是认知诊断的核心（丁树良 等， 2012）， IRP不仅是KS和ORP联系的纽带， 更是KS和ORP存在联系的核心基础。在没有项目性质、动机或一些随机因素等影响下， 完备Q矩阵均能建构IRP与KS的一一对应关系， 如果在这种情况下KS不能被识别， 那么受到上述因素影响的ORP更难识别KS。前述研究较多地考虑了干扰因素， 而忽视了作为核心基础的IRP和KS间的一一对应关系。故本文关于完备Q矩阵的讨论， 着重考察该矩阵是否能够建立IRP与KS一一对应关系。

较0～1评分， 多级评分可更细致、更深入地探测被试具体的解题步骤或加工过程， 因此能够提供更多的诊断信息（Ma & de la Torre， 2016）。在多级评分测验中， 虽然可达阵能大幅提高分类精度（丁树良 等， 2010; 丁树良 等， 2011）， 但可达阵不是项目最少的完备Q矩阵， 比如丁树良、汪文义等人（2014）提出K个属性的线型结构， 仅需全1列便可使得IRP与KS一一对应， 也即全1列为含项目最少的完备Q矩阵。本文将含项目最少的结构化和非结构化完备Q矩阵分别称为结构化最简完备Q矩阵（Structured Simplest Complete Q Matrix， SSCQM）和非结构化最简完备Q矩阵（Unstructured Simplest Complete Q Matrix， USCQM）。最简完备Q矩阵（Simplest Complete Q Matrix， SCQM）可用于短测验（如课堂测验）， 且以SCQM作为子矩阵的长测验必为完备Q矩阵， 故多级评分SCQM在Q矩阵设计中有广泛的应用前景。

多级评分SCQM的设计往往比0-1评分完备Q矩阵的设计难度更大， 囿于我们的视野， 我们仅发现丁树良、罗芬等人（2014）和丁树良、汪文义等人（2014）的多级评分完备Q矩阵设计及其理论证明。针对不同的属性层级结构， 他们分别给出几种基本属性层级结构（线型、收敛型、分支型、无结构和独立结构）的多级评分完备Q矩阵设计方法和证明， 为提高多级评分认知诊断测验精度和测验效率提供新的思路和方法。但这两个研究存在以下问题：（1）针对不同属性层级结构设计完备Q矩阵的方法不具兼容性， 无法整合， 且在实际应用中， 属性层级结构更为复杂， 通常由这些基本属性层级结构复合而成， 如何得到这些复杂结构的完备Q矩阵， 还缺乏相关研究; （2）运用效果未得到模拟验证。比如线型结构的全1列， 由于该完备Q矩阵测验较短， 其测量误差较大， 考虑到重复测量可减少测量误差， 那么最少要多少个全1列才能和K阶可达阵的测量精度相当？这是一个必须回答的问题; （3）未涉及多级评分非结构化完备Q矩阵研究。Köhn和Chiu （2021）试图将结构化完备Q阵研究拓展到非结构化Q矩阵中， 并发现非结构化完备Q矩阵选择范围较广， 但研究止步于0-1评分， 未能涉及多级评分情况。已有文献（Fang et al.， 2019; Lin & Xu， 2023; Ouyang & Xu， 2022）提出多级评分的完备Q矩阵包含单位阵， 只含单位阵的测验设计过于单一， 是否存在其他的非结构化完备Q矩阵使得测验具有多样性？这些问题均需进一步讨论。

本文在前人研究的基础上， 拟基于IRP解决如下两个问题：第一， 提出多级评分SSCQM和USCQM通用的设计方法和算法; 第二， 考察属性层级结构、属性个数和项目参数等因素对多级评分SSCQM和USCQM分类精度的影响。以下研究的Q矩阵均为题目水平， 即一个题目对应一个向量。

2 多级评分SSCQM的设计及其算法

考虑到丁树良、罗芬等人（2014）和丁树良、汪文义等人（2014）设计和证明的复杂性， 且未能给出统一的、适用于各种属性层级结构的设计方法， 本研究另辟蹊径， 首先以完备Q矩阵可建立IRP与KS一一对应关系为导向， 构造SSCQM并加以验证; 然后提出操作性强、便于使用和推广、适用于各种属性层级结构的SSCQM算法。

2.1 多级评分SSCQM的设计

对于0-1评分， 采用DINA理想评分规则（该规则要求属性之间不可补偿）， 将可达阵作为测验子矩阵可建立被试IRP与KS的一一对应关系（丁树良 等， 2010; 丁树良 等， 2011; 丁树良 等， 2012; Köhn & Chiu， 2021）， 即可达阵为完备Q矩阵。

对于多级评分， 采用被试掌握项目中一个属性， 理想评分便多一分的评分规则（Tatsuoka， 1995）：

可达阵仍为完备Q矩阵（丁树良， 汪文义 等， 2014; Sun et al.， 2013）。然而， 除独立结构外， 其他属性层级结构的可达阵不是最简完备Q矩阵， 因此， 以可达阵为研究对象， 对比所有KS在可达阵上的理想反应模式， 删减可达阵中所有不必要的列， 得到可达阵的子矩阵为最简完备Q矩阵。下面以6个属性线型结构为例（见图1）， 基于公式（1）和（2）， 构造SSCQM并加以验证。限于篇幅， 直接给出其他4种属性层级结构（收敛型、分支型、无结构和独立结构）的SSCQM。

ehlgX8lsXZR50IeHKwK4X/yLMHnp1IOc6ozzouXy+ZA=（1）线型结构

KS类型有7个， 可达阵R为6列， 基于R的理想反应模式如表1。

从表1中最后一列可知， 可达阵中的使得 IRP与KS一一对应， 即为SSCQM。

（2）收敛结构

收敛结构（a）的SSCQM为

收敛结构（b）的SSCQM为

收敛结构（c）的SSCQM为

虽然收敛结构有多个SSCQM， 但每一个矩阵所选取的列为收敛结构某一个或几个不同的分支， 从结构上来说， 这些分支是并列关系。在测验设计时， 这几种SSCQM可以任选， 或者如果测验需要多个SSCQM， 为了尽可能地降低曝光率， 这些矩阵可以混合使用。

（3）分支结构

（4）无结构

（5）独立结构

SSCQM为可达矩阵。

由5种属性层级结构的SSCQM可知， 属性层级结构图中有几个分支， 则SSCQM中就有几列， 且每列的向量对应一个分支。线型结构和收敛型结构的SSCQM含有可达阵的最大列（即全1列）， 而其他3种结构的SSCQM的各个列之间不可比较。

2.2 多级评分SSCQM的算法

定义 设两个K维向量x和y， 称当且仅当， 其中 为偏序关系; 若x和y不满足上述关系， 称x和y不可比较。

基于可达阵各列之间是否可比较及可比较的大小关系给出算法。将比较所得最大列称为支柱列。

多级评分SSCQM算法如下：

第一步 输入可达阵R， 计算可达阵R每列考察属性的个数和（称之为列和）， 按照列和从小到大对列进行排序， 如果列和一样， 则由这些列的全排列所得多个矩阵均需考察， 设W=， 同时生成两个空矩阵Q1， Q2;

第二步 按列循环求W中的支柱列

for i=1 to [col（W）−1]

{首先， 从W最后1列开始， 若该列大于其他所有列， 设其为支柱列， 则将该列放入Q1中， 若在剩余的列中还存在此类型的列， 则继续放入Q1中（在此过程中， W的列数不能少于等于2， 否则直接比较列的大小）;

接着， 若， 则从W中删除与后面的列继续比较， 删除小的， 直到找到最大列， 设其为支柱列， 放入Q2中;

若与不可比， 则跳过该列与下一列比较， 若与后面列都不可比， 则将放入Q2中;

若W只剩1列， 该列直接放入Q2中;

最后， 重新计算W的列数col（W）， 直至W中没有列};

第三步 求Q1的支柱列， 不是支柱列删除;

第四步 计算属性层级结构图中的分支数（设为n）， 若Q1有m列， 则随机取Q2中的n–m列与Q1合并为一个Q矩阵; 若Q1中没有列， 则随机取Q2中的n列构成矩阵Q;

第五步 验证所得Q矩阵的完备性， 若Q矩阵为完备矩阵， 则输出Q， 否则， 舍弃。

以收敛结构（c）为例阐述算法的使用步骤（其他结构的算法步骤见网络版附录）。第一步， 先将R的列进行排序， 即

因为第2， 3， 4列都考察了2个属性， 则将这3列全排列， 共6种情况， 对应6个矩阵， 下面就要从这6个矩阵分别提取结构化完备Q矩阵。首先从开始， 生成两个空矩阵Q1， Q2; 第二步， 首先W中最大列为第6列， 则将该列放入Q1中， 从W中删除第6列， 此时在W剩下的列中没有最大列; 接着求W剩下列的支柱列， 第1列比第2列小， 则第1列删除， 将第2列继续与后面的列进行比较， 由于不可比较， 则第2列为支柱列， 放入Q2中， 从W中删除第2列， 这时W只剩3列， 最后重置W的列数， 原来的第3，4，5列重置为第1，2，3列; 首先W的剩余列中没有最大列， 再求支柱列， 此时W中的第1列与第2列不可比较， 跳过第2列， 由于第1列比第3列小， 将第3列放入Q2中， 删除W中的第1，3列， 最后W只剩第2列， 也放入Q2中， 故最终Q2有3列， 分别为原W中的第2，4，5列; 第三步， Q1只有1列， 则该列即为支柱列; 第四步， 因为是收敛结构， 由属性层级结构图可知该结构有3个分支， 故随机取Q2中的2列与Q1中的1列分别合并为3个矩阵， 则这三个矩阵分别为 和; 第五步， 经验证和均为SSCQM。其他5种情况的矩阵所得SSCQM与相同。此算法所得多级评分SSCQM与已有研究结果（丁树良， 罗芬 等， 2014; 丁树良， 汪文义 等， 2014）一致。

值得一提的是：（1）第一步的全排列问题。必须将那些列和相等的列进行全排列， 否则只能得到部分SSCQM， 如Sun等（2013）中收敛结构（见网络版附录）， 若不全排列， 只能得到2个SSCQM， 但实际上不止2个。（2）有关线型结构的问题。除第1，2列， 线型结构可达阵中其他列全部放入放入Q1中， 第2列放入Q2中， 因为Q1中支柱列为全1列， 属性层级结构图中只有1个分支， Q2中项目不计， 故该支柱列即为所求。（3）第四步的计算属性层级结构分支数问题。一般地， 若属性层级结构图分支较清楚（例如5种基本属性层级结构或者其简单的组合）， 可直接计算其分支数; 若属性层级结构图的分支较复杂， 则可不用计算其分支数， 直接从Q2中分别取1列， 2列， ……与Q1合并为一个Q矩阵， 再验证所得Q矩阵的完备性。比如Köhn和Chiu （2021）给出11个属性的属性层级结构， 分支较复杂， 由算法可得Q1有2列， 即可达阵（已按列和排序）第10， 11列， Q2有2列， 分别为第3 （考察了第3个属性）， 6列， 先从Q2中取1列与Q1合并成列数为3列的矩阵， 经验证这两个矩阵均不是完备Q矩阵， 接着将Q2与Q1合并为一个4列的矩阵， 经验证该矩阵为SSCQM。

3 多级评分USCQM的设计及其算法

在SSCQM设计的基础上， 本研究进一步探讨USCQM的设计方法和算法。

3.1 多级评分USCQM的设计

0-1评分非结构化完备Q矩阵介于单位阵和可达阵之间（Köhn & Chiu， 2021）， 其中可达阵为结构化完备Q矩阵， 单位阵为非结构化完备Q矩阵（除独立结构外）。借鉴0-1评分的思路， 在多级评分中将SSCQM作为上限， 单位阵子矩阵作为下限。设可达阵R（各列依次按照考察属性的顺序排列）， 若上限SSCQM的列对应于R的列号为， 则下限将单位阵E中相同列号的列构成单位阵的子矩阵。以收敛结构（a）为例， 设可达阵R， SSCQM的列对应于R的列号为， 即

取同阶单位阵的第5， 6列构成单位阵子矩阵

找出介于和之间所有矩阵， 即 ， 且每行至少有1个“1”（目的是保证每个属性都要被考察）， 例如

同样， 对应可达阵的第4，6列， 单位阵子矩阵的第4，6列为

且每行至少有1个“1”， 例如

相较于2个SSCQM， 符合条件的USCQM 和均有53个。

3.2 多级评分USCQM的算法

根据上述设计原理， 多级评分USCQM算法如下：

第一步 输入结构化最简完备Q矩阵和其对应的单位阵子矩阵

， 用得到矩阵Q0=（qij）;

第二步 随机将Q0中一个或多个qij=1替换为qij=0;

第三步 将（2）产生的矩阵与单位阵子矩阵相加得到矩阵;

第四步 验证矩阵列的布尔并是否为全1列且该矩阵是否完备， 若是， 则输出矩阵， 否则舍弃。

4 基于多级评分认知诊断模型的SCQM

4.1 多级评分认知诊断模型

大部分多级评分认知诊断模型是从0-1评分认知诊断模型拓展而来。高旭亮等人（2021）详细地介绍了三种类型的多级评分认知诊断模型：（1）邻接类别模型（adjacent category models）; （2）连续比率模型（continuation ratio models）; （3）累积概率模型（cumulative probability models）。因完备性的验证涉及认知诊断模型， 下面只介绍与本研究有关的GPDINA模型（Chen & de la Torre， 2018）和RP-DINA模型（蔡艳 等， 2017）。

GPDINA模型是GDINA模型（the generalized DINA model） （de la Torre， 2011）与GPDM模型（the general polytomous diagnosis model） （Chen & de la Torre， 2018）的融合。

PDINA模型：

也即

因为PDINA构建的理想评分只有0和1， 影响分类的精度， 蔡艳等人（2017）修改了PDINA模型的评分方式， 提出了RP-DINA模型。RPDINA模型：

RPDINA模型中其他符号定义与PDINA模型一致。研究表明由于RPDINA模型中评分的修正， 使得其判准率比PDINA模型的高。

4.2 结合多级评分认知诊断模型的SCQM的验证

进一步， 基于理想反应模式与知识状态一一对应关系建构的SCQM， 结合认知诊断模型， 验证其是否仍具完备性。

（1）给出评分方式。在多级评分中， 完备Q矩阵与评分方式和满分值有关， 会影响Q矩阵诊断信息的质量（丁树良， 汪文义 等， 2014）。如若采用蔡艳等人（2017）提出的评分方式和满分值， 则可达阵不是完备Q矩阵（见讨论部分）。因完备Q矩阵可以提高诊断判准率， 故在下面验证中， 认知诊断模型采用公式（1）的评分方式和公式（2）满分方式。

（2）验证Q阵完备性。Köhn和Chiu （2021）提出的完备性验证方法为当观察反应模式的期望相等时， 对应的KS相同。

被试在上期望为

结合认知诊断模型， 验证本文提出的SCQM的完备性， 其中， SSCQM选取2.1中线型的， USCQM选取3.1中收敛型的I1。

对于PDINA模型， 因为理想评分还是按照0-1评分方式， 只有被试掌握项目中所有属性， 交互才存在， 若在项目中至少一个属性是被试未掌握的， 则该类被试均不能被识别， 故与不是完备Q矩阵。PDINA的SSCQM为可达阵， USCQM阵有多个， 其中一个为单位阵。

对于RPDINA模型， 结果如表2。

由表2可知， 不同则所对应的也不相同， 故按照本文提供的评分方式， 对于RPDINA模型， 为结构化完备Q矩阵， 因为只有1列， 即是SSCQM。

根据表3的计算结果， 因各个在I1上的不等， 且删减任一个项目使得至少有两个的相等， 故是USCQM。同理， 可以证明也是USCQM。

对于PACDM模型， 与仍为完备矩阵， 对于PDINO模型， 与不是完备矩阵。

从例题似乎可以看出， 只要认知诊断模型的主效应存在， SCQM的完备性不变。

5 模拟实验研究

从IRP的角度， 与可达阵一样， 1个SCQM能将KS完全区分， 然而， 在实际应用中， 由于1个SCQM列数较少， 则存在测量误差， 使得其判准率（PMR或者MMR）不一定高于（甚至抵不上）可达阵。为研究多级评分SSCQM和USCQM的分类效果， 模拟实验主要考察当SCQM的列数不超过可达阵的列数时， 到底需要多少个SSCQM/USCQM才能达到或相当于可达阵的分类精度。为避免概念混淆， 下文中的结构化完备Q矩阵均不包含可达阵。为更好地与实践中的终结性评估和过程性评估相对应， 本研究拟构造长测验和短测验， 并从属性层级结构（如图1和网络版附录）、项目参数和属性个数等方面， 分别考察（含）SSCQM、USCQM和可达阵三种矩阵的认知诊断测验分类效果， 研究均采用python自编程序模拟和分析数据。

5.1 研究1：考察在不同属性层级结构下项目参数对三种测验的影响

5.1.1 实验设计

属性个数K = 6， 被试数N = 2000。由于独立结构的SSCQM即为可达阵， 不存在非结构化Q矩阵， 故本研究只涉及线型、收敛型（a）（b）（c）、分支型和无结构等属性层级结构。研究从如下两个方面展开：第一， 比较一个和多个SSCQM/USCQM（总列数不超过可达阵的列数）与可达阵分类能力的高低; 第二， 在多个SSCQM/USCQM的基础上， 相应地添加SSCQM/USCQM中的列（添加的列数小于SCQM的列数）， 使得总列数与可达阵列数一样， 比较它们的诊断分类效果。

5.1.2 Monte Carlo模拟

（1）被试属性掌握模式真值模拟

被试平均分配给各个属性层级结构的KS， 不能均分的， 则随机指派。

（2）测验Q矩阵及其项目参数模拟

长测验题目总数为40题。测验分别包含1个可达阵、1个或多个不同属性层级结构的SSCQM和USCQM（总列数不超过可达阵列数）， 剩下的题目从结构化/非结构化的非完备Q矩阵中选取。

短测验题目总数为6题（即可达阵的列数）， 测验分别为1个可达阵、含最多个数的SSCQM和USCQM（剩下的题目从SSCQM/USCQM中选取， 使得总列数等于可达阵的列数）。

（3）被试作答反应的模拟

由被试真值和测验Q矩阵， 按照公式（1）和（2）得到理想得分矩阵， 然后根据RPDINA模型模拟被试得分。

（4）被试KS估计方法

采用RP-DINA模型和最大后验估计方法（Maximum A Posteriori， MAP）估计被试的KS。

（5）评价指标

采用模式判准率（Pattern Match Ratio， PMR）和属性边际判准率（Marginal Match Ratio，MMR）作为分类能力的评价指标。

其中， N为被试总数， 表示被试i的属性掌握模式是否判对， 判对为1， 否则为0; K为属性个数， 表示被试i的属性k是否判对， 判对为1， 否则为0。

模拟实验重复100次（由于可供选择的USCQM较多， 故从中随机选取）， 取PMR和MMR的平均值。

5.1.3 研究结果

（1）长测验研究结果

基于三种不同的项目参数设置， 表4～表6按照线型结构、收敛结构、分支结构和无结构等属性层级结构顺序给出了包含1个或多个SSCQM、USCQM和可达阵等三种测验的PMR和MMR均值。

表4给出了属性个数为6、被试数为2000、s， g服从U（0，0.15）的长测验的模拟结果： （a）按照属性层级结构顺序， 三种测验的判准率依次降低， 其中PMR降幅低于3%， MMR降幅不超过0.5%。（b）对于各个属性层级结构， 含SSCQM/USCQM越多， 则判准率越高， MMR均在0.99以上， PMR均在0.95以上。（c）当多个SSCQM/USCQM的列数少于可达阵的列数时， 比如线型结构3列、收敛结构（a）（b）4列、收敛结构（c） 3列、分支结构3列和无结构5列， 其测验的判准率均大于含可达阵（6列）测验的判准率。（d）当列数等于可达阵列数时， 按照属性层级结构顺序， 含SSCQM测验的判准率逐渐小于含USCQM测验的判准率， 含可达阵的测验判准率最低， 但三种测验的判准率相差不大， PMR的差值不超过0.05， MMR相差更小。表5、表6表明， 在不同的项目参数s， g水平条件下， 结论类似。

表4～表6也表明， 对于同种属性层级结构， 随着s， g参数水平的提升， 各种测验的PMR均降低2%～6%， MMR降低0.3%～1%; 对于相同参数， 按照属性层级结构的顺序， 三种测验的判准率降幅依次增大， PMR均降低1%～5%， MMR降低0.2%～1%。综合表4～表6的结果可见：属性层级结构与项目参数对多级评分SSCQM和USCQM判准率的影响类同。

（2）短测验研究结果

基于三种不同的项目参数设置， 按照线型结构、收敛结构、分支结构和无结构等属性层级结构顺序， 图2分别给出了多个SSCQM、多个USCQM（其总列数均等于可达阵列数）和可达阵等三种测验的PMR均值。因为收敛结构（a）判准率的变化与收敛结构（b）的一致， 故图2只呈现收敛结构（b）（c）的结果。

由图2可知：（a）随着属性层级结构的变化和参数的增加， 三种测验的判准率均下降， 且差值逐渐增大， 特别是当属性层级结构为无结构且参数值为0.25时， 可达阵的判准率与其他测验的判准率相差最大; （b）除无结构外， 当s和g相同且属性层级结构相同时， 三种测验的判准率相差不超过0.1; （c）在大多数情况下， 多个SSCQM的判准率比可达阵的判准率高， 但当参数较大时， 收敛结构（c）和无结构的情况相反; （d）多个USCQM的判准率几乎是最低的。事实上， 多个SSCQM和可达阵均是结构化完备Q矩阵， 多个USCQM是非结构化完备Q矩阵， 总而言之， 对于短测验， 当列数相同时， 结构化完备Q矩阵的判准率高于非结构化完备Q矩阵的判准率。

5.2 研究2： 考察在不同属性层级结构下属性个数对三种测验的影响

一般地， 随着属性个数的增加， 测验的判准率会降低。属性个数对SCQM的影响程度是研究2继续探索的问题。

5.2.1 Monte Carlo模拟

（1）在研究1模拟条件的基础上， 考察5～8个属性的4种属性层级结构（如网络版附录， 6个情况如研究1）。

（2）项目选取如研究1， 固定测验参数， 长测验

参数和服从， 短测验参数和

服从。

（3）被试真值、评分和评价指标均如研究1。

5.2.2 研究结果

（1）长测验研究结果

表7～表9给出了被试数为2000， 服从U（0， 0.35）， 5～8个属性的模拟结果：（a）总体上， 随着属性个数的增加和属性层级结构的变化， 三种测验

的判准率皆呈下降趋势， 但PMR仍在0.88以上， MMR在0.97以上。（b）当属性个数一定时， 按照属性层级结构的顺序， 三种测验PMR降幅为2%～8%， MMR降幅为0.5%～2%; 当属性层级结构一定时， 按照属性个数增加的顺序， 三种测验PMR降幅为0.1%～5%， MMR降幅为0.1%～1%。（c）当列数相同时， 三种测验的判准率相当， 差值很小（PMR差值介于0.001～0.05之间， MMR差值更小）， 其中含可达阵的测验最差; 当属性个数为5～7时， 含SSCQM的测验较优; 当属性个数为8时， 含USCQM的测验较优。（d）对于一些含多个SSCQM的测验， 当列数达到一定数量时， 即便少于可达阵的列数， 其判准率依然高于可达阵， 比如线型结构， 5或6个属性达到3列， 7个属性达到4列; 5个属性分支结构达到4列; 7个属性收敛结构达到4列， 无结构达到6列等。含多个USCQM的测验也有类似情况。

由表7～表9的实验数据可知， 属性个数的增加对判准率的影响与属性层级结构所带来的影响相差不大。

（2）短测验研究结果

基于不同的属性个数和不同的属性层级结构， 图3分别给出了列数等于可达阵的多个SSCQM、多个USCQM和可达阵等三种测验的PMR均值。由图3可知， 题目质量较好时， 随着属性个数的增加， 多个SSCQM的判准率最高， 其他两种矩阵判准率各有高低， 但三者判准率的差值均不超过0.05（除收敛结构8个属性外）。

根据以上长、短测验的模拟结果可知：三种测验的判准率相差不大， 差值为0.05左右; 对于长测验， 按照属性层级结构顺序（从线型结构到无结构），

当属性个数为5～7或项目参数较小时， （含）多个SSCQM测验优于（含）多个USCQM测验; 当属性个数为8或随着项目参数增加， 情况相反; 对于短测验， 多个SSCQM测验优于多个USCQM测验。

6 实证数据分析

为了进一步验证SCQM的性能， 下面采用康春花等（2013）的实证数据进行分析。数据收于浙江金华和温州两地8所小学， 共1300名被试， 有效被试1240人， 测试内容为五年级小学行程应用题， 共17个题（包含可达阵）， 涉及8个属性（见表10）， 包括基本算数运算、一般行程问题关系式、等级复杂性、复杂行程问题关系式、识别隐含条件、关系表征、图式表征和正规代数策略， 属性层级关系如图4。该结构由线型、收敛型和无结构复合而成。

本研究考察4种测验：包含可达阵的原测验（设为）和包含1个SSCQM且题量不同的三个测验（分别设为测验Q1、Q2、Q3， 均不包含可达阵）， 其题量依次为14题、15题和16题。根据属性层级结构， 由扩张算法， 得到39种知识状态。从数据分析结果可知， 测验Q1、Q2、Q3和测验可识别的知识状态类型分别为24种、25种、21种和22种; 测验Q1、Q2、Q3分别与测验可识别的相同知识状态个数分别为1150个、1124个和1175个， 分别占总人数比的93%、90%和95%， 也即含SSCQM估计的被试与含可达阵估计的被试重复率达90%以上， 且用题量均少于可达阵; 测验Q1、Q2估计的知识状态类型比测验R的多， 分类更细。三种测验估计的被试在各个属性的掌握比例与测验R的相差不超过7% （见表11）。

7 讨论

7.1 关于多级评分方法与完备Q矩阵的关系

一般地， 对于多级评分来说， 若评分方式和满分值不一样则完备Q阵不一样。本研究是基于评分方式（1）式和满分值（2）式， 提出了多级评分SCQM的设计方法。对于这种评分方式和满分值， 可达阵为完备Q矩阵; 若评分方式和满分值发生改变， 则可达阵可能不是完备Q矩阵， 如蔡艳等人（2017）提出减少满分值， 评分采用取整的方法， 使得一些本该在（1）式和（2）式条件下不同的作答结果变得相同， 故可达矩阵的完备性发生了改变。以4个属性线型结构为例， 其中可达阵项目 和， 四个项目的分值分别设为0.5分， 1分， 2分和3分， 根据文中算法， 被试和在可达阵上理想反应模式均为（0000）， 也即无法区分， 若采用（1）式和（2）式， 则可达阵仍为完备Q矩阵。事实上， 若每个属性的评分权重一样， 则当每题的满分值大于等于考察属性总数时， 可达阵仍为完备Q矩阵， 基于可达阵提炼的SCQM的完备性不发生改变。这一良好的性质拓展了SCQM的适用范围。若每个属性评分权重不一样， 则上述结论不一定成立。

7.2 测验的投入产出比

测验是需要时间成本和经济成本的， 因此， 提高测验效率， 用最少的题量实现对被试最大限度地区分， 是测验设计孜孜以求的目标。投入产出比被定义为判准率（MMR和PMR）除以投入的项目数以及估算时间， 数值越大表示单位时间以及每个题目上所得判准率越高， 即投入产出比越高。这个指标充分体现在短测验中， 在四种属性层级结构下， SSCQM/USCQM的投入产出比均大于可达阵， 其中， 线型结构的最简完备Q矩阵题量最少， 因此不论从出题量还是估计被试来说， 其时间花费少， 投入产出比最大。如在短测验中6个属性线型结构的SSCQM（只有1列）， 其投入产出比为0.9611/0.3318× 1=2.90， 而可达阵的分别为0.9845/1.0389×6=0.16。收敛结构的SSCQM/USCQM的投入产出比为0.93和1.08， 而可达阵的约为0.17。SSCQM/USCQM是投入产出比较高的测验。但SSCQM数量非常有限， 在考虑曝光率等因素时， 还需考虑USCQM。

7.3 关于USCQM

由测验的判准率来看， 不论是长测验还是短测验， 在考虑属性层级结构的情况下， 结构化（最简）完备Q矩阵可以替代可达阵， 且用题更少， 种类更多; 若不考虑属性层级结构， 非结构化（最简）完备Q矩阵也可替代可达阵或单位阵。相对于SSCQM而言， USCQM具有较大应用潜力， 原因有三：第一， 模拟研究发现， 在长测验中， 含USCQM的判准率大于含可达阵的， 在短测验中， 虽然USCQM的判准率略低于可达阵， 但相差较小， 约0.03左右（收敛结构差值不超过0.1）， 且其投入产出比均大于可达阵。第二， SSCQM和可达阵是基于属性层级结构的， 但由于认知过程存在个体差异， 属性层级结构不一定适合所有作答者。比如， 命题者（熟手）与被试（生手）对相同问题的认知过程不一定相同， 因此专家在设计Q矩阵时是否需要考虑属性层级结构也持有不同意见， 如Köhn和Chiu （2021）认为遵循某种属性层级结构不是必要的。第三， USCQM设计更丰富灵活。以收敛结构（a）为例， 介于之间的USCQM 达53个， 而SSCQM仅有2个， 可达阵只有1个。USCQM设计的这一特点， 有助于丰富出题的多样性， 不仅在纸笔测验中极具优势， 而且可以解决CD-CAT中因项目过度曝光带来的题库安全等问题。

7.4 关于基于可达阵提取的完备Q矩阵

基于可达阵R提取的多级评分SSCQM有如下优势：

（2）构造USCQM的关键。从R中提取的SSCQM有助于找到对应单位阵中的列， 而在R之外很难找到对应于单位阵中的列， 故而不利于USCQM的构造。

8 结论

针对0-1属性多级评分Q矩阵设计， 本研究提出了SSCQM和USCQM概念， 并给出了基于可达阵的SSCQM和USCQM设计及其算法。通过模拟研究， 考察属性层级结构、属性个数和项目参数等因素对（含）SSCQM、USCQM和可达阵等三种测验判准率的影响。研究结果均表明：第一， 测验（含）SSCQM、USCQM和可达阵越多， 则判准率越高。第二， 在长测验中， 当列数相同时， 随着项目参数的增加或属性个数的增加或属性层级结构的变化（从线型结构到无结构）， 含USCQM测验的判准率逐渐高于含SSCQM测验的判准率， 含可达阵测验的判准率最低。第三， 对于一定条件的长测验， 当SSCQM/USCQM的列数与可达阵的列数相同或者略少时， 其判准率高于可达阵， 但无论各个因素如何变化， 三种测验的判准率非常接近。第四， 在项目质量好的短测验中， 多个SSCQM是最优测验， 因此要特别注意测验项目的打磨。第五， 实测数据研究表明， 含SSCQM的测验和含可达阵的测验对被试的识别重复率达90%以上， 属性掌握比例相差不超过7%。总之， 基于理想反应模式， 本文提出的SSCQM和USCQM不仅可以替代可达阵， 而且可增加测验的多样性， 降低测验的曝光率。

9 展望

本研究仅针对0-1属性多级评分的一种评分方式和满分值进行了SCQM设计的探讨， 为多级评分Q矩阵的设计提供了思路， 而对于其他评分方式和满分值， SSCQM和USCQM如何构造， 值得研究。相较于0-1水平属性， 多分属性因对被试认知能力刻画更为细致而获得广泛关注， 关于多分属性0-1评分的测验设计问题（蔡艳， 涂冬波， 2015）， 目前有研究表明拟可达阵使得被试IRP与KS一一对应（丁树良 等， 2015）， 故拟可达阵为SSCQM， 然而USCQM的构造问题仍未涉及。进一步地， 如何构造多分属性多级评分的SSCQM和USCQM？从0-1属性到多分属性， 从0-1评分到多级评分， 这些因素两两结合的Q矩阵设计是否存在某种内在逻辑联系， 0-1属性0-1评分的测验设计是否是多分属性多级评分测验设计的特例， 是否可以拓展至多分属性多级评分？SCQM题量少， 是否适用于类似PISA测试（分配给学生不同且少量的题目测试）的情景中， 未来可进一步验证与应用。

参 考 文 献

Cai， Y.， & Tu， D. B. （2015）. Extension of cognitive diagnosis models based on the polytomous attributes framework and their Q-matrices designs. Acta Psychologica Sinica， 47（10）， 1300−1308.

[蔡艳， 涂冬波. （2015）. 属性多级化的认知诊断模型拓展及其Q矩阵设计. 心理学报， 47（10）， 1300−1308.]

Cai， Y.， Zhao， Y.， Liu， S. C.， Zhang， S. F.， & Tu， D. B. （2017）. An extended polytomous cognitive diagnostic model. Journal of Psychological Science， 40（6）， 1491−1497.

[蔡艳， 赵洋， 刘舒畅， 张淑芳， 涂冬波. （2017）. 一种优化的多级评分认知诊断模型. 心理科学， 40（6）， 1491−1497.]

Chen， J.， & de la Torre， J. （2018）. Introducing the general polytomous diagnosis modeling framework. Frontiers in Psychology， 9. https：//doi.org/10.3389/fpsyg.2018.01474

Chiu， C. Y. （2013）. Statistical refinement of the Q-matrix in cognitive diagnosis. Applied Psychological Measurement， 37（8）， 598−618.

Chiu， C. Y.， Douglas， J.， & Li， X. （2009）. Cluster analysis for cognitive diagnosis： Theory and applications. Psychometrika， 74， 633−665.

Chiu， C. Y.， & Köhn， H. F. （2015）. Consistency of cluster analysis for cognitive diagnosis： The DINO model and the DINA model revisited. Applied Psychological Measurement， 39（6）， 465−479.

De Carlo， L. T. （2011）. On the analysis of fraction subtraction data： The DINA model， classification， latent class sizes， and the q-matrix. Applied Psychological Measurement， 35（1）， 8−26.

De Carlo， L. T. （2012）. Recognizing uncertainty in the Q-matrix via a Bayesian extension of the DINA model. Applied Psychological Measurement， 36（6）， 447−468.

de la Torre， J. （2011）. The Generalized DINA Model Framework. Psychometrika， 76（2）， 179−199.

Ding， S. L.， Luo， F.， & Wang， W. Y. （2014）. Design of polytomous cognitively diagnostic test blueprint——For the independent and the rhombus attribute hierarchies. Journal of Jiangxi Normal University （Natural Sciences Edition）， 38（3）， 265−269.

[丁树良， 罗芬， 汪文义. （2014）. 多级评分认知诊断测验蓝图的设计——独立型和收敛型结构. 江西师范大学学报（自然科学版）， 38（3）， 265−269.]

Ding， S. L.， Luo， F.， Wang， W. Y.， LI， J.， & Xiong， J. H. （2022）. The structure of unstructured complete Q matrices and their identification. Journal of Jiangxi Normal University （Natural Sciences Edition）， 46（5）， 441−446.

[丁树良， 罗芬， 汪文义， 李佳， 熊建华. （2022）. 非结构化完备Q阵的构造与判定. 江西师范大学学报（自然科学版）， 46（5）， 441−446.]

Ding， S. L.， Luo， F.， Wang， W. Y.， & Xiong， J. H. （2015）. The properties of 0-1 and polytomous Reach ability matrices and their applications. Journal of Jiangxi Normal University （Natural Sciences Edition）， 39（1）， 64−68.

[丁树良， 罗芬， 汪文义， 熊建华. （2015）. 0-1和多值可达矩阵的性质及应用. 江西师范大学学报（自然科学版）， 39（1）， 64−68.]

Ding， S. L.， Mao， M. M.， Wang， W. Y.， Luo， F.， & Cui， Y. （2012）. Evaluating the consistency of test items relative to the cognitive model for educational cognitive diagnosis. Acta Psychologica Sinica， 44（11）， 1535−1546.

[丁树良， 毛萌萌， 汪文义， 罗芬， Cui， Y. （2012）. 教育认知诊断测验与认知模型一致性的评估. 心理学报， 44（11）， 1535−1546.]

Ding， S. L.， Wang， W. Y.， & Luo， F. （2014）. Design of polytomous cognitively diagnostic test blueprint——For the rooted tree type. Journal of Jiangxi Normal University （Natural Sciences Edition）， 38（2）， 111−118.

[丁树良， 汪文义， 罗芬. （2014）. 多级评分认知诊断测验蓝图的设计——根树型结构. 江西师范大学学报（自然科学版）， 38（2）， 111−118.]

Ding， S. L.， Wang， W. Y.， & Yang， S. Q. （2011）. The design of cognitive diagnostic test blueprints. Journal of Psychological Science， 34（2）， 258−265.

[丁树良， 汪文义， 杨淑群. （2011）. 认知诊断测验蓝图的设计. 心理科学， 34（2）， 258−265.]

Ding， S. L.， Yang， S. Q.， & Wang， W. Y. （2010）. The importance of reachability matrix in constructing cognitively diagnostic testing. Journal of Jiangxi Normal University （Natural Sciences Edition）， 34（5）， 490−494.

[丁树良， 杨淑群， 汪文义. （2010）. 可达矩阵在认知诊断测验编制中的重要作用. 江西师范大学学报（自然科学版）， 34（5）， 490−494.]

Fang， G.， Liu， J.， & Ying， Z. （2019）. On the identifiability of diagnostic classification models. Psychometrika， 84（1）， 19− 40.

Gao， X. L.， Gong， Y.， & Wang， F. （2021）. Research progress in polytomous cognitive diagnosis model. Journal of Psychological Science， 44（2）， 457−464.

[高旭亮， 龚毅， 王芳. （2021）. 多级评分认知诊断模型述评. 心理科学， 44（2）， 457−464.]

Groß， J.， & George， A. C. （2014）. On permissible attribute classes in noncompensatory cognitive diagnosis models. Methodology： European Journal of Research Methods for the Behavioral and Social Sciences， 10（3）， 100−107.

Gu， Y.， & Xu， G. （2019）. The sufficient and necessary condition for the identifiability and estimability of the DINA model. Psychometrika， 84（2）， 468−483.

Gu， Y.， & Xu， G. （2021a）. Sufficient and necessary conditions for the identifiability of the Q-matrix. Statistica Sinica， 31（1）， 449−472.

Gu， Y.， & Xu， G. （2021b）. Identifiability of hierarchical latent attribute models. preprint arXiv： 1906.07869v4.

Kang， C. H.， Xin， T.， & Tian， W. （2013）. Development and validation of diagnostic test for primary school arithmetic word problems. Examinations Research， 41（6）， 24−43.

[康春花， 辛涛， 田伟. （2013）. 小学数学应用题认知诊断测验编制及效度验证. 考试研究， 41（6）， 24−43.]

Köhn， H. F.， & Chiu， C. Y. （2017）. A procedure for assessing the completeness of the Q-matrices of cognitively diagnostic tests. Psychometrika， 82， 112−132.

Köhn， H. F.， & Chiu， C. Y. （2021）. A unified theory of the completeness of Q-Matrices for the DINA model. Journal of Classification， 38（3）， 500−518.

Leighton， J. P.， & Gierl， M. J. （2007）. Cognitive diagnostic assessment for education： Theory and applications. Cambridge University Press.

Lin， M.， & Xu， G. （2023）. Sufficient and Necessary Conditions for the Identifiability of DINA Models with Polytomous Responses. preprint arXiv： 2304.01363.

Liu， J.， Xu， G.， & Ying， Z. （2012）. Data-driven learning of Q-matrix. Applied Psychological Measurement， 36（7）， 548− 564.

Liu， J.， Xu， G.， & Ying， Z. （2013）. Theory of the self-learning Q-matrix. Bernoulli， 19， 1790−1817.

Ma， W. C.， & de la Torre， J. （2016）. A sequential cognitive diagnosis model for polytomous responses. British Journal of Mathematical and Statistical Psychology， 69（3）， 253−275.

Madison， M. J.， & Bradshaw， L. P. （2015）. The effects of Q-matrix design on classification accuracy in the log-linear cognitive diagnosis model. Educational and Psychological Measurement， 75（3）， 491−511.

Ouyang， J.， & Xu， G. （2022）. Identifiability of latent class models with covariates. Psychometrika， 87（4）， 1343−1360.

Sun， J. N.， Xin， T.， Zhang， S. M.， & de la Torre， J. （2013）. A polytomous extension of the generalized distance discriminating method. Applied Psychological Measurement， 37（7）， 503−521.

Tatsuoka， K. K. （1995）. Architecture of knowledge structures and cognitive diagnosis： A statistical pattern recognition and classification approach. Erlbaum： Hillsdale， 327−359.

Tatsuoka， K. K. （2009）. Cognitive assessment： An introduction to the rule space method. Routledge/Taylor & Francis Group.

Xu， G.， & Zhang， S. （2016）. Identifiability of diagnostic classification models. Psychometrika， 81（3）， 625−649.

Design of the polytomous simplest complete Q matrix based on the reachability matrix

Abstract

The identifiability of cognitive diagnosis models relies heavily on the completeness of the Q matrix. However， existing test designs primarily focus on dichotomously-scored items， neglecting the importance of polytomous cognitive diagnostic test design. Moreover， this limitation poses a significant obstacle to the advancement of cognitive diagnosis. To bridge this gap， this paper aimed to introduce novel designs for the construction of polytomous structured and unstructured simplest complete Q matrices （SSCQM/USCQM）. Our proposed approach considered all ideal response patterns （IRPs） of knowledge states （KSs） on the reachability matrix as research objects， with the objective of minimizing the number of columns selected from the reachability matrix. This ensured one-to-one correspondence between the set of KSs and the set of IRPs， thereby enhancing the completeness of the SSCQM. Additionally， we derived a polytomous USCQM by considering the relationship between the SSCQM and the sub-matrix of the corresponding identity matrix while ensuring that each row contains at least one “1”. Interestingly， the construction process revealed that there were more USCQMs than SSCQMs. This innovative approach expanded the possibilities for polytomous cognitive diagnostic test design.

This study focused on the design and evaluation of cognitive diagnostic tests using polytomous structured and unstructured Q matrices （SSCQM/USCQM）. We conducted two studies to comprehensively examine the influence of factors such as the number of attributes， attribute hierarchies， and item parameters on the precision of the SSCQM， USCQM， and reachability matrix. In the first study， variations in attribute structures and item parameter values were investigated to understand their impact on Q matrix accuracy. On the other hand， the second study explored the effects of attribute hierarchies and the number of attributes on the precision of the SSCQM， USCQM， and reachability matrix.

Both simulation studies and actual measurement data were utilized to assess the robustness and efficacy of the two methods. Firstly， the simulation results revealed several key findings. Notably， increasing the number of SSCQMs or USCQMs positively influenced the accuracy of the results. In the context of long tests， the USCQM demonstrated higher Pattern Match Ratio （PMR） and Marginal Match Ratio （MMR） compared to the SSCQM and the reachability matrix. This trend was particularly evident when there was an increase in item parameters， attribute numbers， or a change in attribute hierarchy. However， it is noteworthy that， regardless of these various factors， the PMR and MMR of the three tests exhibited minimal differences. On the other hand， in short tests with good item quality， the SSCQM achieved the best performance compared to other methods. This highlights the importance of considering specific test characteristics and item quality when selecting the appropriate Q matrix type. These findings provide valuable insights into the factors that influence the precision of Q matrices. They emphasize the benefits of increasing the number of matrices， understanding the impact of item parameters， and recognizing the performance disparities among different matrix types. Obtaining a comprehensive understanding of these relationships is vital for optimizing the design and implementation of cognitive diagnostic testing， ultimately guaranteeing accurate assessments of individual knowledge states. Secondly， analysis of the actual measurement data showed high identification repetition rates for the SSCQM and the reachability matrix， with a minimal difference in attribute mastery ratio.

In summary， both the SSCQM and the USCQM demonstrate adequate performance when compared to other Q matrices under similar conditions. These findings emphasize the significance of prioritizing completeness in cognitive diagnostic testing. This research seeks to contribute to the advancement of cognitive diagnosis by addressing the limitations of existing test designs and introducing new techniques for constructing polytomous Q matrices. In addition， the findings presented in this paper offer valuable insights for researchers and practitioners seeking to design high-quality cognitive diagnostic tests that accurately assess individual knowledge states.

Keywords polytomous， test design， SSCQM， USCQM， algorithm

附录

基本属性层级结构及其他结构的结构化最简完备Q矩阵算法步骤

第二步首先从最后1列开始， 第6列大于前面的列， 将第6列放入Q1中， 并在W中删除此列; 再考虑第5列， 情况如同第6列， 把该列放入Q1中， 并在W中删除此列， 如此下去， 直至把第3列放入Q1中， 此时剩余列数等于2， 直接计算W 剩余列的支柱列; 接着由于此时W中第2列大于第1列， 删除第1列， 将第2列放入Q2中;

第三步计算Q1支柱列， 最大列为全1列;

第四步由属性层级结构的分支数为1， 则只取Q1中全1列为结构化的Q矩阵;

第五步验证全1列为结构化最简完备Q矩阵。

收敛型（a）：第一步将可达阵中项目依据列和从小到大进行排序， 由第4列和第5列的列和相同， 则有

第二步首先两矩阵的第6列均大于前面的列， 则将第6列放入Q1中， 并在和中删除此列; 接着计算和剩余列的支柱列， 和的第1列小于第2列， 第2列小于第3列， 第3列小于第4列， 将第1，2，3列删除， 第4列放入Q2中， 最后重置和， 原第5列为新第1列， 因只剩1列， 直接放入Q2中;

第三步 Q1只有1列， 故该列为支柱列;

第四步该属性层级结构图中有2个分支， 故从Q2中随机取1列， 与Q1合并为一个矩阵， 故总共2个矩阵， 为

第二步首先两矩阵的第6列均大于前面的列， 则将第6列放入Q1中， 并在和中删除此列; 接着计算和剩余列的支柱列， 的第1列小于第2列， 第2列与第3列不能比较， 第2列小于第4列， 第4列小于第5列， 将第1，2，4列删除， 第5列放入Q2中， 最后重置， 原第3列为新第1列， 因只剩1列， 直接放入Q2中， 此时Q1有1列， 为（1，1，1，1，1，1）T， Q2有2列， 为（1，1，0，0，0，0）T和（1，0，1，1，1，0）T; 的第1列小于第2列， 第2列与后面的列均不可比较， 将第1列删除， 第2列放入Q2中， 重置的列， 原来的第3，4，5列即为新的第1，2，3列， 第3列大于第1，2列， 则将第3列放入Q1中， 因此的列数为2列， 第2列大于第1列， 删除第1列， 将第2列放入Q2中， 此时Q1有2列， 为（1，1，1，1，1，1）T和（1，0，1，1，1，0）T， Q2有2列， 为（1，1，0，0，0，0）T和（1，0，1，1，0，0）T;

第三步 的Q1只有2列， 取最大列 （1，1，1，1，1，1）T为支柱列;

第四步该属性层级结构图中有2个分支， 故从和Q2中随机取1列， 与和的Q1支柱列合并为一个矩阵， 故总共4个矩阵， 为

分支型：第一步将可达阵中项目依据列和从小到大进行排序， 由第2列和第3列， 第4列、第5列和第六列的列和相同， 则有;

第二步首先中没有最大列， 故Q1为空; 接着计算的支柱列， 的第1列小于第2列， 第2列小于第4列， 将第1，2列删除， 第4列放入Q2中， 重置， 原第3，5，6列为新第1，2，3列， 第1列小于第2列， 第2列与第3列不能比较， 将第1列删除， 第2列放入Q2中， 重置， 剩余1列， 也放入Q2中;

第三步 Q1为空;

第四步该属性层级结构图中有3个分支， 故Q2正好3列， 矩阵即为所求;

第五步验证所得矩阵为结构化最简完备Q矩阵。的结论一致。

无结构：第一步将可达阵中项目依据列和从小到大进行排序， 由第2列至第6列的列和相同， 则将这些列进行全排列， 以其中为例;

第二步首先中没有最大列， 故Q1为空; 接着计算的支柱列， 的第1列小于第2列， 第2列与后面列均不可比较， 将第1列删除， 第2列放入Q2中， 重置， 新的列均不能比较， 全部放入Q2中（无论列和为2的列如何排列， 这些列均互相不可比较， 故结果一致）;

第三步 Q1为空;

第五步验证所得矩阵为结构化最简完备Q矩阵。

第二步首先Q1为空; 接着计算的支柱列， 的列均不能比较， 全部放入Q2中（无论列和为1的列如何排列， 这些列均互相不可比较， 故结果一致）;

第三步 Q1为空;

第五步验证所得矩阵为结构化最简完备Q矩阵。

其他结构：

Sun等人（2013）文章中的结构

第一步将可达阵中项目依据列和从小到大进行排序， 由第1列至第4列， 第5， 6列的列和相同， 则将这些列分别全排列， 以其中为例;

第二步首先的第7列均大于前面的列， 则将第7列放入Q1中， 并在中删除此列; 接着计算的支柱列， 的第1列与第2，3，4列不能比较， 小于第5列， 将第1列删除， 第5列放入Q2中， 重置， 原第2，3，4，6列为新第1，2，3，4列， 此时没有最大列， 第1列无法比较， 放入Q2中， 并在中删除， 重置， 第2，3，4列为第1，2，3列， 也即原第3，4，6列， 这时的第3列最大， 放入Q1中， 第1，2列不能比较， 均放入Q2中， 此时Q1有2列， 为（1，1，1，1，1，1，1）T和（0，0，0，1，1，1，0）T， Q2有4列， 为（1，1，1，0，0，0，0）T 、（0，1，0，0，0，0，0）T、（0，0，0，1，0，0，0）T和（0，0，0，0，1，0，0）T;

第三步 Q1有2列， 取大为（1，1，1，1，1，1，1）T;

第五步验证所得矩阵为结构化最简完备Q矩阵。其他矩阵可得到其他6种结构化最简完备Q矩阵。

Köhn和Chiu （2021） 文章中的结构

第一步将可达阵中项目依据列和从小到大进行排序， 由两对列和相同， 则全排列， 以为例;

第二步首先中没有最大列， 故Q1为空; 接着计算的支柱列， 的第1列小于第4列， 第4列小于第7列， 第7，8，9，10列依次增大， 将第1，4，7，8，9列删除， 第10列放入Q2中， 重置， 没有最大列， 原第2列小于第3列， 第3列与其他列不能比较， 将第2列删除， 第3列放入Q2中， 重置， 原第11列最大， 放入Q1中， 剩余原5，6列， 由第5列小于第6列， 删除第5列， 第6列放入Q2中， 故Q1中只有原第11列， Q2中有原第3，6，10列;

第三步 Q1中只有原第11列;

第四步该属性层级结构图中的分支无法计算， 随机从 Q2中分别取1列、2列、3列与Q1中的列组合成矩阵Q;

第五步验证矩阵Q只有包含第3，6，10，11列即为结构最简化完备Q矩阵。

2.5个属性四种属性层级结构

7个属性四种属性层级结构

8个属性四种属性层级结构