民航SMS效能评估架构设计

□ 中国民航局 马 骏 中国民航大学 陈 芳 刘玲莉 马 媛/文

资料图片

当前，中国民航处于高质量发展“转段进阶”的关键阶段，在规划与改革“双引擎驱动”的工作格局下，民航局把“完善航空安全管理体系” 作为“十四五”时期深化改革工作的第一专项部署加以推进。可以预见，到2025年，中国民航将通过完善SMS，在安全监督管理模式上实现突破，形成具有适应性、引领性和前瞻性的行业安全治理体系。为此，2021年初中国民航局发布文件，初步建立起了一致规范性的行业SMS审核管理制度，下一步，改进完善现有的审核评估工具显得尤为迫切。

在《国际民航SMS效能评估实施进展》一文中（详见本刊2021年第7期），对比了相关区域（领域）官方（半官方）国际性组织、主要国家民航当局的SMS评估工具，包括欧盟航空安全局（EASA）、安全管理国际协作小组（SMICG）、澳大利亚民用航空安全局（CASA）、英国民用航空局（CAA）等发布的《EASA管理体系评估工具》、《SMICG SMS评估工具》、《CASA SMS评估工具》、《CAA SMS评估工具》，以及中国民航局《民航安全管理体系（SMS）审核管理办法》、《民航空管安全管理体系（SMS）审核管理办法》。研究发现，国内外评估工具在“依据”、“使用方”以及“结果的运用”等方面存在区别。为了探索设计符合我国现阶段SMS建设需求的效能评估工具，本文以国外典型SMS评估工具中的同一要素——“危险源识别”为例，展示、分析不同评估工具的评估架构、设计思路和核心要素，对比其异同，提出我国民航SMS效能审核（或评估）工具架构的设想。

国际民航SMS效能评估构架设计

（一）EASA管理体系评估架构设计

在使用《EASA管理体系评估工具》进行效能评估时，按照“安全方针和目标”、“安全风险管理”、“安全保证”、“安全促进”以及“需要考虑的其他项目”进行评估。检查表按照评估内容包括“要素”、“要素PSOE级别”、“寻找什么”和相应的欧盟或EASA要求等内容，其设计样式见图1。

（二） SMICG SMS评估架构设计

检查表按照评估内容包括“符合性+绩效指标”、“PSOE级别选择”、“如何实现”、“指标评价”、“寻找什么”以及“要素PSOE级别”等内容，其设计样式见图2。

（三）CASA SMS评估架构设计

《CASA SMS评估工具》中的检查表按照评估内容可分为“要素”、“符合性+绩效指标”、“PSOE级别选择”、“如何实现”、“指标评价”、“要素整体效能”以及“要素整体效能级别选择和评价”等内容，其设计样式见图3。

（四）CAA SMS评估架构设计

《CAA SMS评估工具》中的检查表按照评估内容可分为“要素”、“符合性+绩效指标”、“PSOE级别选择”、“如何实现”、“寻找什么”、“指标评价”、“要素整体效能”以及“要素整体效能级别选择和评价”等内容，其设计样式见图4。

国际民航SMS效能评估架构对比

（一）使用对象设计分析

图1：EASA管理体系评估架构

图2：SMICG SMS评估架构

图3： CASASMS评估架构

按照检查单的使用对象划分，国际上典型SMS效能评估工具检查单的内容包括关于要素要点以及审核证据等的描述、被评估组织填写的内容以及监管当局填写的内容。“描述”包括“要素”、“符合性+绩效指标”、“要素PSOE级别”、“寻找什么”以及“要素整体效能”。“被评估组织填写的内容”由被评估组织根据组织SMS实施情况，对照“描述”中的内容，选择每个指标目前实施所达到的级别，在“如何实现”中详细阐述组织是如何实施该指标并达到所选择的PSOE级别，包括“PSOE级别选择”和“如何实现”。“监管当局填写的内容”由监管当局对每个要素下的指标以及要素整体效能进行评价，并说明对每个要素整体效能判断的过程、评估理由、现场检查情况等，包括“指标评价”、“要素整体效能级别选择和评价”。对比情况见表1。

图4：CAASMS评估架构

从表1可以发现：

1.不同机构或国家“描述”的内容迥异

除《SMICG SMS评估工具》以外，其他三个典型SMS评估工具均包括“要素”，且都是来源于规章要求中的内容，要素的描述也均以附件19中SMS的要求为主，是对被评估方在建设并保持该评估要素全面的要求。在此基础上，《EASA管理体系评估工具》还详细列出了每个要素对应的组织遵守的规章文件。

“符合性+绩效指标”是为了将要素转变为更便于理解和审核的具体指标，以便于更加全面且详细地评估SMS效能，除《EASA管理体系评估工具》以外，其他三个评估工具均对此有不同详略程度的“符合性+绩效指标”的描述。

“要素PSOE级别”和“寻找什么”的设置上，《EASA管理体系评估工具》和《SMICG SMS评估工具》是一致的。“要素PSOE级别”可以帮助评估工具的使用方将级别描述与被评估方的情况对照以做出正确的级别判断，“寻找什么”给出了便于被评估组织或监管当局判断本要素所处级别的审核证据的提示。此外，《CAA SMS评估工具》也设置了“寻找什么”，而《CASA SMS评估工具》和《CAA SMS评估工具》均设置了“要素整体效能”。

2.不同机构或国家“被评估组织填写的内容”和“监管当局填写的内容”基本一致

表1：典型SMS效能评估工具对比

除《EASA管理体系评估工具》以外，其他三个评估工具均涵盖由“被评估组织”填写的内容，包括“PSOE级别选择”和“如何实现”；同时，均包括了“指标评价”。这是因为《EASA管理体系评估工具》没有将每个评估要素划分为对应的“符合性+绩效指标”，也就没有了针对每个指标的评价部分，“指标评价”是依据“描述”中的内容而进行的。

只有《CASA SMS评估工具》和《CAA SMS评估工具》具有“要素整体效能级别选择和评价”，这是因为这两个评估工具具有要素整效能评估的内容。但二者对于每个要素整体效能判断等级的划分不同，其中，《CASA SMS评估工具》将评估要素的整体效能分为“没有达到效能”和“达到效能”；《CAA SMS评估工具》将评估要素的整体效能分为初始的、存在并合适的、正在运行中的（但无效的）、取得成效的以及卓越五个级别。“要素整体效能级别选择和评价”是依据“描述”以及被评估组织填写完成后的内容，再结合监管当局评估的实际情况而填写的。

（二）功能设计对比分析

SMS效能评估工具的检查单功能设计框架包括“要素描述层”、“评估指导层”、“指标评估层”以及“效能评估层”。

对比国际民航SMS效能评估工具的检查单架构，可以发现：

1.除《SMICG SMS评估工具》以外，其他三个评估工具都包括“要素描述层”。

2.只有《EASA管理体系评估工具》和《SMICG SMS评估工具》包括“评估指导层”，均是为评估给出一定的参考，无需评估方或被评估方填写。

3.除《EASA管理体系评估工具》以外，其他三个评估工具均包括“指标评估层”中的“符合性+绩效指标”、“PSOE级别选择”、“如何实现”以及“指标评价”四个评估要素，这是因为《EASA管理体系评估工具》中没有将要素划分为要点以及相对应的“符合性+绩效指标”。且只有《CAA SMS评估工具》中有“寻找什么”，尽管此处的“寻找什么”与“评估指导层”中的“寻找什么”的出现位置不同，但所起到的功能是相同的。

4.只有《CASA SMS评估工具》以及《CAA SMS评估工具》中有“效能评估层”，用于对要素的效能进行整体性评估。

我国民航SMS效能评估架构设计构想

为了满足我国民航生产运行单位组织SMS效能自评、监管单位对民航生产运行单位开展行政性评估的需要，并促进运行单位与监管单位在SMS效能相关认识上进一步趋于一致，笔者通过对国际民航SMS效能评估工具的使用对象设计以及功能设计的分析，设计了我国民航SMS效能评估工具的架构，见图5。

图5：我国民航SMS效能评估工具样例

从图5可以看出，我国民航SMS效能评估工具，在设计时参照了国际SMS效能评估工具检查单的功能设计框架，其框架包括“要素描述层”、“评估指导层”、“指标评估层”以及“效能评估层”四个层级。按照检查单的使用对象划分的“描述”在四个层级中都有体现，“监管当局填写的内容”体现在“效能评估层”以及“指标评估层”；“被评估组织填写的内容”体现在“指标评估层”。

1.要素描述层

该层级用于描述被评估要素，包括附件19《安全管理》SMS的12个“要素”的描述。

2.效能评估层

该层级用于说明附件19《安全管理》SMS的12个“要素”中的每一个要素的整体效能。该层级包括每一个要素的整体效能描述、PSOE的等级的选项和“评价”三部分。要素“PSOE”等级的选择和“评价”内容的撰写由监管当局根据该要素下设的所有“指标评估层”的效能审核要点的PSOE等级及实现情况综合评定。

3.指标评估层

该层级用于从符合性和绩效描述每一个评估指标“效能审核要点”，由被评估组织填写的该指标“PSOE”等级的选择、“如何实现”该指标效能的描述，以及由监管当局填写的该指标的效能水平的“评价”。

4.评估指导层

该层级为每一个评估指标提供其分别隶属于存在的（P）、合适的（S）、运行中的（O）、有效的（E）的“效能审核提示”，包括“效能审核提示”和“PSOE级别”。

笔者认为，按照本文框架设计的SMS效能评估工具不仅能够为评估提供详细指导，也能够实现对要素整体效能的评估，同时也能为下一步设计出体现我国民航安全新发展理念的效能评估单、效能评估要点、效能评估审核提示以及效能审核等级判定等功能模块打下基础。