模型验证:“花瓶”还是“安全阀”?

　　从2011年1月1日起，中银香港获得香港金管局（以下简称“金管局”）的批准正式实施内部评级法初级法。由于建立良好的模型治理机制不仅能够保证银行在风险识别、监控、缓解和报告方面的质量及效率，而且对整个银行体系和金融市场的稳定都具有突出的意义。因此，在批准之前的现场检查过程中，金管局对模型治理机制建设、验证政策制订和完善、内部验证数据准备、外部验证数据选择、验证模型表现统计指标选取、验证报告细节程度、模型表现恶化后启动补救行动时机及完成时间等都提出了具体的监管意见，而通过总结和分析这些监管意见，可以一窥“后危机时代”金管局的监管思路。
　　如何通过模型治理机制控制“模型风险”
　　如何保证模型风险降到最低是采用内部评级法的银行不得不考虑的首要问题。良好的模型治理机制对于内部评级体系的有效运作非常关键。一般而言，良好的模型治理机制主要包括：（1）银行的董事会和高级管理层对模型在风险识别和控制中的作用有清晰的认识，对内部评级模型的开发、维护、验证等给予足够的资源支持，推动内部评级模型在日常风险管理中的持续运用和不断优化。（2）模型开发坚持公开、透明的原则，并对开发过程详细记录，确保任何独立的第三方可以根据文档记录复制模型的开发过程。（3）使用模型进行评级的单位与赋有营销职能的单位分开，避免利益冲突导致评级结果的客观性受损。（4）模型开发、维护单位和模型验证单位必须分设，互不隶属，双方都直接向管理层和董事会进行汇报。（5）从事模型开发、维护与验证的核心技术人员对银行的风险决策有直接且重大的影响，需要考虑对其建立长期稳健的薪酬激励安排。（6）内部稽核和外部审计部门至少每年对内部评级体系运作整体状况进行独立审查，并将结果直接向董事会审计委员会报告。（7）保证模型结果披露的及时性和适当的透明度。
　　金管局特别强调，银行完成模型开发或模型的重大修改，在银行董事会和高级管理层正式实施之前，必须通过模型验证单位的独立验证。如果验证结论支持模型正式实施或认为对模型的重大修改可行，则相当于董事会和高级管理层获得了两个专业单位的“双保险”，从而可以有效降低“模型风险”。反之，则需要进一步探讨，在达成一致后报送董事会和高级管理层，经批准后再实施。
　　金管局的最低监管要求明确模型验证单位每年对所有已经正式使用的模型至少进行一次独立验证。而模型验证计划除了报请银行高级管理层和董事会批准外，还必须通知金管局。当银行预计模型验证工作进展滞后于验证计划时，必须及时告知金管局，以便金管局评估由此产生的风险。操作中，受时间、精力和投入资源的限制，金管局的检查不可能面面俱到，而要以模型验证结果作为认可模型表现的保证，从而彰显了模型验证的“安全阀”作用。
　　如何根据模型验证结果对模型缺陷进行补救
　　模型开发使用的数据是特定时段的历史数据，而模型持续验证使用的数据则是模型正式使用后积累的数据，金管局要求银行对模型表现（辨别力、稳定性、准确性等）进行持续的独立验证，以确保在任何验证时点，模型表现各个维度的指标都保持在最低可接受标准之上。
　　实践中，资产规模越大、业务越复杂的银行开发的模型数量可能会越多，不同的模型开发人员可能使用不同的统计指标从各个维度看待模型表现，尤其是模型开发基本采取外包形式的银行更容易产生这种问题。这样会导致模型开发时设定的表现指标与验证时设定的表现指标未必完全相同。针对这种情况，为有效消除由于指标不同产生的对模型表现判断的差异，在银行内部建立并采用统一的、标准化的模型表现指标非常必要。
　　在模型开发阶段，一方面，开发人员一般都会对模型的辨别力和模型结果的保守性设定可接受的最低标准，但会遇到“国际市场普遍接受的最低标准在特定市场上是否仍可沿用”的问题，如美国EG4f4I2AuchiQbAd+Oivvg==或欧洲银行业的模型表现最低可接受标准是否适用于主要资产或业务在香港本地的银行。而任何一家准备实施内部评级法的银行，在完成模型开发后设定模型表现指标时，唯一客观的参照物就是负责模型开发的顾问公司（或开发人员）所提供的国际标准。当顾问公司（或开发人员）采用的指标不完全相同，甚至同一指标的国际标准也不相同时，银行需要综合各种情况，设定模型辨别力和保守性的最低可接受标准。另一方面，受内部数据的限制（如建立模型的数据总量不足或违约数据样本不足，而且对时间跨度较大的数据质量缺乏足够信心），在模型开发阶段，对模型稳定性和预测结果的准确性则未必会设定严格的最低可接受标准。因此，在模型正式投入使用一段时间后，银行根据模型运作的实际状况逐步设立准确性和稳定性的最低可接受标准是更为稳妥的做法。
　　随着模型的使用，模型表现逐步下降是一种“常态”。基于这种认识，金管局非常关注银行是否对每个模型及模型表现的各个维度都设立了具体的监控指标和最低可接受标准，以及当在持续验证中发现单一指标或多项指标突破最低可接受标准时，银行能否及时采取修正行动。为此，金管局要求，当模型验证单位发现某一指标或多项指标恶化时，银行要对照模型开发、维护单位的模型监控报告，判断模型恶化的程度，及时启动相关程序。采取包括增加模型结果的保守性幅度、重新调校模型甚至重新开发模型的措施。由于每个统计指标的含义不同，银行要对模型恶化程度的判断需要综合考虑各项指标变化的程度，否则可能由于过于谨慎或过于乐观而产生新的问题。例如，验证零售组合稳定性的指标PSI（Population Stability Index），当它超过国际银行业统一设定的0.25的阈值时，只能说明验证采用的数据已经和模型开发时的数据产生了明显差异，但并不能根据该项指标判定模型表现已经恶化，此时需要进一步修改模型。
　　此外，金管局还强调当银行确定模型表现各个维度的最低可接受标准后，如果没有充分的证据，不能随意下调最低可接受标准，严格杜绝由于标准降低而产生的模型缺陷不能及时修正的风险。
　　如何在模型验证中正确理解和使用内部及外部标尺
　　当银行内部数据严重不足时，通过引入外部标尺或在内部建立标尺可以在一定程度上弥补内部数据的不足，支持模型验证的结论。然而，广义上，外部标尺泛指外部评级公司或外部信用评级机构等对与银行内部风险类型相同的组合进行的评级（风险排序）以及评级级别对应的风险参数（如违约概率和违约损失率）。
　　金融机构和主权国家容易获得外部评级机构的评级结果及对应的违约概率，比较容易将其作为银行内部模型输出结果的标尺。在香港，外部信用评级机构也提供零售客户信用评分结果，可用作银行内部开发的“零售申请评分卡”或“行为评分卡”的标尺。实践中，无论是内部评级模型还是外部评级的结果都会产生对风险的排序，对同样的债务人或风险特征相近的债务人，将对其的外部评级结果与内部评级结果进行对比，是评价内部模型辨别力的直接证据。但内部和外部违约定义的差异，及主标尺的差异可能导致内部评级和外部评级的违约概率差别较大，因此以外部标尺衡量内部评级模型结果的准确性会遇到较大的挑战。例如，对于金融机构违约概率的准确性验证，金管局建议银行以内部和外部评级结果相同（包括完全相同和上下相差在两个级别内）的比例作为评价指标，如果两者的一致程度超过一定比例（80%）则认为内部评级结果是准确的。这种做法实际上暗含了完全相信外部评级结果准确性的假设。
　　建立内部标尺也是金管局鼓励的方法。最理想的做法是银行建立两套内部评级模型，将评级结果相互对照。但这样做的成本很大，没有银行愿意采取这种做法建立内部标尺。更常见的做法是在选取验证样本后，通过比较内部模型结果和专家排序的结果来证明模型的辨别力，但这种方法无法验证模型的准确性。鉴于银行也无法严格证明专家排序的合理性，无论内部模型结果和专家排序的结果匹配程度好或坏，都不能直接说明模型辨别力的高低。尽管专家排序有缺陷，但仍是较为普遍使用的内部标尺。如何更好地定量验证低违约组合模型的表现仍是全球银行业面临的难题。
　　
　　如何让模型验证成为我国银行业未来风险管理的“安全阀”
　　按照银监会的要求，我国银行业正在向着内部评级法的使用努力，部分银行在风险量化领域已经迈出了重要“步伐”。然而，模型的验证仍处在起步阶段。从香港地区银行和金管局的做法中，可以得到以下启示。
　　第一，注重模型验证单位的独立性和专业性。在我国银行业实施内部评级法和建设模型治理机制的过程中，普遍存在着模型验证单位定位不够清晰、部分银行甚至没有专门的模型验证职能单位的问题。即使建立了模型验证单位，但同模型开发、维护单位也并未在职能上完全分开，且缺乏独立的汇报路径。此外，鉴于银行内部技术力量不足，有些银行将模型验证工作外包给顾问公司，但模型验证并非一次性的工作，外包只能作为模型验证的补充力量，而非主要力量。如果银行自己缺乏持续验证的能力，模型验证工作的“安全阀”作用势必大打折扣。为此，建议在银行内部成立独立的模型验证单位（至少做到机构独立和报告线路独立）作为实施内部评级法的最低监管要求，同时鼓励银行形成模型开发、维护和验证的技术能力，并将自主模型开发、维护和验证能力作为内部评级法合规的评价内容。
　　第二，将模型表现各个维度指标按重要程度进行区分，在现阶段突出对模型辨别力和预测结果保守性的监管。模型辨别力是指模型识别客户风险的能力，是建立模型的最重要目的，而模型预测结果的保守性将直接代入资本计算公式，因而对内部评级法下监管资本的审慎计算非常关键。从香港地区银行的实践来看，对实施内部评级法初级法的银行，金管局更关注模型辨别力和预测结果的保守性，因为模型的稳定性和准确性不仅在技术上更难实现，而且涉及到模型在经济资本配置、定价、提取准备金等更深层次的实质性运用。基于对现阶段国内银行业实施内部评级法情况的整体判断，模型预测结果的准确性几乎是无法达到的目标，因而不宜过分强调模型预测结果的准确性。
　　第三，在董事会审批的风险政策（特别是风险偏好政策）中，要明确模型表现的最低可接受标准及出现模型表现指标突破最低可接受标准时的补救程序和措施。如果银行没有模型表现的最低可接受标准，或尚未将这类标准上升到由董事会审批的风险偏好中，模型的日常维护和验证工作就必然会产生不规范和随意性，也就难以及时对模型缺陷进行修正，进而可能导致“模型风险”失控。
　　第四，鼓励银行建立和完善内部标尺。我国银行业以公司类贷款为主，而公司类债务人普遍缺乏巴塞尔委员会认可的外部评级结果，难以将外部标尺作为主要的验证方法。以专家判断作为主要内部标尺的方法在实施过程中，如何确保专家排序的科学性和合理性仍需要不断探索，短时期内这些约束条件都会给模型验证工作带来很大的挑战。为此，有条件的银行应考虑建立多种形式的内部标尺，积累内部标尺的经验。特别是对于低违约组合，在难以通过有效的定量方法进行验证的情况下，尤其应该注重发挥定性验证的作用。可以考虑借鉴香港地区银行的定性验证方法和程序（图1），作为对定量验证结果的有益补充。
　　第五，以建立验证数据采集监管标准、定量验证方法的最低监管要求和增强信息披露的及时性为重点，促进在银行内部形成及时发现不足并及时解决的良性循环。对申请实施内部评级法银行的模型验证工作的监管应重点突出“三个方面”的要求：（1）借鉴金管局做法，对违约概率、违约损失率和违约暴露模型的验证数据采集确立严格的标准。由于验证数据的完整、及时、客观、有效和准确对验证结论具有实质性影响，为避免操纵验证结果，应该从数据入手。（2）确定定量验证方法的最低监管要求，特别是确定我国实施内部评级法银行统一的、标准化的验证方法，从而便于比较所有实施内部评级法银行开发的模型在各个维度上的实际表现。同时，鼓励银行在统一的、标准化定量验证方法之外建立新的补充验证方法。（3）提高内部评级信息披露的及时性和透明度。要求实施内部评级法的银行将每次模型验证的结果，特别是在不能按计划完成模型验证工作时向监管机构及时报备。适时出台内部评级法的信息披露要求，要求正式实施内部评级法的银行就内部评级的关键信息进行公开披露。
　　（作者单位：中银香港风险管理部）