新加坡人工智能监管模式框架

前言

从广为人知的谷歌Deep Mind带来的成就、商汤科技（SenseTime）的面部识别技术成果，到苹果Siri或亚马逊Alexa等无处不在的虚拟助理的出现，人工智能越来越多地出现在我们的日常生活中。人工智能带来了诸多益处，包括从时间的节省到迄今为止未知医疗状况的诊断等，但也引起了新的担忧，如个人隐私问题和算法偏见。

在如此快速的技术进步和商业模式演变中，决策制定者和监管者必须以同样的方式接纳技术的革新。本《人工智能监管模式框架》（《模式框架》）源于新加坡的政策制定者和监管者们努力寻找出一种一般性的人工智能监管方法，以及一套与负责任的使用人工智能相关的一致定义和原则，从而为行业参与者提供更明确的前景，并促进人工智能被社会接受，同时确保能够满足监管的要求。该《模式框架》改编自个人数据保护委员会（PDPC）于2018年6月发布的文件。

这一基于问责制的《模式框架》的第一版本，旨在围绕以负责任的方式监管人工智能所产生的挑战和可能的解决方案展开讨论。本《模式框架》的目标是总结出一套基本原则，并围绕关键的统一主题加以整理，并将它们编译成易于理解和可适用的框架结构，努力寻求为用户提供以实际方式预测并最终克服这些潜在挑战的方法。

该《模式框架》是新加坡所做的一次尝试，试图通过提供一个框架结构以助力将伦理道德原则（ethicalprinciples）转化为企业可采取的实际措施，为全球有关人工智能伦理的讨论做出贡献。该模式是在与来自不同背景和司法管辖区的学者、行业领袖和技术专家协商讨论后制定的，而观点的多样性反映出PDPC、信息通信媒体发展局（IMDA）以及人工智能与数据使用伦理咨询委员会以合作、包容的态度规划新加坡人工智能生态系统的愿望。

在人工智能方面仍有很多问题有待解答，甚至有更大的疑问需要提出。本《模式框架》可能并不能给出所有问题的答案，但它代表了一个坚定的起步并且为所有人——个人与组织——提供了一个机会，即有效应对与处理存在于基本理念与实际操作中的难题，而这有可能是决定未来几年人工智能发展的关键所在。

——新加坡通讯和信息部长部长易华仁，2019年1月

一、序言

1.人工智能治理《模式框架》（《模式框架》）主要关注4个范围较广的领域：内部治理、决策模型、运营管理以及客户关系管理。虽然本《模式框架》不会受制于所追求的目标，但它最终会受到形式、目的和有关范围的实际考虑的限制。有鉴于此，有几点附加说明需要注意，《模式框架》：

（1）不考虑算法（A lgorithm-agnostic）。它不关注特定的人工智能或者数据分析方法，它适用于一般人工智能的设计、应用和使用；

（2）不考虑技术（Technology-agnostic）。它不专注于特定的系统、软件和技术，并将适用于任何开发语言和数据存储方法；

（3）不考虑部门（Sector-agnostic）。它作为一系列基准性的考虑因素和措施供任何行业领域的组织机构采用。特定的行业或者组织机构可以选择将额外的考虑因素和措施囊括在内，或者调整这个基准性的内容以满足他们的需求。

2.人们认识到，以符合伦理的方式使用人工智能目前存在很多的问题。该《模式框架》并不关注这些具体的问题，这些问题通常在另外的研究和处理中能够解决，这些问题包括：

（1）阐明人工智能的一系列伦理原则。在全球范围内，建立伦理原则的尝试有很多。虽然伦理原则的核心内容是一以贯之的，但文化、司法管辖区和行业部门之间也存在着差异。虽然本《模式框架》从现有文献整理出一个术语表，但它并没有另外再提出一组这样的原则。

（2）提供《模式框架》并解决数据共享问题，无论是在公共部门和私营部门之间、组织机构之间还是在企业内部。目前针对该问题存在许多相关指南，包括《PDPC数据共享指南》和《为数据共享的数据评估指南》。

（3）讨论与人工智能相关的法律责任、人工智能的知识产权和社会影响等相关问题，例如：就业、竞争、不同社会阶层获取人工智能产品和服务的不平等、人工智能技术落入错误的人手中等。这些问题无疑具有相关性，并且将通过新加坡管理大学法学院或其他相关论坛设立的人工智能和数据治理中心进行分别研究。

二、引言

目标

1.数据和计算能力的飞速增长（exponentialgrow th）推动了诸如人工智能（AI）等由数据驱动的技术的进步。组织机构可以用人工智能来提供新的商品和服务，提高生产力，增强竞争力，最终推动经济的增长并提高生活品质。然而与任何新的技术一样，人工智能也带来了新的伦理、法律和监管方面的挑战。这其中包括因无意造成的歧视导致不公平的结果而引发的风险，以及消费者想要了解人工智能是如何参与与之相关的重大决策或敏感问题的决策所产生的问题。

2.个人数据保护委员会（PDPC）、信息通信媒体发展局（IMDA）在人工智能与数据使用伦理咨询委员会（Advisory Councilon the EthicalUseofAIand Data）的建议下，制定本性质上是自愿签署的、目前为第一版的《模式框架》，将其作为一个通用的、即拿即用的工具，以使得正在大规模部署人工智能解决方案的组织机构能够采用负责任的方式进行。此《模式框架》不适用于部署已经更新的、现成的商业化软件包的组织机构，这些软件包现在恰好将人工智能纳入其功能的集合中。

3.这一自愿的《模式框架》为需要考虑的关键问题和可采取的措施提供指导。采用这种《模式框架》需要调整措施以解决正在执行该措施的组织机构面临的问题。《模式框架》旨在帮助组织机构实现下列目标：

（1）通过组织机构以负责的态度使用此类技术，减轻人工智能发展中的各种风险，建立消费者对人工智能的信心。

（2）尽己所能使内部政策、框架结构和程序与数据管理和保护中以问责制为基础的相关实践保持一致，例如《个人数据保护法》（PersonalData Protection Act,2012）和经合组织隐私保护原则（OECD Privacy Principles）。

4.组织机构采纳该《模式框架》中的建议的程度取决于几个因素，包括组织机构使用的人工智能的性质和复杂程度；人工智能在组织机构所做决策中的参与程度；以及自主决策对于个体造成伤害的严重程度与可能性。详细说明如下：人工智能可以用来增强人类决策者的能力或者自主作出决策，例如医疗诊断中的自主决策对个体的影响要大于处理银行贷款时自主决策对个体的影响。因此人工智能发展的商业风险将与对个人的影响成正比。人们还认识到，以合乎伦理道德的方式实施人工智能技术的情况下，如果其成本将超过预期收益，那么组织机构应当考虑是否应当采用其他非人工智能解决方案。

指导原则

5.本《模式框架》建立在两个能够促进对于人工智能的信赖，以及了解人工智能技术的使用方面的高级指导原则之上：

（1）在做出决策的过程中使用人工智能的组织机构应当确保决策过程是可解释的、透明的和公平的。尽管不可能实现完全的可解释性、透明度以及公平性，但组织机构仍应努力确保其对人工智能的使用和应用方式能够反映这些原则意图达成的目标。这有助于建立对人工智能的信赖和信心。

（2）人工智能解决方案应当以人类为中心，由于人工智能的使用是用来增强人类的能力的，因此在设计、研发和部署人工智能时应当首先考虑保护人类的利益，包括人类的福祉与安全。

6.人工智能技术融入了一系列旨在提高人类生产力的科技。与早期的技术不同，某些与自主预测有关的方面可能无法完全得到解释。依赖人工智能自主预测进而做出可能影响到个体的或者对社会、市场与或经济有重大影响的决定的组织机构，应当使用本《模式框架》。

7.当组织机构开始着手在其工序中大规模部署人工智能，或者使用人工智能提高其产品和/或服务时，应当详细制定一套伦理道德原则。组织机构还应当尽可能审查其现有的企业价值观，并将其制定的伦理道德原则纳入其中。该《模式框架》旨在通过将伦理道德原则纳入熟悉的、预先制定的公司治理结构中来帮助组织机构，并因此指导组织机构使用人工智能技术。在必要时，组织机构可参考本《模式框架》末尾的人工智能伦理价值术语表（见附件B）。

责任承担

8.《模式框架》的目的是在总体上讨论运行良好的数据治理实践。相比于纯粹的决策树驱动（pure decision tree driven）的人工智能模型或者建立在小数据集基础上的人工智方法（例如传输学习或合成数据的使用），它更适用于大数据人工智能模型。

9.该《模式框架》不能解决严重依赖人工智能的组织机构在受到网络攻击导致灾难性失败时的风险。无论是否使用人工智能技术，组织机构仍有责任确保其产品和服务的可用性、可靠性、质量和安全性符合要求。

10.采用这一自愿的《模式框架》并不能免除组织机构遵守现行法律法规的责任。然而，由于这是一个基于问责制的框架，采用它将有助于证明他们在数据管理和保护方面实施了基于问责制的措施，例如《个人数据保护法》（2012年）和经合组织隐私保护原则（中规定的要求）。

定义

11.以下简化图描述了《模式框架》中所讨论的、人工智能适用过程中的关键利益相关者：

12.人工智能使用中的一些术语可能根据上下文和用途的不同而有不同的定义。本《模式框架》中所使用的一些关键术语定义如下：

“人工智能（AI）”（Artificial Intelligence）指的是一系列努力寻求模仿人类特征的技术，例如理解、推理、解决问题、感知、学习和规划。人工智能技术依靠人工智能算法生成模型。最合适的模型将被选出并应用于生产系统。

“人工智能解决方案提供商”（AISolution Providers）研发利用人工智能技术的人工智能解决方案或应用系统。这不仅包括商业化的现成产品、在线服务、移动应用程序和消费者可以直接使用的其他软件，还包括“企业对企业对消费者”（business-to-business-toconsumer）的应用程序，例如出售给金融机构的人工智能欺诈检测软件。他们还包括将人工智能功能组合到其产品上的装备制造商，以及那些解决方案并非独立、而是要组合在最终产品上的设备制造商。一些组织机构开发出了自己的人工智能解决方案，并可以成为自己的解决方案提供商。

“组织机构”（organizations）指的是在其业务中采用或者部署人工智能解决方案的公司或者其他实体，例如后台操作（例如处理贷款申请），前台服务（如电子商务门户或叫车服务应用程序），或者是销售或分销提供人工智能驱动特征的设备（例如智能家用电器）。

“个体”（individuals），根据上下文，指的是打算向其提供人工智能产品和/或服务的人员，或已经购买人工智能产品和/或服务的人员。这些人也可能被称为“消费者”或者“客户”。

三、人工智能治理模式框架

1.本《模式框架》涵盖了能够帮助组织机构在下列关键领域以负责任的方式使用人工智能的指导：

（1）内部治理结构和措施：调整现有的或建立新的内部治理结构和措施，以纳入与算法决策相关的价值观念、风险管控和责任承担方式。

（2）确定人工智能决策模型：帮助组织机构确定其风险承受意愿（risk appetite）的方法，即帮助组织机构识别它能够接受的风险并为实施人工智能确定合适的决策模型。

（3）运营管理：在开发、选择和维护人工智能模型时需要考虑的问题，包括数据管理。

（4）客户关系管理：与消费者和客户沟通的策略，以及管理与他们之间的关系。

2.在本框架模式中只有部分要素可以采用的情况下，组织机构应当采用与之相关的要素。附件C说明了组织机构可以采用该《模式框架》的方法。

内部治理结构和措施

3.组织机构应当建立内部治理结构和措施，以确保对人工智能的使用进行有力的监督。组织机构可以调整现有的内部治理结构，和/或在必要时采纳新的治理结构。例如使用人工智能的相关风险可以在企业风险管理结构中进行管理；对于伦理道德的考虑可以作为企业价值观加以引入，并通过道德审查委员会或者类似机构进行管理。组织机构还应当确定其内部治理结构符合适当的特征。例如，当完全依赖集中治理机制的模式并非最佳的选择时，在必要的情况下则可以以非集中治理机制将有关伦理道德的考虑因素纳入运营层面的日常决策中。在这方面，组织机构的最高管理层及其董事会对人工智能治理的赞助、支持和参与至关重要。

4.组织机构应当在其内部治理结构中包含以下部分或全部的特征：

（1）明确以符合伦理道德的方式部署人工智能的角色和责任

a.人工智能部署所涉及的各个阶段和活动的责任承担以及监督机制应授予合适的人员和/或部门，在有必要且有可能的情况下，可以建立一个拥有相关专业知识和适当代表性的协调机构。

b.承担人工智能内部监管职能的员工和/或部门应当充分了解他们的角色和责任，接受一定的培训并能够获得履行其职责所需的资源和指导。

c.应当分派的关键角色和职责包括：

i.使用现有的所有风险管理框架，并将风险控制措施（见下文“风险管理和内部控制”）应用于：

·评估并管控部署人工智能所产生的风险（包括对个人的任何潜在不利影响，例如谁是最脆弱的，他们将受到的影响如何，如何评估所产生的影响的规模，如何从受影响的人那里获得反馈等）。

·决定适当的人工智能决策制定模型。

·管理人工智能模型的培训和选择过程。

ii.维护、监测和审查已经部署的人工智能模型，以便在需要时采取补救措施。

iii.审查与消费者和客户的沟通渠道和相互间的互动，以提供公开的信息和有效的反馈渠道。

iv.确保处理人工智能系统的相关人员接受有关解释人工智能模型输出结果和作出决策的培训。

（2）风险管理和内部控制

a.应建立一套完善的风险管理和内部控制系统，特别是针对所选人工智能模型部署过程中涉及的风险。

b.这些措施包括：

i.尽最大努力确保用于人工智能模型训练的数据集足以达到预期目的，评估并管控由不准确信息或者含有偏差的信息导致的风险，以及审查人工智能模型的训练期间发现的异常情况。实际上，完全没有偏差的数据集是不存在的，组织机构应当努力了解数据集可能存在偏差的方式，并在其安保措施和部署策略中解决这一问题。

ii.建立监测和报告系统以及相关流程，以确保相应的管理层了解已部署人工智能的性能和其他相关问题。情况合适时，可以将自主监测纳入人类监督活动以扩大有效监督的范围。可以对人工智能模型进行设计，使它能够在可信赖的水平度以上报告其预测结果，而可解释性特征则专注于人工智能模型为何能够具备某一确定的可信度水平，而非作出预测结果的原因。

iii.当人工智能活动中涉及到的关键人员发生变化时，应确保对人工智能活动的熟悉程度不会改变，这将降低因员工流动造成的内部治理脱节的风险。

iv.当组织结构或关键人员发生重大变化时，应审查内部治理结构和措施。

v.定期审查内部治理结构和措施，以确保其始终保持相关性和有效性。

确定人工智能决策模型

5.在部署人工智能解决方案之前，组织机构应决定其使用人工智能的商业目标，例如为了确保决策的一致性、提高运营效率和降低成本，或引入具备新功能的新产品以增加消费者的选择余地。接下来组织机构可以将能够带来的收益与在决策中使用人工智能的风险相权衡。这一评估应以企业的价值观作为指导，而该价值观反过来又能反映组织机构所在地区的社会规范。

6.在多个国家开展业务的组织机构应尽可能考虑社会规范和价值观的差异，例如某个游戏广告在某一国家是可以被接受的，但是在另一个国家却不被接受。即使是在一个国家，风险也能因为人工智能部署的领域、行业不同而有所差异。例如，与网上购物中心推广产品或与自动批准旅游保险在线申请有关的推荐引擎对涉及到的个体造成的风险，可能要比向经验丰富的投资者提供算法交易设备推荐引擎更低。

7.对个体造成的风险有可能只在群体层面显现。例如，应用广泛的股票推荐算法可能会导致“羊群行为”（herding behaviour），如果有足够多的人同时作出类似决定则会增加市场整体上的波动性。除了针对个人的风险外，还可以识别其他类型的风险，例如对组织机构商业名誉产生的风险。

8.组织机构对其商业目标与使用人工智能产生的风险之间的权衡应以企业价值观为指导。组织机构可以评估预期的人工智能部署和用于算法决策的所选模型是否与自己的核心价值观相一致。对所出现的矛盾情况和所造成的偏差，应当由相关的组织机构根据明确的概念、有证明力的基本原理，以有意识的方式加以解决。

9.由于确定商业目标、识别风险和选择合适的决策模型是一个反复且持续的过程，组织结构应不断地识别和审查与其技术解决方案相关的风险，并降低这些风险，并在风险控制失败时保有反应能力。通过定期审查风险影响评估并对此过程进行记录，有助于组织机构提高使用人工智能解决方案的清晰度和信心，它还将帮助组织机构应对来自个人、其他组织或企业和监管机构的潜在挑战。

10.基于上述风险控制措施，本《模式框架》提供了3种决策模型，在决策过程中3者存在不同程度的人类监督：

（1）人类参与其中（human-in-the-loop）。该模式建议人类积极开展监督活动并且参与到决策制定过程中，人类保持着完全的控制力并且人工智能只是用来提供建议或者输入数据。如果没有人类积极的行动就不可能执行命令，就如同人类命令人工智能执行某个决定。例如，医生可以使用人工智能识别某个不常见的医疗情况并提供治疗方案，然而还是由医生对诊断以及相应的治疗做出最终决定。该模式要求人工智能提供足够的信息以便帮助人类做出明智的抉择。（例如做决策时所考虑的因素，其价值、权重以及相关性）。

（2）人类并不干涉（human-out-of-loop）。该模式表明人工智能决策的过程人类并不进行监督。人工智能拥有完全的控制权，无需人类的手动控制（override）。例如，一个用于推荐产品的解决方案可以根据预先确定的人口统计学结果和行为特征自动向个人推荐产品和服务，而不是依赖预先确定的类别。航空公司也可以使用机器学习模型来预测需求量或可能存在的某个缺陷。方案解决模块可以使用该模型的输出内容对航空公司的飞行安排进行优化，而无需人类参与。

（3）人类进行监督（human-over-the-loop）。该模式允许人类在算法的执行期间调整参数。例如，利用导航软件得出从a点到b点的路线时，它为驾驶员提供了几个可能的路线以供选择。驾驶员可以在行程中更改参数（例如在不可预见的道路拥堵情况下），而无需重新规划路线。

11.本《模式框架》也提供了一个模型，用于将组织机构做出的决定可能对个体造成伤害的概率和严重程度进行分类。伤害的定义、概率和严重程度的估算取决于所适用的情况，并因行业领域不同而相区别。例如，对患者所处医疗状况的诊断出现错误所造成的伤害就不同于错误的推荐了衣物服饰造成的伤害。

12.在确定采用了人工智能技术的组织机构其决策制定过程中人类监督级别的问题时，组织机构应考虑使用可能造成伤害的模型所做出的决策将对个体造成的影响程度。在此基础上，组织机构应确定在决策制定时人类对其监督所需要的级别。至于那些对安全至关重要的系统而言，组织机构应当确保在人工智能提供充分信息以帮助个人做出有意义的决定时，或在无法控制整个系统的情况下将其关闭时，个人能掌握控制权。

说明：

一家在线零售店希望利用人工智能技术，根据个人的浏览记录和购买历史，将自己生产的食品推荐给他们。自动化技术将满足组织机构提高运营效率的商业目标。

造成伤害的概率评估：“伤害”在某种情况下可以指在推荐产品时因不能满足受众的需求所造成的影响。向个人推荐错误产品造成损害的严重性可能比较低，因为最终是否购买的决定权掌握在个人自己手中。根据人工智能解决方案的效率和有效性，造成伤害的概率可高可低。

决策过程中人为干预程度：考虑到造成损害的严重程度比较低，经过评估之后可以选择一种不需要人为干预的方法，因此，可以采用“不干涉”模式（human-out-of-the loop）。

定期审查：随着社会规范和价值观的发展，组织机构可以采用定期审查这种方式评估造成损害的严重程度。例如，某种用于推荐产品的解决方案可能会持续地向某人推销含糖饮料。随着人们对糖尿病的担忧加剧，该组织机构应考虑对其模型进行微调，以减少对含糖饮料的推荐。

注意：这只是就如何使用明确的规范和价值观的简单说明。组织机构可以利用更具有挑战性和复杂的伦理道德难题来测试这种确定人工智能决策模型的方法。

运营管理

13.该《模式框架》使用下述图表所示的一般性的人工智能部署过程来讲解组织机构部署人工智能解决方案的各个阶段。组织机构应当意识到人工智能的部署过程不总是单向的；它是一个持续的学习过程。

14.在部署的过程中，可使用决策树或神经网络等算法对用于训练的数据集进行分析。应当对合成后的算法进行检查并对算法进行更新换代，直到出现一个能为所应用的案例生产出最有用结果的模型。然后将该模型及其产品合并到应用程序中，以提供预测、做决策以及触发行动。在数据和算法/模型之间的紧密交互关系是本《模式框架》这一部分的重点。

用于模型开发的数据

15.用于模型建构的数据集的来源可能不同，数据的质量和选择对于人工智能解决方案的成功至关重要。如果模型是使用的有偏见的、不准确的或者不具有代表性的数据构建的，那么模型造成无意间歧视性决策的风险将会增加。

16.参与培训和选择部署模型的人员可以是内部员工或外部服务提供商。在智能系统中部署模型时应该有一个组织机构内部的部门负责人，并由他决定要部署哪些模型。为确保人工智能解决方案的有效性，组织机构内部对数据质量、模型训练和模型选择负有责任的相关部门必须共同努力，制定完备的数据问责制措施。这些可能包括以下内容：

a.了解数据的来龙去脉。这意味着需要知道数据的原始出处，它是如何由组织机构收集、组织、移动的，以及如何保证它在一段时间内的准确性。直观地展示数据的来龙去脉可以追踪数据是如何从源头转移到目的地、整个过程数据是如何被转换、数据在何处与其他数据相交互以及其表现形式是如何变化的。数据的沿袭有3种类型：

i.回溯式数据沿袭，从数据的最终使用之处往前回溯，一直到数据的源头。

ii.前进式数据沿袭，从数据的源头往前查看，一直到最终使用之处。

iii.端到端数据沿袭，将数据源头与最终使用之处相连接，以整体上观察的方式从数据源头直到数据最终使用，再从数据最终使用到数据源头。

保存数据的来源记录并允许组织机构根据数据的来源和随后的传输来确定数据的质量，追踪潜在的错误源，更新数据并归入其源头中。本《模式框架》意识到在某些情况下，数据的来源可能难以确定，例如从可信赖的第三方获取的数据集，该第三方有可能混合了来自多个源头的数据。组织机构应评估使用此类数据的风险并据此进行管理。

b.保证数据的质量。这意味着了解并解决可能影响数据质量的因素，例如：

i.数据集的精确性，即数据集的价值与数据集所描述的价值的真实特征的匹配程度。

ii.数据集的完整性，包括数据的属性和项目。

iii.数据集的准确性，指的是数据的可信度，包括数据来源是否可靠。

iv.数据在近期如何被编译或更新。

v.数据集的相关性和数据收集的背景，因为它可能会影响到对数据的解释和对预期目的的依赖。

vi.从多个数据集整合的数据集的完整性，这指的是数据提取和转换的执行情况。

vii.数据集的可用性，包括数据集在一个机器可理解的形式中的组织情况。

viii.人为干涉的情况，例如是否存在人为过滤、贴标签、编辑数据的行为。

c.尽量减少固有偏差。本《模式框架》意识到，有关人工智能目前存在许多类型的偏差。本《模式框架》着重于数据集中固有的偏差，而这将导致并不希望看到的结果，如无意间的歧视性决策。组织机构应当意识到，他们提供给人工智能系统的数据有可能存在固有偏差，因此应当采取措施减轻这种偏差。数据中的两种常见的偏差包括：

i.选择偏差。当用于生成模型的数据并不能完全代表模型可能接收的真实数据或可能运行的实际环境时，就会出现这种偏差。数据集中的选择偏差的常见例子为遗漏偏差（omission bias）和固有模式偏差（stereotypebias）。遗漏偏差指的是数据集中某些特征的遗漏，例如，如果将亚洲人脸数据集用于非亚洲人的人脸面部识别，则该数据集将会显示遗漏偏差。在工作日，中央商务区内的车辆类型数据集可能显示出偏向于汽车、公共汽车和摩托车而非自行车，但如果用于模拟新加坡可用的交通类型，则会形成固有模式偏差。

ii.测量偏差。当数据收集设备导致数据系统性地向某一特定方向偏斜时，就会产生此种偏差。例如，用于训练的数据有可能是通过一个关闭了彩色滤镜片的相机获得的，而这将歪曲机器学习结果。

识别并解决数据集中的固有偏差并不是件易事。降低固有偏差造成的风险的方法之一是使用混杂数据集，即从各种各样可靠的来源中收集数据。另一种方法是从数据属性和数据条目的角度保证数据集尽可能的完整。过早地将数据属性移除会使识别和解决固有偏差变得更加困难。

d.用不同的数据集进行训练、测试和验证。在训练、测试和验证过程中需要用到不同的数据集。通过训练数据对模型加以训练，而模型的精确度取决于所使用的测试数据。在可得适用的情况下，还可以通过使用不同的人口统计学小组对模型进行测试来观察是否有某个小组被系统性地增强或减弱，以检测任何存在的系统性偏差。最后，可以使用验证数据集来验证经过训练的模型。出于此目的，将一个大数据集拆分为数个子集是比较好的做法。但如果组织机构不使用大数据集的人工智能模型进行操作，或者使用预训练模型（如学习迁移，transfer learning），则不可能做到这一点，组织机构应当认识到系统性偏差的风险并采取适当的保障措施。

e.定期审查并升级数据集。包括用于训练、测试和验证的数据集应当进行定期检查以保证精确度、质量、通用性、相关性和可靠性。在必要时，应使用在生产中部署的人工智能模型在实际使用中获取的数据，将这些新数据输入到数据集中进行更新。当使用这种新的输入数据时，组织机构需要注意到可能产生潜在的偏差的情况，毕竟使用已经在模型中使用过的数据有可能产生更强的偏差。

算法与模型

17.组织机构应通过可解释性、可重复性和可追溯性概念来寻找能够提高人工智能模式算法透明度的措施。在人工解决方案中部署的算法，如果能够解释清楚它是如何工作的以及如何得出某一特定的预测，那么就可以说它是具备可解释性的。能够解释人工智能所做预测的目的，是为了增强理解和加深信任。部署人工智能解决方案的组织机构还应当将解决方案的设计和预期行为的解释说明纳入到其产品或服务的解释说明中，以向个体和/或监管机构证明自身的可问责性（accountability）。这也可能包括与为什么选择这些特征、属性或模型而非其他特征、属性或模型相关的设计决定。在必要时，组织机构应向人工智能解决方案提供商请求帮助，因为他们可能更适合解释解决方案是如何发挥作用的。

18.本《模式框架》规定，可解释的人工智能可以通过对已部署的人工智能模型的算法功能和/或决策制定程序是如何与模型预测相结合来实现。遵循本《模式框架》的组织机构可根据预期接受者（例如个人、其他企业或组织以及监管机构）的技术成熟度以及所使用的人工智能解决方案类型（例如统计模型）在解释中提供不同程度的详细信息。

19.模型的训练与选择是研发智能系统（包含人工智能技术的系统）的必要条件。使用人工智能系统的组织机构应当记录模型的训练和选择过程是如何进行的、作出决策的原因以及为解决已识别风险而采取的措施。“机器自主学习”（Auto-Machine Learning）领域的目标是旨在将探索最佳模型的过程（和其他目标变量如训练程序）自动化。使用这些工具的组织机构应考虑高级别算法以及所选子模型的透明度、可解释性和可追溯性。算法审计也可以在某些特定情况下进行（见附录A）。

20.值得注意的，技术的可解释性并不总是具有启发性的，尤其是针对普通人而言。隐晦地解释人工智能模型算法的功能可能比清晰地描述模型的逻辑更有用处。例如，为某个个体提供反向功能（例如如果你的平均债务低于15%，你将被批准，或“这些是与你的个人资料相似而收到了不同决定的客户”）是组织机构可以考虑的强有力的解释方法。

21.也可能存在一些提供与算法相关的信息可能并不实际或不合理的情况。尤其是在专利信息、知识产权、反洗钱检测、信息安全和欺诈预防的情况下，提供有关算法的详细信息或者对算法进行审查的信息或算法作出的决定，可能暴露商业机密信息和/或无意间导致坏人逃过侦测。

22.如果由于当前的技术水平，无法在实际操作中实现可解释性要求（如黑箱），组织机构可以考虑将人工智能模型产生结果的可再现性加以记录。应当注意的是，对可再现性进行记录的文档不是可解释性的效力相当的替代方案。可再现性是指在相同的场景下，人工智能模型能够始终如一地执行动作或做出决定。性能的一致性可以为人工智能使用者提供一定的信心。有益的做法包括：

a.在动态环境中对商业部署（commercialdeployments）进行可重复性评估，以确保部署的可重复性。

b.进行反事实（counterfactual）的公平性测试。如果某一决定在实际的世界和反事实的世界中是相同的，且个体属于不同的人口统计学群体，那么这一决定对该个体就是公平的。

c.当决定是不可再现的，例如在设计时引入了随机性机制，评估如何识别并处理异常情况。

d.确保对异常情况的处理符合组织的政策。

e.识别并计算随时间变化的情况，以确保接受过对时间敏感的数据培训的模型能够保持相关性。

23.如果人工智能模型的决策过程以易于理解的方式记录下来，那么可以说该模型具有可追溯性。可追溯性之所以重要，其原因有很多：采用审计日志形式的可追溯性记录可以成为将来用作培训数据集的输入数据的来源；这些信息也有助于故障排除、调查模型的运行方式或给出特定预测作出的原因。

24.提升可追溯性的措施包括：

a.建立跟踪式审计以记录作出决策的过程。

b.建立一个能够捕获所有输入数据流的黑箱记录器（black box recorder）。例如。自动驾驶汽车中的黑箱记录器可以跟踪车辆的位置，并记录自动驾驶系统于何时、何地控制车辆、遇到技术问题或要求驾驶员接管对车辆控制的控制权。

c.确保与可追溯性相关的数据得到妥善的存储，以避免数据失效（degradation）或更改，并保存到与行业相关的一段持续时间内。

25.组织机构应制定内部政策与流程，定期进行模式调整，以适应随时间流动而变化的客户行为，并根据纳入了最新输入数据的不断更新的训练数据集对模型进行更新换代。当商业目标、风险或公司价值观发生变化时，可能有必要对模型进行调整。

26.在可能的情况下，测试的过程应反映所计划的产品应用环境的动态性。为了确保安全，测试可能需要评估人工智能解决方案的通用性以及产生失败的情况。例如，一个仓库机器人（warehouse robot）的任务是在避开障碍物的情况下完成一项任务（例如去拿包裹），对它应使用不同类型的障碍物与实际不同的内部环境（例如，工人穿着不同颜色的衬衫）进行测试。否则，模型将在不反映实际情况的环境中冒险学习规律（例如，机器人必须避开的人类都是穿着白色工作服的）。一旦将人工智能模型部署到现实环境中，就应主动进行监控、审查和调整。

客户关系管理

27.适当地进行沟通能够在组织机构和个人（包括员工）之间建立和保持开放的关系，进而激发相互间的信任，在部署人工智能时，组织机构应结合以下因素来有效实施和管理其沟通策略。

28.一般事项披露。组织机构应提供关于其产品和/或服务中是否使用人工智能的大致信息。在适当的情况下，这可能包括人工智能是如何在有关个人的决策制定中使用的、人工智能的角色以及人工智能在决策过程中所扮演的作用和程度。例如，GPS导航系统制造商可以告知其用户，人工智能用于自动生成从A点到B点的线路。然而，由该导航系统的用户决定走哪条路线。一个在线门户网站可以通知其用户，他们正在与之交互的聊天机器人是由人工智能驱动的。

29.提高透明度有助于通过提升用户关系的开放性，增强人们对人工智能的信心以及接受程度。为了做到这一点，组织机构可以考虑披露人工智能的决策可能对个人造成影响的方式，并且披露其作出的决定是否具有可逆性。例如，一个组织机构可以告知个人其信用评级将如何导致贷款申请被这家机构或者其他机构所拒绝；但如果个人能够提供更多关于其信用值的证据，那么该决定就是可逆的。

30.组织机构应在沟通交流中使用易于理解的语言以提高其透明度。有一些现有的工具可以提高易读性（readability），例如弗莱易读性图（Fry readability graph）、冈宁迷雾指数（Gunning Fog Index）、Flesh-Kincaid可读性测试等。对于影响比较大的决策应以容易理解的方式进行沟通，并需要对所使用的技术保持易于理解的状态。

31.随着对管理人工智能的使用和构建的道德标准的发展，组织机构也可以进行伦理道德评估，并对这些评估进行有意义的总结。

32.有关解释的政策。组织机构应当制定一项政策，对应当向个人提供什么解释进行规定。这可以包括对人工智能在决策过程中的工作方式、某一具体决策的制定方式、制定该决策背后的原因以及决策的影响和后果进行解释。可以将解释的过程作为总体上进行沟通的一部分，也根据请求作为有关特定决策的信息。

33.人类-人工智能交互。组织机构应在部署人工智能之前测试用户的界面并解决可用性问题，以便用户与人工智能的交互能够满足预期的目的。个人对于这方面的期望也可以通过告知其正在聊天的是机器人而非人类来实现。在可适用的情况下，组织机构还应通知个人，他们的回应将用于训练人工智能系统。组织机构应意识到使用此类回复的风险，因为有些人可能故意使用“脏话”（bad language）或“随机回复”（random replies），而这将对人工智能系统的训练造成影响。

34.选择退出机制（Option to opt-out.）。在决定是否向个人提供选择退出的机制以及该机制是否应默认提供或仅在提出请求提供的问题时，组织机构应慎重考虑，包括下列注意事项：

a.对个体造成风险/伤害的程度。

b.应该冒险实现对个人损害的可逆性。

c.替代决策机制的可用性。

d.替代机制的成本或权衡。

e.维护平行系统的复杂性和低效性。

f.技术上的可行性。

35.当一个组织机构已经权衡过上述因素，并决定不提供选择退出的机制，那么它应该考虑向个人提供其他的求助方式，例如提供对所做决定进行审查的渠道。在适当的情况下，当面临来自于消费者的投诉或求助时，组织机构还应保留聊天机器人对话的历史记录。

36.组织机构应为其客户建立以下沟通渠道：

a.反馈渠道。个人可以利用此渠道提出反馈或提出质疑。在适当情况下，可以由组织机构的数据保护官（DPO）管理。如果个人发现自己的个人数据中存在不准确之处，而这些不准确之处已被用于制定对他们造成影响的决策，则此渠道还允许他们更正自己的数据。这样的纠正和反馈反过来又保持了数据的准确性。如果个人希望就针对他们提出的重大推论提出反馈和质疑，那么也可以由组织机构的质量服务经理（QSM）进行管理。

b.决策审查渠道。除了现有的审查义务外，组织机构可以考虑为个人提供一种要求对影响他们的重要人工智能决策进行审查的路径，当决策是完全自动化作出的情况下，如果决策对个人的影响是重大的，则可以由人类代理人根据要求提供个别审查。但是，如果在对所做决策进行确认前，已经被部分自动化地审查过，则该决策就已经由人类代理人审查过了。在后一种情况下，这与非人工智能决策没有什么不同。

结论

本《人工智能治理模式框架》决不是完整的或详尽的，它仍然是一个接纳反馈的文档。随着人工智能技术的发展，相关的伦理和管理问题也将随之展开。PDPC的目标是根据收到的反馈定期更新此框架，以确保它对部署人工智能解决方案的组织机构来说仍然具有相关性和实用性。

附件A算法审核

1.在有必要探究模型中包含的算法的实际操作的情况下，可进行算法审核。这一过程必须根据对组织机构拥有管辖权的监管机构的要求进行，或人工智能技术提供商操作以协助其客户应对监管机构的各种要求。进行算法审核需要技术专长，这可能需要聘请外部专家来操作。审核报告可能会超出大多数个人和组织机构的理解能力范围。进行算法审核所需的费用和时间应与从审核报告中获得的预期收益进行权衡。

2.组织机构在考虑是否进行算法审核时，可以考虑下列因素：

a.进行算法审核的目的。本《模式框架》提供了有关人工智能模型如何成为可解释的人工智能的一部分的信息，在开始进行算法审核之前，建议考虑已经提供给个人、其他组织机构或企业以及监管机构的信息是否是充分的和可信任的（例如产品或服务说明、系统技术说明书、模型训练和选择记录、数据来源和查账索引）。

b.审计结果的目标受众。这是指目标受众有效理解数据、算法和/或模型所需的专业知识。不同受众需要的信息各不相同。当受众是个体时，提供作出决策过程的信息和/或个体数据在决策过程中的使用方式将更有效地实现可解释人工智能的目标。当受众是监管者时，应首先检查与数据问责制和算法功能有关的信息。如果有理由怀疑人工智能模型操作信息的准确性或完整性，则算法审核可以证明人工智能模型是如何操作的。

c.一般数据责任。组织机构可以提供关于如何在组织机构内实现一般数据责任的信息。这包括本《模式框架》中用于模型开发的数据部分所描述的所有关于数据的良好做法，例如通过保留数据来源记录来维护数据沿袭、确保数据准确性、将数据的固有偏差最小化、为不同目的分割数据、确定数据准确性以及定期审查和更新数据。

d.人工智能模型中的算法可以是商业上有价值的信息，这些信息会影响市场竞争力。如果计划进行技术审计，还应考虑相应的缓解措施。

附件B术语表

1.本术语表囊括了从各种出处提炼的人工智能基本伦理道德原则的整合，但并非所有的都包含在《模式框架》中或在《模式框架》中解决。在满足相关性并且需要的情况下，组织机构可考虑将这些原则纳入他们公司自己的基本原则当中。

2.关于准确性（Accuracy）：

在整个算法及其数据来源中识别、记录并清楚说明产生错误和不确定性的来源，以便能够理解预期出现的情况和所造成的最坏情况的影响，并启动缓解程序（mitigation procedures）。

3.关于可解释性（Explainability）：

确保由算法自动作出的决策以及驱动这些决策的任何相关数据可以以非技术术语向最终用户和其他利益相关者解释。

4.关于公平（Fairness）：

a.确保由算法作出的决策不会在不同的人口统计学种类（如种族、性别等）上产生歧视性或不公正的影响。

b.建立并纳入监测措施和记录机制以避免在启动决策制定系统时造成无意间的歧视。

c.在研发系统、应用程序和算法时，听从各方声音和人口统计学专家的意见。

5.关于人类中心主义和人类福祉（On Human Centricity andWell-Being）：

a.旨在公平分配由数据实践带来的收益，避免数据实践对弱势群体造成不符合比例的不利影响。

b.旨在利用数据和先进的模型制造技术，创造更多的收益。

c.参与数据实践，通过数据实践推动人类繁荣昌盛、人类尊严和人类自治的发展。

d.重视受到数据实践影响的人或社区的判断，并与受影响的人或社区的价值观和道德原则保持一致。

e.作出的决策不能对个体造成无法预见的伤害，或至少将此类伤害降到最低（例如在必须的情况下，当与更大的利益冲突进行权衡时）。

f.允许用户保持对正在被使用的数据的控制、数据使用的背景以及修改使用方式和背景。

6.关于责任、问责制和透明度（Responsibility,Accountability and Transparency）：

a.通过确保设计师和运营商对其系统、应用程序和算法负责并能加以解释来建立信任，并确保此类系统、应用程序和算法以透明和公平的方式运行。

b.为算法决策系统对个人或社会造成的不利影响提供外部可见和公正的补救途径，并指定负责及时补救此类问题的人员或办公室。

c.为用户或消费者纳入下游措施和流程，以核实如何以及何时应用人工智能技术。

d.保存设计的过程以及作出决策的详细记录。

7.关于人权（Human Rigth）：

确保技术的设计、研发和实施不侵犯国际上公认的人权。

8.关于可持续发展（Sustainable）：

支持能够有效预测未来行为并在一段合理时间内产生有益洞见的措施。

9.关于进步性（being Progressive）：

当实施某一计划要比不参与该计划创造更多实际价值时，赞同该计划的实施。

10.关于可审计性（Auditability）：

通过披露能够进行监测、检查或考证的信息使有关的第三方能够调查、了解和审查算法作出的行为。

11.关于稳定性和安全性（Robustnessand Security）：

人工智能系统应安全可靠，用于训练的数据不易被篡改或破坏。

12.关于包容性（Inclusivity）：

确保所有人都能使用人工智能。

附录C

医疗保健方面的应用案例——UCARE.AI

UCARE.AI（https://www.ucare.ai）是一家人工智能和机器学习公司，致力于通过以符合伦理和负责任的态度使用数据来解决医疗保健问题并促进人类进步。UCARE.AI部署了一套人工智能和机器学习算法，建立在基于云（cloud-based）的微服务架构之上，包括专有的深度学习和神经网络算法，为医生、医院、患者、保险公司和制药公司提供可持续和可定制的医疗解决方案。

一个成功的实际使用案例是最近对4家医院（即伊丽莎白山医院、伊丽莎白山诺维娜医院、格伦伊格尔斯医院和百汇东区医院）实施了人工智能的住院前费用估算制度（APACHETM），这些医院归帕克威潘泰（Parkway Pantai）所有。这项研究分享了UCARE.AI开发和部署APACHE的方法，APACHE是一个可扩展的即插即用系统，具有高可用性、高容错性并能对大量估计请求进行实时处理。APACHE提供了精确度更高的估算，比百汇医疗集团以前的账单估算系统的精确度高了4倍。这样做的目的是实现医疗成本估算的标准化，并提供更高的价格透明度，以促进付款人、（医疗服务）提供者和患者之间建立和维护信任。这与UCARE的观念是一致的。人工智能致力于确保患者继续就可用的医疗方案做出明智的决定。

背景

以前的医疗成本估算方法涉及传统的技术，如（i）基于正态分布的技术（normal distribution-based techniques），（ii）基于偏态分布的参数模型（parametricmodels based on skewed distributions），（iii）混合模型（mixturemodels），（iv）生存率分析（survivalanalysis）等。现有的方法是通过简单的统计汇总，以外科手术报价表或ICD-10诊断代码为基础进行估算。

该估算技术面临的挑战包括相对较高的错误率、进行更新需要的大量金钱和人力成本，以及由于这些高成本而导致的更新频率较低。

UCARE.AI与百汇医疗集团合作，通过一个多步骤的过程来解决这些问题，包括：（i）数据探索，（ii）数据清理，（iii）可行性评估，（iv）特征工程（feature engineering），（v）机器学习，（vi）结果展示。随着概念验证取得令人满意的结果，APACHE随后投入生产。

APACHE应用程序接口的高级结构

与PDPC的人工智能模式监管框架保持一致

UCARE.AI采取了与PDPC发布的《人工智能监管模式框架》一致的积极主动的方法。

可信赖和可验证性

本人工智能监管框架意识到，神经网络是不可理解的，在将其用于人类之前，需要对这些神经网络提供的结果进行验证。UCARE.AI通过不断地验证其算法的准确性来克服这个问题。通过每周进行由合作伙伴和该领域专家进行的检查，确保更快和更可靠的更新换代。数据模型的自动重新训练能够确保算法保持最新的状态。在百汇医疗集团专家的帮助下，这种持续验证其人工智能模型的方法将有助于增强对其预测性见解的准确性的信心，并有助于训练算法，使其在输入的每一个数据上变得更加精确。

问责制和透明度

在数据收集之前，应获得利益相关者的知情同意以及批准使用从开放的通信渠道找寻的数据。在构建模型之前，需要对数据进行仔细的整理和转换，以确保人工智能算法对用户负责并保持一致性；这项工作是与百汇医疗集团一起完成的。对先前损坏或丢失的数据进行适当的存储和修复，也能通过将数据鸿沟对预测结果的影响降低到最小，为用户提供更高的透明度和安全性。对数据的仔细监控是确保所提供服务具有可靠性的关键，因此在Apache中，采用了包含多个组成部分的详细和一致的日志记录，并将其纳入安全、集中的日志存储库中，以便于开发和运营团队在需要时方便地访问，并允许在必要时进行快速调试和在正常运行时间内的跟踪。

公平

住院治疗费用的自动预测降低了因人类偏见影响数据作出最终判断的可能性，并提供了针对所有预测的一致性要素。例如，基于收入水平和保险覆盖范围的歧视将被有效消除，尽管人们会担心在人类不加干涉的系统的使用，但所讨论的算法是以人为中心的。

以人为中心

本使用案例强调了如何用以人为中心的方式使用人工智能来增强决策能力，同时将对相关方造成损害的潜在风险最小化。对账单进行估算的自动化过程消除了对繁琐的统计计算的需要，从而释放了工作时长和精力去做更有创造力的事。此外，所提供的信息将通过更准确的成本预测、有效分配和分配医疗资源以及指导新的政策举措而有利于患者和支付方。患者对于医疗花费方面的担忧将会减少，以便于能够集中精力进行康复。

为了最大限度地降低危害所造成的风险，因此在使用数据之前进行了严格的可行性研究，重点是创建一个有效和强大的验证框架。这将与合作伙伴一起完成，并且在继续研究之前根据本《模式框架》的反馈进行调整。客户组织（百汇医疗集团的自有医院）提供的人类反馈也内置在每个算法中，以提高精确性，同时还包括手动覆盖（manual override protocol）协议，以确保在必要时安全终止这些算法。这就确保了该算法始终处于人类的控制之下，并且符合医学界公认的行善（beneficence）、非恶意（non-maleficence）和社会正义的伦理原则。