向可信赖人工智能迈进

菲利波•法布罗西尼 / 文

编者按

在2021年世界人工智能大会法制论坛上，菲利波•法布罗西尼（Filippo Fabrocini）作了题为“向可信赖人工智能迈进”的演讲。菲利波•法布罗西尼是人工智能领域尤其是机器学习方面公认的领导者。他曾在IBM研究中心（意大利罗马和美国圣何塞）担任高级研究员、在卡耐基•梅隆大学计算机学院担任访问学者，与诺贝尔奖和图灵奖获得者赫伯特•西蒙合作，担任意大利格列高利大学哲学系教授以及意大利米兰的IBM创新中心总经理，曾荣获包括两项IBM杰出技术奖和一项IBM客户价值卓越技术成就奖在内的多项奖项。现任同济大学设计创意学院教授、“可持续人工智能实验室”主任。

如今，从医院到机场，人工智能在一些最重要的社会机构中越来越普遍。百度搜索、谷歌地图、淘宝推荐引擎皆是基于人工智能算法，人工智能在分子设计、眼病检测、智能武器等多个领域也取得了显著成果。但与此同时，我们应该学会审视自身对人工智能技术的立场和态度，审视自身对技术的期望，审视人工智能中的潜在弱点、带来的风险和突发事件。我们应该学会问类似“自动驾驶汽车是为了什么”“如何使它们与我们想象的生活方式相适配”“它们将带给我们什么”“我们对它们足够了解吗”“它们足够安全吗”“我们是否有其他可行的选择方案吗”等问题。我们不应该把这些问题留给那些以增加利润为唯一目标的企业。此外，如果我们希望避免“炒作”技术，应该学会避免误导性的图像、模糊的概念或令人困惑的隐喻。例如，应用于人工智能系统的“认知”概念与应用于人类的“认知”概念是不同的。我们把以人类为中心的概念类推到机器上，没有澄清各自用途之间的差异。在人工智能系统中，知识意味着什么？学习意味着什么？做出决定意味着什么？当人工智能系统做出决定时，谁来采取行动？有代理商在执行决定吗？人工智能系统是否应该对其做出的“决定”负责？如果不是，那么谁来负责？或者为什么负责呢？

一、局限和担忧

人工智能正在决定日常生活和家庭的未来。在找工作时，人工智能会仔细审查我们的简历；在申请贷款时，它会评估违约风险；在提交保释申请时，它会评估我们的案件。然而，巴尔的摩一家有影响力的非盈利组织——审前司法研究所，多年来一直强烈支持用算法取代现金保释，但现在已经从根本上改变观点，声称算法风险评估工具不应该在审判前的司法活动中发挥作用，因为它们会延续种族不平等。这种转变反映出人们对算法在刑事司法和其他领域的作用越来越担忧。除了保释系统，批评人士还警告说，不要盲目相信人脸识别、医疗保健和推荐系统等领域五花八门的算法。顶级人脸识别算法对黑人女性面孔的不匹配频率约为白人女性面孔的10倍。在一个类似的歧视案例中，美国各大医院广泛使用的医疗算法系统优先考虑高收入患者而非低收入患者。2019年2月，YouTube视频网站发现，其推荐算法正在以某种方式推动自己的用户观看儿童色情视频，同时将这些视频货币化。人工智能似乎在复制和放大影响人类社会的歧视、不平等和不道德的行为。

此外，一旦人工智能对我们的社会产生越来越大的影响，还会出现一些对其模型可理解性的担忧。前面提及的不道德行为，并非来自明确嵌入任何可能导致歧视性或惩罚性后果的公式，而来自原始数据、算法设计或用户倾向，并被人工智能不成比例地扩充。导致人脸识别系统对深色肤色识别的效果差异，其原因尚不清楚，很可能超出了用于训练和测试人脸识别系统的数据集不能适当代表的经验事实。实践证明，错误匹配不同人（假阳性）的错误在黑人中更常见，而未识别匹配面孔（假阴性）的错误在白人中更常见。在有关社会保障的决策算法中引入医疗成本预测等替代整体健康状况，产生了意想不到的后果，导致该算法复制了美国医疗体系的不公平准入。最后，YouTube视频网站推荐系统令人厌恶的行为被归因于一种名为“过滤泡沫”的效应，即人们只接触强化他们现有信念并最终改变其对世界看法的观点和信息。来自推荐系统的“过滤泡沫效应”不容易被辨别，就像使用一个优先考虑健康成本而不是健康状况的代理人所带来的后果一样。同样，到目前为止，人脸识别系统在不同人群上的不同表现看起来非常令人费解。因此，人工智能系统在应用于高风险决策时，人们产生担忧似乎是可以理解的。

显而易见的，是这些系统在技术上是复杂的，其设计选择在很大程度上影响它们的行为。正如《自然》杂志的一篇论文所强调的，思考人工智能的一个主要盲点，是缺乏共同的方法来评估人工智能应用对政治、社会和道德环境的持续影响。如果不能解决这些问题，人工智能可能会直接“失败”，其后果是人类将失去一个改善个人和社会福祉的机会。因此，必须强调实现可信赖人工智能的重要性。

二、公平、责任、透明的人工智能

许多组织发起了一系列倡议，以制订旨在采用公平、负责任和透明的人工智能道德原则。在中国，北京人工智能协会（BAAI）、中国人工智能产业联盟（AIIA）和科技部（MOST）编写的许多文件都强调和促进了实现可信赖人工智能的相关事宜。特别是，科技部的文件有一个标志性的标题《新一代人工智能治理原则——发展负责任的人工智能》。该文件的第一行就明确指出：人工智能发展应以增进人类共同福祉为目标；应符合人类的价值观和伦理道德，促进人机和谐，服务人类文明进步（2019年国家新一代人工智能治理专业委员会）。

这些文件与国际社会表达的总体担忧一致，且陈述了一些建议，明确指出需要开发实现前面提到的目标的方法和工具。显然，我们需要人工智能，但我们需要的是一个可信赖的、负责任的、透明的人工智能，人工智能解决方案的自主行为正在影响我们和家人的生活。因此，从道德人工智能的角度来看，与“自主”概念相关的概念是专利，因为人工智能“自主”的增长不应削弱或损害对人类自主的促进。因此，“自治”原则出现在六项备受瞩目的倡议中（如Asilomar“人工智能原则”、蒙特利尔负责任的“人工智能宣言”等）。这并不奇怪，这些倡议是为了人工智能的“社会效益”而设立的。特别是“自主”原则，要求在人类和人工自主之间取得平衡。根据这一原则，机器的自主性应该受到限制，或者为了保证人类的自主性而使其具有内在的可逆性。为此，一些学者提出了“决定-委托”的模式，以及相应的“元-委托”的概念。“元-委托”概念认为：人类应该始终保持决定是否以及如何将决定权委托给技术人工制品的权力。“决定-委托”模型是一个抽象的模型，应该有助于实现这一目标。例如，飞行员应该随时能够关闭自动驾驶，以重新获得对飞机的控制。

三、“自主系统”的概念

人工智能系统在词源学意义上是自主系统。它们是自己的统治者，是自己的法律制定者。人类定义了目标——它可能是一个目标，或者是更常见的一组目标，然后人工智能系统将为实现这个目标而自主做出决定。他们是以异体为中心的——人类定义了系统的主要目标，而不是异体的——它们自己的行为规则不是来自他人。值得注意的是，这些决定并没有被系统的设计者明确定义，尽管系统的自由度受限于一组预先定义好的区间的类别（驾驶汽车不能决定在最近的咖啡店自主停车）。但是，这些决定可能是人类无法控制的，也可能是完全出乎意料的，这一点最近已经被证明。然而，只要我们讨论“自主系统”对生活的影响时，必须根据定义强调“自主系统”在某种程度上是“不受人类控制”的，正如“自主”一词的词源学意义清晰表达的那样。一般来说，对人类控制的需求，或可以容忍的自主程度，将根据系统执行的任务的复杂性、系统运行环境的复杂性以及系统本身的复杂性而有所不同。例如，如何监测一个交易速度达到5微秒左右的高速金融交易系统？

四、谁该负责，抑或是“什么”该负责

2018年3月18日，伊莱恩•赫兹伯格女士的死亡成为有记录以来的第一起涉及自主车辆的行人死亡案例。2019年，美国国家运输安全委员会出具的事故报告，将车祸原因归结为车辆操作员未能监控驾驶环境。像往常一样，这类案件最终被归类为来自“操作错误”的事故。然而，该报告还指出了一些与自动驾驶汽车有关的故障。特别是，自动驾驶系统（ADS）无法正确识别行人；其设计没有依靠非存在物体的跟踪历史，以预测行人的路径和预测自己的目标；该系统无法设定一个乱穿马路的固有目标，因为它没有通过这种行为的集成案例进行适当的训练。此外，汽车上的自主紧急制动系统被禁用，原因尚不清楚。根据美国国家运输安全委员会的报告，其目的可能是为了确保平稳的驾驶行为，因为在软件开发阶段，自动驾驶的汽车若被一些微小细节所迷惑，如树枝产生的阴影，就会倾向于自己做出紧急决定，如猛踩刹车或猛打方向，结果更容易导致危险和不愉快。如此看来，ADS的开发似乎还远远没有完成，甚至远远不是最终版本的测试版本。软件工程师被迫在假阳性（检测到一个不存在的物体）的风险和假阴性（未能对一个被证明是危险的物体做出反应）的风险之间进行平衡，以避免使用紧急制动系统并获得尽可能舒适的乘坐体验。他们把自己对安全的决定嵌入到自动驾驶系统中。自动驾驶系统也错过了使用警报系统的机会，其行为对操作者的不透明，导致赫兹伯格女士最后悲惨丧命。

今天，大多数的人工智能算法在两个层面上嵌入了随机性的特征：(a)它们是输入数据的概率函数，从根本上说，它们是“曲线拟合”设备，正如朱迪亚•珀尔对它们的讽刺定义；(b)它们包括一个额外的随机性水平，因为它们是与环境无关的设备，训练数据不能覆盖预设系统最终可能发现自己所有可能的环境，正如赫兹伯格女士的悲惨案例所示。米特尔施泰特等人将与a相关的担忧标记为“不确定的证据”，在这个意义上，人工智能算法利用统计学习技术来诱导数据集内的相关性，以生成与b相关的担忧是“误导性证据”。它为人工智能解决方案提供了参考，即人工智能算法的输出仅依赖于来自输入的证据（如在自动驾驶汽车的情况下，用于训练算法的样本集是算法可以用来描述任何可能的唯一证据来源）。但是，如果责任意味着自主性的话，那么自主性并不意味着责任。在涉及自主系统的事故中，谁应该负责？每当发生致命事故时，站在监管者一边谈论“不可预测的后果”“自动自满”“操作错误”等已成为常见现象。与此同时，亚利桑那州在赫兹伯格女士的致命事故发生后，并没有改变其关于自动驾驶车辆的规定。所有这些都让人想起社会学家乌尔里希•贝克所说的“有组织的不负责任”。

五、在盒子内看VS在盒子对面看

正如阿纳尼和克劳福德在2016年建议的那样，为了理解人工智能，只看技术盒子内部是不够的。我们应该学会从多个角度、多个层面评估它如何符合人类社会希望实现的生活方式。这项任务意味着一种多元化的视野。在这种视野中，技术盒子被从纯技术功能以外的各种角度进行分析和审查。对改进算法的执着，有助于掩盖关于人工智能系统的设计、实施和最终部署的伦理、法律和社会问题。

相对于“什么”的问题，其实“为什么”和“如何”的问题应该被放在优先位置考虑。很明显，在一些自主系统的案例（如自动驾驶汽车）中，系统的自主性仍然没有在包括普通公民在内的相关利益者之间进行适当的协商，却被机构盲目接受。此外，在允许自动驾驶车辆在社会环境中进行测试之前，应该通过适当的衡量标准对ADS的可靠性进行机构评估。从这个角度说，优步车祸是一个社会实验的结果，它是按照普通公民成为创新过程中的“现实世界的错误”的方式进行的。这种叙述主要显示的是，从社会角度治理创新过程的失败，以及机构对及时和充分应对新情况的相应阻力。

总的来说，我们可以从这个案例得出的教训是，任何自主系统的部署都会在人类决策网络实现的一阶复杂性之上引入二阶复杂性。因为自主系统将一个新的行为者带入社会领域，其决定会影响人类的生活。在将这种额外的行为者移入社会环境之前，应该从伦理、法律和社会的角度对引入人工代理将带来的后果进行适当的审查。在任何情况下，引进自主系统的决定不能完全委托给那些以增加利润为唯一目标的私人公司。

在我们看来，发生在赫兹伯格女士身上的致命事故的主要原因是围绕着创新过程的制度“空白”。它必须归因于缺乏管理这类技术引进的社会机制。这种行为来自于制度上的一种不负责任，这是当今创新过程的典型，因为创新被认为必然带来解放、自由和财富。自主系统的失败可能取决于人工智能系统引起的偏见（风险），取决于人工智能系统的随机特征（脆弱性），以及这些系统的突发行为（紧急情况）。然而，更多时候，取决于社会治理机制的缺失。在失败的情况下，用户或操作员通常被指责。例如，在赫兹伯格女士的致命事故中，安全驾驶员面临车辆过失杀人的刑事指控，尽管在5级自动驾驶汽车的情况下，对人类操作者本身的相关性提出质疑是合理的。埃利什提出了“道德皱褶区”概念，以描述涉及自主系统的事故责任如何被错误地归咎于对系统行为控制有限的人类行为者身上。正如在复杂的社会技术系统中经常发生的那样，导致赫兹伯格女士死亡的原因是多方面的，指出一个问题只是对情形的轻描淡写。

六、分布式的道德责任

人工智能解决方案涉及分布式的道德行动，这是基于人类和非人类行为者相互作用的网络。这些行动也可以随着时间的推移而分布，包括设计者、技术人员、开发者、企业家、监管者、用户等的决定。由此看来，责任的分配是困难的，因为经典的伦理体系并不适合在不同地点和时间的多个行为者之间不透明分配的情况。此外，人工智能解决方案所促进或削弱的价值是在用户实施该解决方案时动态产生的。这种特征是人工智能所特有的，而不是其他技术所特有的，因为正如上面提到的，人工智能系统，也只有人工智能系统在人类决策网络所实现的一阶复杂性之上带来了二阶复杂性，以至于人工智能引入了一个正在对我们日常生活进行决策的人工行为者。

几个月前，哈佛大学伯克曼-克莱因互联网与社会中心的研究人员进行了一项调查，将32套政策文件进行了比较，以便对来自政府、公司、倡导机构和多方利益相关者倡议的努力进行比较。在这32份文件中，有13份承认现有的法律规则无法完全应对人工智能的影响，并提出了通过反思伦理价值和原则来维护政府行为的道德完整性的指导意见。例如，当一辆自动驾驶汽车撞上行人时，会发生什么？是司机的错吗，他本来就没有控制过车辆？是创建驾驶软件的ADS公司的错吗？是汽车制造商、组装和提供车辆的汽车制造商的错？还是实现特定设备（如激光雷达系统、雷达传感器系统等）和相应软件的特定公司有错，其故障导致了事故的发生？有大量的问题需要回答。再比如，我们应该如何处理保险？一旦司机取消了驾驶行为，将控制权交给计算机或自动系统，如何确定什么是安全驾驶与风险驾驶？还有，什么时候双手完全离开方向盘、由车辆控制才算合法？是否应该限制人类在车内做什么？如果自动驾驶汽车必须在拯救你的生命或附近另一辆车的乘客的生命之间做出瞬间决定，它应该如何去做？想想这些问题，就很容易理解为什么其中的许多问题会让最支持自动驾车技术的人也感到不安。

结论

我们应该停止把人工智能看成是一个纯粹的技术问题。看待人工智能的正确方式，是把这种技术看成是一种“崩溃”，在这个意义上，传统的存在于世界的模式被打断，在我们的生活场景中多出了更多的行为者，正如我们在谈到人工智能系统引起的二阶复杂性时所说的。采取这种立场，可以让我们能够围绕人工智能的限制和担忧，探讨社会治理的空白和适合处理这类故障的方法论的不足。正如马瑞斯和斯塔克在2020年强调的，每当我们部署一个人工智能解决方案时，我们不仅仅是在社会环境中部署一个技术系统，还是通过将测试本身转化为一种社会“崩溃”的形式，从而对社会的结构进行测试。人工智能系统是由我们设计、实施和使用的人工制品；当我们看到事情出错时，我们有责任去观察和谴责，去了解和告知，去重建和改进。由于责任链包括我们所有人（从研究人员到开发人员、政策制定者和用户），我们都需要积极努力，为着手形成适当的社会法律治理而采取下一步措施，以确保人工智能技术对社会有益的发展、部署和使用。最后，伦理学家、立法者、社会学家和设计师、技术人员一样，都是建设“有益于社会”的人工智能所必需的。

（来源：2021世界人工智能大会）