法院全方位智能监管体系的运用及其完善

胡双

安吉县审判保障服务中心 浙江 湖州 313300

引言

经济社会中人工智能的应用越来越广泛，给实际运用和法制概念带来很多的困难。实际困难的大部分来源于人工智能的发展和机械自动控制的基本问题[1]。概念性的困难来自于为自动机械造成的损害而分配道德、法律责任的方法，以及正确定义人工智能的方法。

1 Al监管难点

1.1 人工智能的定义

所有AI监视系统必须首先定义他们监视的东西；总之，必须首先定义人工智能是什么。令人悲哀的是，至今为止，不管是政府部门的规定，还是各大公司，对AI的定义还没有被广泛接受。为了解决这个问题，我并没有给出人工智能的定义。相反，我是想以调查调整规则定义AI时可能遇到的问题为目标。

从目前的来看，AI定义的难度不仅在于AI本身的定义，而是在于AI概念的模糊性。因为人类是唯一具有才智的被广泛认知的实体，所以才智的任何定义都无疑与人类的性格有关，再怎么谈都不可能逃过人类这个主体[2]。

约翰麦卡锡，现代人工智能的领袖，也是人工智能概念的创造者。他相信“才智的任何定义都应该基于人的才智”。因此，就产生了知性的定义，这种定义非常灵活，包括意识、自我意识、语言使用、学习能力、抽象思考能力、适应性和逻辑推论能力在内的定义功能。

1.2 AI的特点给监管带来困难

1.2.1 主动性、可预测性和因果关系。主动性是人工智能和其他早期人类技术的最大区别。AI系统可以通过自己的判断来操作汽车，或者可以在没有手动控制或人类干预的情况下自己起草一份投资协议。今后将进一步改善人工智能系统的作业难度和范围。工业革命带来的机器取代了工厂和农业生产的许多体力劳动者，这给他们带来了巨大的经济和社会影响[3]。人工智能和相关技术进步是因为人工智能系统可以做很多工作，减少了对高品质人才的需求。人工智能还必须强制适应现代社会人工智能广泛使用的法律法规的一些巨大变化。

预测的可能性是对AI法的重要挑战。我们看到了很多人工智能的例子。他们可以把创造性的动作或行动看作人工智能的创造能力或人类行为的创造性表现。这种现象来源于国际象棋的计算机程序。除了制定基本规则和人类国际象棋的战略对策外，它还可以创造出世界上著名活动的记录。

人工智能创造力的例子是一种错觉，它是特定人工智能系统可用操作数据交互的结果，不受人类固有认知偏见的影响。对于计算机象棋，统计学家奈特·西尔弗说：“我们可能无法将计算机所做的独特游戏步骤描述为创造性行为，因为它做这些仅仅是因为它强大的计算能力[4]。但这对计算机的机器也有好处，因为在某些情况下，机器不允许自己找到正确的步骤，从而阻止自己识别正确的方法。对于棋手来说，摆脱旧的思维方式需要独特的创造力。”

1.2.2 控制问题。AI系统的自主性不仅能够产生预测性，而且还可以做到如何控制预测性。控制人类独立设计的机器是非常困难的。AI系统包括文件破坏、输入装置破损、安全系统脆弱性、计算机系统反应速度比人类快、程序缺陷等许多不可控制的机制[5]。在学习和适应性的AI系统中，人很难恢复控制，一旦失去控制将会是一种非常可怕的局面。这是人类行动的结果，这些独特的特点是AI使不同于过去的公共危险源。

Off-control可以分为两种类型：一种是局部控制，即AI系统不再受人类控制，而人类不再为AI的监督和操作而负法律责任；第二控制即不能控制AI系统。显然，后者比前者严重得多。即使AI不能完全控制，只要AI系统的目标与国民一致，也不一定会带来公共危险。但是，人的价值本身就存在很多的不确定因素，无法从根本上正确定义，所以维持目标和利益的一致性可能非常困难。从人工智能的目标是由最初的程序设计决定这一事实来看，人与人工智能之间的利益产生了分歧[6]。在原来的编程程序中，即使AI可以根据之后的经验改变目标，改变目标的指令也会由原来的编程系统发出。因此，人工智能系统的最佳解决方案是尽快排除人类。

1.2.3 AI研发：保密性、多样性、不连续性和不透明性。从监管机构的角度来看，最大的难处其实并不是人工智能，而是人工智能的研发模式[7]。保密意味着AI在研究的过程中不需要肉眼看不见的设备。分散化意味着研究AI系统不同构成要素的研究人员可能被分配，而不是都聚在一起研究。不连续性是指与地方分权密切相关的特征所有的构成要素或协调不需要来自不同领域的最后的特征，不透明度是AI系统的很多操作可能都会被保密起来，而不能被反向工程控制。这些特征在人工智能的发展中并不独特。信息时代的很多技术其实都有这些特征。但是，只有人工智能的研究非常特殊，其存在的这些特性注定会给人类带来很多特别的挑战。

原子能科学技术和消费品的大量生产、产业环境污染、有害物质的大量生产等20世纪的公共危险迫切的需要基础设施方面的投资。这个时期简化了管制过程。必要的基础设施的建设，必要的生产设备的购买和雇佣大量的员工，大企业在这方面下虽然下了很大的功夫，但同时还要与政府联系密切[8]。可见AI的保密性是非常重要的，是不可能暴露出什么秘密的。监管机构可以很容易地确认潜在的公共危险目标和场所。

1.3 机遇与风险同在

随着海量数据积累、算力瓶颈、机器学习创新，第三次人工智能浪潮引发经济社会全面智能化转型。智能科技必然带来新产业、新业态、新模式，成为新一轮科技革命的创新引擎。“加快形成以创新为驱动和支撑的经济体制和发展模式”是一项紧迫的任务。面对风险与机遇并存的人工智能技术应用，需要有效识别监管问题。监管不力意味着很多风险无法防范，可能会出现破坏良好技术原理的不良现象，在当前的局势下，迫切需要及时建立适当的监督机制[9]。

2 监管建议

个人信息领域的法律和实践经验对于构建人工智能应用中的社会风险监控机制非常重要。针对监管部门混乱或职责不明确导致的“监管空白”、“重复监管”等诸多问题，建立独立统一的监管体系是有效保护个人信息的重要环节。 欧盟在其一般数据保护规则中明确定义了数据保护机构和运行机制，并将其视为数据保护的核心系统。微软和IBM等巨头在内部设立人工智能伦理委员会，但这还不足以解决人工智能应用的社会风险。迫切需要建立和完善专门的政府监管机构，以有效阐明分级监管职责[10]。

2.1 建立两端分类，形成全面监管

面对许多危险，法院监管体系需要进行科学严格的监督。然而，监管的目的不是限制技术发展。相反，监管的目的是促进人工智能产品和服务的健康有序发展。相关监督要充分体现适当性。欧盟高风险强制监管是通过“应用领域+使用方式”来定义，以达到保密监管的目的。《算法问责法案》将其直接限制为年收入超过5000万美元且拥有100万个人和设备信息的公司，或主要买卖消费者数据的数据经纪公司。以经济实力和用户数量作为划分监管范围的标准，可以将一些新兴的人工智能公司排除在监管范围之外。在划定监管范围时，应综合考虑人工智能应用领域、使用方式、用户数量等因素，综合成本效益分析，制定综合监管方案[11]。

2.2 人工智能监管机构

AI开发法还需要AI监管机构在批准和认证前，建立测试标准和规则。需要通过相关的测试，在申请承认和认证的同时提交给AI监管机构，符合AI监管机构规则的测试将会不承担重大责任。考试的规则是在比较密封的，安全的环境中进行[12]。例如，测试规则是一种能够操作的网络化计算机、机器人或实际世界对象的系统，一种超越了应答级别计算机能力的系统或者必须禁止在AI测试可能影响外部环境的系统中进行测试。AI规制当局应该有迅速修改测试基准的权利，但是这样的修改也会成为国民详查的对象，最终需要投票决定。

测试后，AI开发者可以向AI监管机构申请批准和证明。为了给应征者提供指导，为人工智能产业设置一些不可越过的权限，管理委员会表示，人们应该就不管它是否能保证人的控制，是否会造成个人的伤害，目标是否一致应该发表一个人工智能应用的评价标准[13]。AI监管成员的主要任务是确定AI系统是否满足这些标准。申请AI证明和许可的公司，必须要包括与AI环境相关的所有信息：①完整源代码；②AI软件和测试环境的硬件部分；③测试环境（AI）其他AI安全相关信息的AI性能。信息公开后，AI监管人员必须再次测试内部AI项目的安全性。考虑到AI的可能性的多样性，AI限制当局也应该有限制认证范围的权利。

2.3 注重风险评估，完善监管流程

谈到AI应用的风险监控范围，无论是欧盟“白皮书”中对“高风险”标准的规范，还是“备忘录”中对风险和收益的衡量，风险始终是起点观点。有效的风险评估通过监督起到主动监督的作用，指出监督方向，最大限度地减少损失，避免不值得的监督成本。目前，各国法律并未对人工智能应用的风险评估做出明确要求，但仍有应遵循的迹象。欧盟《通用数据保护条例》第35条明确规定了高风险数据处理活动的数据保护影响评估义务，并规定了应进行影响评估的三种情况以及评估创建和披露的具体要求列表。《问责法》对一定规模的公司提出了高风险的系统评估义务。通过数据处理和算法应用影响评估来间接评估人工智能应用风险已成为应用风险评估的一大趋势。我国《个人信息保护法（草案）》第54条规定了对个人有重大影响的个人信息处理活动的预风险评估和记录义务，可以看到与个人数据处理相关的人工智能应用程序的风险，由此可见，智能监管评估已经是我国智能化发展必不可少的。

虽然有授权程序和认证标准，但是在许多情况下，并没有讨论AI系统的版本是否被认证，AI系统的一些改变是否超过认证范围。在处理这些事件时，法院可以进行初步测试以确定参与诉讼的AI产品的版本是否在所批准的认证版本的范围内。如果那个不在原始范围内，时间就超过了所批准的证明范围。AI改正是否超过承认和证明的阈值，决定被告是否有有限的责任，是否必须承担重大责任。

3 结束语

本文提出的基于不法行为系统的限制路径是一种中间方法。它作为一个严格的监管机构不起作用，不经批准和证明，禁止所有AI产品的生产，并强化AI产品的安全性属性，为消化他们的外部成本，提供对AI开发者的诱因。通过违法行为责任的杠杆化，人工智能系统的外部安全成本被内部化，使得市场上人工智能产品的合理价格反映了风险。同时，不是未经许可的人工智能系统，而是承担关节和一些责任和严格责任。AI系统的供应商、零售商和用户一直鼓励对未经授权的AI系统的安全性进行仔细检查。同时，改变AI系统会失去有限的保护，确保下游厂商不会改变AI系统。