医疗人工智能治理中的人权保障

摘要：我国医疗人工智能治理需引入人权保障进路。欧盟以人权作为基本价值准则对医疗人工智能进行严格监管，以技术自我监管为主导的美国存在较为严重的侵犯人权的风险，英国和我国则尝试对技术创新和伦理影响进行平衡，但仍存在人权保障理念定位偏差、贯彻机制不甚清晰、忽视医疗场景特殊性等问题。我国应基于客观价值秩序的人权理念，发挥其明确基本权利与义务、限制过度监管与促进医疗基础设施建设、凝聚共识和推动合作治理的独特功能。在个人层面，应关注程序性权利保障，将医疗人工智能的使用纳入知情同意范围，设定人机共同决策的正当程序，关注不平等对待的投诉举报。在国家层面，应坚持以过程为中心的动态监管机制，以精准纵向监管为原则，探索动态医疗器械上市许可制度，对医疗机构和医疗系统生产商设置场景化的过错推定责任，依法增强数据、算力、模型的可用性。在社会层面，应建设全链条－多主体对话长效机制，推动公众参与，推进医疗主体自律监管，发挥关键医疗机构和一致性承诺制度的作用。

关键词：医疗人工智能 人权 基本权利 动态监管 公众参与

中图分类号：D908 文献标志码：A

DOI：10.3969/j.issn.2097-0749.2024.06.03

人工智能系统在创新诊疗手段、提升诊疗效能等方面正发挥着越来越重要的作用，在医疗保健领域和公共卫生领域亦有巨大的发展潜力。然而，这同时引发了对患者自主性、医疗资源的公平性、医疗隐私与数据安全、诊疗可责性等风险的担忧。对此，国内外已有较多研究从技术、伦理、责任等多个角度提出了医疗人工智能的治理方案：以公平、可责、可信、透明为四项核心伦理准则并从工作流程角度提出具体伦理要求；关注伦理价值、规范与人工智能技术的关系，通过价值敏感设计和参与式设计将伦理要求嵌入人工智能设计流程；从医疗资源丰富和匮乏的环境差异切入，提出政府应当从源头上投资数据基础设施建设，并要求企业测试人工智能在不同环境中的有效性以促进平等；关注医疗人工智能的侵权责任，采取医疗损害责任和产品责任的双轨进路并结合人工智能特点适用。

目前，医疗人工智能的核心在于人机交互决策，人是其中至关重要的角色，是研究领域中不可或缺的主体。然而，从人权视角深入探讨医疗人工智能的研究却相对较少，在一定程度上忽视了人权保障的贯彻机制、医疗场景的独特性，以及不同国家社会文化背景下制度惯性的重要影响。有研究聚焦于人权与人工智能治理的议题，指出人工智能的开发和应用可能对隐私权、公平审判权、社会安全权等造成损害，强调人权价值应当嵌入人工智能设计。我国学者在理论上进一步凝练总结提出了“数字人权”理论，并围绕数字人权是否应被视为第四代人权的问题展开了热烈讨论。但问题在于，现有研究对抽象人权保障原则在实际操作中的全面贯通性分析尚显不足，未能充分探讨人工智能在医疗场景下开发与应用的独特性质，也缺乏对不同国家社会文化背景影响的深入考量。这对医疗人工智能而言尤其重要，因其涉及生命权、健康权、自主权等重大权利间的冲突权衡，而不同国家的社会文化背景对医学和人工智能的治理范式亦存在内生性和外发性影响。此外，一个前提性问题尚待厘清，如果现行的法律、伦理和标准已经建构了自足的体系，人工智能何以需要人权法保障？

因此，本文聚焦医疗场景下的人工智能治理，首先探讨现行各法域医疗人工智能治理方案及不足，从原理层面阐明采取人权进路的必要性及人权基于客观价值秩序的功能定位，厘清人权法治化保障的贯彻机制，提出医疗人工智能的程序性权利保障、动态监管与合作治理方案，以保障患者基本权利，促进医疗人工智能产业健康发展。

一、不同法域医疗人工智能治理中对人权保障的定位

目前，不同法域关于人权在医疗人工智能治理中的实践表现出一定的差异性。欧盟医疗人工智能治理已将人权保障作为立法基本准则；美国在人工智能领域缺乏有实质约束力的法律，更多体现为行政机关对人工智能的有限监管；在英国，人权还不是医疗人工智能治理中一个频繁出现的词汇，而更多被“合乎伦理的创新”等话语所替代。我国则是以“负责任”的人工智能、人工智能的风险治理作为主要定位，关注医疗人工智能行业各主体的各类义务和责任，涵盖研究者、系统开发者、系统使用者等主体，包括伦理审查、医疗决策等各种内容。

（一） 欧盟

首先，保障基本权利是欧盟人工智能立法的重要目标。2019 年，欧盟委员会下属的欧洲人工智能高级专家组郑重发布了《可信人工智能伦理指南》（Ethics Guidelines for Trustworthy AI），着重强调了人工智能的合法性、伦理性及稳健性，指出要促进以人为本（human-centric） 和值得信赖的人工智能的应用。此举为欧盟人工智能治理搭建了坚实的基本原则框架。随后欧盟逐步开展人工智能立法计划，2024 年3 月13 日欧洲议会通过了《人工智能法案》（ArtificialIntelligence Act，以下简称《法案》），成为全球首个针对人工智能的专门性立法文件。在该《法案》序言中，欧盟强调在人工智能治理中要保障《欧盟基本权利宪章》（Charter of Fundamental Rights of the European Union，以下简称《宪章》）项下的基本权利，包括民主、法治和环境保护。同时，较低层级的欧盟医疗器械法规也以保障人的基本权利作为重要目标。

其次，对基本权利的侵害风险是判断人工智能风险等级的重要因素之一。循此标准，考虑到医疗人工智能对自主权、生命权、健康权的影响程度，及其与《法案》附件三列举的高风险人工智能系统的相似程度，医疗人工智能亦属高风险人工智能。正如《法案》序言所强调的，“在将人工智能系统列为高风险时，人工智能系统对《宪章》所保护的基本权利造成的不利影响程度特别重要”。事实上，《法案》附件三中将涉及教育、就业、福利分配、司法和民主进程等领域的人工智能系统列为高风险系统正是因为考虑到这些系统会影响不受歧视的权利、社会保护权、有效救济权等基本权利。《法案》第7 条亦明确将“人工智能系统有可能对健康和安全造成危害，或对基本权利造成不利影响”作为判断标准。与之相配合，《法案》第27 条规定人工智能系统部署者和经营者、提供公共服务的私人经营者应在提供服务前进行基本权利影响评估，评估个人或群体权利面临的风险并提出应对措施。依此标准，用于常规诊断、专业治疗和公共卫生的医疗人工智能系统也应属于高风险系统。原因在于，医疗人工智能系统对自主权、生命权、健康权的影响较大，且其与《法案》附件三所述的医疗资源分配系统和公共卫生预测系统具有相似的工作原理，与医疗诊断和治疗系统具有类似的风险侵害可能。尽管目前仍没有细化立法或者相关案例，但从规范角度分析，原则上应当认为这些典型的医疗人工智能系统属于高风险系统。

最后，欧盟二级立法规定了医疗人工智能治理中的基本权利保障措施。根据欧盟《医疗器械法规》（Medical Device Regulation，简称MDR），大多数医疗人工智能都被视为用于满足人类特定医疗目的的软件。在公法层面，医疗人工智能投放市场前需通过符合性评估程序，包括风险评估、符合性声明、产品标签认证（Conformité Européenne） 等，加强了对临床数据和设备可追溯性、全周期管理等要求。私法层面也对此有一定探索：欧洲议会在2020 年10 月提出《欧洲议会关于欧盟委员会就人工智能民事责任制度建议的决议》（EuropeanParliament resolution of 20 October 2020 with recommendations to the Commissionon a civil liability regine for AI），决议调整了人工智能民事侵权领域关于因果关系和过错的举证责任，以保障被侵权人能够得到完全赔偿；对高风险人工智能系统的前端运营商（即使用人工智能系统提供服务的企业） 应实行严格责任并辅以强制保险制度。然而在2022 年欧盟委员会根据欧洲议会立法建议制定的《人工智能责任指令提案》（The Proposal for an Artificial Intelligence Liability Directive）中，欧盟委员会不再强调对前端运营商的严格责任，而是关注后端人工智能系统生产商的产品责任，将进入市场的软件和数字服务纳入产品范围，而前端运营商原则上仅承担过错责任。目前关于前端运营商和后端生产商的责任类型和分配仍然处于争议状态，针对医疗人工智能的专门规范亦处于缺位状态。

欧盟法案明确提出“以人为本”原则，强调对人的主体性的尊重，但此种治理方案可能存在三个方面的局限。第一，无论是将人权作为基本立法准则，还是将基本权利作为具体风险分级的判断标准，欧盟整体立法表述过于抽象，在适用时存在较大的可操作性问题。第二，欧盟强调尊重人的价值，非常警惕人工智能带来的风险，因此，将人工智能本身作为立法规制对象，采取严格的公法和私法规制措施。但此种人权保障实施机制可能带来制度溢出效应，引发监管重叠与低效等问题，该机制的道德正当性和经济合理性也没有得到较好论证。第三，治理方式倾向于静态。无论是欧盟人工智能风险分级制度还是对医疗器械的定义抑或人工智能产品责任框架，均对人工智能系统的动态性、风险性等特征关注不够，对医疗系统本身的高精准性要求关照不足。例如，产品责任中仅关注缺陷的识别时间，未考察到随后的错误发现与系统更新等问题。

（二） 美国

首先，美国强调医疗人工智能企业的自我监管，政府主要提供治理愿景及对企业合规的再规制。政府负责定义未来人工智能应该用于什么领域，人工智能企业则在政府制定的风险监管框架内继续创新。例如，2022 年10 月，美国白宫科技政策办公室发布《人工智能权利法案蓝图：让自动化系统为美国人民服务》（The Blueprint for an AI Bill of Rights： Making Automated Systems Work forthe American People，以下简称《人工智能权利法案蓝图》），列明了安全有效、算法歧视保护、数据隐私、通知解释和可替代性五项原则，并指出了独立而具体的技术指南，但该文件不具有法律效力，仅为人工智能企业提供参考。又如，美国食品和药物管理局作为医疗人工智能的直接主管部门，专门发布了人工智能开发企业的预认证项目，辅以豁免审批或精减审批、突破性医疗器械计划等配套制度，以尽可能提升许可效率。其次，权利话语并非强调重点。美国政府并未在《人工智能权利法案蓝图》中强调人权、基本权利等概念，仅在数据隐私原则涉及敏感个人信息领域中提及人工智能可能对人权产生重大不利影响。尽管美国政府要求大型科技公司承担责任，保护美国公民的权利，并确保技术为美国人民服务，但在后续立法中，对哪些具体的公民权利需要严格保障仍付之阙如，尤其是在基本权利不同程度的限制方面也很难看到代表性案例。此外，美国2023 年10 月发布的《关于安全、可靠、值得信赖地开发和使用人工智能的行政命令》（Executive Order on the Safe，Secure，and Trustworthy Development andUse of Artificial Intelligence） 要求白宫各政府部门进一步思考如何使用人工智能提升工作效率并管理可能的风险，人权同样并非其强调重点。

此种治理方式的局限性也较为明显。在美国，人工智能企业主要关注产品的创新性和营利性，行政系统对医疗人工智能作为医疗器械予以监管持宽松态度，无论是自下而上还是自上而下的治理均欠缺对基本权利的保障机制，导致公司在创新人工智能系统时容易侵害基本权利。有观点指出，很少有公司会通过仔细设计来确保算法预测的错误率在可接受范围内，而这对医疗领域中人的健康权、自主权会造成很大风险。

（三） 英国

首先，英国在医疗人工智能治理中并未将人权作为至高无上的准则，而采取了更为柔和、更能与技术相融的伦理话语，并以此应对风险和维护基本价值观。例如，英国政府于2018 年4 月初发布了《产业战略：人工智能领域行动》（Industrial Strategy： Artificial Intelligence Sector Deal），这一国家级战略希望在经济和社会领域实现合乎伦理的人工智能发展，强调要利用人工智能打造世界最具创新性的经济模式、升级基础设施、发展教育机构等。2023 年3 月29日，英国又发布了《促进创新的人工智能监管方法》（A pro-innovation approachto Al regulation） 并持续更新，强调应当引导人工智能带来更强劲的经济增长、更好的就业机会和大胆的新发现，关注到人工智能应保障而非剥夺居民就业机会，人权只是作为人工智能风险而被提及。

其次，英国主要采取以结果主义、风险实害化为导向的治理思路。英国前首相苏纳克表示，英国将认真对待与人工智能相关的风险，但不会急于监管这项技术。英国没有预先为某一行业或技术分配风险等级或配置规则，而是根据人工智能在特定应用中可能产生的结果进行监管，即关注人工智能应用导致的真实、可识别和不可接受的风险。同时，在英国《促进创新的人工智能监管方法》的报告中，英国科学、创新和技术部更多使用风险收益分析的方法而非道德主义论证的方法探索人工智能治理方式。

最后，英国更加关注使用医疗人工智能带来的问题而不是技术本身。英国目前将医疗人工智能视为一种医疗器械，参照医疗软件进行监管并关注其中的可解释性、人工智能偏见等特殊问题。主要依据是英国药品和保健品监管局于2022 年发布并于2023 年更新的《软件和人工智能作为医疗器械的变革计划》（Software and AI as a Medical Device Change Programme），该计划强调对软件安全性、有效性的监测，以及上市后的及时监测和报告。英国药品和保健品监管局有意使此项计划切实可行，因而谨慎地确定了监管义务的适用对象及义务范围，并规定仅在必要时由政府介入应对风险。

英国所采取的平衡之道也并非十全十美。第一，人权作为社会共识应发挥更大的作用，如果仅采取伦理话语容易被误解为局限于企业的自我监管，患者权利保障、公众参与等方面应当得到进一步的探索。第二，政府监管发挥的作用不太清晰，究竟何时是政府介入的必要时机、企业自我监管与政府监管的衔接机制等问题仍有待探讨。

（四） 中国

早在2009 年11 月，我国卫生部就发布了《人工智能辅助诊断技术管理规范（试行）》《人工智能辅助治疗技术管理规范（试行）》等文件，建立了人工智能辅助治疗系统审批、定期检测、维护及使用登记等管理规范。2022 年2 月，国家卫生健康委员会和国家中医药局联合发布了《互联网诊疗监管细则（试行）》，明确规定人工智能软件等不得冒用、替代医师本人提供诊疗服务。在处方药领域有更严格的要求，除处方应由接诊医师本人开具外，严禁使用人工智能等自动生成处方。这主要是为了治理实践中出现的线上诊疗平台的“AI 开方，客户直接取药”“先药后方”等模式，符合《处方管理办法》《医疗机构处方审核规范》等既有规范体系，实现了互联网诊疗与线下诊疗一体化的构造。随后《北京市互联网诊疗监管实施办法（试行）》亦作出了同样规定。而在人权领域，《中华人民共和国宪法》人权条款、《中华人民共和国民法典》人格权条款等虽存在较为全面的保障机制，但目前尚未出台针对人工智能的特别规定。

我国的这种方案关照了实践中医疗人工智能可能引发的风险，主动承担起了科技大国在发展中的责任，根据行业生态系统性地提出治理建议，但仍存在改进空间。第一，权利保障制度仍有完善空间。尽管部分立法提及用户不被差别对待等权利，但似乎忽视了知情同意、卫生公平等其他重要权利，具体权利与人权理念的关系以及人权实施机制仍需进一步完善。第二，仍需探讨如何进一步调动公众、人工智能企业、专家学者等参与医疗人工智能治理的积极性并发挥能动性。第三，医疗人工智能治理是在传统医疗监管基础上的变革，具有医疗本身适用场景、适用目标、适用方式、关涉主体的特殊性，治理方式有待进一步的体系化思考。

（五） 小结

整体而言，相关国家和国际组织医疗人工智能治理理念和具体机制存在差异。欧盟以人权作为基本价值准则，由此推导出跨领域的统一监管和严格的产品责任。美国坚持技术自我监管，依赖特定政府部门对人工智能进行治理。英国则强调在推动人工智能创新的同时，要确保对社会有益，关注潜在的伦理和法律影响，同样采取了部门化的治理方式。我国则没有明显的权利保障色彩，更多强调负责任的发展。

目前，国际人权法层面暂时还没有用以应对人工智能影响的专门性条约，但国家间合作和国际组织不断推进国际共识的形成，在推动制定人工智能领域的国际准则和国际标准方面作出了重要贡献。例如，2021 年10 月英国药品和保健品监管局、美国食品和药物管理局向加拿大卫生部合作发布了支持良好的机器学习实践（Good Machine Learning Pratices，GMLP） 基本原则，为全球人工智能系统评估提供范例。人权作为人工智能发展的重要原则也被多次强调。又如，经济合作与发展组织2019 年提出的关于人工智能的建议，美国采纳了其中可信任人工智能的负责任管理原则，强调应在人工智能系统生命周期中尊重法治、人权和“民主价值观”。世界卫生组织发布的《世界卫生组织卫生健康领域人工智能伦理与治理指南》（Ethics and Governance of Artificial Intelligence for Health：WHO Guidance，以下简称《人工智能伦理与治理指南》） 亦将保护自主权等作为基本原则。

这背后有深刻的社会文化原因。欧盟强调宏观战略安排，因为欧盟成员国有强大的人权价值共识，且欧盟希望推动欧洲统一标准。美国整体采取“新自由主义”理念，强调企业自由发展，政府适时监管。英国既受到欧洲人文价值观的影响，又基于现实因素强调创新发展，尝试实现两者平衡。我国则更多地受到实用主义影响。此外，国家间的合作、国际组织的讨论以及全球经济的发展使得各方在拓展各自标准的同时也在不断谋求共识。

不同的治理方式各有优点亦存在潜在问题，这有助于启发人们从人权保障角度进一步探索。欧盟虽在原则上主张以基本权利保障为核心，但在具体落实时如何能够适应人工智能的创新需求与多样性仍未可知。美国对技术的温和治理带来了众多人权风险。英国和中国在各自文化背景下虽已尝试对技术创新和伦理影响进行平衡，但未特别强调从人权保障这一社会共识出发探索有效的实施机制。此外，医疗人工智能的特殊性亦需进一步研究。

二、医疗人工智能治理中的人权保障进路

（一） 基于客观价值秩序的人权理念

为何医疗人工智能治理应以人权保障为统领？从外部来看，目前医疗人工智能治理采取技术、伦理等多进路综合进行，人权区别于技术进路、伦理进路的核心功能是什么？从内部来看，在法律进路中，目前已存在行政规则和民事法律规则，何以需要人权保障？回答这些问题都有必要回到人权理念和体系的功能定位而解决。

在不同国家的社会背景下，人权的理念和体系有各自不同的意涵。在美国，人权及基本权利主要被视为一种相对于政府的机制；在法国，《人权和公民权利宣言》（Declaration of the Rights of Man and of the Citizen） 却并不局限人权的作用范围。德国则在此基础上进一步发展出了客观秩序理论，日本学者亦提出保障人权应当成为“全法秩序”的基本原则。在我国社会文化背景下，人权理念和体系应贯通于整个客观价值法秩序之中。这是因为，从世界历史发展来看，为扩大宪法价值适用范围，非西方国家宪法普遍将保障人权作为基本原则。我国作为发展中国家倾向于将保障人权作为贯彻至各领域的原则。

这便可以回答为什么人权进路具有区别于技术、伦理、法律进路的特点。首先，人权提供了法律实证化的基础原则。人权是一种宏大叙事，统合公法与私法，是规则创造的源泉而非亦步亦趋的解释。其次，人权是沟通伦理与法律的桥梁。人权是人之所以为人所享有的权利，反映了人类对已达至普遍共识的公平、尊严等价值理念的承认与尊重，进而通过宪法和法律将之落实于具体的法律实践中。此即道德人权—制度人权—实有人权三种样态的转化与实现。由此，伦理需要经过严格的道德论证和具体的制度构建，内嵌于权利、义务、权力、责任等体系，方成为法律规则。技术性准则或者倡导性的伦理原则只有经过人权价值的检验方可成为规范意义上的法律规则。最后，人权为人工智能技术准则提供了可协商、可信任、可规范的环境，使技术准则与伦理、法律规则融合。以匿名化技术为例，单纯的技术治理无法解决网络空间治理中的信任困境，只有赋予匿名化技术以数据流通的能力，从数据权利和责任豁免的角度凝聚基本价值共识，方可建构可信网络空间。

（二） 医疗人工智能治理中人权的功能

具体到医疗人工智能治理视域，从个人、国家和社会的角度出发，人权具有规范基本权利与义务、限制产业过度监管和促进基础设施发展、凝聚公共价值观与推动合作治理的功能。

1.保障用户基本权利与明确医疗企业义务

权利的规范力来源于权利人对指向性义务的控制。强化医疗人工智能领域的人权观念，能为数据和医疗技术掌握者的法律义务提供正当性。医疗本就因专业性和高壁垒性存在信息不对称的问题，叠加网络空间的超大型数据和算力资源，使医疗空间走向了“公权力—社会权力—私权利”的三元结构，医疗人工智能企业通过服务条款和代码的结合来达到营利目的并传递价值观。一个争议颇多的例子便是知情同意条款带来的医疗平台信义义务。在收集和使用信息时，用户既信任平台，但又与平台在辨别、控制能力上差距悬殊。这一社会关系使得隐私保护从原本的私人主体间平等权利义务关系转变为一种弱势个体与强势个体、弱势个体与强势群体、弱势群体与强势群体的不平等关系，此种不平等关系是产生类公法权力进而施加义务和责任的原因。

一个关键的问题是人权意义上的权利和义务的明确性。有学者认为原来主要由国家承担的人权保护义务，也转变为由数据和技术掌控者负担，这些主体负有恢复平等、尊严等人权价值的道德义务。然而，此种论证忽视了人权的根本性特征，道德权利不能被任意提升到人权高度，人权意义上的权利义务必须有更加明确、清晰的边界，有更严格的适用条件，才能符合其权利特征和保护需求，进而区分于伦理、法律和技术进路。在权利特征的判断上，人权必须关乎人之为人的根本道德性质，即人在智能社会的独特性。同时，人权应当有相应法律规则承接的可能性，不能以人权为由对数据和技术掌控者课以漫无边际的义务。综合来看，随着人工智能系统的不断发展，信息时代的人权具体体现为人在信息社会中有限但珍贵的尊严和自主性，保护目标是人格的自由发展，指向免于他人的人格干预和限制行为的禁止。

2.限制产业过度监管与促进医疗基础设施建设

人权的另一面向便是对国家的消极和积极义务要求。一方面，人权为医疗人工智能的分类分级治理、敏捷治理提供原始理论基础。以人权作为治理准则，意味着如果不涉及对个体重要权利的侵害，则并无正当性和必要性对人工智能产业发展进行严格限制，这为不同场域下医疗人工智能的不同的监管强度提供依据。如果涉及健康权和生命权、健康权和平等权等不同权利之间的权衡，亦需要人权法提供支持，这为医疗人工智能器械监管制度夯实规范基础，帮助平衡医疗产业创新带来的风险和收益。另一方面，人权的积极面向意味着国家要加强对人工智能基础设施的保障。首先，人权并不限于司法给付，将人权拓展至积极性的国家保护符合新兴领域人权原则的发展趋势。例如，在医疗人工智能领域，人权的积极面向可以体现为以公共资源确保公众平等充分地接入互联网世界、享受便捷医疗的机会。这对边缘社群、弱势群体等的医疗权利保障非常关键，是将他们纳入智能化医疗系统的重要方式。其次，推动医疗数据基础设施建设是进行良好治理的基础。有英国学者研究指出，对人工智能的更多投资使英国面临更少的伦理问题，因为人工智能的发展限制了对抗性人工智能攻击。此种主动保护理念也促进实现风险预防型法治，通过提前布局破解权利主体救济难题。

3.凝聚公共价值观念与推动医疗合作治理

一方面，在医疗人工智能中，数据技术的专业性使得患者难以深入了解风险并可能承担不利诊疗后果，由此导致公众对医疗技术发展的意义产生怀疑，不再信任医疗人工智能，从而加剧医患关系的紧张，导致基于数据的人工智能技术的发展难以推进。此时，凝聚公众关于医疗人工智能的价值共识，继而构建可信网络诊疗环境就变得格外重要。人权理念能够帮助实现这一目的，为凝聚公共价值观、构建可信智能医疗环境提供基础。这是因为，第一，人权是社会共识的表达。人权作为最基础的价值观念，能够帮助凝聚起最大程度的社会共识，人权实施机制也依赖并反哺于先前的共同文化和制度趋同。正如有学者所言，只有将共识性的社会价值和文化等因素融入生物医学创新的治理，才能推动生物医学以一种自我维系和自我驱动的方式发展。第二，人权价值具有包容性。社会各主体是在认同多样性人权价值的过程中有序实现人权价值，从而使价值熵值不断减少的。通过不同人权价值的主张、辩论，借由权利的确认、权衡机制，能够在具体场域中帮助各方主体寻求基本共识并促进沟通互信。

另一方面，人权所代表的权利话语带来了医疗领域多利益相关方参与治理的可能性，推动发展社会结构和丰富社会系统。在网络社会中，多利益相关方治理逐渐成为一个受到青睐的范式，无论是从技术和法律进路关系的角度，还是从厘清国家主权作用与社会结构作用的程度，抑或风险社会的要求，人权话语能够最大程度地调动主体积极性，发挥各方所长共同参与治理，并能够加强医疗共同体的道德自律约束，使其在多元治理中发挥作用。

（三） 医疗人工智能治理中人权保障的实施机制

人权并非只是一个包罗万象但实际无有所指的“壳”，人权在权利保障、限制监管和凝聚社会共识等方面具有独特功能。功能的实现必须依赖一定的结构，为了适应人权保障的功能定位，人权实施机制应做系统化架构。

1.宪法人权条款、基本权利体系与部门法的规范解释

用户基本权利与医疗人工智能企业义务，需从道德性出发，经由宪法和法律的规范解释，进而在实践中贯彻完善。此处宪法的规范解释主要是指宪法文本中的人权法律条款和基本权利的体系解释。宪法文本中的人权条款可解释为基本权利保障的概括性条款。通过抽象与具体的法律技术，宪法文本中的人权可转化为具有具体权利内容的基本权利形态。人权在法律领域的贯彻落实则是各领域的共识——人权正逐步转化为民事、刑事、行政等领域的实体性权利和程序性权利。例如，在民事领域，将承认患者人格权、明确诊疗注意义务作为医院行为红线。如果使用医疗人工智能系统进行诊疗，可能需要承担医疗损害责任或产品责任。

我国目前对基本权利的具体保障机制仍有理论争议，基本权利能否直接成为行政和司法过程中的实证权利存在不同观点。从应然角度来看，这更多受到国家权力架构、社会价值共识、国家发展愿景等影响。从实然角度来看，尽管有学者对历年中国人权白皮书中“人权司法保障”的表述进行分析后认为人权已经成为可诉诸司法途径保障的实证权利，但检索目前行政立法和案例，人权仍未成为高频语词。不过，“个人权益”已然成为突出的关键词，行政规章中“个人权益”成为判断相对人是否应当履行义务及履行何种义务的重要影响因素，在民事司法中也借由“后果”等语词体现了个人权益对裁判结果的影响。因此，无论直接采取“基本权利”还是用间接转介的“个人权益”，都至少说明了基本权利的重要性。进一步而言，我们需要做的是将对个人权益限制的检验落到实处，贯彻比例原则，进行利益衡量以更好地保护基本权利或“个人权益”。

2.以过程为中心的动态医疗监管机制

首先，应坚持风险与发展并存的监管原则。考虑到人工智能系统风险的难以预测性，以及目前所处的弱人工智能阶段，应当摒弃追求零风险的预防性原则，只有在人工智能风险具有较大现实化可能性时再追究相关利益者的责任。

其次，贯彻医疗监管对象义务的动态化。风险预测的不确定性意味着管理者应通过持续性监测、评价、检验来随时检视、修正已有的措施。许可制度是医疗行业的重要监管措施，许可要件动态化可成为应对医疗人工智能风险的合适机制。具体而言，政府可对医疗企业课以与当前技术水准相适合的义务。同时，风险的不确定性和变动性意味着义务赋予需要一定的灵活性。例如，在许可审批后课以医疗人工智能开发企业风险自我监测义务、事后改善义务和继续研究义务。

最后，推动医疗人工智能基础设施的法治化保障。人工智能模型是算力、数据、算法的集合体，uiAq//+kzvZazo9EXhgycD9ZCr0YLPGaVWG4uCWA33M=应加强这些基础设施的法律保障。现有研究虽然已指出应通过技术层面的平等分配实现负责任的人工智能，但较少关注到促进基础设施建设也应作为解决方案之一，即使有专门提升数据基础设施的分析，亦缺乏以人权法治化为贯彻机制的分析。

3.公众参与与行业自律监管的互动

人权所导向的公共价值观需要公众参与来贯彻。从功能来看，公众参与能够保障各方主体在决策过程中有机会进行有效的了解并表达自己的意志，感受并认同参与性权利的人权价值，进而贯彻符合人权价值的决策。从过程来看，公众参与以动态性和包容性的方式，让多元价值进行充分的表达和竞争。不同主体有各自的价值取向，有的群体可能主张人工智能创新不应受过多限制，有的群体则希望确保人工智能发展遵守道德和法律利益，还有的群体希望从人工智能的创新中获利。在众多单个意志的相互作用下，人权价值朝着各主体对共性部分的认同方向发展，从而推动各主体在社会层面达成共识，为参与者、更广泛的公众、社会带来更广泛的利益。

与此同时，自律监管是推动医疗合作治理的另一个重要实施机制。合作治理贯彻社会共建共治共享理念，推动治理走向民主化、社会化、大众化。医疗机构、医疗人工智能生产商等行业共同体的自律监管，能在国家、社会、个人之间架起沟通桥梁。医疗机构和医疗人工智能生产商能够及时与政府监管机构和受影响群体沟通，了解人权风险的范围和程度，并主动采取措施消除不利影响，以使基本权利不因多数人的公共决策而受到不利影响甚至侵害。需注意的是，公众参与和行业自律监管是相辅相成的，这意味着医疗机构、医疗人工智能生产商等既享有参与相关监管决策事项的权利，又负有自我规制、自我管理的义务，这能够进一步推动建成综合多元主义结构，协调国家与社会的关系，促进成员间达成价值共识。

三、医疗人工智能治理中人权保障的制度设计

（一） 医疗人工智能中的基本权利保障与义务厘定

目前，医疗人工智能治理中的权利义务可先从知情同意、共同决策、医疗机会公平等程序性角度予以设定，原因在于，患者、医疗机构和医疗人工智能企业之间的信任达成是一个动态过程，需通过不断地沟通互动而非一次性授权而建构，程序性权利是建立和保障此种信任机制的关键。在此基础上，程序性权利能够支撑后续实体性权利的实现，两者是相互关联和强化的。

1.患者知情同意中的权利与义务

知情同意原则是医事法中最为基础的原则之一，也是患者享有的基础性权利。具体到医疗人工智能领域，核心问题便是医生是否应当告知患者医疗人工智能帮助医生进行诊断、提供治疗方案？如果应当告知，医生告知和患者同意的程度为何？对这些问题目前仍存在较大争议，主要有三种观点：其一，在大多数情况下，未能告知患者使用医疗人工智能不会违反知情同意原则，除非医疗人工智能极不透明、人工智能对最终决策有巨大影响、人工智能主要是为了降低医疗成本而使用。其二，目前医疗人工智能中的知情同意原则虽然受到隐私、可靠性等因素的影响，但传统医疗保健领域的药物和工具也存在类似问题，故仍可以采取具体患者的主观标准和处于患者立场的一般理性人客观标准判断告知范围。其三，医生应当进行详细披露，推动整体透明度的提升，如加强专业培训，并通过教育举措提高公众对知情同意原则的理解。《人工智能伦理与治理指南》亦指出：“在诊断、预后和治疗计划中使用机器学习算法应纳入知情和有效同意的过程。如果个人不同意，不应限制或拒绝提供基本服务。”

从价值角度而言，医生向患者告知人工智能信息并征得同意是合目的且必要的。首先是自主性的保障，知情同意权能让患者感受到作为人而应得到的最基本的尊重，因为医疗决策的客体是患者的身体，同时这也考虑了患者的能动性。其次是建立信任机制，知情同意原则可以促进患者和医生的共同决策。相反，未能披露人工智能参与医疗决策将可能阻碍公众对医疗系统的信任。

从体系角度而言，医疗人工智能的使用也应进行一定程度的披露。一种是将医疗人工智能类比为医疗决策的其他输入（核心医学期刊文章、业务培训等），似可认为未能披露对人工智能的依赖不违反知情同意原则。然而，医疗人工智能相较于其他输入资料，以海量数据作为运行支撑，错误难以避免，且错误来源难以被解释，医生也难以审查。例如，人工智能和基因组学交叉产生的预测性健康信息即存在准确性问题。另一个则是将医疗人工智能拟人化类比为医疗团队的另一个“成员”，似可认为有必要向患者提供有关该“成员”专业知识的信息。但是，从目前来看人工智能更多只是辅助诊断的器械。因此，医疗人工智能误诊的风险性、难以解释性使得知情同意原则成为必要，但考虑到人工智能在决策中的地位，不应追求绝对的透明。

由此，接下来的问题是，医疗人工智能是否应当超越传统医疗中告知同意的程度？这必须考虑不同场景下医疗人工智能的风险性、可解释性、可操作性及其他监管的可能性。在常规诊断筛查情境下，通常是日常生活中非专业人士的筛查使用，并不涉及高风险的医疗决策，因此，此类医疗器械的生产厂商需要向接受使用者告知结果的正确率程度，并以简明语言告知工作原理，由此帮助使用者判断是否应当信任该筛查结果。在治疗情境下，一个重要因素是医疗人工智能的开发者和部署者需要以简明语言告知患者工作原理与效果。医生的告知义务则需要考虑决策的复杂程度和时间可行性。另一个重要因素则是后文所提及的医疗人工智能器械上市监管程度。现实情况中，患者前往特定医院寻找医生就诊，患者接受某一医生的诊断或治疗，既有可能是因为看重该医生的履历，也有可能是基于信任医院的遴选标准。与之类似，如果有健全的医疗人工智能评估机制，那么已经通过检测的人工智能可以很大程度减少医生的告知义务负担，在告知患者人工智能已经过审查后可以减少对可信度的说明。

需注意的是，知情同意权作为一种程序性权利，并不能导向医疗机构和医疗企业的免责抗辩，它们仍然有义务确保治疗必须是安全的。这种程序性权利主要是为了增强患者、医疗机构和医疗人工智能企业间的信任，以患者互动和理解为目标，不能通过过度披露等手段使患者难以区分有意义的风险和微不足道的风险。

2.人机共同决策（co-decision） 中的权利与义务

目前达成共识的是，医生应当作出最终的医疗决策，不能简单地服从人工智能的输出。对此，世界卫生组织发布的《人工智能伦理与治理指南》、欧盟《通用数据保护条例》（General Data Protection Regulation，简称GDPR） 第22 条“人在环路”的规则、美国医学会准则、中国互联网诊疗规范等均作出了相应规定。理由往往包括保护自主权、技术的不成熟、人工智能很难关注患者本身的社会文化背景、人工智能决策的民主合法性、患者希望专家决策等。但也有观点批判人类控制自动化的可行性。

已有分析指出医生对人工智能决策的谨慎态度，但仍可能忽视了现实场景。一是医生可能会依赖人工智能系统的判断，所谓的医生决定实际上是“橡皮图章”，陷入了类似于个人信息处理情形中用户无法做出真正的“同意”的问题。二是如果人工智能系统出现了与医生不一样的判断，医生究竟应当遵循何种标准进行判断？

从实践来看，我们需要关注医生与人工智能之间决策的混杂性，人机并非分离而是紧密结合的，人的决策并不是用来对抗人工智能的决策，而应当将目标换成——如何使人工智能帮助人类做出更好的决策。对此，应思考人工智能与人类医生的知识来源和工作原理有何差异。人类医生根据经验、实验等积累而成，医疗人工智能则根据不同的应用情境有不同的工作原理。如视网膜筛查是根据人工智能算法来对视网膜相机拍摄的眼睛图像进行分类，通过海量数据寻找关联性并不断学习。这与人类识别是类似的，因此，医疗保健人员（非专业医生） 可以较大程度地信赖人工智能决策。但是，不能因为人工智能和医生判断更加类似，就赋予医生更少的注意义务，因为这样难以激励医生勇于根据自身判断做出与人工智能不一样的决策。

法律决策不是关于自动化的信息流程，而是关于产生正当性和合法性的流程。在决策互相印证或冲突的情形下，应通过程序结构产生正当性。换言之，决策难题不应让医生独自面对，合理的结构应当是医院和专业协会为人机交互设计配备更细致的行为程序，在此程序下医生和人工智能共同决策，并拥有面对计算转向的辩论权。例如医院应当积极组织培训以提高医生运用人工智能功能和方式的能力，并由医生告知患者；又如医生与患者合作改变人工智能决策中的某些参数，并通过观察这些变化的影响来确定最终治疗方案。

3.全球医疗卫生公平中的权利与义务

医疗人工智能虽能帮助那些因经济或地理等原因导致医疗资源匮乏的群体更容易获得医疗服务，但也有可能加剧现有的不平等现象。在数据收集方面，数据处理者很难从医疗服务获取不足的群体中收集到医疗数据，人工智能模型则会使潜伏在数据中的偏见进一步放大。在模型设计过程中，标签设置若忽视群体医疗资源差异亦会加深“数据鸿沟”。有研究指出常用的医疗模型预测黑人和白人疾病概率时存在较大偏见，因为该模型的算法标签忽视了黑人与白人固有的医疗可得性差异。在模型应用过程中，人工智能训练环境数据资源的丰富性与应用场景的资源匮乏性可能存在张力，这使得人工智能在应用过程中存在脱节，可能导致治疗质量显著降低。例如，有研究指出用于改善乳腺癌的人工智能系统可能会对非裔美国女性给出更糟糕的治疗建议，因为该系统主要基于对白人女性乳房结构的分析训练而产生，而白人女性乳房结构与非裔女性乳房结构存在显著差异。这些医疗服务的不平等在微观角度体现为社群之间的差异，在宏观角度体现为发展中国家与发达国家、低收入和中等收入国家（LMICs） 与高收入国家之间的差异。对此已有研究从法律和技术的角度给出一些方案，如承认平等救济权以获得更充分的赔偿，在算法设计时进行评估并提升透明度等。

以人权中的平等权为进路，可结合前述技术和应用场景进行针对性保障。在数据收集方面，医疗公平主要依赖于数据基础设施的法治化建设。在模型设计方面，设计者应通过代码设计将平等原则嵌入算法，如对标签进行多维考虑、增加对不同群体输出合理对待结果情形的权重。在模型应用过程中，应及时救济用户权利，注重用户程序性的投诉举报性质权利，因为民事赔偿局限于事后救济，难以及时快速地回应问题。

（二） 医疗人工智能中的监管特殊性

1.以精准医疗纵向监管为原则

如上所述，各法域医疗人工智能治理均面临一个共同问题：人工智能应由一个单独的跨部门横向监管还是应被纳入既有的纵向监管体制？鉴于我国人工智能法已经纳入《国务院2023 年度立法工作计划》，这一问题的回答对该法的体系定位有直接的回应作用，也将影响医疗人工智能的监管体制。对此，有观点指出，人工智能虽有重大风险的可能性，但对损害后果缺乏明确论证，不应以严格的跨部门特定方式进行监管。但也有学者认为，人工智能系统中硬件、软件和数据构成生态系统，需要进行全面系统的综合监管。正因如此，欧盟、美国和英国作出了不同的制度选择。

本文认为，医疗人工智能应以纵向监管为原则，并强调监管的精准性。第一，尚不需要将医疗人工智能单独作为一类规制对象进行综合性横向监管。目前医疗人工智能整体处于弱人工智能阶段，只能作为辅件嵌入其他产品或者进行辅助决策，并无必要进行单独监管，将医疗人工智能纳入已有产品或者已有医疗决策系统进行监管即可。第二，纵向监管能满足医疗人工智能独特的精准监管需求。基于人工智能典型的场景化特征，更为合适的方法是针对具体场域特征探索相适应的监管方式。医疗人工智能直接影响的是患者身体健康，对人工智能系统的稳定性和正确率要求应高于一般系统。第三，从法律规范层级而言，纵向监管能及时应对技术变化，并针对医疗人工智能制定具体规则，这也适应目前政府部门专业技术分工体系现状。

2.动态医疗器械上市许可

在二战后形成的传统医疗产品研发模式中，产品在获得市场准入许可前必须经历基础研究、动物模型临床试验、产品试制和人类参与的随机对照临床试验四个环节。但参照医疗器械进行监管的医疗人工智能具有独特性，技术更新迭代快，需要迅速有效的上市许可程序以推动技术创新。因此，在软件、人工智能类医疗器械的上市过程中，美国食品和药物管理局指出可以运用真实世界数据的风险评估方法进行审核，即通过临床试验以外的方式，从真实世界获取药械安全性和有效性的证据。英国药品和保健品监管局亦指出，为了让制造商能够更早进入英国市场，允许在持续监控的情况下、在有限的时间内借助软件生成真实世界的证据，以满足上市前尚未达到的临床证据要求。因此，美国和英国行政机构对医疗器械上市许可均采取相对于传统药物更加宽松的监管，可在上市后特定时间内补充真实世界证据，并作为最终核准该器械能否入市的依据。

我国对此未置可否。国家药品监督管理局医疗器械技术审评中心发布的《深度学习辅助决策医疗器械软件审批要点》指出，在审批辅助决策类医疗器械时仍应以临床试验为主要判断方法。北京市药品监督管理局对外印发的《医疗器械创新服务提质增效行动方案（2023—2025 年）》也仅提及对已取得第二、三类注册证的创新优先审批和人工智能等产品采取目录制管理。但对前端的注册证审批只是缩短审批时间，并未纳入拓展性试验范围，未从实体上降低批准难度。

关键的问题在于患者是否有权利越过传统临床试验程序直接获得医疗人工智能技术手段。基于前述许可要件动态化这一原理，可对医疗人工智能类器械实行动态审批。在例外情形下，综合考虑数据质量、创新程度、整体风险等，允许以真实世界数据作为临床试验证据替代，并辅以后续的严格检测程序。同时，无论是通过临床试验还是真实世界数据许可上市，均应重视上市后的持续监管，因为软件开发具有连续性，开发者很容易向市场推出软件更新，可能产生监管不足的问题。故应要求医疗人工智能开发企业定期检测并对重大更新情况进行报告，若未达预期审核标准应要求该企业再次申请审批。此外，目前用于许可的数据集通常由回顾性的、单一机构的数据组成，为提高人工智能系统的可信度，应探索建立可行的透明度和验证标准，披露数据集的设计参数和收集方式，并向公众展示不同参数和方式对临床结果的影响。

3.场景化的过错推定责任

如前所述，欧盟对人工智能前端运营商究竟采取严格责任还是过错推定责任存在较大争议，对后端生产商则采取产品责任的进路。我国学者则主张对前端运营商应采取医疗服务责任进路，后端生产商则承担产品责任，此种双轨思路大多基于法教义学的逻辑推理而得出。

基于纵向监管思路，本文认为，前端运营商和后端生产商仍应承担过错责任。目前医疗人工智能系统多是基于个性化、定制化的服务产生，有特定的数据收集范围和医疗系统应用目的，很难进行标准化拆分，故很难作为高度统一化的产品进行规范。对前端运营商和后端生产商，更为合适的方式或许是基于场景进行一般侵权责任的配置，并考虑辅以过错和因果关系倒置的规则，在体系上也能与医疗机构医疗服务责任进行贯通。在前端运营商的注意义务设置上，医疗共同体应逐步形成医疗人工智能使用准则，并以此作为重要判断依据。后端生产商的注意义务则需考虑人工智能系统无法排除偶然性结论等特殊性。由此，通过合理的责任配置，医疗人工智能的生产商和运营商能够进入理想的监管状态，从而在设计和使用过程中进一步传导责任。

4.增强医疗数据、算力、模型的可用性

第一，完善数据知识产权制度，增强数据可用性。典型的例子便是英国国民健康服务体系（NHS），该体系拥有世界上最为全面的健康数据集，可利用这些数据和医疗信息技术开发工具帮助疾病的早诊早治、药物有效性分析、慢性病管理、社会高发疾病分析。但该体系要求的数据使用费用过于高昂、条款过于严格，以致让开发者望而却步。这警示我国应完善政府数据授权开放和企业数据高效利用制度。

第二，加强统筹算力资源，积极规划推动数据共享。国家应当统筹规划数据要素和算力资源的投入调配，引导资源配置，改变人工智能在不同领域分散研发的状况，鼓励基础模型的研发，推动人工智能产业链的加速升级。此外，目前各医疗机构信息系统数据碎片化程度过高，居民健康数据亦难以与医疗机构信息系统对接。应当提高不同数据系统的兼容性，建立国家标准层面的数据流通标准。

第三，视情况将部分医疗人工智能技术的使用费用纳入医保报销。由于医疗人工智能的使用较为昂贵，为了鼓励此类医疗服务的可得性，可探索将部分具有紧急性和必要性的医疗人工智能使用纳入医保报销。从体系上来看，我国辅助生殖技术也正是通过纳入医保报销的方式增强了可得性。美国医疗保险和医疗补助服务中心亦允许报销使用两种特定人工智能系统进行医学图像诊断。

（三） 医疗人工智能的多元共治

医疗人工智能治理应以公众参与和自律监管为锚点，让各利益相关者通过对话机制、一致性承诺等发挥作用，从而回应医疗人工智能带来的挑战。

1.医疗全链条—多主体对话长效机制

“公众”一词语义广泛，需厘清医疗创新和治理链上的各主体角色，保障各主体的参与权，充分发挥角色功能。一是患者及家属。患者是直接接受医疗人工智能的主体，同时承担风险实害化的后果。因此，需要着重考虑患者的受益与风险。只有尽可能将受益最大化、风险最小化，才能充分保障其基本权利，进而获取公众信任，调动公众参与医疗人工智能创新的积极性。患者家属作为医疗决策的重要参与者，往往代表着患者意志并承担医疗开支，也应纳入参与主体。二是医生和医疗机构。医生和医疗机构作为医疗人工智能的直接使用者，在伦理和法律上承担诊疗行为相关的责任。他们具有该领域的专业判断能力，是对人工智能尝试理解并提出建议的最佳主体。三是医疗人工智能技术开发者和软件生产者。他们是技术创新的引领者，也自然成为风险源头的最佳控制主体，必须参与如何进行负责任、创新的决策。四是研究机构和学者。开展计算机科学、机器人学、数学、伦理学、法学等领域科研机构的合作和对话，能让不同学科的学者从各自范式出发寻求基本价值共识，将社会性问题的考虑充分融入技术的设计研发过程。五是行业组织。行业协会作为行业自治性、自律性组织，通过制定规范、订立标准等方式，扮演着行业“无形公地”看护人和集体风险防范者的角色。我国目前有国家级和各省市人工智能行业协会等各类行业组织，在各自领域拥有较强的组织力和动员力，是治理过程中不可或缺的重要主体。六是普通公众。人工智能影响着每个人的生活，每个人也可能都有使用医疗人工智能的机会。公众并不仅仅是人工智能、精准医疗等科普的接受者，也应当是参与相关政策决策的主体，因为不同的经济文化背景的公众能够反映社会对人工智能的基本认知与共识，这也能帮助消除公众对精准医学的盲目乐观或误解，加强公众信任。

实践中应采取全链条—多主体对话机制促进公众参与，即保障医疗创新和治理链条上各方主体的参与权利，并在制度层面建立起民意调查等长效机制，实现患者、公众、企业、科学家与政府的多方对话。其中，一是要注重公众与政府部门的合作，由企业、行业组织等在国家和个人之间构建自上而下和自下而上的缓冲地带，促进真实、有效、广泛参与。二是注重公众参与的反馈机制。尽管从结果上来看，公众意见能对政府决策产生何种影响，取决于公众和决策者之间的博弈，但至少程序上应当保证透明度。

2.发挥关键医疗机构与一致性承诺制度的作用

第一，应以医疗主体内部互动为重点，关注关键主体的作用发挥。目前医疗共同体中的自我监管机制主要包括专业协会和委员会、伦理审查委员会、行业认证、行为准则等。这些组织程序已然发挥较强的作用，但同时也不应忽视关键个体的作用。有较大影响能力的医疗机构和医疗企业具有领导力的战略需求，能够基于行业影响力要求上下游商业伙伴在算法决策中嵌入必要的人权价值和法治伦理，设定算法的自律准则，监督上下游商业伙伴是否有侵犯人权的行为，形成具有共同约束力的共识性标准，这对提高整个行业的人权保护水平有积极意义。

第二，应注重医疗主体与行政主体的互动，这在实践中主要以一致性承诺作为落实方法。在政府与医疗人工智能开发企业和医疗机构协商过程中，后者可签署自愿承诺书，承诺安全开发和使用人工智能。政府则需对这类承诺中的有效部分进行严格监管，因为这种承诺关乎弱势主体对强势主体的直接信任。在协商过程中，政府能够了解医疗企业和医疗机构的发展和需求，帮助企业灵活调整，避免硬法的不合理限制。

（责任编辑：周 力）