反思与应对：AI医疗的伦理与法律风险*

吴 蓓 陆树程

1 AI医疗现状

近年来，人工智能(artificial intelligence,AI)以不可阻挡之势引领科技潮流。随着AI在各领域的广泛应用，现代医学也随之出现深刻变革，AI辅助诊疗、护理、疾病风险预测、健康管理、医院管理、药物研发数据管理、AI融入脑科学，AI融入心理精神疾病研究等。AI在提升现有医疗体系性能和人类健康福祉上被寄予厚望。

早在20世纪70年代，人们就已开始尝试将AI融入医疗。1972年，MYCIN系统研发成功，用于传染性血液诊断和处方，这标志着AI迈入“专家系统”时期。20世纪90年代，计算机辅助诊断、影像病灶标记等技术应用不断研发。21世纪初期，斯坦福大学研发出“卷积神经网络技术(Convolutional Neural Network,CNN) ”诊断皮肤癌,将AI医疗推向了新高峰。2015年,IBM公司研究的沃森(Watson) 受到全世界关注，通过深度学习，为肺癌、前列腺癌等多种癌症提供诊治。而达芬奇手术系统则成为当今最知名的微创外科治疗平台。

2017年，国务院印发的《新一代人工智能发展规划》提出探索智慧医院建设, 推广应用AI治疗新模式新手段, 建立快速精准的智能医疗体系。国内AI医疗项目纷涌而出。腾讯“觅影”食管癌早期筛查系统落地广西壮族自治区人民医院。阿里健康发布医疗AI系统(Doctor You), 提供医疗影像检测、医生能力培训等多项服务。截至2017年10月，中国内地有67台达芬奇手术机器人进驻医院[1]。总体上，我国对AI医疗在肺结节、眼底、乳腺癌、宫颈癌方面已有较为成熟的产品，但与发达国家利用的多样性仍存在一定的差距。

从实际应用来看，尽管资本对AI医疗一片乐观，但效果不尽理想。以被高估的Watson为例，建立在统计数据基础上机器学习方式无法与当今医疗系统的复杂现实和医生工作方式相匹配，尚未能围绕医院的痛点构建出具有更大实际应用价值的产品。在辅助诊疗方面，AI医疗只能用于诊断极特定类型的疾病，病情需要具备典型性，且每次出现的症状需有相似性。目前，AI医疗企业大多将训练模型建立在各自数据库基础上，与医疗机构多以单点合作为主，训练数据效果较好，可一旦遇到未知数据，效果则大幅下降，依赖模型做决策无法被信任。在印度，Manipal 综合癌症中心的医生对638 例乳腺癌病例中，Watson 与专家治疗建议的一致率为73%。Watson 在韩国Gachon 大学Gil 医疗中心表现更差，该医院为656 名结肠癌患者提供的最佳建议，只有49% 与专家相匹配。此外，AI医疗算法对于找到多种信息源之间的联系尚且力不从心[2]。

相比之下，学界对于医学与AI交融之势则持更审慎的态度。第一，目前国内大部分AI医疗项目仍处于科研阶段，一旦进入商用，资本的逐利导向下如何确保技术不被滥用，确保AI医疗技术安全使用的落地模式和AI医疗企业监管制度问题有待探究。第二，使用中如何预防、应对AI医疗系统的错误、漏洞，甚至是系统崩溃？一般AI技术的错误或许会引起某些财产性损害，但AI医疗系统的这些问题却可能影响人的人身权利乃至生命安全，相关风险如何防范？第三，强AI对现代医学模式与医患关系的解构，如何在提升医生的主体性和促进患者健康利益之间找到平衡， AI医疗的目标定位关系到发展方向，须予明确。

总之，AI到底是现代医疗的福音还是会造成对人类潜在的威胁，从根本上取决于人是否能充分驾驭它，其前提则是人们对AI医疗伦理、法律边界的厘清和充分把控，是医者对于医学本质的遵循。

2 AI医疗面临何种风险

科技是把“双刃剑”。AI技术高速推进过程中潜在诸多不确定性风险，既有其介入医疗领域因知识技术体系的不完备、预估不足所潜在的风险，也有AI研发人员尤其是相关企业在研发与应用过程中短视、功利性因素所造成的某些不必要开发或不良应用而埋下的潜在危险。

2.1 AI技术或将造成对医疗人员主体性的消解

赫拉利在其所著《未来简史》中指出，在生命科学理论视域中，生物即算法。对于海量数据量，人脑无法处理，由此，AI似乎为人类的生命健康、疾病诊治提供了某种更智能优化的选择，也将医者从部分繁重的工作中得以解放。然而，人是具有生存意义、价值的存在，在21世纪，AI时代数据主义导向下以人为中心走向以数据为中心，算法忽略或替代了人特有的情感、体验和关怀，把人推向一边，造成医者价值的失落、剥夺感的滋生、主体性的消解。到底是AI辅助医疗还是部分医者沦为AI技术的附属，是经验让位于算法还是算法服从于经验？一旦医者过度依赖AI，其认知与独立思考能力减弱，与患者沟通、关怀能力、医学水准也可能因此降低。AI医疗不仅改变了现有医疗的存在方式，更冲击了医生的劳动价值观，医疗人员必须重新审视自身定位和找到成长动力，寻求体现自身价值的方式，以克服AI技术对医者的异化与非人改造。

2.2 AI对传统医患关系的解构或使医学偏离其本质

医疗与AI结合的关键要素是“算法+有效数据+计算能力”[2]。AI重数据，但数据不等同于事实。AI为医疗决策所提供的证据虽然能为患者做出辅助判断，尤其在医生无法就诊断给出统一意见时提出方案，填补了不同医生医疗经验、水平参差不齐的缺陷，尽管这看似高效优能，但医学活动有别于单纯的科学活动。人体终究不是由数据堆砌出的生命体，人体的生态系统微妙而复杂，个体的差异性是不容忽视的特殊事实，个体的生活习惯、环境、人际关系、心理等因素对人体健康和疾病康复也有着各种关联，而这是AI大数据难以覆盖的。和谐医患关系是在医者悉心全面了解掌握患者情况等医学事实的基础上，基于医患间信任与沟通、诊疗与关怀的生物心理社会医学模式，而非简单依赖算法的诊断。重诊疗方法的普适性、轻患者多样性，重科学技术手段轻人文关怀的医学发展并不可取。AI是从属于计算机学科的一个分支，AI投资者、研发者以及制造者大多并不具备医学专业素养，在风险监管和制度构建尚不完备的情况下，如何保证AI医疗技术研发与使用不偏离对生命健康保障的宗旨，不会出于逐利而造成对患者潜在伤害，这是AI医疗不得不思考的问题。

2.3 AI大数据对患者权益乃至国家安全构成潜在风险

“AI发展的原始助推力不是算法、不是推理, 更不是软件系统, 而是大量的数据。”[3]我国医疗数据采集使用往往是由以营利为目的的AI研发企业和医疗机构开展，数据采集涉及面极广，多样化的数据尤其是敏感性的数据涉及多方利益。不同主体、不同学科领域、不同机构之间关于医疗大数据尚无统一认识和标准，这既影响数据解读质量和算法准确性，也可能带来安全隐患或侵权行为。当前，“医疗信息成为黑客攻击的新热点、医学大数据的控制力在不断被削弱、网络安全成为医学大数据安全的基石”[4]。以群体基因信息为例，一旦遭遇安全风险，可能严重威胁国家安全。此外，数据关系到AI医疗算法的精准性，一旦数据采集出现偏差，算法给出的模型和结果则可能出现偏误，对患者权益造成损害。对于医生而言，算法在本质上无异于黑箱，因其可能触及商业、国家秘密以及自身的复杂性，算法并不透明，大数据、算法也极可能被用于某种非保障人类生命健康利益的不法目的，发生异化和畸变。

2.4 AI准入领域制度准则的空白或将造成法律责任界定模糊

与AI可能带来的伦理挑战相耦合的还有法律问题。目前就临床中相对普遍使用的机器人辅助腹腔镜手术——达芬奇系统而言，它还只是一种机械手，随着AI技术的日益精进，将来完全可能由智能机器人独立完成手术。尽管现阶段学界主流观点并不认同AI机器人的法律主体资格，智能机器人仍只是在医生的指示控制范围内辅助完成一部分精密手术。然而，一旦手术失败或某些医疗风险发生，应由AI机器人研发者、制造商还是院方，甚至包括行使了知情同意权的患者承担责任，以何种归责原则认定，以及责任大小分配，责任界定的主体是谁，这些法律问题尚没有明确界分。由于国外AI研发起步早于国内，在实践中已出现相关案例，例如“姆来塞克诉布林茅尔医院案”，最终法院判定适用生产者严格责任规则，尽管国内尚未出现相关案例，但学界显然有必要对相关问题作出前瞻性思考。此外，随着AI的触角不断延伸，如由IBM主导研发出“类人脑芯片TRUENORTH和类似的神经织网”技术，将人脑芯片或微小脑电极植入人脑，直接上传和下载想法；另有智能眼球、机械臂、人工脏器等智能生物辅助设备，由此引发主体身份的法律界定以及智能设备的权益问题，相关探讨尚不成熟。

3 如何应对AI医疗风险

风险是人类创造活动的动力。AI医疗能否有效造福人类，需要人们在机遇和风险之间谨慎平衡，从主体与制度层面不断建构。惟有如此，才能扬长避短、发挥AI医疗的最大价值。

3.1 建构AI医疗伦理原则

“效率原则是技术社会构建的基石。然而，问题的关键在于到底是谁的效率?”[5]医学与科学技术之间有一定的差别，医学的发展催生了对科学技术的需求，但医学服务于生命，而科学技术却不尽然。因此，效率不应成为AI医疗的专有价值，医疗、生物科学领域的特殊性决定了该领域不具备反复试错的机会，AI技术发展中“效率主义”应当得到反思，以防对AI医疗前景的过度美化和神化。对此，有必要为AI医疗的发展设定伦理原则，为其“能做什么”划定伦理限度。

医学的本质是为了生命。造福人类生命健康利益、提高医疗服务水平是AI医疗发展的初衷，AI医疗的发展仍应坚持生命伦理原则，强调公平性、透明性、公益性、合作性的伦理价值导向。这是基于，其一，生命健康利益应当是无差别的、平等的，然而不同国家、地区乃至同一国家不同地区的经济、技术发展并不平衡，AI技术中算法关系到各种决策结果，为避免算法歧视，一切AI医疗行为应当基于公平性伦理原则，确保技术程序的正当性，而非在资本和利益导向下做出，增强AI医疗决策系统的透明性、可解释性，避免算法黑箱，以防类似“魏则西”事件的悲剧也会在AI医疗中上演。其二，数据是AI医疗的关键，数据的量与质关系算法结果的准确性和AI医疗的真实效能，数据孤岛阻断AI医疗融合应用，由IBM制造的AI 产品Watson，因训练中使用的非真实性数据，而给出错误甚至危险的方案。AI医疗要从弱AI阶段得到突破，能真正造福于民，各医疗机构、企业、科研院所、患者等不同主体间应强调公益性、合作性原则，实现数据有效共享。

3.2 加强AI医疗人才建设

应对AI的挑战与冲击，首当其冲的是医学工作者主体性的重构，既要有科技信息时代信仰的坚守，又要作出思维的积极转向，保持自我提升的能力。

3.2.1 坚守职业信仰，重塑医学人文精神

AI时代，医务工作者应认清医学发展的变与不变。2016 年，经济合作与发展组织(Organization for Economic Cooperation and Development,OECD，简称经合组织)一项关于全球医疗问题的统计，在经合组织当时的34个成员国中，美国医疗开支处于各国之首，人均寿命却处于倒数第八位，可见，高昂的医疗费用、先进的技术并不代表着更健康的人群[6]。AI融入医疗是医学发展在新阶段的变量，是思维与技术手段的变化，不变的是医学的本质，医学活动的本质仍然是人的问题，“关心人的本身，应当始终成为一切技术上的奋斗目标”[7]。医务工作者仍需坚守“健康所系、性命相托”“医乃仁术”的职业信仰，恪守 “有时去治愈，常常去帮助，总是去安慰”的职业准则，培育“大医精诚”、“乐业奉献”的职业精神，既有过硬的职业技能，更要始终保持同理心和敬畏心，不至于在功利主义、技术主义浪潮中迷失，能为AI医疗技术作出伦理和价值指引，引领其理性发展，致力于造福人类生命健康事业。

3.2.2 变革高等医学教育，为AI医疗提供人才支持

人才是AI医疗发展的核心要素。国务院印发的《新一代人工智能发展规划》提出要加快培养聚集AI高端人才。AI医疗是跨学科、跨行业、多部类，集产学研于一体的集体活动。AI与医学两大不同学科领域跨界融合，引领着新时代医学与医学教育变革。当前，我国AI医疗人才严重匮乏，医学生在高等教育阶段对AI医疗应用一知半解甚至一无所知。AI医疗应用产品的研发往往由企业开发，AI人才集中于计算机科学领域，AI医疗中往往通过培训现有医疗人员，在临床实践中被动学习使用相关产品，这种模式并不满足AI医疗发展根本之需。对此，应在高等教育阶段推进医学教育变革：一方面，支持有条件的院校推进“AI+X”复合专业培养新模式， 建立由不同学术背景或不同学科教师组成的学术共同体，推进高校、企业、医院产教研结合，发挥各类协同创新组织的功能，联合培养人才，注重更新医学生知识结构、培养和形成跨学科思维模式，推动医学生在该领域的参与，在理论学习、教学实践与各类项目合作中发现问题、解决问题，挖掘AI医疗的潜在价值和可行方向，以需求为导向培育具有交叉学科背景的复合型人才。另一方面，借力AI技术，充分助力医学教育，例如，清华大学医学院建立“智慧现实虚拟临床教学中心“，致力于推进临床教学培训新模式，面对未来AI医疗影响下医患关系处理、临床决策、技术运用等问题作出模拟探察。同时，注重将医学人文精神与智能教学教育模式有效配合，在目前已有的医学人文类课程中关注、探求相关问题，致力于引导医学生建构技术与人文相整合的知识体系与价值观。

3.3 完善AI医疗的制度规约

3.3.1 建构大数据规范使用和隐私权保护制度

健康医疗大数据领域标准体系是推动健康医疗大数据交换共享的基础和前提, 是推进健康医疗大数据应用发展的有力保障[8]。美国、欧盟等国家在标准制定，安全管理以及平台体系搭建方面都已相对成熟，美国2007年通过了《电子病历系统功能模型》并使其成为国家标准,2011年责任医疗机构(Accountable Care Organizations,ACOs)最终法进一步对电子病历管理作出设定、强调数字化收集33项指标数据,强化了电子健康记录(Electronic Health Record,EHR)作为医疗质量度量工具的地位,构建准确、完整、及时的临床质量指标数据报告制度和责任机制。为AI医疗数据的标准化采集和优质化使用奠定了基础[9]。数据的价值在于使用，AI医疗数据安全的核心不是避免其使用，而是要实现数据开放与隐私风险之间的平衡。欧盟《通用数据保护条例》(General Data Protection Regulation,GDPR)在数字经济的时代背景下，数据生产者权利能够与GDPR中的各项“数据权利”协同，解决“非个人数据”和“个人数据”背后各主体的利益平衡问题[10]。该条例还规定了欧盟委员会有权对已证实违反条例规定的企业处以2 000万欧元或其全球收入4%的高额罚款，监管机构在欧盟范围内实现跨区域协作，赋予个人在隐私保护上更强大的话语权[11]。

我国健康医疗大数据标准研究起步较晚，国家卫生健康委员会于2018年9月正式发布《国家健康医疗大数据标准、安全和服务管理办法(试行)》(以下简称《试行办法》)，《试行办法》对医疗大数据的定义、内涵和外延，以及自身的适用范围、遵循原则和总体思路，各级卫生健康行政部门的边界和权责，各级医疗卫生机构及相关应用单位的职责权利作出探索，但在系统化的法律建构依然处于缺失状态。从国家层面对大数据予以统筹管理，推进构建完整的国家医疗数据体系并予以有效监管，以确保大数据的规范使用和总体安全的立法和技术安全标准亟待出台。对AI医疗数据进行分级管理，设置保密等级与公开等级，兼顾协调患者的隐私权、企业的商业秘密权以及医疗的公益性等多方利益，合理逐步推动各类数据资源的共享，有效解决“数据孤岛”问题。构建相应的数据共享规则和涉及患者及其他公民健康数据的同意规则，明确AI医疗中多方主体数据权利义务，建立大数据中关键信息基础设施安全风险的监测、通报与信息共享机制和应急措施。

3.3.2 构建行业指导和监管制度

当前，我国AI医疗器械无论从监管层面、运用认证层面还是高性能的医疗器械标准制定方面, 相比美国、欧盟、日本等医疗器械国家法规与监管体系, 都仍存在一定的差距[12]。国务院提出对“AI+”发展的审慎监管原则。对于AI医疗风险防范治理，重在事先预防、实行分级管理。当前AI医疗总体上处于“弱AI阶段”，集中于医院管理、影像分析、流行病识别、保健和康复领域，这些领域风险不大，可通过制定行业准则实现对其进行规范化管理。建构对参与设计和研发的医疗机构、企业、医疗人员、技术人员等相关准入规范和质量管理规范体系，根据AI医疗器械、产品、技术的特殊性，制定临床评价技术规范、技术标准和安全标准。

对发展中的“强AI”、“超强AI”则需保持高度警惕，制定重点监管目录，实施算法代码备案制度，完备覆盖其技术产品研发、生产、流通、使用等全过程的生命周期监管制度，尤其是相关数据库和信息追溯体系。鉴于“强AI”自身的技术复杂性与不确定性，其使用需在政府职能部门、行业组织、科研机构、医疗机构、企业、高校的共同参与和多方监管下开展。“由国内领军型的大型公立医院与企业、学术研究机构牵头，成立第三方医疗AI伦理监管平台，对医疗AI产品的研发、临床应用注册、多中心临床研究、不良事件上报、开展合伦理性和适用性评价等，实现全流程多方位的伦理监管。”[13]

此外，AI医疗关系全体成员，应努力提高公众对AI医疗的认知度、鼓励公众参与，为利益相关者提供对话平台。总之，面对不确定性风险，只有有节制地对科技研发与应用进行有效控制，才能避免不负责任的、盲目的技术发展。

3.3.3 完善AI医疗责任法律法规

AI医疗的到来为医学误诊以及医疗事故的责任分配提出了法律挑战[14]。AI医疗侵权责任问题复杂。AI医疗致人损害主要表现为如下情形:一是不法者对智能系统进行非法入侵，进而控制所造成的损害。例如, 黑客、病毒等人为因素入侵智能系统, 由此导致危及他人生命健康权益的后果。二是AI医疗因自身产品缺陷瑕疵而造成的损害，如在英国2015年首例“达芬奇”心瓣修复手术中，机械手臂乱动打到医生的手，还把患者心脏放错位置，戳穿了患者的大动脉[15]。三是AI医疗系统操作者、使用者因自身不当使用所致的损害。四是在未来超强AI时代AI医疗系统可能超越原控制方案的“自身行为”所致损害。

对于第一种情形，侵权者理应承担侵权责任，同时不排除相关监管者应承担相应的行政责任。此外，基于受害人救济原则, 在侵权者难以确定或无力承担赔偿责任时由AI医疗生产者、销售者或使用者根据公平原则分担责任。第二种情形所致损害类型，在“弱AI阶段”，AI医疗产品往往被视作医疗器械的情况下，适用产品责任规定。第三种情形中由医疗主体承担责任是自然选择。但与第二种情形面临共同的难题是，责任认定的关键在于AI医疗的安全标准和技术法规，没有特定的安全标准，则难以判定损害是产品缺陷还是医疗主体主观过错所致。在第四种情形下，超强AI医疗拥有更强的独立行为能力或以更复杂的形式助力生命健康事业，如大脑芯片等，届时AI医疗或可拥有电子人身份，损害责任界定更加困难。鉴于立法的相对滞后性和科技发展的未知性，AI强制险十分必要，针对AI医疗发展中可能出现的各类风险，设置不同的责任险种，以确保对受损者的权利救济。必须指出的是，尽管“制定一部总括性的‘人工智能法’在目前这个阶段时机尚不成熟”[16]，但在现有法律体系内，厘清AI医疗的责任认定问题，以在公众健康权益和技术创新之间保持平衡，对推进AI医疗具有重要意义[17]。

4 结语

人类对科学技术及生命健康的探索永无止境，风险与机遇并存，AI与医疗的深度融合充满未知性，既不可裹足不前，也不能盲目狂热。AI医疗要走向“善智”，伦理反思与法律设计应当走在技术前面，为技术发展的合理性、合法性作出前瞻性的考量。