医疗人工智能应用中的伦理问题及应对*

刘伶俐 王 端 王力钢

据《2018世界人工智能产业发展蓝皮书》显示，截至2018年上半年，在全球范围内共监测到人工智能(artificial intelligence，AI)企业4 998家。其中，美国AI企业有2 039家，位列第一，其次是中国(不含港澳台地区)，数量达1 040家。在中国AI渗透的领域中，医疗健康领域占比最大，达到22%[1]。AI已深入医疗健康领域的方方面面，在疾病预防、诊断、治疗、护理、康复等方面作用凸显。这对于提升我国医疗行业的诊疗效率和服务质量，更好地解决医疗资源短缺、基层医生技术不足等问题有着重要意义，但同时也必将面临诸多伦理问题和全新挑战，需要引起重视和研究。

1 医疗AI应用概述

AI是研究计算机模拟人的某些思维过程和智能行为的一门新兴学科，涉及计算机科学、统计学、心理学、哲学、语言学等诸多领域。它包含了很多技术，按产业链大致可分为三个层次：(1)基础层，包括大数据、算法和算力，这三者是相互联系、不可分割的。正是由于基础层的发展才使AI技术层的各项技术得以开发。(2)技术层，包括语音识别、计算机视觉(如人脸识别、图像文字识别等)、自然语言处理(如翻译软件、搜索引擎、问答系统等)通用技术，这些技术是AI听懂、看懂人类世界，用人类的语言与人类交流的关键。(3)应用层，是指上述AI技术与各个行业的结合与应用。

医疗AI是AI技术在医疗领域的应用与发展。其应用场景非常广，目前主要集中在虚拟助手、医学影像、疾病筛查和预测、辅助诊疗、医疗机器人、健康管理、药物研发、基因测试等多个细分领域。其中，临床应用最为成熟的产品均来自美国。达芬奇手术系统几乎垄断了全球外科机器人市场，截至2019年10月，全球总手术量已超过600万例，我国大陆和香港地区共装机110台，完成手术量达12万例[2]。IBM的沃森肿瘤系统，被认为是目前世界上癌症治疗领域最先进的智能诊疗系统，凭借从各种渠道搜集的海量数据，能在17秒内给出诊疗建议供医生参考。截至2018年11月，沃森已在中国261家医疗机构使用，其中已经签约落地的有81家医疗机构[3]。

我国的医疗AI起步较晚，但发展迅猛。2016年以来，在国家政策的大力支持下，国内互联网巨头和AI创业公司纷纷进军医疗AI领域，众多产品相继问世。2017年7月，阿里健康发布“Doctor You”医疗AI系统，包括临床医学科研诊断平台、医疗辅助检测引擎、医师能力培训系统等，其CT肺结节智能检测引擎识别肺结节的准确度达到90%以上[4]。2017年11月,腾讯自建的首款AI医学影像产品“腾讯觅影”入选国家首批人工智能开放创新平台。通过图像识别和深度学习,“腾讯觅影”对各类医学影像进行训练学习,最终达到对病灶的智能识别,用于辅助医生临床诊断以及食管癌、肺癌、糖尿病视网膜病变等疾病的早期筛查。2018年11月,百度发布AI医疗品牌“百度灵医”,目前已有“智能分导诊”“AI眼底筛查一体机”“临床辅助决策支持系统”三个产品问世[5]。此外，科大讯飞的语音电子病历系统、影像辅助诊断系统、导诊机器人等产品也已落地多家医院试用。其他的创业公司大多以单个产品切入医院的具体科室。2020年1月，科亚医疗的创新产品“冠脉血流储备分数计算软件”获国家药品监督管理局批准注册，成为首个获得AI影像Ⅲ类证的产品[6]。

2 医疗AI应用中的伦理问题

AI在医疗应用中的伦理问题，既有AI应用的常规问题，也有与医疗相关的特殊伦理问题。

2.1 数据泄露问题

医疗数据包括患者的身份信息、健康状况、疾病诊疗情况、生物基因信息等，不仅涉及患者隐私，还具有特殊的敏感性和重要价值，一旦泄露，可能给患者带来身心困扰和财产损失，甚至对社会稳定和国家安全造成负面影响。然而，医疗AI的研发与应用，必须依赖大量的医疗数据用于算法训练，数据量越大、越多样，其分析和预测的结果将越精准。但数据收集、分析处理、云端存储和信息共享等大数据技术的应用，加大了数据泄露的风险。

事实上，近年来医疗行业已经成为数据泄露的重灾区。2017年全球15%的数据泄露事件来自医疗保健行业，仅次于金融业[7]。我国医疗数据泄露事件也不鲜见。据《法制日报》2017年9月报道，某部委医疗信息系统遭到黑客入侵，被泄露的公民信息多达7亿多条，8 000多万条公民信息被贩卖[8]。2018年多家医疗机构计算机系统被勒索病毒攻击。2020年4月，某AI医学影像公司遭黑客入侵，其AI辅助系统和训练数据被窃取，并以4比特币(约合18万人民币)的价格在暗网上公开出售。这也是国内首家被曝数据泄露的医疗AI公司案例[9]。

医疗数据泄露的途径，主要包括黑客渗透入侵、未授权访问等网络攻击，以及掌握数据的内部人员窃取、丢失数据。分析其原因，主要有四个方面：一是医疗数据具有较高的研究和商业价值，一旦获取并贩卖，将意味着可观的收益，因而容易引起黑客关注，一些掌握数据的医疗机构或AI公司“内部人”也可能铤而走险出卖数据。二是医疗机构技术力量有限难以保证数据安全。目前，国内大医院普遍实现了医疗数据信息化，并通过手机应用程序、网站、第三方医疗服务平台等形式提供线上医疗服务，越来越多的医疗数据被存储于云端或第三方服务器。但由于医疗机构属于传统行业，在信息技术、人才等方面相对薄弱，大部分医疗机构的信息化系统安全性较低，且有的数据未进行脱敏、加密处理，第三方平台也存在漏洞多、敏感端口开放多等问题，给黑客入侵和未授权访问带来了极大便利。三是一些医疗机构工作人员隐私保护意识不强，未按规定传输、共享数据，存在泄密隐患。如2020年4月某医院将出入该院人员名单信息发到微信群，导致6 000余人的个人身份信息外泄，造成了不良社会影响[10]。四是相应法律制度尚未健全，致使医疗数据在采集、使用、隐私保护等方面缺乏有效监管和约束。因此，在医疗数据共享与患者隐私保护之间寻求平衡点，将是医疗AI应用中面临的最大伦理风险。

2.2 医疗安全问题

尽管医疗AI被赋予了准确、高效、安全等优点，但医疗活动本身具有一定的风险性和不确定性，加上手术机器人等医疗AI在应用中需要密切接触患者身体或直接作用于人体某些器官，不可避免地面临潜在风险。主要包括技术和人为两方面的因素。

从技术来看，国内医疗AI的发展在当前还处于起步阶段，产品性能还不稳定，也缺乏相应的标准和规范，安全性还有待考证，需要在实践中不断调试改进。即使是较为成熟的进口产品，也存在诸多问题。据美国媒体报道，使用沃森肿瘤解决方案的医生发现，沃森经常会推荐不准确甚至错误的治疗建议[3]。如果医生据此决策，后果难以设想。

据披露，沃森“出错”的根源在于训练数据有问题。用于沃森算法训练的并非真实患者数据，而是虚拟患者的假想数据，且训练数据不足，8种癌症中，训练数据量最高的肺癌只有635例，最低的卵巢癌仅有106例。同时，沃森向虚拟患者推荐的治疗方案，都是基于纪念斯隆-凯特琳癌症中心专家的方案，并非医疗指南或真实证据[3]。这些数据不能反映真实的、复杂的临床环境，势必会影响机器学习的准确性和普适性。而数据质量不佳、数据量过小、标注不规范等问题，也是国内医疗AI应用中普遍面临的问题。

人为因素主要是医生操作不当。在现阶段，医疗AI还只是机器或程序，它不能根据实际情况调整自己的行为，必须依赖医生对机械进行操控或做最终决策。在应用之初，医生可能因经验不足、操作不熟练而引发机器故障，有的甚至会造成严重后果。如2015年2月，英国首例机器人心脏手术过程中出现“机器失控”，主刀医生在慌乱中应对失当，最终导致手术失败，患者一周后死亡[11]。这起事故的原因，除机器故障外，与主刀医生操作经验不足、未充分估计手术风险有很大关系。

2.3 责任界定问题

传统医疗模式下，医疗机构和医生是医疗服务的责任主体。引入AI后，改变了传统的医患关系格局，医生与患者之间增加了“AI医生”及其设计制造商，这就使得医疗责任认定问题变得复杂起来。一方面，在当前技术条件下，无论是人类医生，还是医疗AI，都不能达到100%的准确率，出现误诊和漏诊在所难免。如果在诊治过程中，医生依赖AI出具的报告做出错误的判断，给患者的疾病诊治和身心健康带来伤害时，其责任到底该由谁来承担?另一方面，随着AI技术的发展，今后的AI将拥有越来越强大的自主能力，在医疗活动中将扮演越来越重要的角色，甚至可能独立做出诊断结果，医疗责任界定问题将更加突出。当医疗AI作为直接“参与者”，在手术、康复训练和护理中出现伤害患者的异常行为，或间接性地对患者造成欺骗性、虚幻性消极影响时，是否可以追究它们的伦理责任和道德义务?它们是否具有或在多大程度上具有承担医疗责任的能力?因此，有必要加强医疗AI背景下的风险责任规制，以确保患者和公众的健康权益。

2.4 公平受益问题

AI应用于医疗领域，大大提高了诊疗效率和精准度，无疑会给患者带来巨大福音，但也存在不能公平受益的问题。一方面，由于医疗AI是新兴的医学高新技术，在目前阶段还属于稀缺资源，加上医疗AI的研发成本高昂，因而在临床应用中收取费用较高，且一般不在医疗保险报销范畴。这就使得医疗AI成为少部分人群能够享用的技术，大多数患者由于经济能力有限，只能望机兴叹。另一方面，基于算法和大数据的AI程序并非完全客观公正，其中可能隐含着某些偏差或歧视。这些偏差或歧视可能来自算法设计者的价值偏好，也可能来自有偏见的训练数据，还可能来自输入数据的抽样偏差。由于深度学习是一个典型的“黑箱”算法，具有不透明性和不可解释性，从而使这些偏见难以被觉察，并在深度学习中被不断复制和放大，最终导致预测结果的偏差，可能使某些人群在医疗评估中受到歧视性对待，甚至可能引发医疗安全事故。

2.5 医务人员的未来定位问题

AI有着远超人类的学习能力和计算能力，其准确、高效和不知疲倦等优势，将极大提高工作效率，降低劳动成本，并逐步取代越来越多的人工劳动。2017年，英国一家名为“改革”的智库发布报告称，机器人未来将有可能取代英国公共部门近25万个岗位[12]。在医疗领域，AI正逐渐取代人类从事一些简单的医疗后勤和技术工作，如智能导诊、微信挂号缴费、机器人发药等，并在医学影像、辅助诊疗等核心医疗环节发挥着越来越重要的作用，医师的主体性地位日益受到挑战。由此引发了人们对医务人员是否能被AI取代的争论。

医疗行业有其特殊性，涉及人与人之间的沟通和交流，需要医生的个人经验和情感投入，这是AI无法取代的。我国医疗资源短缺，基层医生经验不足，有了AI的辅助，医务人员不仅可以更好地诊治患者，还可把更多的精力用于与患者沟通，给予患者更多的人文关怀。从这一点来看，AI不仅无法取代医务人员，还会使他们的工作更有价值，更有人情味，更能回归医学是人学的本质。但是，医疗AI的应用，必将推动现有医疗模式发生变革，也必将对医务人员提出更高的要求，如果医务人员不能及时完善知识结构，提升沟通技巧和人文素养，是难以胜任AI时代的医疗工作的。

2.6 患者信任问题

医疗技术的发展最终是为患者服务的，必须关注患者对医疗AI的信任问题。据笔者[13]的一项调查显示：虽然大多数患者对医疗AI持乐观、期待态度，表示对拥有智能医疗设备的医院会更加信任，但对AI应用于临床诊断和治疗，患者的接受度和信任度并不高，且AI介入的工作越多，占据的角色越重，患者的接受度和信任度反而越低。

分析其发因，主要有两个方面：一是当前的医疗AI还处于初级阶段，患者对其缺乏深层次了解，加上很多技术尚未成熟，患者对其安全性、易用性等心存担忧，因而对其在医疗活动中的深度介入持戒备心理。二是医疗AI改变了传统的就医模式和医患关系，“医”不再只是有情感的人，也可以是智能机器或程序，传统的医患交流可能更多地变成“人机对话”。因此，面对不会说话、冷冰冰的机器，患者对其沟通能力、理解能力以及应变能力等存在怀疑态度，进而影响到他们对医疗AI的信任度。可见，AI能否在医疗领域顺利应用，还需过患者信任这一关。

3 应对建议

作为一项新兴的技术，医疗AI在应用中带来的伦理问题，与当前的技术水平、人员意识、公众认知以及相应的法律和管理等均有关系。针对上述伦理问题及形成原因，可从以下几方面着手应对。

3.1 遵循伦理原则，细化伦理规范

近年来，为解决AI带来的伦理问题，各国政府、世界行业组织以及互联网巨头纷纷发布伦理原则，鼓励科研人员将伦理问题置于AI设计和研发的优先位置，强调AI应当符合人类价值观，服务于人类社会。其中，最为著名的当属2016年12月美国电气和电子工程师协会发布的《合伦理设计：利用人工智能和自主系统(AI/AS)最大化人类福祉的愿景》，以及2017年1月，来自全球近千名AI领域专家在 Beneficial AI 会议上联合签署的《阿西洛马人工智能原则》[14]。从国家层面来看，2018年以来，英国、欧盟相继发布了“人工智能准则”[15]和“人工智能道德准则”[16]，我国于2019年6月发布了《新一代人工智能治理原则——发展负责任的人工智能》，提出“和谐友好、公平公正、包容共享、尊重隐私、安全可控、共担责任、开放协作、敏捷治理”八条原则[17]。这些伦理原则的共同点，就是将人类利益置于最重要的位置，确保AI安全、透明、可靠、可控。

关于医疗AI的伦理规范，目前美国医学会已提出了明确的规范，特别强调促进精心设计、高质量、经临床验证的医疗保健AI的发展[18]。国内相关研究还处于探索阶段。因此，政府部门和相关行业应在遵循上述伦理原则的基础上，进一步细化医疗AI应用中的伦理规范，以更好地协调医疗AI发展与治理的关系，保障人类利益和安全。

3.2 制定法律法规，厘清责任权属

AI应用中的伦理问题，往往直接转化为具体的法律挑战，或是引发复杂的连带法律问题。如AI医疗应用中的责任界定问题、医疗安全问题、隐私泄露问题等，都涉及相关的法律问题。但由于AI的复杂性和法律固有的滞后性，我国现有的相关法律已不能完全解决医疗AI衍生的各种问题，迫切需要从国家层面制定与之相适应的法律法规，以厘清AI设计者、研发者、生产者和使用者的责任权属，明确相关各方的行为边界，惩处AI研究和使用中的违法行为，使医疗AI在法律的框架下健康有序发展。目前国内外关于AI的立法研究都还处于起步阶段，相关的法律法规和标准体系正在制定当中。我国国家药品监督管理局出台了对医疗AI的相关指导规范，并已启动了认证流程，从范围、风险、临床试验上进行了规定[18]。国家卫生健康委员会于2017年修订了《人工智能辅助诊断技术管理规范》和《人工智能辅助治疗技术管理规范》，对开展AI辅助诊断和治疗的医疗机构和人员、管理和培训等提出了基本要求；2018年正式印发了《国家健康医疗大数据标准、安全和服务管理办法(试行)》[19]，对健康医疗大数据的标准管理、安全管理、服务管理和监督管理等进行了规范，明确了各级卫生健康行政部门、各级各类医疗卫生机构及相关应用单位的责任权利。但是，对于医疗AI的法律地位、侵权责任划分、隐私和产权保护等，尚无明确规定，很多细化标准尚未制定。下一步还需根据医疗AI应用中出现的新问题，加强法律法规和相关政策的制定和完善，尽快形成适应智能时代的法律法规和监管体系。

3.3 严格技术标准，确保医疗安全

医疗AI的技术标准关系到每位患者或使用者的人身安全，保障人身安全和符合技术规范也是AI投入市场应用的前提。因此，政府部门、AI行业要尽快制定严格的医疗AI技术标准、安全标准和应用规范，构建动态的评估评价机制，以便对医疗AI的基础平台、技术研发、产品与服务、临床应用、安全与伦理等方面加以指导和监管。在此基础上，AI研发单位要加强理论攻关和国际交流合作，加大对AI算法、数据安全、隐私保护等关键技术的研发力度，不断提升医疗AI的透明性和可解释性，尽可能地减少决策偏差和技术漏洞，增强AI产品的准确性、安全性和易用性。同时，要加强与医学专家和临床科室联合攻关，使医疗AI更契合临床需求，更容易被临床医生所理解，并在临床实践中推动AI技术不断走向成熟和完善，从而降低由技术原因引发的医疗安全、隐私泄露及其他风险，提升公众信任度。医疗机构要严格遵守AI辅助诊疗相关技术管理规范，选拔符合准入条件的医务人员开展AI辅助诊断和治疗技术，并加强对医务人员的管理和技术培训。医务人员在技术运用中，要严格遵守安全标准和操作规程，严格把握适应证，妥善应对技术应用中的突发事件，避免人为的医疗伤害。

3.4 加强数据管理，保护患者隐私

在大数据背景下，要兼顾医疗数据共享与患者隐私安全，除在技术上对数据采取“匿名化”、加密存储等措施外，加强数据管理是重中之重。医疗数据的安全管理包括数据采集、存储、挖掘、应用、运营、传输等多个环节，涉及医疗机构、AI生产和服务商、医疗信息管理部门等相关单位及其所属人员。因此，责任单位应建立健全相关安全管理制度、操作规程和技术规范，加强统筹管理和协调监督，使所属人员有章可循、按章办事；要按照国家网络安全等级保护制度要求，构建可信的网络安全环境，提升关键信息基础设施和重要信息系统的安全防护能力，使“黑客”等盗取信息者无处下手；要依法依规使用医疗大数据有关信息，严格规范不同等级用户的数据接入和使用权限，并建立严格的电子实名认证和数据访问控制，确保数据访问行为可管可控及服务管理全程留痕，对任何数据泄露事故及风险都可查询、追溯到相关责任单位和责任人。同时，对擅自利用医疗数据或非法获取患者隐私等违法行为，要加大打击力度。如此，方能最大限度保护患者隐私和数据安全。

3.5 坚持医为主体，注重人文关怀

当前的医疗AI仍处于“弱AI”阶段，还不具备独立思考和决策的能力，更不可能脱离医师自主完成诊疗工作。因此，在医疗活动中必须坚持医务人员的主体地位，不宜过于依赖AI或对其寄予过高期望。医学并非单纯的自然科学，它既是科学的医学、技术的医学，也是人的医学。医护人员所面对的患者，是有思想、有情感、有心理需求的病情各异的人。而AI只是利用机器模拟人类智能的技术，它可以替代医务人员完成部分简单、重复的医疗工作，但它无法理解患者的喜怒哀乐，不能与患者产生情感共鸣，更不会给予患者人性的关怀。而这一切，都需要医务人员来弥补。因此，面对飞速发展的医疗AI技术，医务人员除了主动接纳、学习新技术，积极适应新变革外，还要牢牢抓住“人”的优势，努力提升人文素养，学习沟通技巧，在医疗行为中尽可能地给予患者尊重、理解和人文关怀，减少患者因为病痛带来的身心不适，使患者在诊疗和康复过程中有更多的获得感。同时，医务人员在选择和使用医疗AI时，要与患者多解释、多沟通，在综合考虑其接受程度、病情复杂程度、家庭经济状况以及医院的医疗条件、技术水平等基础上，合理选用恰当的技术为患者服务，并做好指导和服务工作，以获得患者的理解和认可，增强对医生和医疗AI的信任感。

3.6 加强宣传教育，提升患者信任

针对患者对医疗AI了解不多、认知不足的现状，政府部门、科研单位、高等院校、医疗机构等应形成教育合力，充分利用各种传统媒体和新兴媒体，普及AI相关知识和内容，宣传AI在各领域的新进展、新成就，特别是医疗AI的研究现状、发展趋势、用户体验及使用效果等，以提高社会公众对AI的整体认知水平。如由中央广播电视总台和中国科学院共同主办的大型科学挑战节目《机智过人》，以“人机大战”的模式，介绍AI知识和我国AI发展现状，从不同视角展现AI发展给人类生活带来的改变。这种兼具科学性与趣味性的挑战节目，对于增进公众对AI的了解、增强对医疗AI的信任度，有着良好的促进作用。

4 结语

当前，医疗AI的研究正呈现出爆发之势。各种新技术、新产品纷纷落地应用，无疑会给医疗行业带来巨大变革，也必将给患者带来更优质便捷的医疗服务。但任何新技术都具有双刃性，在看到其优势的同时，也必须密切关注其可能带来的伦理问题和安全风险，积极采取措施加以应对和防范，使医疗AI始终朝着有利于人类健康的方向发展。