谢小萍,何晓波*,张玲希,李 卫,高雅洁
(1 浙江医院伦理办公室,浙江 杭州 310030,920628092@qq.com;2 浙江医院图书馆,浙江 杭州 310030)
2017年,国务院发布《新一代人工智能发展规划》,将发展新一代人工智能上升至国家战略高度,使人工智能受到学术界和产业界的广泛关注。同时,大数据、算法和算力的发展,也为人工智能提供了丰富的数据资源,推动了人工智能的发展。近年来,医学人工智能在预防医学、医学治疗、医学诊断、健康管理、医学科研、医学教学、医院管理、药物开发等医学相关方面发挥重要作用。虽然我国已在人工智能领域具备了良好的基础,但整体发展水平仍落后于发达国家,尤其是适应于人工智能发展的政策法规、标准体系亟待完善。现行的伦理审查法规指南已无法涵盖涉及医学人工智能研究提出的伦理和管理要求,涉及相关问题的实际审查工作缺乏可操作化的审查标准和程序指引。因此,本文通过对国内外相关法律法规、文献等资料进行研究,对涉及医学人工智能研究的伦理审查要点进行探讨,旨在为促进涉及医学人工智能研究的伦理审查规范提供一定的借鉴。
人工智能产品是按照人设定的程序逻辑或软件算法通过芯片等硬件载体来运行或工作的,通过对数据的采集、加工、处理、分析和挖掘,形成有价值的信息流和知识模型,提供延伸人类能力的服务,实现“智能行为”的模拟[1]。人工智能在医学领域的应用研究主要包括辅助诊疗、影像识别、医用机器人、虚拟助手、健康管理、医院管理、疾病筛查与预测、药物研发等多个方面。人工智能产品设计开发过程通常可分为需求分析、数据收集、算法设计、验证与确认、软件更新等阶段[2]。目前,医学人工智能研究主要按照学术性科研课题和产品研发注册申请两条线进行管理。当前市面上大部分的人工智能医疗产品按照医疗器械管理,主要分为人工智能独立软件(智能软件)和人工智能软件组件(智能硬件)两种类型。根据原国家食品药品监督管理总局2017年9月发布的《医疗器械分类目录》规定,仅有辅助诊断功能的软件需申报二类器械,如果软件能对病变部位进行自动识别并提供明确诊断提示则按第三类医疗器械进行管理[3]。截至2020年9月17日,经国家药品监督管理局审查批准的三类智能软件产品共三款,分别是北京昆仑医云科技有限公司生产的创新产品“冠脉血流储备分数计算软件”、深圳硅基智能科技有限公司生产的创新产品“糖尿病视网膜病变眼底图像辅助诊断软件”,以及上海鹰瞳医疗科技有限公司生产的创新产品“糖尿病视网膜病变眼底图像辅助诊断软件”[4-5]。
第一,医学人工智能研究具有跨行业、跨机构、多学科特点。
医学人工智能研究因其包含基础资源、技术体系、产品服务及应用解决方案等多层次结构,具有跨行业、跨机构合作的特点。从人工智能研究框架上看,涉及为人工智能系统提供计算能力支持的基础设施提供者、原始数据资源和数据集的信息提供者、人工智能领域技术和服务的信息处理者和确保研发产品满足整体要求的系统协调者等跨行业/机构主体角色。从数据来源上看,人工智能使用的原始数据资源或数据集可能来自不同地区、机构、系统、科室的结构化或非结构化数据,涉及比传统研究更多的利益相关者,如患者、研究人员、管理人员、医疗机构、研究院所、商业公司等。从人工智能关键技术上看,包括机器学习、知识图谱、自然语言处理、虚拟现实/增强现实等关键技术[1]。从学科领域看,医学人工智能研究因其技术复杂性和应用场景多样性等特点,完成整个研究过程需要多学科交叉合作,涉及医学、生命科学、数学、软件工程、计算机科学、伦理学、法学等学科。人工智能研究的跨行业、跨机构、多学科特点,导致目前开展研究存在法律法规和规范标准相对滞后、主体责任界定不清、相关复合型人才短缺等一系列问题,增加了伦理审查和监督的难度,使得传统模式无法满足现实需求。
第二,医学人工智能研究涵盖多阶段、多层次研究过程。
医学人工智能研究不同于传统临床研究,其产品设计开发过程较复杂,通常可分为需求分析、数据收集、算法设计、验证与确认、软件更新等阶段,涵盖基础研究、临床前研究、临床研究和临床应用的整个转化医学过程,包含基础资源、技术体系、产品服务及应用解决方案等多层次结构,并在产品的全生命周期过程中不断经过基于高质量带标注的数据训练集、调优集、测试集进行产品研发与测试,正式上市须经过产品定型、检测、临床试验、注册申报、技术审评、行政审批六个步骤[6]。从数据收集上看,包含数据采集、存储、挖掘、应用、运输、传输、共享等环节,并涉及服务器、存储设备、网络设备、基础软件等介质。从数据集构建与管理上看,包含数据集设计、数据收集、数据标注、数据归档和数据管理等阶段[7]。从数据使用阶段看,即数据分析和处理,涉及模型训练过程和部署运行过程,包括数据准备、模型训练、测试验证、模型部署、实际数据处理、预测结果输出等。从数据管理上看,包含数据集储存、分发、使用、扩容、更新、删减等活动。医学人工智能研究的多阶段、多层次特点,需要审批和监管部门对其各个阶段、层次的研究进行独立审查,并结合研究过程,开展适时、必要的跟踪审查,以确保研究的科学性和伦理性。
第三,医学人工智能研究涉及前沿未知伦理问题挑战。
①数据相关伦理问题。
医学人工智能研究离不开高质量带标注的医学数据集,其产品全生命周期过程中的数据集包括训练集、调优集和测试集。根据数据收集的方式,可将研究分为前瞻性数据收集研究和回顾性数据收集研究[8]。当前,人工智能医疗公司主要通过与医疗机构合作科研项目、从公开数据集下载数据或通过公司购买数据等三种渠道获取数据。大多数人工智能产品的训练样本主要来自医院患者的各类医学影像数据,少部分来自于人类行为信息的数字化记录等[9]。数据作为医学人工智能研究的重要基础资料,数据质量、数据安全、数据隐私、数据知情同意及二次使用授权等问题亟待审批和监管部门采取必要措施加以规范化管理。一旦存在数据造假、数据偏倚、数据陈旧、数据不完整、数据样本量过低等问题,将直接影响人工智能产品的有效性、安全性和风险性,严重的可能通过数据鸿沟造成算法歧视/偏见,扰乱社会伦理秩序,带来新的不公平问题。大数据分析技术让人的隐私无处可藏,越来越频繁的数据流通削弱了个人对其数据的控制和管理。医疗数据,因其涉及个体的健康、疾病、基因等关键信息,本身具有敏感属性,一旦泄露,不仅关涉个人的隐私和尊严,还可能侵害民族,甚至危害国家安全。如何界定和分配数据安全和隐私保护的责任,是当前亟待解决的问题。医学人工智能研究通过用户提供、自动采集、间接获取等方式采集大量训练数据和应用数据,用于训练模型或推断预测,涉及个人敏感信息的数据,存在数据采集合规性问题、数据采集与用户授权不一致问题、用户选择退出权难以保障问题、匿名化数据被重识别等问题。需在最大化保留信息满足研究需求的情况下,平衡数据主体的个人权益和社会公众利益。
②算法相关伦理问题。
算法是人工智能实现应用的核心,可以被简单地理解为通过计算机语言实现的一种解决问题的方法,主要依赖于技术人员的主观选择和判断,往往因为商业机密、复杂性及专业性不被外界知晓。算法方面能够引发人工智能研究伦理问题的主要包括算法透明度问题、算法安全性问题、算法公平性问题等。算法透明性通常包括可解释性和可追溯性,让用户了解人工智能中的决策过程和因果关系,关乎用户的知情权益和信任。但过度公开透明,可能为动机不良者扰乱系统、操纵算法提供机会,影响研发人员和企业的积极性,不利于技术创新和社会进步。如何平衡公众的权益和公司的机密,目前还没有明确的标准。算法安全性问题,主要指算法可信赖、算法漏洞等带来的安全风险问题。以深度学习算法为代表的机器学习算法为例,能够自主地调整自身的操作参数和决策规则,因此会带来极强的不确定性,产生的安全性问题一旦侵害人身权益,后果可能难以挽回[10]。算法公平性问题主要是由算法歧视或偏见造成,是指由于算法的设计者或开发人员对事物的认知存在某种偏见,或者算法执行时使用了带有偏见的数据集等原因,造成算法产生带有歧视性的结果[11]。一旦算法公平性存在问题,可能使得一些人占有技术成果,而另一些人被排斥、被剥削,严重破坏社会的公平公正。
③产品研发相关伦理问题。
我国人工智能技术发展迅速,医学应用产品层出不穷,但目前尚没有统一的监管医学人工智能应用的标准,也没有医学人工智能产品审批通过的标准,影响了对相关产品应用的安全性风险的把控。医学人工智能产品在正式上市之前,需经过临床试验。一方面,当试验过程中出现错误的判定或结果导致受试者健康或权益受到损害,数据科学家、产品研发和设计者、生产商、医生以及医疗机构的风险分配和责任划分问题,现有的法律制度体系规定尚存在不充足性和局限性;另一方面,很多互联网企业在大众认识到数据的价值之前,就完成了对数据的积累,在没有征得大众的同意和授权的情况下便开始了对数据的分析和使用。个人数据贡献者是否对数据资源享有所有权、开发利用权以及产品利益分享权等问题,相关法律界定仍缺失。
在人工智能伦理问题研究方面,国外研究成果较丰富。美国、日本、韩国、英国、欧洲和联合国教科文组织等国家或机构相继发布了相关的准则、规范、指南和标准。其中以“阿西洛马人工智能原则”和国际电气电子工程师协会(institute of electrical and electronics engineers,IEEE)组织倡议的人工智能伦理标准在国际上影响最广。“阿西洛马人工智能原则”于2017年1月初在美国加利福尼亚州阿西洛马展开的“有益的人工智能”(beneficial AI)会议上被提出,目前共23项,其中涉及伦理方面的共13项,主要为:安全性、故障透明、判决透明、职责、价值观一致、人类价值观、个人隐私、自由与隐私、共享利益、共享繁荣、人类控制、非颠覆、人工智能军备竞赛[11]。IEEE分别于2016年12月和2017年12月在全球范围内先后发布了第1版和第2版的《以伦理为基准的设计:人工智能及自主系统以人类福祉为先的愿景》。在第2版内容中提出了五个核心伦理原则:人权、福祉、问责、透明、慎用[12]。
我国自2016年开始围绕人工智能在医疗健康领域的应用颁布了《“互联网+”人工智能三年行动实施方案》(2016)、《国务院办公厅关于促进和规范健康医疗大数据应用发展的指导意见》(2016)、《“十三五”国家科技创新规划》(2016)、《智能硬件产业创新发展专项行动(2016-2018)》(2016)、《“十三五”国家战略性新兴产业发展规划》(2016)、《国务院关于印发新一代人工智能发展规划的通知》(2017)、《促进新一代人工智能产业发展三年行动计划(2018-2020年)》(2017)、《国务院办公厅关于促进“互联网+医疗健康”发展的意见》(2018)等旨在鼓励人工智能研发和推广的政策文件,对于医学人工智能研究尚处于软性监管阶段,并未上升到法律法规层面。
医学人工智能研究如按照学术性科研课题进行管理,属于医疗领域研究,目前广泛遵循原国家卫计委2016年10月颁布的《涉及人的生物医学研究伦理审查办法》。如涉及临床应用,还应遵循《人工智能辅助诊断技术管理规范(2017年版)》《人工智能辅助诊断技术临床应用质量控制指标(2017年版)》《人工智能辅助治疗技术管理规范(2017年版)》相关规定。如按照产品研发注册申请进行管理,则应根据相关性,遵循由国家药品监督管理局发布的法规要求。目前作为医用软件的通用指导原则有三个,包括《医疗器械软件注册技术审查指导原则》《移动医疗器械注册技术指导原则》及《医疗器械网络安全注册技术审查指导原则》。2019年6月,国家药品监督管理局医疗器械技术审评中心发布了《深度学习辅助决策医疗器械软件的审评要点及相关说明》。
除此之外,国内部分高校、研究院所、标准委员会、学会组织等也形成了一些共识原则和标准。2018年1月,在国家人工智能标准化总体组的成立大会上,《人工智能标准化白皮书(2018)》正式发布,该白皮书论述了人工智能的安全、伦理和隐私问题,认为设定人工智能技术的伦理要求,要依托于社会和公众对人工智能伦理的深入思考和广泛共识,并遵循一些共识原则[1]。2019年4月,国家人工智能标准化总体组发布了《人工智能伦理风险分析报告》,提出了人工智能2项伦理准则:第一,人类根本原则,指人工智能应以实现人类根本利益为终极目标;第二,责任原则,指在人工智能相关的技术开发和应用两方面都建立明确的责任体系。2019年6月,科技部人工智能治理专家委员会发布了《新一代人工智能治理原则——发展负责任的人工智能》,提出人工智能发展应遵循八项原则:①和谐友好;②公平公正;③包容共享;④尊重隐私;⑤安全可控;⑥共担责任;⑦开放协作;⑧敏捷治理。2019年10月,全国信息安全标准化技术委员会发布了《人工智能安全标准化白皮书(2019版)》,提出人工智能安全原则包括三项原则:①以人为本原则;②权责一致原则;③分级分类原则。且人工智能的安全属性应考虑保密性、完整性、可用性、可控性、鲁棒性、透明性和隐私。腾讯研究院和腾讯AI实验室、北京智源人工智能研究院、上海交通大学人工智能研究院等主流科技公司或研究机构也纷纷就人工智能提出了各自的伦理原则。例如,腾讯在国内率先提出“科技向善”的理念,将其与“用户为本”一道作为新的使命愿景,并提出其人工智能研究与应用需遵循“可用、可靠、可知、可控”原则[13]。北京智源人工智能研究院分别于2019年5月和2020年9月发布了《人工智能北京共识》和《面向儿童的人工智能北京共识》,提出人工智能的研究与开发应遵循“造福、服务于人、负责、控制风险、合乎伦理、多样与包容、开放共享”原则,社会各界应高度重视人工智能对儿童的影响,维护儿童自由表达意见与意愿的权利,公平对待和服务于所有儿童,并优先考虑增进儿童的福祉[14-15]。
国内现已颁布的多数法规条款都属于基础原则性条款,对医学人工智能研究的规范只能起到框架性作用,缺乏具体可执行的操作指引性。
涉及医学人工智能的研究除需满足传统伦理审查的基本要求外,结合其研究自身特点,伦理审查应重点关注研究风险受益比、知情同意程序、数据安全与隐私保护措施、社会公平公正等内容。
研究可能遭受的风险程度与研究预期的受益相比的合理性是评估研究能否开展的必要条件。涉及医学人工智能的研究,其风险是对个人或社会或国家可能的伤害,应对该风险的严重性、程度和发生概率,有无采取使风险最小化的方法进行评估,而受益则包括对个体的受益和对社会的受益[16]。在具体实践中,首先,应对研究目的性质是基于商业利益、公共利益还是国家利益进行审慎评估。唯有研究具有重要的社会价值,且不会给参与者个人或所在群体带来超过最小风险值的风险才能获得伦理的辩护[17]。其次,进一步评判从人工智能研究的数据层面、算法层面、应用层面以及研发整个生命周期过程中相关基础技术设备、平台支撑、人员组织、制度流程等内容的合理合法性。数据层面主要考虑数据来源的合规性,数据质量的可靠性、数据安全的可控性、数据隐私的保密性等内容。医学人工智能研究所用数据集在数据质量上应符合样本多样、均衡、真实、完整、可用、时效、一致、可溯源等要求,能够与实现人工智能产品的预期用途相匹配。数据隐私泄露是涉及医学人工智能研究的主要风险之一,有些风险可能难以预测。研究人员应对数据的收集和使用遵循最小必要原则,除非研究需要,尽可能少用可识别信息和敏感数据,避免数据采集与数据主体授权不一致、过度采集数据等问题。数据使用过程中对数据采集、存储、传输、处理、交换及销毁等环节的数据安全要求要有明确严格的规定。算法层面主要围绕算法模型的鲁棒性、安全防护、可解释性、可验证性、可预测性等方面进行评估,对算法在运用中的主观意图、价值取向、利益与风险分担等展开系统深入的分析,使得其对相关群体和利害关系人可能出现的各种负面后果能够得以充分揭示[10]。
医学人工智能研究的训练样本目前主要来自于医院患者的各类医学数据。针对含有可识别个人信息的海量数据研究,传统具体的知情同意方式已不足以应对大数据时代的数据反复挖掘使用的特点[18]。在数据收集与使用阶段,伦理审查委员会应根据研究中所使用的数据的收集方式、涉密性、敏感性、研究预期目的、社会价值、重新获取知情同意的难度以及管理措施,来判断研究应采取具体的知情同意、广泛的知情同意、免除知情同意还是选择退出程序以及知情同意的撤回形式。
第一,具体的知情同意:对于收集和储存数据时已知道未来用途,无论是用于当下特定的研究目的,还是用于未来尚未明确目的的研究,研究者均需从数据提供者处获得具体的知情同意。同时,应告知研究参与者所收集数据的将来处置措施,说明是否会储存起来,如储存起来是否可用于将来的其他研究等。当涉及相关数据的研究方案、范围和/或内容发生变化时,并与原有知情同意内容不相符,还应再次获取数据主体的知情同意。
第二,广泛的知情同意:广泛的知情同意不是“一揽子同意”,而是指对未来限定于某方面的研究进行有限的知情同意。采用广泛的知情同意形式应该对以下内容进行具体规定:①数据收集的目的;②储存的条件和期限;③数据使用规则;④数据占有或使用者的联系方式,以及获知数据未来使用的途径;⑤数据可预见的用途,既包括已经完全确定的研究,也包括部分未知或完全未知的研究;⑥数据使用的预期目标,是用于基础研究、应用研究,还是用于商业的目的;⑦出现未请求同意的研究发生的可能性以及相关处理措施。伦理审查委员会必须确保,提议数据的收集和储存方案,以及知情同意程序,均符合以上规定。
第三,知情同意的选择退出或撤回:医学人工智能研究的数据采用由常规临床情形下收集的数据,除非数据主体一开始就明确表示反对,否则其数据被储存并用于研究,即为知情同意的选择退出。知情同意的选择退出程序必须符合下列条件:①数据主体必须明确知道有这样的程序存在;②研究者必须提供充分的信息;③必须告知数据主体可以撤回他们的数据;④必须为数据主体真正提供反对的可能[17]。知情同意还应能够保证数据主体撤回继续储存和使用其个人数据的权利,知情同意的撤回包括以下方式:①不再联系,即数据主体和数据使用者之间不再发生任何联系或接受回访;②不再获得,即数据主体不再为数据使用者提供相关数据资料;③不再使用,即数据主体声明退出研究,其原有相关数据按相关流程全部销毁,不应继续使用。
第四,免除知情同意:医学人工智能研究的数据采用以往因诊疗、研究或其他目的而收集和保存的数据,同时又没有获得数据提供者对数据的未来研究的知情同意。免除知情同意的条件必须同时满足以下三个条件:①研究具有重要的社会价值;②研究对参与者个人或所在群体的风险不超过最小风险;③不免除知情同意,研究不可能或不可行[19]。
伦理审查委员会在判断研究应采取何种形式的知情同意时,还应关注研究是否符合公共利益,以及如何促进公众参与和透明度等内容[19],并不是完全听从数据主体的自由选择,而是在平衡数据主体和数据使用者等多方主体利益的基础上,推动个人健康数据有序流通和增值使用的同时,最大化保障数据主体的合法权益[20]。
医学人工智能产品的研究离不开患者的个人健康信息和病历信息,伦理审查委员会应根据数据所含个人可识别信息和敏感信息等特点来审慎评估医学人工智能研究过程中须采取的数据安全与隐私保护措施。通过对研究所涉及的人员资质、基础设施、权限控制技术、数据流通规则等内容的审查来确定研究者是否采取恰当的措施降低隐私泄露风险。首先,因医学人工智能研究过程中可能涉及的对象包括个人、医护人员、医院管理者、政府行政管理部门、数据工程师、产品研发和设计人员等,伦理审查委员会应针对研究过程中可能直接接触研究资料的人员组织资质、基础设施、权限控制技术、数据流通规则等方面进行严格审查。通过对可接触研究资料的人员的背景审查、信息安全和伦理培训情况,保密协议签署情况,隐私政策法规掌握情况等资质的审查评估,对不同类型的人员对数据的收集、存储和使用权限进行分类分级管理,并明确数据安全责任主体,确保研究过程中的数据层、算法层及应用层的安全和隐私保护可控,一旦发生数据的违规使用、滥用和泄露等能够溯源追责到个人;其次,涉及医学人工智能的研究,包含数据采集、存储、挖掘、应用、运输、传输、共享等环节,并涉及服务器、存储设备、网络设备、基础软件等介质,数据隐私保护措施应贯彻于全流程和全介质,因此,伦理审查委员会应关注数据载体应用的工具和设备的安全可靠性和数据全生命周期的一切行为的可追溯性;最后,伦理审查委员会还应关注研究数据是否有访问控制技术、数据显示限制技术、数据加密技术、数据使用共享限制技术等隐私保护的关键技术和数据使用场景,对数据隐私保护措施的合规性进行评估,来进一步规范涉及医学人工智能研究过程中的数据利用。
医学人工智能的研发与应用应以促进人类向善、增进人类福祉为目的,避免通过算法歧视和算法偏见等进一步加剧或固化社会不公平不公正现象。算法歧视/偏见产生的原因主要归结于数据输入和算法技术两个方面,算法的设计又是技术人员的主观选择和判断[21]。因此,伦理审查委员会应审慎评估医学人工智能研究中的价值设计是否公平公正地将道德规则和法律写进程序,避免算法继承了研发人员或数据的偏见。采取多种措施加强对训练数据和算法的审查和测试,确保研究数据真正具有代表性,能够代表多元化的人群,促进人工智能在广泛人群中的可及性和可负担性。