应用于感存算一体化系统的多模调控忆阻器*

张宇琦 王俊杰 吕子玉 韩素婷†

1) (深圳大学微纳光电子学研究院,深圳 518060)

2) (深圳大学电子与信息工程学院,深圳 518060)

交互式人工智能系统的构建依赖于高性能人工感知系统和处理系统的开发.传统的感知处理系统传感器、存储器和处理器在空间上是分离的,感知数据信息的频繁传输和数据格式转换造成了系统的长延时与高能耗.受生物感知神经系统的启发,耦合感知、存储、计算功能的感存算一体化技术为未来感知处理领域提供了可靠的技术方案.具有感知光、压力、化学物质等能力的忆阻器是应用于感存算一体系统的理想器件.本文从器件层面综述了应用于感存算一体化系统忆阻器的研究方向和研究进展,包括视觉、触觉、嗅觉、听觉和多感官耦合类别,并在器件、工艺与集成、电路系统架构和算法方面指出现阶段的挑战与展望,为未来神经形态感存算一体化系统的发展提供可行的研究方向.

1 引言

人工智能领域现阶段取得的成功引发了学习和模仿生物感知和处理系统来构建未来交互式智能系统的热潮.生物神经系统主要分为两部分:中枢神经系统和外围神经系统.中枢神经系统负责完成高阶任务,如学习记忆,外围神经系统也被称为感知系统,负责感知外界刺激(化学物质、光、压力等)并将信息传到中枢神经系统和身体其他部位[1].感知系统可以直接进行一些低级的处理,如本能反应,即感知信号不需要发送到大脑系统就可做出响应.感知系统的边缘处理不仅能快速响应外部刺激以维持正常的生理活动,还能减少大脑的计算负担[2].神经网络具有存内计算和大规模并行处理等特性[3].这些特性使我们在面对现实世界的事件时,能够以稳健容错的方式做出合适的反应.受生物中枢神经系统和感知系统处理模式的启发,一些科研人员将研究重点放在构建仿生物的集感知、存储、处理功能于一体(感存算一体化)的交互式系统[4-7].

在传统的系统架构中,由于不同的功能和制造工艺,传感器、存储器和处理器在空间上是分离的.传感器收集现实环境中的模拟信号,模拟信号经过预处理转换为数字信号,随后输入到冯·诺依曼型数字计算架构中的存储器和处理器进行存储和后续处理[8,9].随着识别、分类等任务复杂度的提高,传统感知系统会产生大量的未处理原始数据,这加重了处理系统的工作负荷,而且数据的频繁传输和格式转换极大地限制了集成系统的工作性能[10].按感存算一体化系统的理念,系统边缘基本单元应耦合感知、存储、处理功能于一体,并应具有低功耗、小面积、高响应速度等特性[9].感存算一体化系统基本单元的设计、制造和应用的研究对于实现交互式人工智能系统是至关重要的.

忆阻器是近年来备受关注的一类新型存储器件,具有操作速度快、功耗低、集成密度高等优势.其电阻状态可以由所施加过的电激励历史控制,数据信息可以以电阻的形式存储.此外,这种基于电阻的存储器本质上就通过物理法则(如欧姆定律和基尔霍夫定律)来处理信息,融合了存储和处理功能(存内计算)[11-15].忆阻器与生物突触在结构、物理行为和功能上有着极高的相似性,被广泛应用于构建可模拟生物突触可塑性的人工突触.基于忆阻器的人工突触是人脑启发的硬件类脑神经网络电路的基本存储处理单元,神经形态的忆阻器突触网络具备处理复杂高阶任务的能力[16-19].显然,将传感功能引入已具备存算一体特性的忆阻器突触是一种实现感存算一体化单元的策略.将仿生感知技术和神经形态工程技术相结合来实现感存算功能一体化,将会开启人工智能的新时代.近年来,国内外许多研究组专注于开发传感器与忆阻器突触的集成,或融合传感功能的忆阻器突触.多模(光、压力、化学物质等)调控的忆阻器突触为实现感存算一体系统提供了切实可行的解决方案[20-25].

本文首先介绍感存算一体化系统的工作机制和应用场景、忆阻器及人工突触,然后从器件层面综述了应用于感存算一体化系统的忆阻器突触的研究方向和研究进展,包括视觉、触觉、嗅觉、听觉和多感官耦合的类别.最后在器件、工艺与集成、电路系统架构和算法4 个方面指出现阶段的挑战与展望,为未来神经形态感存算一体化系统的发展提供可行的建议.

2 感存算一体化系统

仿生机器人系统、无人驾驶汽车、可穿戴医疗设备等众多新兴领域的出现加速了人工智能技术的发展,同时也对感知网络系统提出了更高的要求.感知系统是从复杂环境中获取信息不可或缺的部分,应用于人工感知网络的传感器节点的个数正在飞速增长,伴随而来的是大量的原始非结构化的冗余数据.传统的感知系统包含接收信号、数据转化预处理、数据传输功能,数据被传输至当地计算系统或云平台进行后续的高阶计算.传感大多发生在有噪声的模拟信号域,而计算通常采用传统的冯·诺依曼计算体系结构进行数字化执行,其对应的架构如图1(a)所示.由于功能需求和制造技术的差异,感知系统与计算系统在物理上分离.这种基于数据转换和传输的处理策略极大影响了系统的能耗、响应速度、通信带宽和安全性等方面[9].

相比而言,生物感知处理系统具有完备的层次结构、计算和存储一体化特性以及复杂的神经网络,能够高效地处理来自复杂环境的信息.视觉、触觉、听觉、嗅觉和味觉这5 种基本感觉通过人体大脑中的神经网络相互作用产生信息(图1(b)),使人们能够探索、学习和适应世界.受生物系统的启发,科研人员致力于深度挖掘生物感知系统的工作原理,应用其原理至半导体器件中实现新型的传感功能器件,进而取代或者加强传统的传感器[26].科研人员提出一种有潜力的方案是构建感知、存储、计算一体化的人工智能系统.在感存算一体系统中,感知单元融合了存储计算功能,具有额外的初步学习和认知能力,其框架图如图1(c)所示.神经形态感知系统能够从捕获的原始数据中提取有用的感知信息并减少冗余数据的传输,可以降低系统功耗并提供了一种高效的并行计算方法来实时处理高吞吐量的时空数据.感知端的边缘计算包含低级处理功能和高级处理功能.低级处理功能可以优化难以识别的原始和非结构化数据中的特征,包括噪声抑制、滤波、特征增强等,如图1(d)所示.高级处理功能可以抽象输入的数据,通过特定算法得到计算结果,完成如识别、分类、定位等任务.为了加速神经网络学习算法的硬件实现,即感存算一体单元阵列直接执行高阶任务,传感器阵列应具有可重构响应度特性.如图1(e)所示,系统边缘有m×n个感存算单元,感知激励输入为I 矢量,R为响应度矩阵,则最终的电流输出矩阵O 可根据基尔霍夫定律叠加得到.在这里,每个基本单元对于输入刺激源的响应度是可调控更新的,类似于神经网络中的突触权重,外界刺激输入至训练好的感存算单元阵列即可得到乘累加的高阶操作结果.

如图1(f)所示,感存算一体化技术在需要交互式人工智能系统的领域具有重要的应用场景,如自动驾驶、可穿戴柔性电子设备、仿生机器人、医疗检测等,用于感知、存储、计算的神经形态器件的开发极大地促进了人工智能领域的发展.该应用领域需要更多的跨学科合作,要实现感存算一体系统关键的第一步即是从材料/器件层级设计出符合预期功能的基本工作单元.

图1 (a) 传统的感知处理系统架构;(b) 人体五感示意图;(c) 感存算一体化系统架构;(d) 低级感官处理功能;(e) 用于神经网络计算的可重构响应度的感存算一体单元阵列;(f)感存算一体化技术的应用领域Fig.1.(a) Traditional architecture of sensing and processing;(b) schematic of human sensory system;(c) in-sensor computing architecture;(d) low-level sensory processing functions;(e) in-sensor computing units with reconfigurable responsivity for neural network computing;(f) application fields of in-sensor computing technology.

3 忆阻器突触

3.1 忆阻器

非线性电子元件忆阻器的概念最初是由加州大学伯克利分校蔡少棠教授提出的,而后惠普实验室成功制备了忆阻器原型器件[27].典型的两端忆阻器具有金属-介质层-金属的结构,外部激励场可重构介质层的物理结构状态,调控的状态取决于所施加过的外部激励历史(图2(a)).具有不同物理结构的忆阻器呈现出不同的电阻状态,忆阻器在施加激励的过程中表现出电阻变化行为,这赋予了器件基本存储器的特性[14].基础材料和器件研究表明,忆阻器中的物理重构过程主要是由内部离子迁移再分布引起的,介质层中导电细丝的形成与断裂改变了器件的导电性.该物理过程根据响应时间尺度可分为突发的或渐进的,分别对应于数字型忆阻器和模拟型忆阻器.数字型忆阻器具有两个区分度明显的离散阻态,以存储器的角度看,低电阻状态与高电阻状态可分别对应逻辑1 和逻辑0(图2(b)).开启操作定义为器件从高阻态转变为低阻态,而关闭操作定义为器件从低阻态恢复为高阻态.在电压扫描下模拟型忆阻器具有连续型变化的阻态,可被看作多比特存储器(图2(c)).

图2 (a) 两端忆阻器示意图;(b) 数字型忆阻器的典型电压-电流曲线;(c) 模拟型忆阻器的典型电压-电流曲线;(d) 忆阻器常见机理;(e) 数字型和模拟型忆阻器的应用Fig.2.(a) Schematic of a two-terminal memristor;(b) typical I-V curve of digital memristor;(c) typical I-V curve of analog memristor;(d) three main mechanisms of memristors;(e) application of analog and digital memristor.

如图2(d)所示,忆阻器的物理机理可主要分为三大类[28]:一是导电细丝型[29-31],电场可以驱动阳/阴离子在介质层中迁移进而控制连接两端电极的导电细丝的形成与断裂,器件的电阻状态取决于导电细丝的尺寸和稳定程度;二是非导电细丝型[32,33],器件的电阻状态由介质层中载流子捕获/解捕获或离子迁移调制的界面肖特基/隧穿势垒决定;三是晶相变化[34,35],与常见的忆阻器中局部离子迁移物理机量不同,外部电刺激产生的热效应会使相变忆阻器的相变层在非晶相(高阻态)和结晶相(低阻态)之间切换.基于其他效应(如铁电效应、磁电效应)的器件也表现出典型的忆阻特性,然而这些类型的器件仍需大量的科学研究去改进其性能.

鉴于其快操作速度、结构简单、低功耗、集成度高等优势,忆阻器在下一代存储计算技术领域展现出巨大的潜力.在传统的冯·诺依曼计算机架构中,数据处理单元与存储单元在空间上是分离的,数据需要在处理器与存储器之间的反复传输极大地限制了计算机的处理能力.存内计算设计的理念是应用集存储与计算功能一体的单元构建高并行度高性能的计算系统.忆阻器除了数据存储能力,本质上就可以通过物理法则(欧姆定律、基尔霍夫定律)对信息计算处理.因此,忆阻器是一种模糊了存储与计算的边界的存储器技术,器件本身展示出了类人脑存内计算的概念,是实现了存算一体化功能的基本单元.如图2(e)所示,数字型忆阻器和模拟型忆阻器有不同的应用领域.数字型忆阻器常被用于数字逻辑门的实现.布尔逻辑的状态(1 和0)映射为忆阻器的电阻状态(低阻态和高阻态),即输入和输出用忆阻器的电阻状态表示,基于数字型忆阻器的逻辑电路具备逻辑门和锁存器的特性.模拟型忆阻器阵列则被应用于在单个计算周期内实现乘累加计算.电压刺激输入至忆阻器阵列的行后,模拟型忆阻器单元充当了矩阵点乘运算的权重值,由欧姆定律可知每个忆阻单元的电流为输入电压与器件电导的乘积(乘法运算),由基尔霍夫定律可知忆阻器阵列的列输出电流为对应节点的累加电流(累加运算).高并行度以及高吞吐量的特性使得模拟型忆阻器非常适合加速计算密集型应用(如硬件人工神经网络)[12].

3.2 人工突触

为了突破冯·诺依曼瓶颈,研究人员致力于开发模拟人脑处理信息、学习、记忆的智能处理系统.脑神经系统的高效性主要突显在大脑皮质中大型复杂的神经元互连网络,其中包含了约1011个神经元及1015个神经突触.在大脑系统中,神经元负责从前神经元收集并处理输入信号,随后输出动作电位到后神经元;突触则是前神经元与后神经元之间的间隙,它是神经系统中调控信号传递的基本单元.突触权重是衡量神经元间的连接强度的参数,其作用体现在一次信号传输过程中控制着突触前膜的神经递质囊泡的数量及大小.突触的性质(功能、权重等)发生变化的现象被称为突触可塑性,是大脑学习与记忆的神经分子基础,模拟该生物功能是实现神经形态电路的关键部分.突触可塑性按记忆时间长短可分为短时程可塑性(short-term plasticity,STP) 和长时程可塑性(long-term plasticity,LTP),还有放电时间依赖可塑性(spikingtiming-dependent plasticity,STDP)、放电速率依赖可塑性(spiking-rate-dependent plasticity,SRDP)、经验学习等[36].在生物学中,突触权重参数的增大和减小对应着增强和抑制.人脑的短时记忆一般持续毫秒到数分钟,突触的STP 行为通过刺激被短暂地维持,突触权值短暂增加或减少随后迅速恢复到初始状态.然而,重复输入脉冲刺激会产生一个永久的变化,称为LTP 状态.这种依赖于外界活动的调制特性促进了信息在人脑中的处理和存储.STP和LTP 是大脑中最主要的两种突触可塑性的形式.STP 往往是短期或一些突发性活动引起,可以帮助大脑过滤掉部分非必要的信息,而LTP 则是在短时记忆的基础上经过反复训练形成的永久性记忆,STP 到LTP 的转化需要充分的训练[37].

基于互补金属氧化物半导体(complementary metal-oxide-semiconductor transistor,CMOS)技术来构建单个神经形态计算单元需要超过10 个晶体管及电容、电阻等其他电子元件,功耗及面积远超人脑,因而传统CMOS 器件并不是构建高能效智能类脑系统的理想技术方案.相比而言,忆阻器的出现大大促进了硬件神经形态电路飞速发展.忆阻器与生物突触有着极高的相似性:在结构上,忆阻器的两端电极对应着突触前膜和突触后膜,忆阻器中的介质层对应着突触;在物理行为上,外部刺激使得忆阻器内部的离子迁移引起介质层物理重构,生物突触则是通过释放神经递质在突触间隙中传递;在功能上,模拟型忆阻器的电阻状态可以被外场刺激调控,对应着生物突触的可塑性.鉴于忆阻器的诸多优势,许多科研人员致力于构建基于忆阻器的硬件形态神经网络电路系统[16].

4 感存算一体单元

近年来,大量的科学研究专注于开发出多模式调控的忆阻器突触将其应用于未来感知、存储、计算一体化的研究方向.本节介绍应用在各种人工感知系统的忆阻器单元,包括视觉[38-60]、触觉[61-68]、嗅觉[69-75]、听觉[76-79]和多模感知领域[41,80,81].

4.1 视觉感存算一体单元

视觉是人类重要的一种感官,近一半的大脑皮层忙于处理视觉信息,通过视觉可以判断物体的大小、形状、颜色、亮度、距离、位置、光滑度、粗糙度等.传统机器视觉系统通常由3 个独立单元组成,包括图像传感器(光电探测器)、存储器和处理单元.相比之下,人类视觉系统具有传感和处理功能相结合的能力.在人类视觉系统中,视网膜在接受光信号的同时会对图像进行初步预处理,随后将提取到的精简信息传递到视觉皮层进行更复杂的信息处理(图3(a)).为了模拟该生物视觉成像过程,科研人员首先研究开发光调控的忆阻器突触器件.光调控忆阻器突触在直接响应光学刺激的同时,可以对视觉感知信息进行记忆和实时处理.光调控忆阻器突触可作为视觉感存算一体系统中的基本器件,能实现人类视觉系统从视网膜到视觉皮层的感知和处理过程.理想的感存算一体系统中,光响应忆阻器的光响应度是可调控的,则感知阵列可以直接组成感知处理神经网络实现低级与高级任务.Mennel 等[82]构建了一个由基于二硒化钨的光电晶体管组成的神经网络,每个晶体管的光响应度可以单独调节.改变光电二极管的光响应度就可以改变神经网络中的连接强度,即突触权重.该系统将光学传感与神经形态计算相结合,可以执行简单的计算任务.基于晶体管结构的视觉感存算一体化技术发展程度比忆阻器结构的要高,光调控忆阻器突触阵列仅能做一些低级任务处理,如何设计光响应度可调控的光控忆阻器突触是跨入高级任务处理的重要研究方向.

图3 (a) 人类视觉系统示意图;(b)突触、神经元和制备的忆阻器示意图;(c)大脑STP 和LTP 行为的示意图;(d) 人工突触在红光和紫外光刺激下电流响应对比图[42];(e) 可见光/紫外光调控突触可塑性示意图;(f) 人工突触在可见光脉冲刺激下的电流响应;(g) 人工突触在紫外光脉冲刺激下的电流响应;(h) 可见光调控的突触STDP 功能模拟;(i) 基于忆阻器阵列的视觉感存算一体系统低级处理和高级处理功能示意图[56]Fig.3.(a) Schematic of the human visual system;(b) schematic diagrams of the synapse,neuron,and two-terminal memristor;(c) schematic diagram of STP and LTP behavior;(d) comparison of current response of artificial synapses under red light and ultraviolet light[42];(e) diagram of synaptic plasticity regulated by visible/ultraviolet light;(f) current response of artificial synapses stimulated by visible light pulses;(g) current response of artificial synapses stimulated by ultraviolet light pulses;(h) simulation of synaptic STDP function regulated by visible light;(i) schematic diagram of low-level and high-level processing functions of visual insensor computing system based on memristor array[56].

2019 年,Zhou 等[39]设计了具有Pd/MoOx/ITO结构的光电价变忆阻器突触器件.器件在365 nm紫外光刺激后从高阻态转化为低阻状态且具有非易失特性,当施加负压到—2.13 V 时器件复位.其机理可解释为:在UV 照射后,MoOx薄膜中产生电子和空穴,光生空穴和水分子之间反应产生质子(H+).光生电子、质子导致Mo 的价态从6+变为5+,从而影响了介质层的导电性.在复位过程中,电场驱动质子漂移使器件恢复为高阻态(开关比约为40).和传统传感器相比该光电忆阻器的输出电流具有时间依赖性,输入光脉冲强度和宽度影响着输出电阻状态,即器件可以模拟突触功能,且具有光可调的突触可塑性.在较高的光强下,器件脉冲电流增加得更快、保持时间更长.相应地,亮度越高的像素积累效果越强,器件实现了图像的对比度增强功能.Zhou 等[39]选取字母“P”,“U”,“C”进行图像识别,使用忆阻器阵列突出字母特征,平滑背景噪声.忆阻器阵列预处理后的图像输入网络经过1000 次训练后,网络的识别率高达0.986,这说明前端图像预处理功能的实现有效地提高了后续处理任务的处理效率和精度.然而由于材料限制,器件只对UV 有响应,而人类视觉系统需要对外界较宽的波长范围响应,若要更真实地模拟人类视觉系统,器件的响应波长范围还需要进一步拓宽.Wang 团队[44]将具有ITO/ZnO/Ag 结构的非易失电化学光电忆阻器应用于可感知白光的感存算一体化系统.白光诱导器件内部产生电子-空穴对,光生电子吸引电极上的Ag+移动到功能层形成导电细丝,忆阻器在白光照射下从高阻态转变为低阻态.ZnO 忆阻器的电导状态在光刺激时增大,在电刺激时减小,模拟生物突触LTP/LTD 特性.团队使用光电忆阻器来模拟构建了一个用于感存算一体的人工视觉系统,网络在1000 次训练后,人脸识别准确率达到86.7%.然而白光包含多波长的光刺激,该项工作并未对不同波长光源输入展开研究,区分不同波长的感知功能的研究有利于更加真实的场景应用.

如图3(b)所示,Yang 及其团队[42]利用真空沉积法制备了模拟光子突触功能的两端人工突触器件,器件结构为ITO/SnO2/CsPbCl3/TAPC/TAPC:MoO3/MoO3/Ag/MoO3.紫外光照射下SnO2纳米粒子和CsPbCl3钙钛矿界面中的载流子捕获和释放使得器件的电导率可受光调控,也使器件在光驱动下可以模拟生物突触的STP 和LTP 等行为(图3(c)).在强紫外光较长时间照射下,突触的响应电流在开始时增加随后逐渐下降,器件的这种特性成功模仿了人眼虹膜在强光照射下自动控制入射光量的行为.此外,TAPC:MoO3薄膜的存在使器件具有检测深红光的能力,但由于它不会触发光载流子的捕获/释放,因此器件在红光刺激下不具有记忆和存储功能,如图3(d)所示.虽然红光的引入并不能激发器件的突触行为,但也使器件具有在紫外光和红外光下双模式的工作能力.在2021 年,Shan 等[56]利用表面等离子体共振和光激发原理设计了一种具有Au/Ag-TiO2/FTO 结构的等离子体光电忆阻器,器件具有完全光调控的突触可塑性,且响应光波范围为300—800 nm(紫外光及可见光范围),如图3(e)所示.在可见光的照射下,Ag纳米粒子的表面由于等离子体共振效应发生光氧化而产生热电子,热电子使界面肖特基势垒降低从而提高了器件的导电性.该效应允许器件具有可见光诱导的突触长时程增强效应(图3(f)).而UV 光辐照可以导致Ag+的光还原,器件具有紫外光诱导的突触长时程抑制效应(图3(g)).基于光调控LTP和LTD 特性,忆阻器阵列实现了对图像预处理的功能.相比传统电学预处理操作,团队利用器件全光调制的优势,使用紫外光刺激来降低长期噪声点,从而愈加突出了图像的主要特征.进行预处理后的图像传输到光电忆阻器神经网络进行训练和识别,基于STDP 权重更新法则(图3(h)),300 次训练后网络可拥有98%的识别率.在这项工作中,基于全光调制的人工忆阻器突触实现了感存算一体系统的低级和高级功能,如图3(i)所示.

4.2 触觉感存算一体单元

皮肤下的触觉感受器能够接受外部压力刺激,产生的响应信号经神经系统传入大脑形成了触觉(图4(a)),触觉信号被神经系统存储下来便成为触觉记忆使我们更好地对外界环境作用,指导我们日常生活中对物体的握力和互动.在人机交互、柔性机器人等领域,所感知到的触觉应能被反馈来检测/操纵目标,否则这些设备在面对熟悉的物体时仍然会感到僵硬和生疏.像人类一样进行触觉感知和处理的仿真对于未来的智能交互系统是至关重要的,而基于忆阻器的触觉感存算一体单元的开发更是具有举足轻重的意义.

图4 (a) 生物触觉感知系统示意图;(b) 压力传感器和Nafion 忆阻器集成的人工触觉感知系统;(c) 触觉系统在不同按压力度下的电流响应图;(d) 对采集到的数据进行K 邻近分类网络算法处理[61];(e) 集成触觉传感器和HfO2 基忆阻器的触觉感觉神经;(f)“SOS”和“TEAM”莫斯电码信号刺激人工触觉神经元的电流响应[66];(g) MXene 传感器、ADC-LED 电路、光电忆阻器构成的神经系统;(h) 光调控的突触PPF 模拟[64]Fig.4.(a) Schematic illustration of the biological haptic perception system;(b) artificial haptic perception system consisting of pressure sensor and Nafion-based memristor;(c) current response of tactile system at different pressing magnitudes;(d) schematic of processing by K-nearest neighbors algorithm[61];(e) tactile sensory nerve consisting of haptic sensor and HfO2-based memristor;(f) current response of artificial tactile neuron under“SOS”and“TEAM”Morse code signals stimulus[66];(g) artificial afferent nerve system integrating MXene sensor,ADC-LED circuit and optoelectronic memristor;(h) simulation of photo-tunable synaptic PPF behavior[64].

目前科研人员主要应用多种功能器件集成来搭建感存算一体化触觉系统.Zhang 等[61]将金包覆金字塔结构的压阻传感器与基于Nafion 的忆阻器连接,模拟了人工触觉感知系统,其系统示意图如图4(b)所示.压阻传感器将压力刺激转换为电脉冲,然后电刺激输送至忆阻器.Nafion 忆阻器中质子的量受电刺激调控,器件具有连续可调的电导状态,实现了基本的生物突触可塑性如括双脉冲抑制(paired-pulse depression,PPD)、双脉冲易化(paired-pulse facilitation,PPF)、STDP 的模拟.突触后电流受压力幅度(图4(c))、作用次数、频率和持续时间调控,基于此特性,团队将人工触觉系统的输出电流输入至K邻近分类网络用于识别不同手写字母(图4(d)).类似地,Xia 等[66]搭建了碳纳米管/聚二甲基硅氧烷与HfO2忆阻器结合的电子皮肤系统,如图4(e)所示.基于芦苇叶模板的PDMS衬底与碳纳米管活性层结合构成的压阻传感器作为电子皮肤将外界物理刺激转换为电信号.电压刺激作用于Pt/HfO2/TiN 忆阻器,使得HfO2活性层中氧空位导电细丝形成和断裂进而影响着器件电阻状态,器件的响应电流对应着生物突触后电流.传感器独特的多尺寸传感层表面保证了系统具有较宽的压力探测范围和超高的灵敏度和线性度.HfO2忆阻器被用于模拟生物突触功能,存储并处理输入的压力信息.该人工触觉感知神经元系统通过识别外部压力实现了莫斯码的准确解码(图4(f)),具有保持性能优越和稳定性好的特点.

在传感-处理的架构下,Tan 等[64]对人工触觉系统做了进一步的性能优化.与传统压电转换处理方式不同的是,他们采用压电转换-电光转换的编码模式,将光脉冲序列作为携带数据信息的形式.在系统中,压力刺激经过模数转换器和发光二极管耦合电路,被编码为光脉冲序列再输送至具有ITO/ZnO/NSTO 结构的光电忆阻器中(图4(g)),忆阻器成功模拟了突触的基本可塑特性(图4(h)).仿生的尖峰序列编码方式比电压幅值编码方式更加稳定,因为电压幅值会因后电路的寄生电阻衰减,而且尖峰序列形式允许频率编码和时间编码等多种编码策略.此外,光作为信息载体可以非接触地作用于光电忆阻器突触,即光信息与器件的通信不局限于点对点,可以是多位点信息源耦合作用于忆阻器突触,光通信方式的功耗、速度与灵活性都优于纯电场调控形式.该仿生触觉系统不仅能够检测和识别多个压力输入,还可以识别莫斯码、盲文和物体运动.光电忆阻器突触可以降维提取图像特征值,使得系统能够以较高效率识别和记忆手写字母和单词.在上述工作中,忆阻器突触仅实现了存储和计算功能,系统的传感功能依赖于压力传感器实现,即忆阻器突触尚未融合传感功能,不能原位处理感知信息.

理想的触觉感存算一体化边缘单元应具备原位感知压力后存储并处理信号的能力,这对于典型的两端结构的忆阻器是难以实现的.Wang 等[68]采用了衍生的伪3 端忆阻器突触实现了触觉类别感存算一体化功能.忆阻器具有Au/ZnO/Au 的水平结构,聚乙烯醇(polyvinyl alcohol,PVA)和氯化钙(calcium chloride,CaCl2)聚合物离子胶通过旋涂成膜于ZnO 膜上,ZnO/PVA 杂化异质结赋予了器件在电和压力作用下模拟生物突触可塑性的能力.在电刺激下,外加电场的施加与撤销控制着PVA 膜中带电离子的分离与聚合,从而形成内建电场.外加电场与内建电场协同作用下PVA/ZnO层间的电荷耦合效应影响着ZnO 沟道中电子的浓度,即器件的电导性,器件成功模拟了电场调控的生物突触可塑性.压力作用于PVA 膜表面时,两电极上方的薄膜位置与中间位置之间的厚度差逐渐减小,导致PVA 膜不同位置下的介电常数发生改变.根据介电常数、电压、距离和电场强度之间的关系两电极间的有效电场受压力影响,受压力调控的有效电场进而影响着ZnO 沟道的导电性,器件成功模拟了压力调控的生物突触可塑性.团队应用10 × 10 的忆阻器阵列检测外加压力分布后产生触觉图像,并将预处理后信息传入三层的神经网络进行学习训练.在该项工作中,采用创新结构的器件真正意义地集成了触觉感知、存储、处理功能于一体,具有优越的多功能性.然而,水平结构的忆阻器可能不利于以后的大规模立体集成工艺,器件的结构优化依然是一项重要的研究方向.

4.3 嗅觉感存算一体单元

生物嗅觉系统能感知和辨别气味,这对神经内分泌调节、情绪反应、捕食或躲避等方面都至关重要.人体的嗅觉系统示意图如图5(a)所示.受生物嗅觉器官的启发,科研人员开发了人造化学传感器应用于食物质量鉴别、违禁品或爆炸物检测、疾病诊断等方面.传统的化学传感器在概念和技术上都面临着重大的挑战,如信号载体波动、不稳定性、灵敏度低、响应时间长,以及对生物气味嗅觉特征了解不深入.与视觉和触觉感知系统相比,嗅觉感知是一个更为复杂的过程.嗅觉感存算技术起步较晚,由于信号兼容性、响应速度和应用范围等限制,嗅觉感存算一体系统的实现难度较大.

图5 (a) 生物嗅觉感知系统示意图;(b) 人工嗅觉推理系统原理图;(c) W/WO3/PEDOT:PSS/Pt 忆阻器在脉冲下刺激下的电流相应;(d) 所用忆阻器突触真实和理想的电导调制曲线[73];(e) 气敏忆阻器机理示意图;(f) SnO2 气敏忆阻器对不同浓度一氧化氮气体的电流响应;(g) 由Ta2O5,HfO2 和SnO2 忆阻器组成的气体感知阵列[71]Fig.5.(a) Schematic of biological olfactory system;(b) schematic of artificial olfactory inference system;(c) current response of memristor with W/WO3/PEDOT:PSS/Pt structure under pulse stimulus;(d) experimental and ideal conductance modulation curves of the memristive synapse[73];(e) schematic of the gas sensing mechanism;(f) current response of SnO2 based gas-sensing memristor depending on NO gas concentration;(g) schematic diagram of the gas-sensing array consisting of Ta2O5,HfO2,and SnO2-based memristors[71].

受生物嗅觉系统工作机理启发,Lu 等[75]开发了由气体传感器、柔性振荡器和人工突触集成的气体感知系统.在该工作中,NiO 基气体传感器实现生物受体功能,当其电阻值在接收到气体刺激时会发生改变.柔性振荡器根据传感器阻值编译产生不同频率的电压脉冲信号并输入基于还原氧化石墨烯和壳聚糖的忆阻器.在连续电压脉冲刺激下,忆阻器表现出连续电导变化的特性,该特性可用于模拟生物突触可塑性功能,器件机理为壳聚糖提供的质子与还原氧化石墨烯纳米片中的缺陷和官能团之间相互作用.电压刺激后忆阻器电导的变化率和斜率作为特征输入传送至神经网络进行训练,训练后的神经网络可完成识别硫化氢气体浓度的高级任务.该仿生嗅觉系统虽然实现了对硫化氢气体浓度的感知识别功能,但单一气体感知系统应用面窄,有较大的局限性,且电路系统占用空间大.2021 年,Wang 及他的团队[73]开发了基于忆阻器的人工嗅觉系统,可以实现复杂环境中4 种气体(乙醇、甲烷、乙烯和一氧化碳)在10 个不同浓度下的识别和推理功能.气体传感器阵列感知气体后输出电脉冲信号,脉冲序列输入至由W/WO3/PEDOT:PSS/Pt易失性忆阻器器件组成的储蓄池计算系统(图5(b)).忆阻器在脉冲下的电流响应特性如图5(c)所示,在连续电脉冲刺激下,器件的电导随着脉冲数量增加而增加.电导的变化与输入电脉冲的数量满足一定的关系,即器件的电导可以看作是对电输入进行处理后的输出参数.传统储蓄池计算系统中大量的非线性函数节点可以被该忆阻器替代.基于忆阻器的储蓄池计算系统处理电脉冲序列的时空信息,提取出高维空间的特征变量,系统输出不同的电导状态对应着不同的特征信息.特征信息随后传入基于Pd/W/WO3/Pd 非易失忆阻器(电导调制曲线如图5(d)所示)搭建的人工神经网络进行训练学习,神经网络人工突触的权重被调节进而进行训练识别.结果表明系统具有良好的识别速度,且对复杂气体种类、浓度的识别率较高.

上述工作的忆阻器仅具有存储计算能力,没能原位感知气体.有一些实验组应用忆阻器完成了气体感知功能,但受限于响应速度和机理,尚未有工作实现相应的突触行为模拟.Kim 实验组[71]应用SnO2,Ta2O5和HfO2薄膜制备了忆阻器基的NO气体传感器.在电刺激下,连接顶电极和底电极的氧空位导电细丝会在介质层形成,使得原始器件从高阻态转换成低阻态(图5(e)).由于高电负性,注入的NO 气体分子会从SnO2中捕获电子并附着于介质层表面.随后,带电负性的NO 分子与带正电的氧空位结合呈中性状态,导致了导电细丝的断裂从而使器件的电阻增大.电流的变化程度决定了器件的气体响应范围和灵敏度.在恢复过程中,他们应用电压刺激可以解吸附在介质层表面的NO 分子,直接使器件复位至原始的低电阻状态.如图5(f)所示,所制备的基于SnO2忆阻器的传感器具有快的反应/恢复速度(＜1 s/＜90 ns),能够在低浓度的NO 气体环境下正常工作.他们提出了在混合气体环境下应用传感阵列来检测目标气体的策略(图5(g)).不同响应特性的材料体系相互耦合可实现多功能检测系统,极大地提高了检测精确度和检测范围,该策略可以为气体传感技术提供技术创新,可用于安全、医疗和环境监测等多个领域.该工作仍有值得深入研究的方面,如忆阻器如何能恢复到同样的电流状态,接触面积如何影响性能,导电细丝的状态如何影响电流变化的程度等.

目前人工嗅觉感觉系统的工作相对简单,处于初步阶段,气体种类差距小、感知周期长、精度低等问题都需要更深入的研究来解决.

4.4 听觉感存算一体单元

声音定位和识别是生物听觉系统中非常重要的功能.传播的声波以一定的频率和幅度振动耳膜,物理振动通过听骨传递到耳蜗毛细胞后转换成生物电信号.神经系统对声音信号的组成进行分析,完成声音的定位和识别.为实现人工听觉系统,听觉感受器需要在较宽的振动频率探测范围内具有超高的灵敏度.基于仿生时空信息处理算法,听觉处理器处理事件驱动的信息完成对应的定位识别功能.具备响应输入声波频率和幅度的三大类材料是压电材料、摩擦电材料和电磁材料,开发合适材料体系和特定结构的听觉传感器和处理器是至关重要的.目前较少研究工作将忆阻器应用于听觉感存算一体系统,现阶段人工听觉系统普遍由基于CMOS 技术的大规模集成电路搭建而成,声波信息的复杂度、时间依赖性、时空编码等特点使得构建听觉感存算一体单元极富挑战性.

声音定位的两种工作机制包括通过两耳时差和通过两耳水平差进行检测.2018 年,Wang 等[79]通过设计基于HfO2忆阻器的一个晶体管/一个电阻(1 transistor 1 resistor,1T1R)结构构建了人工突触尖峰神经网络(spiking neural network,SNN)来进行人脑神经形态的时空信息处理.HfO2忆阻器器件内部导电细丝的尺寸可被电压刺激调控,器件呈现出的不同的电阻状态对应着不同的生物突触权重.SNN 根据输入脉冲时间间隔模拟人脑对声音位置检测的功能.输入端包含两个突触前神经元,分别模拟人的左耳和右耳,突触后神经元产生内部电压信号,网络根据两个后神经元间电压信号的差异可准确识别发声位置.声源探测基本功能的实现仅需2 × 2 个忆阻器突触,这证明了基于时空信息计算的SNN 提高了神经形态硬件电路的能量和信息效率.该系统未完成原位感知声音的传感功能,模拟声音源是直接以电信号的形式输入系统的,如何搭建传感、存储、计算一体化的听觉系统仍需深入的研究.

4.5 多模调控感存算一体单元

协同综合多感官信息是人类感知系统的基础功能.人类的大脑可以整合来自包括视觉、听觉、触觉、嗅觉等多个感官系统的输入,这有助于在单模感知信息不足的复杂环境下更快速、更准确地做出反应.由于信号本身的随机性和噪声,人工感知系统凭借单一的感官信息做决策通常会导致不可避免的不确定性.参考人类的多模感知协调作用,人工感知系统可将多个单模信号协同耦合来实现更加先进智能的认知功能.为了搭建超智能化机器人,人工感觉系统需要具备高级的认知感知和多模态环境信息处理能力.科研人员致力于开发能够处理多感官耦合信号的多功能感存算一体化系统,而多模调控的忆阻器件为实现该系统提供了潜在可行的策略.

2021 年Wang 等[41]在柔性PDMS 衬底上制备了具有ITO/MXene-ZnO/Al 结构的可多模式调控的双极型非易失性忆阻器(图6(a)).紫外光和环境湿度两个外场刺激可同时调控器件的工作性能.器件开启电压随着入射光强度的增加而减小,且高强度紫外光照射可使器件从高阻态向低阻态切换,这归咎于MXene 具有长时程捕获光生电子的能力,光敏效应诱导氧空位导电细丝的形成(图6(b)).自组装的ZnO 纳米颗粒增大了异质结构在两电极之间的总接触面积,这不仅影响了电导率、态密度等性质,而且改善了离子吸附和扩散行为.在高湿度环境下,水分子会通过双氢键吸附在MXene-ZnO异质结上.表面官能团的水解增加了质子的浓度,质子和氧空位之间的静电吸引限制氧空位导电丝的生长,破坏了氧空位导电细丝的稳定状态.光辅助氧空位导电丝形成和湿度诱导的氧空位导电细丝断裂之间存在竞争关系,调控着器件的响应电流以及电导状态(图6(c)和图6(d)).忆阻器阵列被应用于对图片进行感知和预处理,模拟视网膜功能.在相对湿度在0%—20%和40%—60%的情况下,网络对图像的识别准确率分别为75.44%和82.96%,这说明基于该忆阻器阵列的人工神经网络具有适应环境的图像预处理功能.此外,该团队进一步探讨了使用基于MXene-ZnO 的忆阻器作为突触来实现高级处理的感存算一体系统的权重更新行为,突触权重受光、电、湿度调控.训练60000 次后神经网络系统具有高识别准确率(图6(e)).基于多模态忆阻器的感存算一体系统具有降低传统视觉系统电路复杂性的潜力.

图6 (a)柔性MXene-ZnO 忆阻器示意图;(b)器件在不同紫外光照强度下的I-V 曲线;(c) MXene-ZnO 忆阻器受光和湿度调控的电流分布图;(d) 应用光和电脉冲实现突触LTP 和LTD 行为的模拟;(e) 基于光和湿度调控的忆阻器突触搭建的神经网络示意图[41];(f) 多模脉冲感知处理系统工作流程图[81]Fig.6.(a) Schematic structure of the flexible MXene-ZnO-based memristive device;(b) I-V curves of device under UV irradiance with different intensities;(c) current profile of MXene-ZnO memristor regulated by light and humidity;(d) simulation of synaptic LTP and LTD behaviors by UV light and electrical pulses;(e) schematic of neural network based on MXene-ZnO-based memristive synapses[41];(f) operational diagram of the multimode spiking perception and processing system[81].

2021 年,Tan 等[64]在触觉感存算一体化系统研究的基础上提出一种人工多模尖峰神经系统,该系统对5 种人工感官(视觉、触觉、嗅觉、听觉、味觉)进行多模态感知.多个种类的传感器被应用于感知,感知信息被编码为光脉冲序列.光敏忆阻器阵列在硬件层面上对感知信息进行解释、过滤、集成和记忆,其原位记忆和信息过滤特性有助于神经网络的学习和训练,如图6(f)所示.通过交叉模态学习系统实现机器人识别和想象功能.在这项工作中,光尖峰序列作为数据载体,单个光电忆阻器可以同时处理多种感知信息,这为多模调控感存算一体化提供了新的思路.然而在该系统中,嗅觉和味觉的模拟并未真正从现实环境中感知信息,而是使用电脉冲模拟刺激,这与人类多模感知系统还存在一定差距,要解决这一问题,需要在进一步探究人类感知机制的基础上来改进感知系统.应用于感存算一体化系统的忆阻器的性能对比如表1 所列.

表1 应用于感存算一体化系统的忆阻器的性能比较Table 1.Performance comparison of memristors applied to in-sensor computing systems.

5 结论与展望

随着人们对生物传感过程认识的加深和神经形态忆阻器件的发展,神经形态忆阻器件在感存算领域的应用也随之应运而生.感存算一体架构的发展还处于初始阶段,还有许多分支领域有待开拓.目前的研究处理数据量级较低、工作任务较为简单,器件仅具有简单的感知存储性能,或感知存储一体化加简单处理的性能,尚未形成真正意义的感存算一体化.此外,除了常见的感官感知器件的研究,一些研究组研究将忆阻器用于液体中羟基离子浓度检测[83]、重金属检测[84]、伽马射线检测[85]、温度探测[86]等,但研究还仅限于感知领域,相应的原位存储处理功能仍需深入开发,目前仍存在一系列科学技术难题亟待解决.要搭建感存算一体化技术平台,材料、器件、工艺与集成、电路系统架构和算法等不同方面都存在瓶颈,从工程方面来说,目前最大的挑战主要在于器件层面.传统忆阻器的性能问题依然是阻碍其商业用途的主要因素,如器件的均一性、稳定性、耐受性等.忆阻器简单的结构是其作为新型存储器的一大优势,要在满足简单器件结构的前提下实现复杂的感存算一体功能,即如何权衡器件结构复杂性和多功能性是非常有挑战性的,这需要科学家们更深入地探究生物单元的潜在机理后设计器件结构,进而确定合适的工作机理来模拟生物功能性.目前所报道的器件在性能和技术成熟度等方面存在较大差异,这增加了选择、优化和迭代的难度.科研人员需要对器件的传感、存储和处理性能进行取舍,如为了提高感存算一体化器件传感的响应速度,其数据保持性能相比传统存储器会有所下降.此外,一些感存算器件对不同传感刺激源都有所响应,这影响了器件对特定感官信息的选择性.在器件性能评估方法方面也存在一定的困难,传统的传感器/存储器需要在输入刺激下进行长达数万个周期操作来评估其耐受性,然而当涉及感存算一体单元时,将器件暴露于外部刺激后执行大量的循环周期的测试方案就变得具有挑战性.本文从器件、工艺与集成、电路系统架构和算法4 个方面进行思考和展望.

器件层级:感存算一体化系统要求基本单元具有原位感知、存储与处理的功能.传统的传感、存储和计算单元是基于不同的材料组合、器件结构、异构集成技术来组合的,要将3 个功能集成于单个器件必须要从材料及器件的角度出发进行设计.目前可用于不同感知源(化学物质、辐射、温度、压力)的材料依然非常有限,设计合适的材料体系是构建感存算基本单元的前提.传统的传感器的评估参数有响应范围、分辨率、灵敏度、选择比、操作速度/响应时间等,而传统的存储设备的评估参数有操作电压、保留特性和耐受性等.以综合的参数来评估感存算基本单元,设计人员改进器件时需要从各方面进行权衡取舍,如何兼顾传感、存储和计算性能是一项重大的挑战.目前的感存算一体器件的研究工作大多是集中在单模感官系统模拟(如触觉、视觉、嗅觉)和简单处理,处理能力有限.但实际生物感知记忆系统处于更为复杂的环境,极小的感受单元可以同时多模式感官并进行信息处理使

生物对外部事件做出准确反应,依靠多个感官通道的系统会更可靠.一方面,人工感存算一体系统的性能远不如人类,结合多种感官刺激有利于提高整体的敏感度和准确性.另一方面,单一的感知输入信息会带来很高的不确定性,在实际应用中容易导致重大误判.实现多模式感知融合和多元化处理功能的器件体系是未来感存算系统的发展方向.在功耗和器件尺寸方面,人工感存算系统与生物感官系统之间存在着巨大的差距.这些挑战需要科研人员对生物传感过程加深认识获取灵感、对神经形态忆阻器件机理深入研究、发展新型纳米电子制造技术来解决.进一步研究感存算器件的工作机理,也将促进器件的成品率、均一性以及可靠性的提高.

工艺与集成:对于需要集成的感知与计算系统,目前许多研究只是基于规模较小的分立式器件单元阵列的简单互连,没有发挥集成阵列高效并行运算的优势.集成方法包括三维单片集成、平面SoC 集成、三维异构集成、2.5D 异构集成等.不论是上述哪种集成方式,都涉及多个功能层级/芯片以及不同材料的整合,即系统构建需要考虑各层级的工艺兼容性,这给集成工艺条件带来了挑战.一些成膜过程(如外延生长)需要高温工艺,为了避免其对系统的性能和稳定性造成影响,开发基于低温工艺的感存算一体化系统是非常有必要的.如在三维堆叠芯片中,热膨胀系数不匹配导致的高内建应力会引起可靠性问题.超薄低维半导体低温下可以转移到任意衬底上,但考虑到大规模和高质量的材料增长以及加工兼容性,集成工艺仍然是一个挑战.就集成技术而言,可靠性是一个亟需解决的问题.如在三维集成技术中,传感器和处理单元距离很近,系统工作时所产生的热量会导致热噪声和降低识别精度,这限制了系统性能和能源效率的提高.发展可靠的集成技术是未来大规模集成感存算一体运算系统的关键研究方向.

算法层级:在人类多感知系统中,感知单元将环境信息转化为电位变化,并将电位变化编码为脉冲序列,脉冲序列在大脑皮层解码进行进一步信息处理.对比幅值编解码形式,脉冲序列编码形式可使系统更加灵活地处理时空感官信息,这需要科研人员开发出相应的脉冲神经网络的训练学习算法.设计多种感官信息耦合处理方式是搭建多模式感存算一体化系统的重要一环,对生物传感系统机制认识不足也是限制仿生处理算法开发的主要瓶颈.

电路系统架构:算法需要配合对应的硬件电路部署才能实现.感存算一体器件对原始信息预处理后还需配合系统级架构完成更为高阶的任务.针对不同的应用场景,电路架构需要作相应的调控.如嗅觉传感器通常对湿度和温度都很敏感,系统需要额外的信号管理子电路以保证灵敏度和准确性.目前感存算电路系统的开发基本都是针对特定场景,这限制了系统的可移植性和可扩展性,未来需要深入研究如何构建适用多场景的通用性和可重构性强的硬件平台.

感存算一体化系统是一个涉及多个学科的研究领域,涵盖材料、化学、生物、机械学、电子学等,近年来已经成为一个重要的战略研究领域,感存算一体系统有可能成为一个颠覆性的技术平台.忆阻器突触在感存算一体系统中有着巨大的应用潜力.本综述从器件单元层级回顾了当前应用于感存算一体化系统的忆阻器突触的研究,讨论了该领域的主要研究和进展,同时也提出了目前的一些挑战以及对未来的展望.未来研究人员需要从材料、器件、算法、电路系统等多个层面协同创新,开发高能效的新型感存算一体化系统.