仿生生物感官的感存算一体化系统*

王童 温娟 吕康 陈健中 汪亮 郭新

(华中科技大学材料科学与工程学院,材料成形与模具技术国家重点实验室,武汉 430074)

生物感官集感知、存储与运算为一体的架构使其可以高效并且实时地采集和处理外界信息,这样的感存算一体化架构可为物联网时代面临的传感器数据爆炸问题提供很好的解决方案.为此,本文提出仿生生物感官的感存算一体化系统,采用不同的传感器模拟生物感受器的功能,以获取环境信息,传感器输出的模拟信号输入到模拟信号处理系统进行预处理,这样信号不需要在模拟域与数字域之间转换,可极大降低功耗和延时;预处理后的信号输入类脑运算芯片中进行分析和决策,该芯片由基于忆阻器的人工突触及人工神经元组成,通过控制突触与神经元的连接方式,可以实现不同的算法架构,如全连接脉冲神经网络、卷积脉冲神经网络以及循环脉冲神经网络等;通过运行不同的神经网络,类脑运算芯片可以实现对不同传感器信号的识别、预测以及分类等任务;更进一步,将多种仿生感觉系统的识别或预测结果结合起来,就可以实现多感官融合,这样的系统架构可以用于自动驾驶及智能机器人等复杂的场景中.

1 引言

人类的感觉主要有8 种:视觉、听觉、触觉、嗅觉、味觉、痛觉、温觉和本体感觉.David Julius 和Ardem Patapoutian 发现了温度感受器和压力感受器,为温度感知和机械感知提供了分子和神经学基础,为此,他们荣获了2021 年诺贝尔生理学或医学奖.生物的感觉过程可以大致概括为“接受刺激-传递信号-大脑接收”3 个步骤,感觉神经元的感受器接受刺激,将环境信息转换为神经脉冲,神经脉冲再通过突触传输到脑内的中枢神经系统,中枢神经系统由复杂的神经网络组成,负责对神经脉冲进行分析与计算.生物感官把感知、存储以及运算3 个功能集成于一体,从而可以高效并且实时地采集和处理外界信息[1].因此,生物感官在处理很多复杂任务时表现出低功耗、高效率等优势[2].

单一的感官会造成感觉的局限与偏差,人体通过不同感官中的感受器来感受不同的刺激,并将各种感知信号融合在一起,从而获得对环境的多方面体验,例如,在品尝美食时,至少需要同时使用视觉、嗅觉和味觉来感受食物的“色、香、味”.对于一个特定的场景,通过不同的维度感知不同特性的模态(如图像-语音所对应的视觉-听觉),并进行数据样本的收集和耦合,这就是多模态传感融合[3].多模态传感融合可以获得更全面准确的信息,增强感知的可靠性与容错性.

相比于生物感官,现有的人工感觉和计算系统采用了完全不同的架构,其中传感器、存储器和运算单元是相互分离的,但是,这样的架构已经不再适合万物互联的物联网时代[4].一方面,随着物联网的发展,越来越多的传感器被应用到生活的方方面面,这些传感器会产生巨大的、未经处理的原始数据[4].但是由于传感器与信号处理系统的分离,这些由传感器产生的原始数据都需要首先转换为数字信号,然后传递至本地或者云端的信息处理系统.这样的架构会带来额外的功耗、较长的响应时间、大量的数据存储、带宽以及数据安全等问题[5].另一方面,存储与运算单元分离的冯·诺依曼架构,不再适应大数据、智能化时代的计算要求.数据在内存和数据处理单元之间的频繁存取操作带来了高功耗、高延时等问题,使得基于冯·诺依曼架构的计算系统运算效率远低于人脑[6].因此,需要探索新的神经形态计算方式来帮助神经网络应用到有功耗限制的场景中去,如用于边缘计算的终端设备[7].

为了模拟生物存储与运算一体的架构,研究人员探索了多种新型存储器件,如忆阻器、铁电存储器、磁存储器等.其中,忆阻器具有并行计算的能力,而且其性能与生物神经元和突触相类似,是构建存算一体化系统的有力之选,这样的新型存算一体化系统可以用来构建脉冲神经网络(spiking neural network,SNN)[8,9].为了模拟生物感知与运算一体的架构,将模拟信号处理单元集成到传感器系统中,使其可以处理简单的任务,如降噪、特征提取或特征增强等.模拟信号处理单元可以有效地减少数据的传输,降低功耗和延时,简化后续信号处理过程[1].此外,为了实现实时环境检测与识别,研究人员尝试将感知、存储与运算系统集成于一体,使得终端设备可以具有类似生物感官系统的环境感知能力[10],目前,这样的处理系统还处于起步阶段,对信息的处理能力也比较有限.

本文提出一种仿生生物感官的通用架构.如图1(a)所示,在生物感官中,感受器接受外界环境刺激,引起感觉神经元膜电位变化,当外界刺激达到阈值后,感觉神经元发出神经脉冲;感觉神经元发出的神经脉冲经过突触传递至中枢神经网络进行信息提取、识别等工作.图1(b)给出了仿生生物感官的感存算一体化系统,该系统模拟了生物感官的工作方式,首先由不同的传感器来模拟生物感受器,检测环境中的气体、光、震动、压力等信号;传感器信号经模拟信号处理单元处理及编码后直接输入类脑芯片,类脑芯片为通用人工智能架构,由人工突触和人工神经元组成,通过不同的神经元与突触连接方式,可以运行不同的神经网络模型,如全连接脉冲神经网络、卷积脉冲神经网络和循环脉冲神经网络等.在复杂的环境中运行时,需要综合考虑多种感官的输入信号之后做出决策,通过对各种感官信号进行识别以及对预测结果进行综合处理,可以模拟生物感官的信息融合,这样的系统可用于自动驾驶、智能机器人、生物医疗等领域.

图1 生物感官及仿生感觉系统 (a) 生物感官包括感觉神经元、突触及生物神经网络.感觉神经元的感受器感知环境刺激,并引起神经元膜电位变化,当神经元膜电位达到阈值后,产生神经脉冲,神经脉冲信号通过突触传递至神经网络进行处理.(b) 仿生感觉系统包含了传感器、模拟信号处理单元以及类脑运算芯片.传感器负责感知环境信息,模拟信号处理单元负责对传感器信号进行预处理,类脑芯片负责特征提取、分类以及预测等高级任务Fig.1.Biological sensory organ and bio-inspired sensory system.(a) Biological sensory organ includes sensory neurons,synapses and neural network.The receptors of the sensory neurons capture the environmental information and cause the increase of the neuron potential.The neurons generate neural spikes when the neuron potential exceeds its threshold.The neural spikes are then transmitted to the neural network through synapses.(b) Bio-inspired sensory system includes sensors,analogue signal processing units and the brain-inspired chip.Sensors acquire the environmental information and convert the information into analogue electrical signals,which are then directly processed by the analogue signal processing units.Finally,the brain-inspired chip receives the pre-processed signals,and performs advanced tasks,such as feature extraction,classification and prediction.

此外,有研究人员[1]提出使用忆阻器本身的感知能力,如视觉(光信号)、嗅觉(气体)等,来实现传感器内计算(in-sensor computing),但目前还没有取得明显的进展.“传感器内计算”对材料和器件结构有非常大的限制,这是因为忆阻器和传感器对材料和器件结构有不同、甚至是矛盾的要求.以嗅觉模拟为例,器件必须同时具有气敏性能和忆阻性能,那么可选的材料只有WO3,ZnO 等极少数几种,忆阻器要求氧化物薄膜致密,且厚度＜100 nm,而传感器则要求氧化物薄膜疏松多孔,以提供更多的气体接触位点来进行气敏反应,厚度为数百微米,甚至更厚[11].考虑这些因素,只有在某些特定的条件下才可能实现“传感器内计算”.当然,“传感器内计算”具有极高的集成度,在功耗和器件体积等方面具有无与伦比的优势,也是研究人员积极探索的方向.

2 传感器及模拟信号处理单元

如图2 所示,生物体中分布着不同的感觉系统,这些系统帮助生物获取和处理信息、寻找食物、规避风险等.生物个体通过分布在各器官中的感觉神经元将外界信号转变为神经脉冲信号,并通过突触将神经脉冲信号传递至大脑皮层中的神经中枢进行运算和处理.不同的感官拥有不同的感受器来感知环境信息,在嗅觉系统中,分布在鼻腔内的嗅觉感觉神经元的嗅感受器可以与不同的气体分子相结合,将化学信号转变为细胞膜电位变化,当刺激达到阈值之后,该嗅觉神经元产生神经脉冲并通过突触传递至嗅球细胞[12];在视觉系统中,视网膜起到视觉感受器的作用,将光信号转变为电信号,随后通过视神经传递至大脑皮层,此外,人类视网膜还具备预处理功能,可以提取输入视觉信息的关键特征,消除无用的输入信息,加速后续神经网络的信息处理进程[13];在听觉系统中,耳蜗基底膜上的柯蒂斯感受器可以将震动转化为电信号传递到人的听觉神经中[14];在触觉系统中,皮肤上分布着不同的触觉感受器,它们对机械能某些特定的特征敏感,从而将施加于皮肤上不同类型的机械能转化为不同频率的神经脉冲[15],由于传入到大脑皮层的脉冲频率不同,生物可感知到物体的软硬程度、大小、形状等信息[10].

图2 传感器及模拟信号处理单元.用不同的传感器阵列来模拟不同生物感官的感受器,来实现对气体、光、声音、压力等信号的感知,随后,传感器信号直接输入到模拟信号处理单元中进行处理Fig.2.Sensors and analogue signal processing units.Sensors work like the receptors in a biological sensory organ,detecting the environmental information such as gases,light,audio and pressure,and convert them to electrical sensory signals.The sensory signals are then directly processed by the analogue signal processing units.

随着材料科学的进步,不同种类的传感器被开发出来,用于检测环境信息,也可以用于模拟生物感受器的功能.然而,传感器信号处理系统需要将模拟信号转变为数字信号,再传输至信号处理系统中进行处理及运算,这个过程需要采用模数转换器(analogue-digital convertor,ADC)[1].这种将模拟信号转变为数字信号再处理的方式会带来较大的功耗及延时.而在生物感官中,感受器感受到环境信息之后,产生动作电位直接引起细胞膜电位变化,不需要将信息进行转化,而是直接被神经元处理.因此,借鉴生物系统,可以设计模拟信号处理单元,直接与传感器相连,在模拟域对信号进行预处理,再由通用的类脑运算芯片完成信号识别及预测等高级任务.

下面通过对嗅觉的模拟来解释环境信号的获得与处理过程.用气体传感器阵列来模拟嗅觉感受器的功能,将气体分子的化学信号转换为模拟型的电信号.为了获得气体传感器对不同气体的响应信号,采用不同的材料制备气体传感器以增加输入信号的区别,因此,气体传感器往往有着不同的基线电阻,且不同器件对不同气体的响应呈现出数量级的差别,此外,在工作过程中,气体传感器的基线电阻会随时间漂移[16].为此,可采用气体传感器基线动态校准电路在模拟域中高效地处理气体传感器信号[17].针对光学传感器的信号处理,可采用模拟电路实现类似视网膜的图像边缘提取及特征增强功能,相比于传统的数字信号处理方式,这样的模拟电路集成度更高,还可以把功耗降低至毫瓦级[18].针对语音传感器的信号处理方法,研究人员模仿耳蜗的柯蒂斯感受器设计了带通滤波器来处理声音传感器信号,不需要将传感器信号转变为数字信号,再用傅里叶变换进行处理,这样的设计既降低了功耗,又减小了电路面积[14].采用压力传感器可以模拟人的触觉,感受环境中的压力信息,压力传感器的信号一般需要采用半波整流的方式进行预处理.另外,传感器信号还要进行统一的降噪、滤波、放大和编码等预处理后再输入到类脑运算芯片中[1].

信号预处理也广泛地应用于现有的传感器信号处理模块中,首先也需要对模拟信号进行降噪、滤波、放大等预处理,经预处理的模拟信号经过模数转换后,输入到中央处理器或者传输到云端设备.在这个过程中,模数转换器需要消耗大量的功耗和芯片面积.此外,大量的数据传输也会产生功耗和延时.因此,本文提出一个完全工作在模拟域的模拟信号处理单元,与现有的传感器信号处理系统相比,模拟信号处理单元在功耗与延时等方面均有优势.

3 可重构类脑芯片

人脑中有大量的神经元(约1011量级)及突触(约1015量级),这些神经元与突触连接起来组成庞大的神经网络[7].相比于基于现有计算平台(central processing unit,CPU;graphic processing unit,GPU)的人工神经网络,人脑中的生物神经网络可以完成各种感官信号的处理、复杂的记忆及快速的决策,且仅消耗较少的能量[19].因此,人们提出了脉冲神经网络,也被称为第三代人工神经网络.它模拟生物神经网络的信息传递及处理方式,采用神经元来接收并处理脉冲信号,采用突触来存储、处理和传递脉冲信息,突触的权重可由前后神经元发放的脉冲进行调制[20].脉冲神经网络是基于事件来运算的,当有事件发生的时候,神经元才发出脉冲,而没有事件的时候神经元则处于静息状态.这样的工作方式更加适合处理传感器相关的信号,因采用离散的脉冲信号进行运算,会极大地降低功耗[21].

通过传统的CMOS (complementary metal oxide semiconductor)电路可以实现大规模的人工突触及人工神经元,进而实现脉冲神经网络,例如,IBM 设计并研制了TrueNorth 芯片,Intel 设计并研制了Loihi 芯片,它们模拟了神经元和突触对脉冲的响应,并且具备并行运算的能力,可以降低推理及训练所需的功耗[22].但是,在这些芯片中,每个神经元或者突触都需要采用数十个CMOS 器件来实现[23],因此,人们尝试采用忆阻器来实现神经元和突触的功能.忆阻器的电导可以随着施加的激励而连续变化,可以用来模拟突触可塑性及神经元膜电位的连续变化[24].

3.1 基于忆阻器的人工神经元

在神经科学中,神经元接受上级神经元经突触传入的兴奋性或抑制性突触电位,脂质双分子层细胞膜的电位则会发生相应变化,当累积超过阈值时产生动作电位,再经突触传向下一级神经元,这是神经元处理和传递信息的过程.为了解释生物神经元的工作模式,科学家们相继提出了Hodgkin-Huxley(HH)模型和漏电整合发放(leaky integrate-andfire,LIF)模型等[25].忆阻器电导的变化与神经元细胞膜上离子通道的电导类似,因此,可以基于这些数学模型来模拟神经元功能.美国HRL Laboratories[26]利用忆阻器、电容器和电阻搭建了简单的忆阻神经元电路,其中忆阻器模拟离子通道,电容器两端的电压模拟神经元细胞膜上的电位,他们利用该电路成功地模拟了神经元中动作电位产生的过程.美国南加州大学杨建华教授课题组[23]利用扩散型忆阻器(diffusive memristor)和电容器并联后再串联一个电阻组成了神经元电路(图3(a)),并联电容器上的电压表示细胞的膜电位,有脉冲时,电荷在电容器中累积,发生整合;没有脉冲时,电容器发生自发的漏电.一旦电容器电压高于忆阻器的阈值,该忆阻器切换到高电导态,此时电容器的电压无法保持,开始发放电流脉冲,这成功模拟了神经元漏电整合发放功能.此外,杨建华课题组[27]还实现了一种基于扩散型忆阻器的人工痛觉感觉神经元,不仅模仿了生物处理信号的方式来处理传感器传来的信号,还成功地模拟了神经元的关键功能,包括阈值、弛豫和自适应等.神经元阈值调节的高级功能有助于实现深度脉冲神经网络,Zhang等[28]不仅采用阈值转变忆阻器实现了LIF 神经元的功能,还设计了结构复杂的电路实现了阈值可调功能;Shaban 等[29]采用了更加简洁的方式实现了阈值调节功能并完成了单层脉冲神经网络的设计验证.

3.2 基于忆阻器的人工突触

如图3(b)所示,突触是神经元之间的连接节点,每个突触具有一定的连接权值,根据权值的大小确定两个神经元之间的信号传输效率,突触连接权值可以根据突触前/后神经元的活动进行调节,这被称为突触可塑性(synaptic plasticity)[7],是大脑学习的基础.单个忆阻器在结构和功能上都表现出与生物突触的相似性.在结构上,具有金属/绝缘体/金属三明治结构的忆阻器是典型的两端子器件,而突触和相应的前后神经元也同样形成两端子结构;在功能上,忆阻器的电导变化可代表突触连接强度的变化,在持续的外部电刺激下,器件电导表现出连续增加或降低,这类似于突触之间连接强度的增强或减弱.通过对忆阻器材料与结构的设计可以实现忆阻器电导态的连续可调,即器件电导在外加电脉冲的作用下连续可调.基于多种材料如金属氧化物、二维材料和高分子材料的忆阻器都成功模拟了突触的可塑性[19,30].如图3(b)所示,将忆阻器制成阵列后,不仅可以模拟单个突触的性能,还可以实现存内运算.根据欧姆定律和基尔霍夫定律,输入的电压信号(V1,V2,V3,···,Vn)与阵列中忆阻器的电导(G)相乘,得到输出的电流信号(I1,I2,I3,···,In),因此,这种交叉阵列的结构可以在一个时间周期内完成矩阵运算,从而提高人工神经网络的运算速度[31].

图3 类脑芯片 (a) 人工神经元:采用忆阻器与电容并联的结构模拟神经元膜电位连续变化的特性,实现神经元漏电流积分点火的功能;(b) 人工突触:非易失性忆阻器电导的连续变化可以模拟生物突触权重的连续变化及突触可塑性,此 外,忆阻器阵列还可以实现存内运算;(c) 类脑芯片架构:由多个神经元-突触核心组成,每个核心由基于忆阻器的人工神经元及人工突触组成,每个核心通过总线连接Fig.3.Brain-inspired chip.(a) Artificial neuron,consisting of a memristor and a parallel capacitor,emulates the continuous change of the neuron potential and realize the leaky integrate-and-fire function of a biological neuron.(b) Artificial synapses.Non-volatile memristors emulate the continuous change of the synaptic plasticity,in addition,the crossbar array based on memristors can realize the in-memory computing.(c) Architecture of the brain-inspired chip.A brain-inspired chip consists of many neuron-synapse cores based on memristors,and the cores are connected by bus lines.

3.3 基于忆阻器的类脑芯片及其计算架构

类脑芯片架构如图3(c)所示,芯片采用了多分布式人工神经元-人工突触核心的设计,这些通用的人工神经元-人工突触核心可以通过重构来处理不同的任务,核心之间通过可重构的片上网络方式进行连接,经过模拟信号处理单元预处理之后的信号可以通过I/O 口输入到芯片中,并分配对应的核心进行运算.神经元-突触核心由基于忆阻器的人工神经元、忆阻突触阵列、数据选择器(multiplexer,MUX)、缓冲区、特殊功能单元和控制器构成.人工神经元根据漏电流积分点火的功能处理来自传感器或突触阵列的模拟信号,并将模拟信号转变为脉冲信号输出.忆阻突触阵列根据自身权重传递人工神经元发出的脉冲信号,其突触权重则根据突触可塑性由前后神经元脉冲发放情况进行调节.为了提高芯片的容错率,突触阵列及人工神经元应增加冗余.数据选择器用来选择固定区域的突触阵列及人工神经元来完成某项任务.特殊功能单元(special function unit,SFU)则提供突触训练所需要的计算、神经元阈值调节、神经元特殊互连结构等功能.这种基于人工神经元-人工突触内核的计算架构将存储和计算集为一体,消除了由存储器(memory)和中央处理单元(CPU)之间的性能差异带来的效率损失,且基于脉冲的信息编码方式也能够大大减少运算过程中的能量损耗.

4 脉冲神经网络算法

传统人工神经网络所具备的神经元连接方式也可以在脉冲神经网络中实现,将这些网络架构应用到类脑运算芯片上,最终可以实现对不同传感器信号的识别、分类、预测等任务,例如,采用全连接脉冲神经网络可以实现气体分类等任务,而采用卷积脉冲神经网络可以实现图片特征提取和分类等任务[32].

图4(a)给出了双层的全连接脉冲神经网络,其中输入层为简单的LIF 神经元,它可以对输入脉冲信号进行运算并产生新的脉冲信号;突触根据自身权重传递脉冲信号到后级神经元;输出层的神经元是阈值可调的LIF 神经元,它不仅具备LIF神经元的基本功能,还具备神经元不应期和侧向抑制的高级功能,这些高级功能可以通过神经元-突触核心中的特殊功能单元来实现.如图4(a)所示,神经元不应期是指当输出层第一个神经元被激发之后,它会传递给自己一个信号,在短时间内即使有较大的输入信号,也不会被再次激发.神经元不应期可以给该层其他神经元提供公平的竞争机会,使神经元尽可能学习到更多的特征.侧向抑制功能指的则是当神经元激发后,会给当前层其他神经元一个抑制信号,短时间内调高其他神经元的阈值[28].采用神经元侧向抑制功能可以实现无监督学习算法,例如,“赢者通吃(winner-takes-all)”法则[21].通过读取输出层神经元的脉冲发放情况,就可以判断分类和识别结果.

可以用脉冲时间依赖可塑性(spike-timing dependent plasticity,STDP)或者脉冲频率依赖可塑性(spike-rate dependent plasticity,SRDP)来训练全连接脉冲神经网络.如图4(b)所示,STDP指的是根据突触连接前后神经元的脉冲发放时间来更改突触权重,如果突触前神经元发放脉冲早于突触后神经元,则增强突触连接权重,反之则降低突触连接权重.SRDP 则是指根据突触前后神经元脉冲发放频率来对突触连接权重进行修改,如果突触前后神经元脉冲发放频率较高,则增强突触的连接权重;如果仅有突触前神经元或突触后神经元发放脉冲的频率较高,则降低突触的连接权重;如果突触前后神经元发放脉冲的频率都较低,则不对突触权重进行修改.相比于传统的反向传播训练法则,这种通过突触可塑性对网络进行训练的学习法则在硬件电路中更容易实现,可以降低硬件电路的复杂度[20].

图4 脉冲神经网络 (a) 全连接脉冲神经网络;(b) 基于突触可塑性(脉冲时间依赖可塑性(STDP)和脉冲频率依赖可塑性(SRDP))来训练网络,修改突触权重;c)卷积脉冲神经网络,由卷积层、池化层和全连接层组成Fig.4.Spiking neural network (SNN):(a) Fully connected SNN;(b) learning rules of SNN.The synaptic weights in SNN are updated according to STDP and SRDP;(c) convolutional SNN consisting of convolutional layers,pooling layers and fully connect layers.

脉冲神经网络可以实现在线(online)和离线(offline)的两种训练方式.离线学习的具体实施方式如下:首先通过仿真计算得到该脉冲神经网络所需的突触权重,再通过施加脉冲将突触权重调节至计算所需的状态.在此,该脉冲神经网络可以采用STDP 或SRDP 等兼容硬件的学习规则进行训练,也可以采用反向传播等更加精确的训练算法获得突触权重.尽管离线学习可以获得更加精准的突触权重,但是这种方式无法使用忆阻突触阵列来为训练过程加速.因此,我们更期望使用该系统去完成online 的训练,并提出采用与硬件兼容的STDP和SRDP 学习规则.以SRDP 为例,采用两个计数器分别记录输入神经元和输出神经元的脉冲发放次数,进而计算脉冲发放频率.如果输出神经元计数器达到阈值,则根据输入神经元的脉冲频率来修改突触权重;如果输入神经元脉冲高于阈值,则施加正向脉冲到突触器件上,反之则施加负向脉冲到突触器件.经过学习后,每个神经元会学到对应的输入样本的特征.

对于比较复杂的问题,如图片特征提取及识别,可以采用卷积脉冲神经网络.如图4(c)所示,卷积脉冲神经网络包括卷积层、池化层及全连接层[33].传感器信号经过编码后变为脉冲信号输入到卷积层,在卷积层中,突触阵列根据自身权值传递输入的脉冲信号至阈值可调的神经元,该神经元负责对接收到的信息进行处理并发放新的动作电位.池化层模仿人的视觉系统对数据进行降维,用更高层次的特征表示输入的图像,常用的有最大值池化、均值池化等.在卷积脉冲神经网络中可以对卷积层神经元发放脉冲频率进行记录并进行池化操作,因此,这里可以采用简单的数字电路来实现池化操作.卷积层及池化层可以进行多层的堆叠以实现深度神经网络,输入信号经过卷积层及池化层提取特征之后,可以输入到全连接层进行识别和分类,得到最终的结果.卷积脉冲神经网络也可以采用STDP及SRDP 的训练方式逐层进行训练.

此外,在处理语音信号时,目前常用的网络算法是循环神经网络(recurrent neural network,RNN).相比于前馈式的神经网络(全连接神经网络以及卷积神经网络),神经元节点之间的循环连接可以有效地处理不同时间节点的信息,并将时间上的逻辑关系展现出来.在脉冲神经网络中,也可以借鉴循环神经网络的连接方式,对时间信息进行处理[34].除了采用神经元之间循环连接的架构,还有学者提出采用神经元自身的时域动态特性来对时间信号进行处理,这也验证了神经元的LIF 功能可以等价替代神经元的循环连接结构[35].但是,采用神经元自身动态特性来处理时间信号的方式依然处于理论验证阶段,神经元对时序信息的处理仍然需要更多的研究.

在算法层对硬件系统进行调用可以实现多感官的融合.针对本文提出的仿生生物感官系统有两种实现多感官融合的可能方式:第一种是将多种感官的信号经过模拟信号处理单元预处理及编码后一起输入到脉冲神经网络中,在这种情况下,多种感官的信号增加了输入信息的维度,也极大地增加了神经网络的复杂度.例如,在机器人控制系统中,可以将压力传感器信号与视觉传感器信号一起输入到脉冲神经网络中进行训练,从而得到决策结果.第二种处理方式是将不同的传感器信号分别输入到对应的神经网络中,这些神经网络已经针对各自对应的传感器信号类型做了优化,处理后的信号再输入到一个新的决策系统中,由决策系统综合不同的感官信号给出最终的结果.比较这两种实现多感官融合的方式,第一种方式处理信息的能力更强,但需要考虑信号同步、延时等问题,因此,所需的脉冲神经网络规模会较大;而第二种方式需要新的决策系统,比如中央处理器(CPU)或者云端设备来实现.

5 仿生嗅觉系统

作为实例,图5 展示了我们近期研发的一个仿生嗅觉系统[36].具体来讲,首先采用气体传感器检测环境中的气体分子,传感器中的敏感材料可以吸附气体分子,从而电阻发生变化,并在一定时间后达到稳态.因此,气体传感器可以将环境中气体分子的化学信息转变为模拟型的电信号.模拟信号处理系统负责对传感器信号进行预处理,首先需要采用气体传感器基线动态校准电路来解决传感器基线漂移的问题;然后采用运算放大电路对传感器信号进行放大.经过预处理的传感器信号最终传输至类脑芯片中的神经元-突触核心中进行识别.我们采用双层全连接脉冲神经网络来处理传感器采集到的信号,并识别出不同的气体.在类脑芯片中,传感器信号(电压信号)首先输入到输入层神经元中,输入层神经元为简单的LIF 神经元,可以将输入的电压信号转变为不同频率的脉冲信号.LIF 神经元的输出信号经过放大后输入至突触阵列中,突触阵列根据自身权值对输入信号进行计算,根据欧姆定律,在一个时间步长内,就可以得到输出电流.电流信号首先被转变为电压信号,再经过放大后被输入至输出层神经元中,输出层神经元为具有阈值调节功能的LIF 神经元,可以处理输入的脉冲信号并得到识别结果.采用阈值可调的LIF 神经元可以实现无监督的学习算法,采用STDP 或SRDP的方式来对突触阵列进行训练.在突触权重更新过程中,突触阵列与神经元之间的连接断开,由特殊功能单元来完成突触训练脉冲的发放.

图5 仿生嗅觉系统.气体传感器感知环境中的气体分子,并将气体分子的化学信息转变为模拟型电信号;传感信号由模拟信号处理单元作进一步处理,该单元主要包含气体传感器基线动态校准电路以及运算放大电路;经过预处理的传感信号传输至类脑芯片的神经元-突触核心中完成气体识别的任务Fig.5.Bio-inspired olfactory system.In the system,sensor array detects the gas molecules in environment,converts the chemical information of gas molecules into electrical sensory signals,which are analogue.The sensory signals are directly processed by the analogue signal processing units which include baseline cancellation and amplifier circuits.After pre-processing,the sensory signals are sent to a neuron-synapse core of the brain-inspired chip to classify the gases.

该仿生嗅觉系统展现出了强大的鲁棒性和泛化能力,能够完全识别4 种待测挥发性有机化合物(甲醛、乙醇、丙酮和甲苯).仅采用24 个气体训练样本训练该网络,就能够完全识别4 种气体的64 个测试样本.尽管传感器在获得信号的时候,基线值存在漂移现象并且受到环境噪声的影响,该脉冲神经网络依然获得了完美的识别结果[36].采用这样架构的感存算一体化的嗅觉系统可以高效地完成对不同气体的检测与识别.由于采用事件驱使的脉冲神经网络,因此,该系统具备低功耗的特点,可以集成到终端系统之中.

6 总结

对生物感官的模拟可以帮助我们构建集感知、存储与运算为一体的系统,从而高效地处理传感器信号,解决物联网时代传感器数据爆炸的问题.首先采用不同的传感器模拟生物的鼻子、眼睛、耳朵及皮肤中的感受器,感知环境中的气体、光、声音震动及压力等信息.然后采用模拟信号处理单元直接对传感器信号进行处理和编码,以获得类脑运算芯片的输入信号.类脑运算芯片通过人工神经元与人工突触不同的连接方式来实现不同的脉冲神经网络算法,用于完成信号识别及预测等高级任务,最终通过对各个仿生生物感官信号的综合处理,完成多种感官信息的融合.多感官融合的仿生感觉系统可以用于自动驾驶、智能机器人等需要多种感官协调工作来处理复杂信号的环境中,且仿生感觉系统的功耗可得到极大的降低.