夏浩杰,肖 剑,盛 亮
(江苏大学电气信息工程学院,江苏镇江 212013)
1990 年,Eckhorn 等[1]发现了猫视觉皮层的神经元同步振荡性;之后Johnson 等[2]基于此提出了脉冲耦合神经网络(Pulse Coupled Neural Network,PCNN),并将其应用于图像处理。PCNN 作为一种接近生物学的第三代人工神经网络,具有同步脉冲、动态阈值和脉冲耦合高等优良特点。Zhan 等[3]对PCNN 进行了全面综述,深入分析了PCNN 的计算原理。如今,PCNN 在图像分割[4]、图像去噪[5]、图像融合[6]、图像边缘检测[7]等领域均有着广泛应用。虽然PCNN是由参数控制的网络模型,但是它的固有参数估计问题被认为是影响图像处理性能的重要原因。如果设置的人工参数不合适,PCNN 的处理效果就会变得很差。基于此,Li等[8]提出了一种自适应参数的确定策略,并成功实现了图像分割任务。文献[9]中,连接参数的改变取决于输入刺激的清晰度。但是,这些自适应参数设置方法都是由计算机仿真得到的,会产生执行时间长和效率低下等问题。因此,在PCNN 硬件层次上实现自适应动态参数是非常值得研究的方向。
1971 年,Chua[10]首次提出了第4 种电路元件,也即忆阻器,它首次标明了电荷和磁通之间的关系。2008 年,HP实验室宣布首次实现了物理层面的忆阻器,为后续研究奠定了坚实的基础[11]。随着科技的发展,基于各种材料的忆阻器被研制出来。如今,忆阻器已广泛应用于神经网络、图像处理、电阻存储等各种计算机科学领域[12-13]。忆阻器具有的非易失性、记忆性和纳米级结构等优良特性,将对神经网络硬件化发展产生巨大的推动作用。
随着现代信息社会数据量的飞速增长,需要处理的图像复杂度越来越高。文献[14]提出基于忆阻器的神经网络可以依靠电流和电压的关系实现计算加速,在图像处理领域具有非常广阔的应用前景。传统PCNN 网络硬件化模型实现庞大且复杂[15],鉴于此,本文提出基于忆阻器的改进PCNN 网络,实现了阈值发生器的阈值动态更新和连接参数的自适应动态变化。
经典忆阻器的物理结构如图1 所示,它由两个铂电极之间的两层二氧化钛组成。
Fig.1 Physical structure model of amnesia resistor图1 忆阻器物理结构模型
其中,D 为二氧化钛薄膜层,该薄膜层分为2 层。缺少部分氧原子的薄膜层叫作掺杂层,用w 表示;另外一层纯二氧化钛层叫作未掺杂层;D 表示薄膜层的总厚度。在接入电源后,掺杂层与未掺杂层之间的宽度会产生变化,从而影响整体电阻变化。则忆阻器的阻值可表示为:
式(1)中,RL是x=0 时的极小忆阻值,RH是x=1 时的极大忆阻值。其中x=w/D,它是在[0,1]范围内的活动状态变量。从式(2)中可以看出,理想状态下,掺杂层边界的移动速率和经过忆阻器的电流是线性关系。其中,μv是离子的平均迁移率,因此式(2)是忆阻器的线性漂移模型。
Gale[16]在2014 年提出了掺杂层的电阻会随时间而变化的观点。则掺杂层的移动速率可以表示为:
式(3)中,将式(2)的RH用R(t)代入。之后将式(3)积分并将式(1)代入得:
计算得:
当w=0,q=0 时,可以计算出c:
将c的值代入式(5),得:
由式(8)得到忆阻器模型,之后对该模型系统进行离散化。使用T 作为最小采样周期,可以得到:
外部施加一个恒直流I接通到忆阻器上,可以得到忆阻器的迭代公式:
最后设置模拟参数:RH=100Ω,RL=160Ω,μv=1*10-4m2s-1v-1,D=1× 10-3m。将直流电流I=1mA 施加到忆阻器上。可得到v-t曲线,如图2 所示。
Fig.2 v-t curve of the exponential amnesic resistor图2 指数忆阻器的v-t 曲线
PCNN 模型对生物学行为的模仿性更高,并且PCNN 不需要学习和训练就能从复杂的背景中提取出有效信息,因此在图像处理方面PCNN 有着更为优良的特性。经典PCNN 网络模型一共分为4 部分:输入模块、连接模块、脉冲发生器和阈值发生器[17],如图3 所示。
接受域由输入信号和连接输入信号组成。输入信号接收外部输入信号的激励,即Sij,连接输入信号用来接受相邻神经元的输入。式(10)、式(11)中,(i,j)表示每个神经元的位置,(k,l)指相邻神经元的位置。在PCNN 图像处理过程中,坐标代表图像每个像素点的位置。αf和αl是衰减时间常数,Vf和Vl分别是输入信号Fij和连接输入信号Lij的放大系数,M和W是突触权重矩阵,Ykl是上一次迭代相邻神经元的输出。
Fig.3 PCNN model framework diagram图3 PCNN 模型框架
在连接模块,将输入信号和连接输入信号进行耦合调制,得到神经元的内部状态信号,即神经元的内部状态信号Uij由Fij和Lij非线性组合而成,β是放大连接输入影响的系数。
在脉冲发生器部分,脉冲的产生取决于神经元的内部状态信号Uij是否大于动态阈值θij。式(14)中,当Uij大于θij时,神经元发生放电现象,从而输出脉冲。神经元的这种行为被称为点火。
在阈值发生器部分,阈值的电位会随着迭代过程逐渐衰减。当Uij>Yij时,Yij=1,阈值θij会很快被提高到一个较大的值。当θij大于Yij时,脉冲发生器关闭,则输出信号Yij=0。阈值开始呈指数型下降,下降到一定数值时又会导致脉冲发生器打开。该过程会一直循环到迭代次数结束为止。
上式给出了经典的脉冲耦合神经网络框架。任何接受外部刺激的神经元在第一次迭代中都会被激活,产生一个大的阈值电位。接下来,需要数次迭代才能使阈值衰减到足以再次激活神经元。
根据忆阻器模型的v-t 曲线可知,忆阻值会在外部激励下随时间指数衰减[18]。如果在没有动态更新的情况下,将无法重新发送阈值电位。本文基于忆阻器设计了PCNN的阈值发生器电路,可以动态调整PCNN 的阈值。动态阈值发生器电路设计如图4 所示。
该电路在忆阻器的基础上使用NMOS 和PMOS 构成了一对互锁式电路。从式(14)可得,当电路没有脉冲输入时(即Yij(n-1)=0),NMOS 关闭并且PMOS 打开。这时一个正的恒定电流I1通过忆阻器,让忆阻器的忆阻值开始呈指数衰减。因此,阈值电位θij也开始呈指数衰减。当有一个脉冲输入(Yij(n-1)=1)进入电路时,NMOS 打开且PMOS关闭。同时,一个大的负的恒定电流I2通过忆阻器,让忆阻迅速上升到一个较大的值,因此阈值电位也会升高到一个很大的值,从而导致NMOS 关闭且PMOS 打开,这时忆阻器的阻值和阈值电位又会开始呈指数衰减。
Fig.4 Dynamic threshold generator circuit图4 动态阈值发生器电路
在传统的PCNN 网络模型中,连接参数β是由人工设置的固定参数,而修改此参数会对该网络的图像边缘检测效果产生很大影响,如果参数设置不适合会导致输出效果变得很差。本文使用两个忆阻器反向并联重构了神经元连接参数的输出电路,让神经元之间的的连接强度可以根据外部输入刺激的大小自适应调整变化,如图5 所示。
Fig.5 Adaptive connection parameters framework图5 自适应连接参数框架
由于忆阻器的忆阻值可以随输入电流变化,由图可得式(15)。将可变电流源I作为电路的输入,I由外部输入Sij和映射函数f决定。忆阻电路则将外部输入刺激的大小和连接参数β直接相关联,既减少了模型相关参数,又能让连接系数的表达更加简单。
边缘是图像最重要的特征之一,图片大部分重要信息都集中在边缘部分[19]。基于本文基于忆阻器的PCNN 网络模型,可以实现图像边缘检测,并能够获得优良的检测效果。M-PCNN 模型处理图像边缘流程如图6 所示。
将图像输入M-PCNN 模型时,对应的神经元会发出脉冲,接着会通过连接突触激发相邻神经元产生脉冲,即尖峰神经元会将刺激传递给邻近的神经元,促使它们释放脉冲[20]。因此,对于一个神经元簇,任何一个尖峰神经元的刺激行为都会触发整个簇的集体尖峰行为。
Fig.6 M-PCNN edge detection flow图6 M-PCNN 边缘检测流程
基于本文提出的M-PCNN 模型,在MATLAB 上进行仿真实验,将该模型应用于图像边缘检测任务,并与其他算法的边缘检测效果进行对比,结果如图7 所示。
从不同算法的边缘检测图可以看出,相对于传统的边缘检测算法,基于忆阻器的PCNN 模型在边缘检测中具有较高性能,有效地抑制了图像背景噪声的干扰,在有着完整轮廓的同时,又保留了边缘处的细节。此外,利用忆阻器改进PCNN 模型后,图像处理的迭代次数有效减少,与传统PCNN 模型相比,图像处理效率提高了13%。
由上述实验结果可以得出,M-PCNN 模型提取图像边缘相对于其他方法可以获得更丰富的边缘信息,输出效果明显优于传统的边缘检测算法。同时,在实验过程中发现,在边缘提取中,边缘不是提取得越多,效果就越好。因此,要设置适当的忆阻器参数以获得合适的边界条件。
本文在具体的理论和公式推导基础上,探讨出了一种更加实用的忆阻器模型,建立了忆阻和电流的映射关系,并利用忆阻器设计了阈值发生器的电路结构,可以实时动态改变阈值电位。此外,针对传统PCNN 模型存在的固有参数估计问题,通过反向并联忆阻器模拟连接系数β随外部输入信号变化,让神经元之间的模拟连接更加逼近生物学的范畴。最后,通过MATLAB 仿真将该模型应用于图像边缘检测任务,并与其他算法输出结果对比,证明了该模型在图像边缘检测任务中有着更加优越的性能和实用性。
通过对脉冲耦合神经网络和忆阻器的深入研究,对PCNN 硬件化构建和自适应参数设置方法有了更深的认识。但仍然存在一些不足:①本文所提出的自适应参数设置方法过于依赖图像的外部输入激励,没有足够地展现出生物神经网络的特性,接下来将作进一步研究,使连接参数设置更加合理;②对于忆阻器模型的自身数学特性分析不够全面,不能很好地揭示忆阻器模型的全部特性。因此,在后续研究中,将针对忆阻器的记忆和离散特性作进一步研究与分析。
随着忆阻器研究的不断深入,人们对生物神经网络的认知也在不断地迭代和进步。因此,应实时关注忆阻器和生物神经学的新发现,进一步优化网络模型,使得忆阻器能够更好地与神经网络相结合,促进图像处理技术发展。