基于最小误差熵的分布式算法研究*

徐 畅，郭 莹

（沈阳工业大学，辽宁 沈阳 110870）

0 引 言

自适应滤波算法一直被应用于实际系统的信号处理中。近几年，分布式自适应网络上的算法[1］更是被广泛研究，使其成为自适应滤波领域的一个研究热点。这些分布式算法因其节约能量和通信资源、提高算法鲁棒性[2］的优点，在无线传感器网络、分布式协同估计等领域均有许多应用[3］。

为了从分布在一片地理区域的节点中收集数据并估计未知参数，研究了几种分布式估计算法。根据网络的拓扑结构，可以分为增量协作模式[4-5］和扩散协作模式[6-8］。在增量协作模式中，把所有节点规划成一个环形的循环结构。循环路径需要在节点上定义，信息按顺序从一个节点发送到其相邻的节点。这种协作模式尽管需要的通信量和能量较少，但对于由许多节点构成的分布式网络来说，把所有的节点组成一个环形结构是不现实的，且其对链路故障[9］也很敏感。此外，扩散协作模式因其易于实施和有较好的稳健性而被广泛使用。在扩散协作模式中，网络中的节点用于估计未知系统。也就是说，网络中的每个节点可以通过组合方法在其邻居节点处共享和融合信息。这种协作模式的优点是不受分布式网络拓扑结构的限制，充分利用了网络的联通性。

特别地，基于融合步骤和自适应的先后顺序，提出了扩散最小均方（Diffusion Least Mean Square，DLMS）算法的两种形式[10］，即ATC DLMS（Adaptthen-Combine LMS）和 CTA DLMS（Combine-then-Adapt LMS）。值得注意的是，ATC DLMS在所有情况下性能都要优于CTA DLMS。因此，本文所有的算法都是基于ATC DLMS讨论的。

然而，在现实的信号分析应用中，往往把误差或噪声假设为高斯是不成立的，呈非高斯分布的情况同样非常普遍[11-12］。在许多工程技术应用和自然环境中，噪声往往表现出一种脉冲状的非高斯性，且具有很大的幅度，使得信号受到这种噪声的强干扰。目前，多数基于MSE准则为代价函数的这一类自适应滤波算法，在非高斯噪声下的性能显著下降，会出现不能收敛甚至失调的情况，无法满足自适应滤波的需求。

因此，本文研究了非高斯噪声下的分布式算法，同时为了抑制其所带来的影响，又将符号函数和最小误差熵（Minimum Error Entropy，MEE）准则[13］应用到分布式扩散算法中，得到了扩散符号最小均方（Diffusion Sign LMS，DSLMS）算法。同时，将比例归一化最小均方（Proportionate Normalized LMS，PNLMS）算法[14］中比例矩阵的思想应用到误差熵中，提出了一种扩散比例最小误差熵（Diffusion Proportionate MEE，DPMEE）算法，使算法对稀疏度不同的系统具有广泛的适用性。最后，对算法进行仿真验证，证明了本文所提算法在非高斯噪声干扰下仍具有良好的性能。

1 传统算法准则分析

1.1 DLMS

假设由N个传感器节点组成的无线传感器网络随机分布在一片地理区域内，如图1所示。在i时刻节点k的观测数据信号模型为{dk,i,uk,i}，并与其邻居节点集合Nk（其中Nk是包括其自身节点k的邻居节点的集合）合作生成估计wk,i。网络中节点k在时刻i的期望信号为：

其中，uk,i表示输入向量，w0是待估计的未知向量，vk,i是在时间和空间上都相互独立且方差为的背景噪声。

图1 由N个节点组成的分布式网络

在文献[10］中已经引入了ATC方案用于DLMS。DLMS包含3个阶段，即自适应阶段、交换阶段和融合阶段。在自适应阶段，用测量数据{dk,i,uk,i}进行LMS算法更新节点k在时刻i-1的局部估计值wk,i-1，并得到新的估计值φk,i，更新公式为：

其中，T表示转置，μk是节点k的步长。

在交换阶段，所有节点k与其邻居节点l交换估计值φk,i。融合阶段中，利用邻居节点l的估计值φl,i进行融合，得到融合估计值wk,i，融合方程为：

其中，cl,k是连接节点k与其邻居节点l的权重。

1.2 MEE

假设存在一个线性系统，其输入向量可以用X(n)=[xn-M+1,…,xn-1,xn］T来表示。当系统将输入向量X(n)传递给一个参数化向量W*=(,,…,)T（其中M表示自适应滤波器长度）信道时，系统的期望信号可以表示为：

其中v(n)表示在n时刻的测量噪声。

瞬时误差的计算公式为：

其中y(n)表示自适应滤波器的输出信号。假设误差e(n)是一个随机变量，且概率密度函数为pe(·)，那么误差的二次Renyi熵可以表示为：

其中表示二次信息势能。

由于式（6）中的概率密度函数无法具体得知，因此在实际中经常通过基于Parzen窗估计的方法计算pe(ε)。假设所定义误差的数据集为{e(1),…,e(NN)}，其概率密度函数的估计值为：

其中NN是样本数，Kσ(·)代表高斯核函数，σ代表核宽度参数，定义如下：

因此，根据所收集的样本数可以求出二次Renyi熵的估计值，结果如下：

因此，基于MEE准则下的最优权重向量可以通过式（10）得到：

V(e)的非参数估计可以表示为：

基于式（11），MEE下的权重向量更新方程为：

2 新算法的提出及分析

2.1 α-稳定分布

本文采用α-稳定分布[15］描述非高斯噪声。α-稳定分布噪声模型的特征函数定义为：

其中：

α-稳定分布的特征函数主要包括4个参数。其中，α∈(0,2］表示特征指数，控制着该分布脉冲的严重程度，α值越小，其脉冲强度越大；δ∈(-∞,+∞)表示位置参数，控制着α-稳定分布的均值或中值；β∈[-1,1］表示对称参数，当β=0时，服从α-稳定分布的随机变量的概率密度函数关于位置参数δ对称；γ＞0表示分散系数，其作用与高斯函数分布的方差类似，控制着α-稳定分布随机变量值的离散程度。当β=0、δ=0时，称α-稳定分布为对称α-稳定分布，即SαS。而当α=2、β=0时，该分布演变为高斯分布；当α=1、β=0时，表示为柯西分布。图2是标准SαS分布在不同α下的概率密度函数曲线图。

图2 α不同时的概率密度函数

2.2 非高斯噪声下的DSLMS

为了减少算法的计算量和通信量，本文将分布式估计和符号函数相结合，提出一种在非高斯背景下性能更稳定的算法——DSLMS算法。

若对式（2）中的噪声信号进行符号运算，则得到符号-误差算法的更新方程为：

若对式（3）中的估计信号进行符号运算，则得到符号-数据算法的更新方程为：

其中，文献[16］已说明符号-数据改变了融合阶段时邻居节点的估计值，使得其鲁棒性不如符号-误差算法。而符号-误差是对误差进行两级量化，尽管计算量较小，但其较大的量化误差会导致信号的性能大幅度下降，稳态值也会变大。

但当以上算法的背景噪声呈非高斯分布时，由于其脉冲性很强，严重影响了DLMS的性能，而符号函数却对脉冲噪声有很好的抑制效果，使得DSLMS的稳健性优于DLMS。

2.3 DPMEE

传统算法设计中，二阶统计量常常被用于分布式算法的代价函数中。其中，MSE理论是二阶统计矩特性的最典型代表，因为其具有计算量低、分析简单以及在高斯噪声模型下会取得较好的收敛性能。但是，针对一些存在非高斯、脉冲噪声的背景，本文引入了MEE准则。在理想的分布式网络中，MEE准则对独立于输入和理想输出信号的背景噪声不敏感，但其在处理非高斯问题上具有明显优势。

基于MEE的权重向量更新方程，可以推导出分布式估计下的DMEE的更新方程，则节点k在i时刻的瞬时误差计算为：

其中节点k的V(ek)的非参数估计可以表示为：

将PLMS算法中成比例的方法引入DMEE中，可得到DPMEE的迭代公式。因此，扩散PMEE下的自适应阶段的更新方程推导如下：

其中Δek(i,j)=ek,i-ek,j，yk,i和yk,j代表系统在i和j时刻的输出信号，Gk,i表示成比例对角矩阵，定义如下：

对角矩阵Gk,i中的控制元素为：

其中ξ是用来防止权系数都为零时导致该算法启动更新，ρ用来防止当某个权系数很小时导致该系数停止更新，取值一般在和之间。

2.4 收敛性能分析

为了便于分析，将式（18）用下面矩阵的形式来表示：

因此，式（18）改写为：

引入先验误差向量eai和后验误差向量epi，并定义如下：

其中：

先验误差向量eai和后验误差向量epi有以下关系：

因此，式（2）可以用表示为：

其中：

结合式（33），得到：

其中：

Ri是一个维对称矩阵。假设它是可逆的，可以推导出：

对式（41）两边取平方，可以得出：

经过计算，得出：

其中：

通过对式（43）两边求期望，并推导出能量守恒等式：

然后，推出：

其中：

由于μk≥0，因此均方收敛的充分条件可以表示为：

可以看出，式（54）中的权误差能量是逐渐递减的，因此DPMEE算法将不会发散。

3 仿真实验

3.1 仿真条件

假设由N=20个传感器节点组成的分布式网络的仿真结构如图3所示，以下分布式估计算法的仿真实验都是基于此网络进行的。扩散算法的融合参数采用邻近准则[17］的计算方法，即其中l∈Nk且cl,k=0，l∉Nk。本文假设自适应滤波器的长度和未知系统的长度相同，均为50。输入信号uk(i)为零均值、单位方差的高斯过程，协方差矩阵Ru,k=。本文的噪声采用α-稳定分布的非高斯噪声。每个仿真均是通过10次实验得到的平均结果。

图3 网络拓扑结构

3.2 性能指标及参数设置

本文以MSD作为评价算法性能的指标，即仿真实验中设定的参数条件如表1所示。

表1 实验中的参数设置

3.3 仿真结果与分析

图4中（a）和（b）分别是仿真中用的稀疏信道和非稀疏信道。

图4 仿真中用的信道

图5 是当α值不同时的非高斯噪声，其中图5（a）为α=1.0时，图 5（b）为α=1.5时，图 5（c）为α=2.0时。

图5 仿真中的α稳定分布

3.3.1 各类算法在稀疏信道中的性能比较

图6为DLMS、DSLMS和本文改进的新算法（DPMEE）在稀疏信道且存在非高斯噪声条件下的收敛曲线。当干扰噪声为非高斯噪声即α=1.0时，传统DLMS失效，DSLMS尽管很快收敛，但MSD较大、稳健性较差。从图6可以看出，本文提出的新算法即DPMEE的MSD更低，稳健性要优于DSLMS。

图6 非高斯噪声条件下各个算法在稀疏信道比较

3.3.2 各类算法在非稀疏信道中的性能比较

图7为DLMS、DSLMS和本文改进的新算法（DPMEE）在非稀疏系统且存在非高斯噪声条件下的收敛曲线。DPMEE和其他算法相比，尽管MSD最低，但其性能效果相比在稀疏信道下有所下降。可见，实验仿真进一步说明了DPMEE更适用于稀疏环境。

图7 非高斯噪声条件下各个算法在非稀疏信道比较

3.3.3 噪声参数不同时各类算法的性能比较

假设未知系统为稀疏信道时，各算法在不同α下的收敛曲线如图8和图9所示。从图8的实验结果可以看出，与DLMS和DSLMS相比，DPMEE的稳健性最优且MSD最低。但是，当α=1.5时，DSLMS和DPMEE的稳态值虽较大，但性能没有在α=1.0时优异。DLMS只有当α=2.0时，系统噪声分布从非高斯变为高斯，性能才优于DSLMS和DPMEE。可见，实验进一步说明了DPMEE更适用于存在非高斯噪声的环境。

图8 各算法在α=1.5下的性能比较

图9 各算法在α=2.0下的性能比较

4 结 语

本文提出了一种适合于非高斯噪声干扰的分布式自适应滤波算法，即把符号函数和比例最小误差熵分别应用到分布式扩散算法中。本文给出了分布式扩散策略的算法，引入了最小误差熵准则（MEE）的概念，同时将比例矩阵的思想加入到误差熵中，提高了算法在稀疏性不同的系统中的适用性。此外，将符号函数引入到扩散最小均方算法中，充分利用了其对噪声为非高斯的抗干扰能力。最后，将三种算法在不同条件下的系统稀疏性、噪声进行仿真。结果表明，提出的新算法DPMEE在系统为稀疏信道时对非高斯噪声的抑制能力、收敛速度和稳态性能均优越于其他算法。