噪声ICA模型去偏技术研究

张明亮，王曙钊，卢 虎，卞东亮，王 博，杨 勇

空军工程大学 理学院，西安 710051

噪声ICA模型去偏技术研究

张明亮，王曙钊，卢 虎，卞东亮，王 博，杨 勇

空军工程大学 理学院，西安 710051

1 引言

近二十年的发展，独立分量分析[1-3]（Independent Component Analysis，ICA）在盲源分离领域占据了主导地位。但是由于实际应用中噪声的存在，如何有效地将它们从提取出来的独立成分中去除掉，成为当前研究的热点和难点问题。目前，针对噪声ICA模型常见的算法或多或少的用到了噪声的先验知识[4-10]。基于高斯矩的偏差去除方法[4-6]利用噪声先验知识修正普通ICA模型的公式，用“准白化”运算代替白化。然而“准白化”通常假设噪声是高斯的，且其协方差矩阵是单位阵，使用条件比较苛刻。自适应噪声抵消算法[7-8]将去噪作为盲源分离的准备阶段。相对而言，该方法对噪声的假设条件相对宽松，但是目前提出的最小均方（Least Mean Squares，LMS）自适应噪声抵消算法[8]对相关噪声敏感。虚拟噪声通道算法[10]假设虚拟出一个或若干个和混杂噪声相同的噪声，将每个噪声视为独立源，然后将噪声模型化成普通模型进行分离。即使能构造出混杂的噪声，其实是对噪声完全已知，但实际上是无法实现的。

受偏差去除算法的启发，先对高斯噪声条件下普通ICA模型对解混矩阵的可辨识性进行了论述和实验证明，发现噪声ICA模型的难点在于信号和噪声的完全分离，也即解决问题的关键在于去噪。在此结论的指导下，引入基于QR分解的递归最小二乘（Recursive Least Squares，RLS）自适应噪声抵消算法和Fast-ICA算法结合起来（QRRLSICA），用前者对观测向量进行去噪处理，再用后者提取出独立成分。此类方法可以归为去偏方法范畴。同时将该方法与文献[8]中使用的LMS自适应噪声抵消和Fast-ICA结合的算法（LMS-ICA）在不同噪声条件下进行了实验仿真比较。

2 问题描述

文献里通常将噪声ICA模型表达如下[3-5，8]：

式中，x=(x1，x2，…，xm)是随机观测向量，s=(s1，s2，…，sm)是潜在变量，称为独立成分，A是未知的常数矩阵，即混合矩阵。模型的基本假设是独立成分si是非高斯同分布的

，且互相统计独立。

文献[3]认为偏差去除技术是对噪声ICA模型最有希望的方法。即对普通的ICA方法进行修正，以去除由于噪声引起的偏差，或者至少减少这种偏差，基于高斯矩的去偏技术便是基于这种思考。基于高斯矩的偏差去除方法[4-6]将n假设为具有零均值、单位协方差 Σ的高斯噪声（即Σ=E{ } nnT），用“准白化”代替白化。

独立成分分析的基本思想就是寻找数据的极大非高斯性方向投影Wx给出独立成分的一致估计。实际上非高斯性度量对高斯噪声不敏感，换言之，解混矩阵W受高斯噪声的影响甚小，用常规算法依然是可辨识的。如图1所示，直观上理解，二维高斯分布在各方向上的分布几率是相同的，不包含方向信息，如果将其作为噪声“覆盖”在一个两成分联合分布上，不会影响原来的极大非高斯性投影方向，可以将其推广到多维空间里。

图1 二维高斯分布

由Darmois定理[11]可得，如果分离混合P=WA是一个广义置换矩阵，便可以实现信号源的盲分离。实际运算中，常常得到的矩阵P中每行仅有一个绝对占优的值，一般情况下得不到理想的广义置换矩阵。下面做一个关于高斯噪声对解混矩阵的可辨识性的影响实验，随机取一3×3常数矩阵为混合矩阵A，用Fast-ICA算法[1，3，12]分别求出无噪声时的W1和加－10 dB高斯噪声时的W2，进而求出P1和P2进行比较（见表1）。

从表1可见，矩阵P1和P2都符合实现信号源盲分离的条件。换言之，对纯净信号源加上－10 dB噪声后，常规的Fast-ICA算法得到的解混矩阵W2依然可以分离无噪声污染的混合信号。即W1(A S )和W2(A S)都可以从混合信号AS中分离出独立成分。

故根据无噪声模型的解混方程，可以得到噪声ICA线性解混表达式：

进一步用性能指标PI来衡量分离混合矩阵P做定量分析[12]，来评价分离结果。

其中P=WA=() pijn×n即分离混合矩阵，PI值越小说明矩阵P越接近广义置换矩阵，分离效果越好。在上面实验的基础上，把加入三组观测向量的噪声分为同一高斯噪声和不同高斯噪声两种情况，在不同信噪比水平下，记录PI的均值和方差等统计值（由于引入噪声的随机性和ICA问题的不确定性，每个实验结果均是100次实验结果的统计值）。如图2所示。

统计发现，当PI＞3.7时，矩阵P的某一行不再有绝对占优的值，导致分离效果较差。在图2中，同一高斯噪声、不同高斯噪声以及没有噪声三种情况下PI的均值和方差曲线分别用实线、虚线和点划线表示。观察可见，若所有观测向量中加入同一高斯噪声时，在信噪比低于－20 dB后，PI开始大于3.7，而且方差较小，分离效果比较稳定；若观测向量加入不同高斯噪声时，在信噪比低于－5 dB后，PI开始大于3.7，而且方差较大，分离效果稳定性较差。换言之，在后者这种情况下，矩阵W的辨识性变差，分离出含噪独立成分十分复杂，如果采用分离后对独立成分去噪将变得十分困难。所以，在解混之前对含噪观测向量去噪操作简单，易于实现。

表1 解混矩阵可辨识比较

图2 不同高斯噪声条件下PI的均值和方差曲线

3 自适应噪声抵消

自适应噪声抵消也叫信号增强[7-8，13]，其基本原理由图3表示。

图3 自适应噪声抵消

由图3可知，自适应噪声抵消器的原始输入由期望信号x(k)和加性噪声n1(k)组成，自适应滤波器的参考输入是和噪声n1(k)相关的噪声n2(k)，输出误差e(k)表示如下：

式中，f(k)是在时间点k处对n1(k)的最佳逼近，ωl和N分别是滤波器的权系数和阶数，且ωl∈ω(k)= [ω0(k )ω1(k )…ωN(k )]T。

其原理过程简述为：先将噪声n2(k)作为参考输入，通过自适应滤波器作用后得到 f(k)，并要求f(k)尽可能逼近原始输入中的噪声n1(k)；然后将原始输入x(k)+n1(k)和f(k)带入加法器进行减法运算，得到的差便是去噪后接近期望信号x(k)的值。这便要求噪声n1(k)和参考输入噪声n2(k)之间具有较强的相关性，去噪效果才能更好。用自适应滤波模块求式（7）中的滤波器的权系数和阶数时会使用到自适应算法，文献[8]用到了LMS算法。实验发现该方法虽然计算量小、易于实现，但是在较低信噪比下效果一般，而且在各通道混入不同但相关的噪声时，去噪效果较差。利用基于QR分解的RLS算法则能够弥补这些不足。下文仿真实验将利用QRRLS算法在解混之前对含噪观测向量去噪处理，带噪声混合信号作为自适应抵消器的原始输入，混入噪声作为参考输入，输出即去噪后的混合向量，最后用Fast-ICA算法从中提取出独立成分（关于基于QR分解RLS算法，可以参考文献[13]）。

4 性能指标

比较分离信号和源信号之间的波形是辨别算法性能的最直观的方法。ICA算法得到的分离信号具有顺序不确定、符号不确定性和幅值不确定性（见图4）。存在残存噪声时，幅值的估计变得困难，因为经过去噪和解混后残存的噪声产生的“毛边”会掩盖信号的真实边际，故如何用指标精确的描述算法的性能比无噪声存在时相对困难。分离信号可用下式表示：

式中，N是采样点数，i=1，2，…，N。上式写成最小二乘形式为：

而且，式（10）的最小值就是残存噪声的能量，进而输出信噪比表示为：

5 实验仿真

为方便和文献[8]中LMS-ICA方法作比较，实验选择了两个女声和一个男声等三个语音信号作为信号源，采样率为8 kHz，采样点数为20 000。实验分为两个部分：一是在同一噪声条件下，即不同传感器受到同一个噪声污染；一是在相关噪声条件下，即不同传感器受到污染噪声之间是相关的。

5.1 同一噪声条件下

文献[8]的实验里用三个传感器来采集三个语音信号和排气扇噪声，理想情况下认为源信号被同一噪声污染。实验选择用QRRLS-ICA对这种情况仿真过程如图4。

如图4所示，（a）、（b）、（c）和（d）分别显示的是源信号、混入噪声－10 dB时的混合信号、去噪后的混合信号和分离信号。实验过程中，先对图4（b）中受噪声污染的混合信号用QRRLS自适应消噪算法进行去噪处理，得到图4（c）所示的较为“纯净”的混合信号，再用Fast-ICA算法从后者中提取出图4（d）显示的独立成分。从图中波形可见，去噪后分离出的信号比较纯净，视听效果也没有干扰。用最小二乘算法求解出此时分离出的三个信号的输出信噪比分别为11.9 dB、7.3 dB、13.0 dB（参见表2划线部分）。为方便和LMS-ICA算法进行比较，将其分离信号输出信噪比统计如表2。

表2 同一噪声条件下QRRLS-ICA和LMS-ICA算法对比 dB

在表2中，共选取了四组数据来对两种方法进行了对比，Input-SNR表示各通道混入噪声的信噪比水平，Output-SNR表示分离信号中残存噪声的信噪比水平（每组数据为50次实验的平均值，下同）。对比发现，QRRLS-ICA算法相比LMS-ICA算法在相同信噪比时，前者的去噪效果比后者更加显著。其次，前者稳定性好。随着噪声的增强，QRRLS-ICA算法性能衰减比LMS-ICA算法慢，从5 dB到－40 dB的外加噪声情况下，其输出信噪比一直维持在较高的水平。而且实验中发现，用LMS-ICA算法有时不能收敛，或者某一信号有时分离不出。从视听效果上，LMS-ICA算法在低信噪比水平下得到的结果明显有干扰。

仿真实验中，如果将混合矩阵A固定，混合信号也就确定，因此通过把两种方法得到的去噪后混合信号分别与纯净的混合信号（见图5（a））进行对比，用信噪比衡量出它们中残存噪声的多少，以此来表征两种算法的噪声匹配精度。LMS-ICA算法得到去噪后混合信号和分离信号分别如图5（b）和（c）所示。比较图4（c）、（d）和图5可见，LMS整体去噪效果和分离效果不太理想，剩余了大量噪声。输入噪声为－10 dB时，QRRLS去噪后的混合信号信噪比分别为－0.25 dB、－0.39 dB和－0.35 dB，LMS去噪后的混合信号信噪比分别为－2.34 dB、－4.17 dB和－3.42 dB。显然，QRRLS的噪声匹配精度更高。

5.2 相关噪声条件下

图4 混入噪声－10 dB时QRRLS-ICA仿真过程图

图5 纯净的混合信号以及LMS-ICA去噪后混合信号和分离信号

实际上，所有通道所污染的噪声和自适应噪声抵消器的参考输入为同一噪声这一假设条件有些理想化。考虑到一些不确定因素的随机扰动影响（假设它们是高斯的），假定这些通道混入的噪声之间是高相关的比较符合实际，称之为相关噪声。那么对这些高相关噪声进行自适应去噪后，残余噪声可视为是高斯的。前面已用实验证明，若混合信号混入一定信噪比的高斯噪声后，用常规的ICA算法依然可以分离出带少许噪声的独立成分。在上述实验的基础上，各通道对混入噪声加入微量随机扰动来模拟相关噪声（随机扰动的噪声水平必须在一定范围内）。图6为两种算法在混合信号各通道混入噪声为0 dB时得到的分离信号。

从图6可直观看出，相关噪声条件下，两种算法的分离效果相比同一噪声条件下有所降低。在各通道噪声约为0 dB时，LMS-ICA算法基本上只能分离出两路信号。同样地，将两种算法的性能指标统计如表3。

图6 混入的相关噪声为0 dB时，QRRLS-ICA和LMS-ICA算法分离信号对比

表3 相关噪声条件下QRRLS-ICA和LMS-ICA算法对比 dB

不难发现，相关噪声条件下，LMS-ICA算法基本失效。如果不同通道所加入的扰动差别变大时，即噪声之间相关性变弱时，QRRLS-ICA算法性能随之衰减。

6 结论

实验分析发现，噪声ICA模型的关键在于对含噪声的观测向量或者含噪声的独立成分进行去噪。通过对分离性能指标PI在高斯噪声条件下统计分析，得出了对前者的去噪更容易实现的结论。在此结论的基础上，引入自适应噪声抵消技术进行去噪是比较合理的，因为这种去噪方法不需要对噪声有苛刻的假设条件；然后再用Fast-ICA算法从去噪后的观测信号中提取出独立成分。实验仿真表明基于QR分解的RLS自适应滤波器比LMS滤波器去噪效

果明显，尤其在不同通道混入相关噪声的情况下仍然有较好的效果，但是其在运算效率方面不如后者。此外，用最小二乘法求输出信噪比，能够较为准确地反映算法的去噪结果。当各混合通道混入的噪声之间的相关性较小或者是独立的，QRRLS-ICA方法性能也会随之变差。

[1]Amari S，Hyvärinen A，Lee S Y，et al.Blind signal separation and independent component analysis[J].Neurocomputing，2002，49：1-5.

[2]Choi S，Cichocki A，Park H M，et al.Blind source separation and independent component analysis：a review[J].Neural Information Processing，2005，6（1）：1-57.

[3]Hyvärinen A，Karhunen J，Oja E.Independent component analysis[M].New York：John Wiley，2001.

[4]Hyvarinen A.Gaussian moments for noisy independent componentanalysis[J].IEEE SignalProcessing Letters，1999，6 （6）：145-147.

[5]Shi Zhenwei，Zhang Changshui.Gaussian moments for noisy complexity pursuit[J].Neurocomputing，2006，69：917-921.

[6]Cichocki A，Douglas S C，Amari S.Robust techniques for independent component analysis with noisy data[J].Neurocomputing，1998，22：113-129.

[7]Jafari M G，Chambers J A.Adaptive noise cancellation and blind source separation[C]//4th International Symposium on Independent Component Analysis and Blind Signal Separation（ICA 2003）.[S.l.]：ICA Press，2003：627-632.

[8]吴莉莉，曹晴，李辉.ICA和线性神经网络在带噪语音分离中的研究[J].计算机工程与应用，2010，46（16）：143-146.

[9]Parka H M，Ohb S H，Lee S Y.A filter bank approach to independent component analysis and its application to adaptive noise canceling[J].Neurocomputing，2003，55：755-759.

[10]季忠，金涛，杨炯明，等.虚拟噪声通道在基于ICA消噪过程中的应用[J].中国机械工程，2005，16（4）：350-352.

[11]徐丽琴.盲源分离算法研究[D].西安：西安电子科技大学，2006：9-10.

[12]史习智.盲信号处理—理论与实践[M].上海：上海交通大学出版社，2008：3-6.

[13]刘郁林，景晓军，谭刚兵，等.自适应滤波算法与实现[M].北京：电子工业出版社，2004：192-220.

[14]Yang Yumin，Guo Chonghui.Gaussian moments for noisy unifying model[J].Neurocomputing Lett，2008，71：3656-3659.

[15]Hyvarinen A.FastICA fornoisy data using Gaussian moments[C]//ProceedingsoftheInternationalSymposium on Circuits and Systems.Orlando，FL：[s.n.]，1999：57-61.

ZHANG Mingliang,WANG Shuzhao,LU Hu,BIAN Dongliang,WANG Bo,YANG Yong

Faculty of Science,Air Forces Engineering University,Xi'an 710051,China

Bias removal techniques usually remove the bias which is caused by noise in the method of correcting noiseless ICA. Nevertheless,the demixing matrix is still identifiable by using the noiseless ICA algorithms in the presence of additive Gaussian noise.So it is preferable to perform denoising with the vector of observed random variables,rather than to make modification to the demixing matrix.Then the QR-decomposition-based Recursive Least Squares（RLS）adaptive noise cancellation（QRRLS）is introduced to combine with Fast-ICA algorithm.To test performance of the proposed approach,two experiments for it and the LMS-ICA algorithm are conducted on the conditions of identical noise and correlation noises respectively.By comparison,it shows that the proposed approach outperforms the latter.Moreover,in order to measure the performance availably,the least-squares method is adopted to calculate the Signal to Noise Ratio（SNR）of recovery signals.

noisy independent component analysis;bias removal techniques;identifiability of demixing matrix;Recursive Least Squares（RLS）adaptive noise cancellation;least-squares method

偏差去除算法通常假设高斯噪声条件下对普通ICA算法进行修正来消除噪声带来的影响。但是存在高斯噪声条件时，普通ICA算法对解混矩阵仍然可以辨识。故引入基于QR分解的RLS自适应噪声抵消算法和Fast-ICA算法相结合，只需对观测信号进行去噪处理，不需要对解混矩阵修正。并分别在同一噪声和相关噪声条件下做了仿真实验，与LMS-ICA算法进行了比较。仿真实验证明，该方法比后者效果显著。提出了用最小二乘算法计算分离信号的输出信噪比，作为评价算法的性能指标。

噪声独立分量分析（ICA）；偏差去除技术；解混矩阵的可辨识性；递归最小二乘（RLS）自适应抵消；最小二乘算法

A

TP391

10.3778/j.issn.1002-8331.1107-0484

ZHANG Mingliang,WANG Shuzhao,LU Hu,et al.Study of bias removal techniques for noisy ICA.Computer Engineering and Applications,2013,49（5）：205-209.

国家自然科学基金（No.61174194）。

张明亮（1988—），男，硕士研究生，研究领域：信号和信息处理；王曙钊（1955—），男，教授，硕导，研究领域：信号和信息处理、信号检测与估计、无源雷达定位技术；卢虎（1975—），男，副教授，硕导，研究领域：通信与信息系统；卞东亮（1988—），男，硕士研究生，研究领域：雷达目标检测与跟踪；王博（1987—），男，硕士研究生，研究领域：雷达目标检测与跟踪；杨勇（1987—），男，硕士研究生，研究领域：集成电路设计与雷达信号处理。E-mail：446478446@qq.com

2011-07-25

2011-09-23

1002-8331（2013）05-0205-05

CNKI出版日期：2011-11-14 http://www.cnki.net/kcms/detail/11.2127.TP.20111114.0939.025.html