独立分量分析的图像/视频分析与应用

刘琚，孙建德

(山东大学信息科学与工程学院，山东济南 250100)

独立分量分析的图像/视频分析与应用

刘琚，孙建德

(山东大学信息科学与工程学院，山东济南 250100)

随着通信和计算机技术的发展，图像和视频信息的应用越来越多.图像和视频信息分析中的一个重要方法是获得合适的特征来逼近人类视觉特性.独立分量分析是一种新的无监督训练方法，它可以在图像和视频的理解方面很好地与人类视觉相匹配.给出了不同的ICA图像/视频分析模型和基于这些模型的独立特征，对多媒体ICA分析和数字小波分析方法进行了对比，对于不同分析方法的计算机仿真给出了不同模型的独立特征，并且给出了基于这些特征在图像和视频水印方案中的应用.应用实验的仿真结果表明，独立特征对于图像和视频水印性能具有较好的改善作用.

独立分量分析;特征提取;视频分析;数字水印

随着计算机和网络技术的发展，多媒体技术得到了广泛的应用，近年来又出现了新媒体的概念.多媒体通常是指语音、图像和视频信息，新媒体则扩展到图形、文字、动画和虚拟场景等.然而，人们获取信息的最主要来源仍然是图像和视频.人们从图像/视频可以得到直观信息，但是只有对图像/视频进行分析、变换后才可以获得图像/视频中隐含的特征并进行识别、分类、检索和理解等应用.

目前常用的图像特征分析方法大多分为时/空域和变换域方法.时/空域中处理技术通常有时延、尺度变换、插值、采样、旋转、滤波等，而变换域方法最主要的就是傅里叶变换和小波变换等.变换域处理方法的中心思想是将信号分解成基信号的叠加，这些基信号可以表现出原始信号的特性，如频率特性、时频特性等.

傅里叶变换是将一个信号的时域表示形式映射到一个频域表示形式，对一个信号做傅里叶变换，可以得到其频域特性，包括幅度和相位2个方面.离散余弦变换(discrete cosine transform，DCT)是一种与傅里叶变换紧密相关的数学运算.

信号通过傅里叶变换表现的是频率特性，但是不同频率的基信号出现的时间无法确定，因此出现了信号时频分析工具——小波变换.对于数字信号的时频特性分析主要采用的是离散小波变换(discrete wavelet transform，DWT).

离散小波变换是以相互正交的母小波为基函数，是时间和频率局域化的变换，因而能有效地从信号中提取时频分布参数.通过伸缩和平移等运算可对信号进行多尺度的细化分析，解决了傅里叶变换不能解决的许多问题，被认为是时间－尺度分析和多分辨率分析的一种新技术［1］.它在信号分析、语音合成、图像识别、计算机视觉、数据压缩、地震勘探、大气与海洋波分析等方面都取得了具有科学意义和应用价值的成果.

独立分量分析(independent component analysis，ICA)是近年来在信号分析与处理中发展起来的一种新方法，它作为一种盲源分离技术(blind source separation，BSS)，是信号处理领域的研究热点.ICA的实质就是寻求一种线性变换，将一组随机变量表示成一组统计意义上相互独立的变量的线性组合［2］，因此通过ICA提取的信号特征是相互独立的.目前ICA已经广泛地应用于特征提取、生理学数据分析、语音信号处理、图像处理、人脸识别和数字水印等方面.

1 ICA和基于ICA的图像特征提取

1.1 独立分量分析

ICA作为一种信号处理技术，其目的就是以统计独立的变量的线性组合来表示一组随机变量［2］.ICA最有意义的2个应用就是盲源分离和特征提取，而这2个方面和数字水印研究有着相通性和密切的联系.

盲源分离是在源信号和传输通道参数未知的情况下，根据输入源信号的统计特性，仅通过观测信号就可以实时地恢复或提取源信号.

ICA信号模型如式(1):

式中:x=［x1x2…xm］T是m维观察信号矢量，s=［s1s2…sn］T是n维未知源信号矢量，A是未知的混叠矩阵，W是未知的分离矩阵.

ICA就是仅根据观察信号x来估计源信号s，求解分离矩阵W，通过^s=Wx，得到s的估计.已经有许多成熟的ICA算法、如FastICA算法［3］由于其算法简单和良好性能而被广泛应用.

FastICA是一种快速的定点独立分量分析算法.它首先对观察信号利用主分量分析(principle component analysis，PCA)进行预白化，将观察信号x变换成z=Ux，使得z的分量具有单位方差且互不相关，其中z的自相关矩阵是单位阵，U为白化阵.

FastICA利用峭度目标函数作为分离准则，分离矩阵的训练公式为

式中:k是迭代次数，最终分离矩阵为W=VTU.

1.2 图像的ICA模型

文献［4］中，A.Hyvarinen将ICA用于图像特征提取.

假设一个信号在某个采样点x的信号值表示为I(x).信号处理中的许多基本模型将该信号I(x)表示为一系列的特征或基函数ai(x)的线性叠加的结果:

式中:si为随机系数，每一个信号I(x)对应的Si是不相同的.由此简化为对于信号向量 x=［x1x2…xm］T，信号的表示为x=As.这种简洁的表示与基本的ICA模型完全相同.

图1给出由特征基向量合成图像的模型［4］.

图1 图像合成模型Fig.1 Image mixture model

1.3 基于分块的ICA特征提取

在ICA模型中，至少存在2个观测信号，而实际中需要处理的往往只有一幅图像，因而，许多基于ICA的水印方案采用对原始图像分块的方式得到多个观测信号，把每个块看作一个观测信号来建立ICA模型.

对于图像，通常是将图像分成8×8或是16×16的像素块，如图2，并把这些块作为ICA模型中的观测信号，再通过ICA得到源信号.这样得到的所谓源信号是相互独立的，可以视为图像的特征，因此这一过程称作特征提取.

图3是自然图像采用基于分块ICA提取出来的基向量［4］.为了更好地表现特征，人们往往采用一些标准化手段.具体做法为:首先，将图像进行线性标准化，使得像素具有零均值、单位方差;然后.将图像分成块，再利用FastICA方法进行处理;最后，得到ICA的向量基.A.Hyvarinen指出［4］，这些基向量显然在空间、频率、方向这3个方面都具有局部性，而且这些特征与Gabor函数十分相似，同时也指出这些基向量与小波也有相似性.

图2 分块法Fig.2 Method of image blocking

图3 利用分块ICA提取出来的自然图像基向量Fig.3 Basis vectors of natural images extracted by the method of blocking ICA

这些特征能被证明含有原始图像的一些方向边缘，因此被用作图像重构的基［5］.此外，Hateren证明了这些特征与人类视觉获得的特征是相似的，并且在视频中的相应实验中也得到了相似的结论［6］.

1.4 基于采样的图像独立特征分析方法模型

基于分块的ICA模型，在图像分块之后，各个块和原图像都失去了相似性，提取出来的特征并不能很好地反映图像的整体特性.

采样法是一种十分常用的信号处理方法，可以根据不同的采样因子或者采样间隔将信号分解成相似的信号.用采样法抽取则可以使得到的图像与原始图像相似.当采样因子为2时，原图像可以被分解为4个相似的子图.

假设原始图像大小为n×m，通过采样因子为2的下采样(如图4)后，得到4个子图，如式(2)表示为:

式中:I为原始图像，i=1，2，…，n/2，j=1，2，…m/2.

图4中由A组成的子图为原始图像通过抽取奇行、奇列得到;由B组成的子图是由原始图像通过抽取奇行、偶列得到;由C组成的子图为原始图像通过抽取偶行、奇列得到;由D组成的子图是由原始图像通过抽取偶行、偶列得到.图5是将原始标准peppers图像经过上述采样方法得到的分解结果.

图4 原始图像以及经下采样得到的4个子图Fig.4 Original image and the four sub-images obtained by downsampling

图5 原始peppers图像以及经下采样得到4个子图Fig.5 Original standard image“peppers”and the four sub-images obtained by downsampling

将上述采样方法分解得到的4个子图作为观测信号进行ICA处理，就可以得到相应的特征.

为了后面便于跟小波变换对比，把下采样与ICA相结合处理信号的整个过程称为ICA变换(ICA transform，ICAT)［7］.通过 ICAT 得到的4 个特征图像(feature image，FI)，可以用子带的方式表示，如图6.

图6 ICAT提取的4个特征分量Fig.6 Four feature images obtained by ICAT

图6 中，FI1，FI2，FI3，FI4就是原始图像经 ICAT获得的特征.根据ICA理论，这4个特征不但不相关，而且相互独立.不难发现，这个分析结果与图像经小波理论多尺度分析得到的结果(即图8(b))很相似.因此，将FI4称为原始图像的概貌分量，FI1，FI2，FI3被称为细节分量.

1.5 图像ICA特征分析与小波分析方法比较

在小波分析理论中，信号二层、三层乃至高层的分析方法，在实际应用中被广泛地应用.因此，研究二层、高层的ICAT分解方法具有一定意义.

基于采样和ICA的特征分析方法二层分解模型有2种.第1种是与小波分析方法类似，将一层ICAT分解得到的各个分量继续进行一次ICAT处理.另一种方法是将图像经过采样因子为4的采样提取出16个子图，然后对这16个图像进行ICA处理，这个过程被称为基于采样因子为4的ICAT.在这里只以第1种方法为例进行说明，分解原理图如图7所示.

图7 第1种2层ICAT分解原理Fig.7 The framework of the first type of 2-order ICAT

第1种方法与常用的小波多尺度分析方法相类似，将它与离散小波变换进行分析结果对比.标准图像peppers通过第1种二层ICAT方法处理的结果如图8(a)，其中16个分量中存在着概貌分量(最后一个分量)及细节分量(其余15个分量).图8(b)是peppers图像通过二层2D－DWT处理得到的结果，其中母小波采用的是 Daubechies－4 小波［8－9］.

图8 ICAT与DWT的分析结果对比Fig.8 Comparison between ICAT and DWT

小波多尺度分析中，图像分解得到概貌分量表示的是原始图像的低频子带，是原始图像能量最集中的部分，体现了原始图像中的主要信息.因此，本文把概貌部分的能量统计特性作为概貌分量的一个准则来衡量相应的变换方法的优劣.

本文将概貌分量进行二维离散余弦变换(2DDCT)，对得到的离散余弦系数进行zigzag扫描，得到的DCT系数按从低频到高频依次排列.除第1个DCT系数(直流系数)外，再按照从低频到高频的顺序统计交流系数能量分别占整个交流系数总能量95%、90%的个数.如果这个数目在总的交流系统中所占的比例越小，则表明对应变换的能量集中特性更好.

实验中采用标准peppers图像，图像大小为512×512，离散小波变换采用的母小波为Daubechies－4小波.分别对一层、二层小波分析和ICAT分解得到的概貌分量进行上述的DCT系数统计分析.

1)一层分解结果.在DWT得到的概貌分量(由于采用 Daubechies－4小波，概貌分量像素大小为259×259)的交流(AC)系数当中，按从低频到高频的顺序，前5 627个低频交流系数的能量占据了整个交流系数总能量的95%，这些系数占据整个交流系数的8.39%;而ICAT概貌分量(像素大小为256×256)的统计数量为3 451个，占据整个交流系数的5.27%，仅仅是DWT结果的61%.这说明，按从低频到高频顺序统计，ICAT概貌分量中的前3 451个交流系数恢复的图像可以得到用小波概貌分量前5 627个交流系数恢复图像的质量.这意味着一层ICAT分解提取的概貌分量能量较DWT更加集中.

2)二层分解统计结果.二层DWT得到的概貌分量，其像素大小为69×69，它的交流(AC)系数当中，按从低频到高频的顺序，前1 673个交流系数的能量占据了整个交流系数总能量的95%，这些系数占据整个交流系数的35.14%.另外，前962个交流系数的能量占据了整个交流系数总能量的90%，这些系数占据整个交流系数的19.61%.采样因子为2的二重ICA方法得到的概貌分量，其像素大小为64×64，它的交流(AC)系数当中，按从低频到高频的顺序，前1 296个低频交流系数的能量占据了整个交流系数总能量的95%，这些系数占据整个交流系数的31.64%;前650个低频交流系数的能量占据了整个交流系数总能量的90%，这些系数占据整个交流系数的15.87%.这意味着基于下采样的二层ICAT分解方法提取的概貌分量与二阶离散小波变换提取的概貌分量相比，能量更加集中.

ICAT和DWT概貌分量能量统计的结果说明ICAT提取的概貌分量能量与DWT提取的概貌分量相比，能量更加集中.也就是说，可以用相对较少的DCT系数恢复出同样质量的图像.这说明，ICAT方法的稀疏性要强于DWT，即可以用较少的数据恢复相同质量的图像.众所周知，DWT能去除数据的相关性以达到减少数据的冗余的目的［10］而被应用于数据压缩，并已经作为JPEG2000压缩标准的理论基础.ICA获得的分量不仅不相关而且是统计独立的，这能在更大程度上减少数据冗余.上述实验也都证明了这一点.因此利用ICAT压缩图像时，压缩性能可能会优于DWT.

2 视频的独立动态特征分析

类似于图像的ICA分析，视频的ICA分析也有不同的模型，因此，基于ICA的视频分析可以产生不同的独立视频特征.

2.1 视频的独立块特征

将1.3节中基于图像分块的ICA特征表示［11］向视频扩展，首先将视频进行时间上的分段，然后将分段视频在空间上分块，把视频分为三维块，以这些三维块作为ICA模型中的观测分量进行ICA分解，所得到的独立块特征就是基于ICA的视频独立块特征的表示.文献［10］通过实验证明这些独立块特征与人类感知视觉中大脑皮层细胞所呈现的滤波器非常类似.图9是视频独立块特征的提取框架.

在进行三维块特征提取时，首先要将视频进行时间上的分段，即要确定视频块在时间上的跨度，然后才在空间上分块.视频在进行MPEG压缩时，通常按照GOP(group of picture，GOP)结构来对视频帧分类进行不同的压缩处理，一般GOP中包括3类帧［12］:I帧、P帧和B帧.视频压缩中最常用的一种GOP结构如图10所示.

图9 视频独立块特征的提取框架Fig.9 Framework of the independent block-based video feature extraction

图10 视频GOP中帧的典型结构Fig.10 The structure of GOP

按照视频中这种GOP的结构来对视频在时间上进行分段.分段后，再按照图9中描述的过程进行视频特征的提取，这样获得的特征被称为视频独立块特征(video independent block feature，VIBF).这个过程中的视频块特征本身也是视频的形式，称其中的视频帧为切片，以便和原视频中的帧进行区别.

2.2 视频的独立动态分量特征

基于独立块特征的表示方法能够很好地表示一段视频，然而这种独立块特征的含义并不非常明确.视频是时间轴上有序排列的连续图像序列，这些连续图像之间存在大量相似的背景信息，帧与帧之间的区别主要是通过相对运动信息来表征的.这些背景信息和相对运动信息在统计上是相互独立的，可以通过ICA技术从相邻的帧图像中分别提取出来.由此就产生了基于连续帧动态分量的第2种视频的表示方法.

假设视频中某连续的2帧图像分别为xF(i)和xF(i－1)，它们的背景信息 sF(i－1)称为静态分量，它们之间的相对运动信息sMF(i)称为运动分量.xF(i)和xF(i－1)可以看做是 sF(i－1)和 sF(i)线性叠加的结果:

式 中:xF(i)、xF(i－1)、sF(i－1)、分 别 是 xF(i)、xF(i－1)、sF(i－1)、的行向量形式.因此，ICA 可以用来分离视频中相邻2帧之间的静态分量信息和运动分量信息.图11是利用FastICA对一段视频中相邻2帧进行分解的结果.

图11 ICA分解两相邻视频帧得到的结果Fig.11 ICA analysis on two consecutive frames

文献［13］证明边缘是图像的独立成分，而由动态分量图可以看出，视频帧中物体的运动轨迹就是通过边缘体现出来的.边缘突出的地方表明发生了剧烈的运动，边缘模糊的地方只发生轻微的运动，没有边缘的地方即没有相对运动，这一结果反映了视频帧的相对运动分量，有效地描述了视频的运动过程，而提取过程避免了传统运动估计方法中重复性的块操作，减少了计算量.

同时，利用帧差法得到的帧间相对运动信息与其使用的参考帧有关，即帧间相对运动信息与静止的背景信息之间存在相关性.因此，虽然帧差法算法简单，可以较快地提取视频帧间相对运动信息，但提取的运动信息并不是真正意义上的帧间相对运动信息，在应用中鲁棒性较弱.而使用ICA提取的帧间相对运动信息是惟一的，与静止的背景信息是相互独立的，可以很好地表示视频相邻2帧之间发生的运动情况，并且在应用中具有较强的鲁棒性.

2.3 视频的独立内容特征

连续帧动态分量的表示方法能够很好地体现出视频中的运动成分，但是这种成分是由视频的连续帧获得的，表示的只是特定时间点上的运动信息，无法反映视频的整体信息.与此同时，人们发现视频中同一个视频场景中运动的对象、时序等不发生变化，由此提出基于独立内容特征的视频表示方法.

基于独立内容特征的视频表示方法首先要将视频进行镜头分割，即根据场景将视频按内容在时间上划分成段，在每段中利用主独立分量分析(principal independent component analysis，PICA)提取出基于这段视频的内容特征——视频独立内容特征(video independent content feature，VICF).

2.3.1 镜头分割

视频镜头分割，又称为视频时间上的分割，是视频处理中一个重要的研究方向.视频分割就是按照场景内容的变化将视频在时间上分成不同的段.镜头分割的方法主要有:基于像素的、基于块的、基于直方图的方法等［14］.

2.3.2 视频独立内容特征(VICF)

1)主独立分量分析.

一般地，在进行ICA分解前，先将观察信号利用主分量分析(PCA)进行预白化.若在白化过程中，只选择观察信号的协方差矩阵中主要特征值所对应的特征向量来构造白化阵，就可以实现降维，并在后面的ICA中达到对主要独立分量的优化估计，这个过程被称为主独立分量分析.主独立分量分析和一般独立分量分析的不同就在于白化时是否进行降维.镜头中的VICF就是通过主独立分量分析提取的.

2)视频独立内容特征(VICF).

将同一个镜头内视频帧作为ICA模型中的观察信号进行PICA分解，就可以得到基于视频内容的独立特征VICF.

图12 手弹钢琴视频中的帧Fig.12 Frames in the video of fingers playing piano

图13是用FastICA对这段视频进行主独立分量分析的结果，在进行PCA预白化时，维数降至6，b1－b6是得到的 6 个 VICF;p1－p6为 PCA 白化后得到的6个主特征分量的帧形式.图13(a)～(f)是PI－CA提取出来的VICF.其中(a)～(e)中灰度显著的地方显示了弹下的钢琴键，b1～b5分量分别对应第4键、第2键、第1键、第3键和第5键.VICF是从同一内容的视频帧中提取出来的特征帧，是视频内容的本质特征，对视频中的各种处理有很强的鲁棒性.

图13 PICA分解得到的独立分量帧Fig.13 Principal independent content feature frames obtained by PICA

3 基于ICA的图像数字水印

数字水印技术是一种将特制的、不可见的标记隐藏在数字图像、声音、视频等数字内容中，由此可以确定版权拥有者，认证数字内容来源的真实性等.数字水印系统通常包含2个部分:水印信息的嵌入和水印信息的提取或检测，一般要求水印具有不可见性、鲁棒性和较大的信息容量［17－21］.水印嵌入和检测模型如图14所示.

图14 水印嵌入和检测模型Fig.14 Models of watermark embedding and detection

可以看出，ICA的混叠/分离模型与水印的嵌入/提取在某种程度上是相通的.因此，将ICA与水印技术结合，就可以得到基于ICA的图像/视频水印方案.下面分别给出基于混叠图像盲分离的图像水印检测方案.

3.1 直接水印方案

方案利用ICA的混叠/分离模型，在时空域中将水印图像直接叠加到载体图像上.在水印嵌入时，将水印图像作为一个弱信号嵌入到载体图像中，得到的嵌入水印的图像就是载体图像和水印图像的混叠;在水印检测时，从待检测的载体图像中提取出水印图像，通过与原始水印图像的比较来判断待检测的载体图像中是否嵌入水印.水印嵌入及提取的方案框图如图15所示［17］.

图15 空域中嵌入及提取水印的方案Fig.15 Framework of watermarking embedding and extraction in spatial domain

1)水印的嵌入和提取.

选择2幅尺寸相同的图像分别作为载体图像I和水印图像w，将其看作ICA模型的2个源信号.水印的嵌入过程用公式表示如下:

为了满足水印不可见性的要求，Am中|a11|≫|a12|，并且可以通过调节它们2个的比例关系来调节水印的不可见程度，其中a21、a22均不为零.

检测水印时，可以将混叠矩阵和密钥矩阵联合起来通过水印嵌入过程的逆过程分离出水印信息;然而这种检测方法对于混叠矩阵的保密性不好，并且由于水印检测的病态性，这样的检测方法会使水印的鲁棒性变差.因此，这里采用ICA算法进行水印的分离，获得到分离矩阵Wm后，利用式(1)进行分离和提取水印.如果待检测的水印图像为I'w，则提取过程的公式表示如下:

式中:x'Iw为待测水印图像I'w的行向量形式，s'w为提取出来的水印图像w'的行向量形式，行向量s'I为一个与原始载体图像类似的图像I'的向量形式.Wm为提取水印时的分离矩阵.

2)仿真实验

图16 混叠后得到的图像Fig.16 Two mixture images

对加水印的图像进行不同的攻击处理，然后对加水印的图像进行攻击，并从攻击后的图像中提取水印.图17(a)、(b)是经过JPEG压缩后的图像以及从中提取出来的水印.图18(a)、(b)是中值滤波处理后的图像以及从中提取出来的水印.

图17 JPEG压缩后的图像及提取出的水印Fig.17 Watermarked image with JPEG compression and the watermark extracted from it

从仿真结果可以看出，空域中基于ICA叠加/提取的数字水印方案，其优点是嵌入水印信息的量比较大，且对于一些比较猛烈的攻击，在密钥图像的辅助下，具有良好的鲁棒性.

其他文献中将这种思想在不同变换域或者不同分量上进行了应用.文献［28］中将原始图像和数字水印进行相同的ICA分解后，在原始图像分解后的系数上叠加水印分解后的系数，从而完成水印的嵌入;文献［29－30］中将图像先进行小波变换或者Ridgelet变换，在变换的系数上通过水印的混叠来完成嵌入，提取时，在变换域上通过ICA分解来提取出混叠的水印;文献［31］将图像的RGB 3个分量作为3个混叠图像进行ICA分解，在得到的特征上进行水印的嵌入和提取.这些方法在一定场合下都得到了很好的结果.

图18 中值滤波后的图像及提取出的水印Fig.18 Watermarked image with median filtering and the watermark extracted from it

3.2 基于ICA的抗拷贝攻击的图像水印方案

“拷贝攻击”是水印攻击中容易引起版权混淆和纠纷的一种攻击.为了对抗“拷贝攻击”，往往需要在嵌入水印的同时，嵌入表征图像的签名信息.针对于这种嵌入水印时有原始图像、水印图像和签名图像3个图像信息，而提取时则只有待检测图像和密钥图像2个信息的情况，文献［19］介绍了一种解决方法.这种方法将原始图像的签名连同水印信息一同嵌入到原始图像中;在接收端，将待检测图像和密钥图像作为2个观测信号，通过在提取/检测过程中多次采用ICA分解，并结合源信号的一定先验知识，实现从2个观测信号中分离出原始图像、原始图像的签名以及水印信息.

1)水印的嵌入和提取.

嵌入水印时，首先将原始图像进行多层小波分解，并将其逼近子图作为源信号s1，水印和原始图像的IS分别作为源信号s2和s3.然后将s1、s2和s3表示成行向量形式，利用ICA混叠模型x=As进行混叠实现水印的嵌入.在这里，为了降低密钥管理的复杂度，简化水印应用过程，随机产生一个2×3维的矩阵A=(aij)2×3作为混叠矩阵，即有如下嵌入模型:

最后选取x1作为嵌入水印和IS的小波逼近子图，x2为私钥阵.对x1进行小波反变换，就完成了整个嵌入过程.为了满足水印的不可见性要求，混叠矩阵 A 中应满足a12，a13≪a11(a12+a13≈0.1a11).如果密钥阵x2中含有水印信息，则在提取/检测阶段，对于不含水印的图像，仍然能够将水印提取出来，这是由于不管源信号如何混叠，ICA方法都可以仅通过观测信号来恢复或提取源信号，因此为了降低虚警率，a22取值应为零.a22=0使得密钥阵中含有IS信息而不含水印信息，这使得在提取/检测时，s3将获得比s2更高的鲁棒性，因此使a12＞a13从而进一步提高水印的鲁棒性.

提取/检测水印时，首先将嵌入水印的图像的小波逼近子图和私钥矩阵用行向量表示，并分别看作是2个观测信号x1和x2，利用ICA分离训练公式得到分离矩阵w1∈R2×2，对x1和x2进行ICA运算，得到分离信号y1和y2，即

从式(3)可以看出，本质上y1和y2也是源信号s1、s2和s3的线性组合.其次，将y2作为一个观测信号x3，将^s3作为另一个观测信号x4，对x3和x4进行ICA运算，用矩阵W2∈R2×2进行分离，得到水印s2和签名s3:

2)仿真实验及结论.

表1给出了在几种常规攻击下提取的水印与原水印之间的NC值，各类攻击分别为:1)均值为0.1，方差为0.001 5的高斯噪声攻击;2)3×3中值滤波;3)剪切掉“Lena”图像的眼睛部分;4)JEPG压缩，其中压缩比率为16.624;5)尺度变换，即采用“Bilinear”方法先将图像扩大为原图像的2倍，再缩为原图像大小.从表1中可以看出，此水印算法具有较好的鲁棒性，所测NC值均高于给定的阈值0.85.

表1 常规攻击下提取的水印与原水印NC值比较Table 1 NC comparison between the original and extracted watermarks under usual attacks

图19 水印嵌入前后图像及水印Fig.19 Images with and without watermark and watermark

4 基于ICA的视频水印方案

视频水印技术利用视频数据中存在的时间冗余和空间冗余，把表征版权的水印信息嵌入到数字视频内容中，在不影响视频质量的前提下，达到版权保护和内容完整性检验的目的.

与图像水印技术相比，视频水印具有自身固有的一些特征，视频水印算法还有一些特殊的要求，如视频具有更大的信号空间，因而具有更大的隐藏信息容量;但易受剪切、帧频改变、帧重组、掉帧等一些特有的攻击的影响.

4.1 基于独立内容特征的视频水印方案

不管视频经过什么样的处理，惟一保持不变的是视频内容，因而视频内容对各种处理鲁棒性最强.

利用2.3节中描述的视频独立内容特征分析，提出一种基于ICA和独立视频内容特征的视频水印方案［22］.先将视频通过镜头分割在时间上分段，再对每个段进行ICA分解，将得到的独立分量帧看作图像，采用现有的图像水印方法，在每个段分解得到的主独立分量帧上嵌入水印.由于视频中的主独立分量帧对于各种视频处理有很好的鲁棒性，因此在嵌入水印时只要采用盲图像水印方案就可以达到视频水印的盲检测.这里采用了基于量化思想的SWE(single watermark embedding)方案［23］.

在水印提取时，先提取待检测视频的主独立分量帧，再从每个主独立分量帧中检测水印.

仿真实验中选用一段73帧的广告作为实验视频，视频中有3个镜头，帧率为25帧/s，帧大小为272×352.水印是有山东大学字样的二值图像，大小为32×32.

在每个提取出来的VICF上都嵌入相同的水印，并且进行下面的10个攻击实验，基于帧的攻击:1)3×3中值滤波，2)帧尺寸缩小2倍，3)帧旋转0.5°，4)密度为0.02 的椒盐噪声，5)均值为0，方差为0.001的高斯噪声;基于视频的攻击:6)各视频段内部的帧交换，每5帧中任选2相邻帧进行交换，7)帧丢失，每6帧中任意丢失一帧，8)帧率从25～30帧/s，持续时间不变，帧数从73增为85，9)帧率从25～24帧/s，持续时间不变，帧数从73减为69，10)各视频段内部的共谋攻击.这些实验都是在视频经过了MPEG2压缩后进行的.这里没有选用帧数不变而持续时间变化的帧率变化，是因为这种帧率变化对于视频帧没有任何的影响，和没有帧率变化的情况下进行提取是相同的.图20(a)～(j)分别对应(a)～(j)攻击后提取出来的水印.1)～10)每个子图中的3个水印，从左向右分别对应每种攻击后从第1、2、3段中提取出来的水印.图20(k)是原始水印.

图20 各种攻击下视频各镜头中提取的水印Fig.20 Watermarks extracted from different video shots under various attacks

实验结果表明，这种方案对于常见的基于帧的攻击，如中值滤波、尺度伸缩、椒盐噪声、高斯噪声等有很好的鲁棒性;对于常见的基于视频的攻击，如MPEG2压缩、帧交换、帧丢失、帧率变化、共谋攻击等也有很好的鲁棒性.对于空间上不同步的攻击(如旋转)，有一定的鲁棒性;而对于时间不同步的攻击(如帧交换、帧丢失、帧率变化)，有很好的鲁棒性.

4.2 基于运动区域定位的盲视频水印方案

2.2节介绍了利用ICA从视频相邻2帧中提取包含相对运动信息的运动分量帧，考虑人眼对运动区域及其邻近区域的变化敏感性相对较低的视觉特性，通过运动区域的定位，将水印嵌入原始视频帧的运动区域内［24］，且采用基于视觉模型的QIM算法，在保证水印不可见的前提下，使水印对高斯白噪声、MPEG－2压缩、帧删除和帧剪裁等攻击具有较高的鲁棒性.

由于人眼对纹理细节和边缘分布丰富的运动区域及其邻近区域的变化敏感性相对较低，利用ICA提取运动分量信息，并根据此定位视频帧中运动最为剧烈的部分作为水印嵌入的区域.首先，通过ICA分析得到2帧共有的静态分量和相对运动分量.通过定位运动分量帧中纹理显著的区域，可以实现对原始视频帧中运动区域的定位.

图21描述了运动区域定位过程.首先，用16×16的宏块对运动信息帧进行初步的运动区域定位.文献［24］中用宏块中各互不重叠的8×8小块的方差和作为衡量运动剧烈程度的标准，即认为方差和大的宏块运动更剧烈.其次，以方差和最大的宏块为中心确定一个方形区域(8n×8n，相应地嵌入水印的信息量为n×n)，此区域对应至原视频帧中，即为定位得到的运动区域.

图21 运动区域定位Fig.21 Motion region locating

采用基于Watson’s视觉模型［25］的量化索引调制算法［26］嵌入水印.检测水印时，仍然用ICA提取相对运动分量，对接收到的视频帧进行运动区域定位，利用与嵌入相反的过程提取水印.

仿真试验截取了一段北极熊视频作为载体视频，共包含50帧图像，每帧图像大小为272×352，帧率为25帧/s.使用的水印为由0、1组成的二进制伪随机序列，长度为100(相应地，确定的运动区域的大小为80×80).嵌入水印时，嵌入水印的强度beta设为18，使视频在保持良好的视觉质量的前提下仍然具有较好的鲁棒性.

为证明算法的鲁棒性，实验采用一些常见的信息处理方式对水印视频进行处理，包括各种均值为0.方差不同的高斯白噪声攻击，在保持视频时长或帧数不变的前提下采用不同帧率的MPEG－2压缩，以及帧删除和帧剪裁攻击.其中，帧删除中随机删掉视频中约10%的帧，即视频丢失5帧图像.对于实际视频应用中经常遭受的帧剪裁攻击，又进行了各帧统一顺序剪裁和随机剪裁，以及各帧随机剪裁不同的行列等3种实验方式.图22给出了视频遭受攻击后的水印检测结果.在试验中，采取用与剪裁处相隔5行/列的行列填充于剪裁处.

图22 视频水印检测结果Fig.22 Watermark extraction results

仿真结果证明了本方案对高斯白噪声、MPEG－2压缩、帧删除及帧剪裁攻击有较高的鲁棒性.

5 结束语

本文总结了近年来基于ICA的图像/视频分析的方法研究及其在多媒体水印中的应用.盲信号分离方法近年来不断出现新的成果，欠定盲分离、非线性盲分离分析、张量分析和潜变量分析等，其在图像和视频分析领域的应用也在不断拓展.本文只是总结了自己基于ICA的图像和视频特征提取的研究及其在数字水印领域的应用成果，实际上还更多其他人的类似研究及成果需要在以后的工作中有加以总结.

［1］MALLAT S A.Theory for multiresolution signal decomposition:the wavelet representation［J］.IEEE Trans Pattern A－nal Mach Intel，1989，11(7):674－693.

［2］COMON P.Independent component analysis，a new concept［J］.Signal Processing，1994，36:287－314.

［3］HYVRINEN A，OJA E.A fast fixed－point algorithm for independent component analysis［J］.Neural Computation，1997，9(7):1483－1492.

［4］HYVARINEN A，KARHUNEN J，OJA E.Independent component analysis［M］.New York:John Wiley，2001:21－35.

［5］HURRI J，HYVARINEN A，KARHUNEN J，et al.Image feature extraction using independent component analysis［C］//Proc IEEE Nordic Signal Processing Symposium.Espoo，Finland，1996:475－478.

［6］Van HATEREN J H，Van DER SCHAAF A.Independent component filters of natural images compared with simple cells in primary visual cortex［J］//Proceedings Royal Society of London:Biological Sciences，1998，265(1394):359－366.

［7］ZHANG Qiang，SUN Jiande，LIU Ju，et al.A novel ICA－based image video processing method［C］//ICA 2007，LNCS 4666，［S.l.］，2007:836－842.

［8］MALLAT S.Wavelets for a vision［J］.Proceedings of the IEEE，1996，84(4):604－614.

［9］ANTONINI M，BARLAUD M，MATHIEU P.Daubechies:image coding using wavelet transform［J］.IEEE Transactions on Image Processing，1992，1(2):205－220.

［10］SWANSON M D，ZHU B，TEWFIK A H.Multiresolution scene－based video watermarking using perceptual models［J］.IEEE Journal on Selected Areas in Communications，1998，16(4):540－550.

［11］Van HATEREN J H，RUDERMAN D L.Independent component snalysis of natural image sequences yields spatio－temporal filters similar to simple cells in primary visual cortex［J］//Proceedings of the Royal Society.London B，1998，265(1412):2315－2320.

［12］TEKALP A M.Digital video processing［M］.北京:清华大学出版社，1998:15－30.

［13］BELL A J，SEJNOWSKI T J.Edges are the independent components of natural scenes［M］//Advances in Neural Information Processing Systems 9.Cambrige:The MIT Press，1996:831－837.

［14］HOYER P O，HYVARINEN A.Independent component analysis applied to feature extraction from color and stereo images［J］.Network:Computation in Neural Systems，2000，11(3):191－210.

［15］SMARAGDIS P，CASEY M.Audio/visual independent components［C］//4th International Symposium on Independent Component Analysis and Blind Signal Separation.Nara，Japan，2003:709－714.

［16］孙建德，刘琚.基于独立分量分析的盲视频水印方案［J］. 电子学报，2004，32(9):1507－1510.

SUN Jiande，LIU Ju.A blind video watermarking scheme based on independent component analysis［J］.Acta Electronica Sinica，2004，32(9):1507－1510.

［17］刘琚，孙建德，基于ICA的数字水印的方法［J］.电子学报，2004，32(4):657－660.

LIU Ju，SUN Jiande.A new scheme of digital watermarking based on independent component analysis［J］.Acta Electronic Sinica，2004，32(4):657－660.

［18］KUTTER M，VOLOSHYNOVSKIY S，HERRIGEL A.The watermark copy attack［C］//Proc of SPIE:Security and Watermarking of Multimedia ContentsⅡ.San Jose，USA:SPIE，2000，3971:371－380.

［19］胡慧博，刘琚，孙建德.基于 ICA的抗拷贝攻击的数字水印方案［J］.电子与信息学报，2005，27(7):1035－1038

HU Huibo，LIU Ju，SUN Jiande.An ICA－based watermarking scheme resistant to copy attack［J］.Journal of E－lectronics＆ Information Technology，2005，27(7):1035－1038.

［20］LIU Ju，ZHANG Xingang，SUN Jiande.A digital watermarking scheme based on ICA detection［C］//4th International Symposium on Independent Component Analysis and Blind Signal Separation.Nara，Japan，2003:215－220.

［21］凌洁，刘琚，孙建德，等.基于视觉模型的迭代AQIM水印算法［J］. 电子学报，2010，38(1):151－155.

LING Jie，LIU Ju，SUN Jiande，et al.Visual model based iterative AQIM watermark algorithm［J］.Acta Electronica Sinica，2010，38(1):151－155.

［22］SUN Jiande，LIU Ju.A novel blind video watermarking scheme based on independent dynamic component［J］.Multidimensional Systems and Signal Processing，2006，17(1):59－74.

［23］YU D，SATTER F，MA K K.Watermark detection and extraction using ICA method［J］.EURASIP Journal on Applied Signal Processing，2002，1:92－104.

［24］SUN Zhaowan，LIU Ju，SUN Jiande，et al.A motion location based video watermarking scheme using ICA to extract dynamic frames［J］.Neural Computing ＆ Applications，2009，18(5):507－514.

［25］WATSON A B.DCT quantization matrices visually optimized for individual images［C］//Proc SPIE on Human Vision，Visual Processing，and Digital Display Ⅳ.San Jose，USA，1993:202－216.

［26］CHEN B，WORNELL G W.Quantization index modulation:a class of provably good methods for digital watermarking and information embedding［J］.IEEE Transactions on Information Theory，2001，47(4):1423－1443.

［27］SUN Jiande，LIU Ju.A blind video watermarking scheme based on ICA and shot segmentation［J］.Science in China Series F，2006，49(3):302－312.

［28］GONZÁLEZ－SERRANO F J，MURILLO－FUENTES J J.Independent component analysis applied to image watermarking［C］//Proc IEEE ICASSP.Lake City，USA，2001:1997－2000.

［29］MANGAIYARKARASI P，ARULSELVI S.A new digital image watermarking based on finite ridgelet transform and extraction using ICA［C］//Proceedings of ICETECT.Tamil Nadu，India，2011:837－841.

［30］JADHAV S，BHALCHANDRA A.Robust digital image－adaptive watermarking using BSS based extraction technique［J］.//International Journal of Image Processing，2010，4(1):77－88.

［31］CHAUDHARI B P，GULVE A K.Approaches of digital image watermarking using IC［C］//Proceedings of ISCET.Punjab，India，2010:32－46.

刘琚，男，1965年生，工学博士，教授、博士生导师.现为山东大学信息科学与工程学院学术委员会副主任，通信工程系主任;中国电子学会高级会员、IEEE高级会员(Senior Member);国内外期刊International Journal of Swarm Intelligence Research(IJSIR)、《通信学报》和《数据采集与处理》等编委.主要研究方为多媒体信息处理、无线通信中空时信号处理，盲信号处理理论与应用等.参加了国家重点基础研究发展规划(973)项目和欧盟项目等.主持承担了国家自然科学基金、高等学校科技创新工程重大项目培育资金项目等课题10余项.曾获江苏省科技进步一等奖和中国高校自然科学二等奖等，授权发明专利8项，在国内外核心期刊或重要学术会议上发表学术论文200余篇.

孙建德，男，1978年生.工学博士，副教授.主要研究方向为基于内容的多媒体分析、基于视觉关注模型的图像/视频分析、图像/视频复制检测、多媒体信息隐藏和数字水印、2D－3D视频转换等.主持并参与了国家自然科学基金等课题10余项.在国内外期刊和重要国际学术会议上发表论文30余篇.

Independent component analysis-based image/video analysis and applications

LIU Ju，SUN Jiande
(School of Information Science and Engineering，Shandong University，Ji’nan 250100，China)

The application of image and video is becoming increasingly popular with the development of computer and communication techniques.One of the important methods applied in image and video information analysis is to obtain suitable features which approach the visual characteristics of humans.Independent component analysis(ICA)is an unsupervised training method which effectively matches human vision with image and video understanding.In this paper，different image/video analysis models of ICA were presented and the independent image/video features based on these models were analyzed.A comparison between multimedia ICA and digital wavelet transform(DWT)was performed.Finally，computer simulation results on various analysis methods were given to show the independent features of different models and their applications in image and video watermarking.The results of the application simulations show that the independent features may make improvements for image and video watermarking.

independent component analysis;feature extraction;video analysis;digital watermarking

TP18;TN911.7

A

1673－4785(2011)06－0495－12

10.3969/j.issn.1673－4785.2011.06.004

2011－01－03.

国家自然科学基金资助项目(60872024，61001180，60970048);高等学校科技创新工程重大项目培育资金资助项目 (708059);山东大学资助创新基金资助项目(2010JC007);教育部博士点专项基金资助项目(新教师项目，200804221023).

刘琚.E－mail:juliu@sdu.edu.cn.