基于稀疏贝叶斯模型的视频恢复方法研究*

朱 立

(广东技术师范学院工业实训中心，广东 广州 510665)

网络技术的迅速发展和大量视频数据的产生和传播，使视频信息在数据库中快速、准确的有效查找与恢复成为信息领域很重要的一种技术需求。例如，从优酷网站搜索感兴趣的节目内容，媒体公司要限定版权保护及其视频源位置，而加密系统也要检测其合法性请求。目前，一些算法通过索引或Hash来改进搜索效率。例如，文献[1-4]使用了索引树结构进行视频查找和恢复，文献[5]利用几何Hashing建立数据库的索引对视频源进行处理。在文献[6]中，结合PCA(主成成份分析)和空间划分技术， Gao.L推出了一种kd-树索引机制的视频源追踪恢复方法。文献[7]使用RP(随机投影)技术把视频图像投影到不同的搜索空间，并在每个空间上分别使用kd-树进行视频恢复。

最近，稀疏性和压缩感知理论在信号分类及其信号恢复的判别性能领域得到了广泛研究，并引起了学术界的巨大兴趣[8-10]。借鉴其最新的研究成果，本文主要研究视频信息恢复中的稀疏表示方法和判别属性。我们的目的是从视频数据库样本中寻找所需要的视频节目的最稀疏表示。首先对开始视频帧建立统一的数据库，然后利用压缩感知中的稀疏(Sparse)理论和贝叶斯(Bayesian)参数估计算法在数据库中研究视频的稀疏表示，最后对估计的视频稀疏系数进行分类并通过稀疏矩阵解决视频的恢复问题。

1 视频信息的稀疏表示

通过级联不同的视频内容，视频数据库的信息可表示为如下的矩阵形式

A=[a1,1,a1,2,...,a1,N1,...,aK,1,...,aK,NK]

(1)

这里，ai,j,i=1,...,K,j=1,...,Ni,代表了第i个视频的第j帧。每个ai,j假设是大小为M=VH的列向量，V和H代表每个帧的垂直、水平的维数。简便起见，(1)式可写为

A=[a1,a2,...,aN]

(2)

(3)

yi表示了第i帧，而S为视频夹的长度。通过移位(1)中的列，我们可以建立如下的矩阵

(4)

那么，y可以表示为一种稀疏形式

(5)

x0=(0,…,0,1,0,…,0)T是一种稀疏矢量，其中对应的某个视频夹y在数据库的位置为1，其余所有系数都等于0。对于需要搜索的视频夹y，寻找对应的x0的方法可以通过压缩感知理论CS(Compressed Sensing)求解。在噪声环境下，CS求解系统可以模型化为

(6)

n表示(SM×1)维零均值方差为β-1的高斯噪声矢量。使用CS理论中的最小l1范数解决(6)式的形式为

α‖x‖1}

(7)

其中，‖·‖1表示l1范数。

2 基于S-Bayesian视频恢复算法

2.1 S-Bayesian视频参数的估计

P(x,α,β,y)=P(y|x,β)P(x|α)P(α)P(β)

(8)

这里，α为视频类型属性，β为0均值、方差为β-1的某类视频信息。根据噪声特性，(8)式右边第一项可以写作为

(9)

由文献[12]可知，最小l1范数等价于分级优先拉普拉斯算法对系数x的处理，也就是

(10)

(11)

这里，α=(α1,α2,…,αN)，λ为调节因子。根据此条件，信号分布P(x|y,λ,β)可以被估计为多变量高斯分布N(x|μ,Σ)，具有参数：

(12)

(13)

Λ=diag(1/αi),参数α通过似然函数可以估计

(14)

(15)

(16)

2.2 视频信息分类

(17)

定义一个阈值δ，当且仅当Xcomp只有一个非0值，并满足(18)式时，我们认为视频信息在数据库中

≤δ

(18)

2.3 视频特征提取

为了实现不同视频帧之间的有效搜索，需要对视频信息的特征进行提取。假设使用PCA(主成成份分析)生成的矩阵D∈RT×M(T<

(19)

3 仿真结果

表1 搜索一个视频节目的CPU时间

实际上，由于编码、通信和图像格式转换，视频夹经常受到噪声攻击。为此，我们加入不同级的高斯噪声到视频图像，使图像PSNR=20 dB,25 dB,30 dB和35 dB。图1说明了一个数据库中的原始视频帧图像及其对应的20 dB噪声帧图像。

图1 噪声测试视频帧

为了和PCA、RP(随机投影)等相关的算法进行比较，我们采用精度-恢复率曲线(Precision-recall ratio curves)来分析S-Bayesian算法实现的性能。对于给定的阈值δ，设a表示恢复了相关视频夹的数目，b代表相关视频夹没有被恢复的数目，c为恢复的非相关视频夹数目。则，Precision=a/(a+c)，而recall ratio=a/(a+b)。再改变阈值δ，计算相应方法的Precision和recall值，就可以描绘一定算法实现视频夹的精度-恢复率曲线。

图2 PCA，RP和S-Bayesian算法实现视频夹的精度-恢复率曲线

图2(a)和(b)中，分别设置T=4，S=3，PSNR=20 dB和T=4，S=7，PSNR=20 dB，比较了不同算法确定视频夹的精度-恢复率曲线。由图2(a)可见，PCA性能优于RP实现算法，而S-Bayesian算法又优于PCA实现算法。相同的条件下，由图2(b)可见，RP性能优于PCA实现算法，而S-Bayesian算法又优于RP实现算法。在此情况下，S-Bayesian算法的Precision=1，而Recall ratio≤0.98。

4 结 论

借鉴CS稀疏表示理论和Bayesian参数估计模型，本文提出了一种快速有效的视频信息搜索和恢复的稀疏贝叶斯(S-Bayesian)算法。算法利用Bayesian参数估计得到视频信息的稀疏表示特性，并通过稀疏性对视频进行分类，最后由稀疏矩阵把视频图像空间投影到特征空间确定解决了视频信息恢复问题。实验结果表明，本文提出的方法比PCA和RP具有更好的恢复性能和更强的鲁棒性。

参考文献：

[1]HSU C T,TENG S J.Motion trajectory based video indexing and retrieval[C]∥Proc International Conference on Image Processing,2002,1(I):605-608.

[2]MEZARIS V,KOMPATAIARIS I,BOULGOURIS N V,et al.Real-time compressed-domain spatiotemporal segmentation and ontologies for video indexing and retrieval[J].IEEE Trans.on Circuits and Systems for Video Technology,2004,14 (5): 606-621.

[3]YUAN J,DUAN L Y,QI Tian,et al.Fast and robust short video clip search using an index structure[C]∥Proc of 6th ACM SIGMM International Workshop on Multimedia Info Retrieval (MIR),2005：61-68.

[4]SNOEK C G M,WORRING M.Multimedia event-based video indexing using time intervals[J].IEEE Trans on Multimedia,2005,7( 4): 638-647.

[5]FAN J,ELMAGARMID A K,ZHU X,et al.Classview: Hierarchical video shot classification,indexing,and accessing[J].IEEE Trans on Multimedia,2004,6(1): 70-86.

[6]GAO L,LI Z，KARSAGGELOS A K.Fast video shot retrieval with luminance field trace indexing and geometry matching [C]∥Proc IEEE Int Conf on Image Processing (ICIP),2006：1497-1500.

[7]GAO L,LI Z，KARSAGGELOS A K.A video retrieval algorithm using random projections[C]∥Proc IEEE Int Conf on Image Processing (ICIP),2009：797-800.

[8]STARCK J L,MURTAGH F,FADILI J.Sparse image and signal processing: wavelets,curvelets,morphological diversity[M].Cambridge：Cambridge University Press,2010.

[9]ELAD M,FIGUEIREDO M A T,YI M.On the role of sparse and redundant representations in image processing[J].Proceedings of IEEE,2010,6(3): 972-982.

[10]WRIGHT J,YI M,MAIRAL J,et al.Sparse representation for computer vision and pattern recognition[J].Proceedings of IEEE,2010,6(1):1031-1044.

[11]BABACAN S D,MOLINA R，KARSAGGELOS A K.Parameter estimation in TV image restoration using variational distribution approximation[J].IEEE Transactions on Image Processing,2008,17(5): 326-339.

[12]BABACAN S D,MOLINA R，KARSAGGELOS A K.Bayesian compressive sensing using laplace priors[J].IEEE Trans on Image Processing,2010,19(1):53-63.

[13]赵慧民，郭一缜,丁晓艳，等.用于视频多播传输的压缩传感实现方法研究[J].中山大学学报:自然科学版,2012,51(1):45-49.