压缩感知与动态纹理模型的视频信号分类

蒋行国，李志丰，张 龙

（桂林电子科技大学 信息与通信学院，广西 桂林541004）

压缩感知与动态纹理模型的视频信号分类

蒋行国，李志丰，张 龙

（桂林电子科技大学 信息与通信学院，广西 桂林541004）

针对视频数据的动态纹理特性，提出结合视频压缩感知技术，首先通过压缩采样技术对视频数据进行采样，得到少量的采样数据；然后建立线性动态系统模型，通过少量的压缩采样数据直接估计出模型参数；最后通过计算模型间的马氏距离实现动态纹理视频数据的分类。实验结果表明，提出的压缩感知参数估计方法在20%的低采样率情况下，对交通视频数据的分类正确率达到87%以上。

动态纹理模型；压缩感知；马氏距离；视频信号分类

0 引言

早期交通视频的分类方法[1]是使用车辆分割或目标跟踪技术的方法进行判别分类，但是由于这种方法计算量较为复杂且对视频分辨率有较高的要求，所以不适合多目标情况下的分类应用。Saisan等人提出一种基于动态纹理模型参数间距离的识别方法，这种方法不需要提取局部特征，而是将图像序列看作是一个二阶平稳随机过程。基于此，Antoni在文献[2]中提出了基于动态纹理模型的交通视频分类方法，对已知的交通图像序列进行模型参数化，根据模型参数计算各模型间 Martin距离[3]实现对交通视频的检索和分类。然而，由于视频数据的动态短暂性，使得对传统采样方法的采样率的要求随之变高，且采样获得的视频数据量大，不便于储存。近年来，高速发展的压缩技术很好地解决了这一问题。压缩感知[4]是美国科研学者 Donoho提出的一种新的采样方法，即当信号为稀疏或可稀疏信号时，能够通过获得的随机采样少量数据实现对原始信号的精确重构。该文方法在视频传统分类方法的基础上结合了压缩采样技术，首先，对每帧图像用统一压缩测量矩阵进行观测，利用得到的测量数据通过奇异值分解的方法估计出模型的动态参数；其次，使用一个时变的测量矩阵对每帧图像进行测量，由于得到测量数据之间的不相关性质，结合已估计得到的模型动态参数，通过求解一个凸优化问题估计出系统模型的静态参数；最后，通过压缩测量数据直接得到的模型参数进行模式判别，从而实现低采样率下的交通视频分类。

1 动态纹理模型与距离度量

1.1 线性动态系统

线性动态系统（LDS）模型是 Soatto等人[5]提出的用来描述动态纹理变化特征的模型，其主要目的是通过建立一个数学模型来描述一个物理系统的动态特征，图像序列的动态纹理模型可定义如下：

其中xt∈Rd是 d维的隐藏（状态）随机变量，yt∈RM是 M维的视频序列。A∈Rd×d表示状态转移矩阵，C∈RM×d表示观测矩阵，vt、wt表示噪声信号，有 vt～N（0，R）、wt～N（0，Q），Q∈RM×M和 R∈RM×M表示计算处理过程和观测过程的噪声矩阵。动态纹理可以由线性动态系统模型中的参数集 Θ=｛A，C，x0，R，Q｝来表示，不考虑噪声信号，动态纹理模型可由参数集Θ=｛A，C｝确定。在已知N帧完整视频序列信号=[y1，y2，…，yN]的情况下，文献[6]通过实验提出一种简单有效的参数估计方法，即通过对进行奇异值分解，=UΣVT，纹理模型的参数可由如下计算式表示：

1.2 Martin距离

将动态纹理的模型参数A、C组成一个新的变量M=（A，C），并生成一个拓展的观测矩阵，如下所示：

动态纹理间的Martin距离可用On（M1）和On（M2）列向量的主角来定义，如下式所示：

其中 θi表示拓展观测矩阵 On（M1）和 On（M2）之间的第i个主角。马氏距离的大小代表了两个纹理模型之间的相似程度，通过计算马氏距离能够对交通视频进行分类，其分类框架如图1所示。

图1 传统动态纹理模型的交通视频分类框架（DTC）

2 视频压缩感知与模型参数估计

2.1 视频压缩感知

在本文中，规定yt∈RM表示视频信号的第t帧图像，=[y1，y2，…，yN]表示为 N帧原始图像序列，在视频压缩感知[7]中，通过如下压缩采样公式对视频信号进行逐帧采样：

其中 zt、Φt、yt分别表示 t时刻的压缩测量值、测量矩阵以及原始视频帧。式（9）是一个凸优化规划问题，当yt为稀疏信号时，使用L1-Minimization算法求其最优解就能够精确恢复原始视频帧，即少量的随机采样数据已经包含了原始视频帧的足够信息。基于此，本文结合视频压缩感知技术，对交通视频信号进行压缩采样，从少量采样数据中直接估计模型参数，实现交通视频的分类（2.2节将作详细讨论），降低了硬件系统编码端的结构复杂度。其分类框架如图2所示。

图2 压缩感知与动态纹理模型的交通视频分类框架（CS-DTC）

2.2 模型参数估计

2.2.1 状态转移矩阵的估计

2.2.2 观测矩阵的估计

由2.2.1节可知，利用压缩采样技术能够有效地估计出状态向量的估计值，结合式（2）和式（9），得到下式：

图3 传统方法和本文方法估计状态向量的对比图

由上式可知，通过解决如下一个凸优化问题：

其中ci表示观测矩阵C的第i列，Ψ表示ci的稀疏基。通过求解上式的凸优化问题得到观测矩阵的估计Cˆ。本文采用CoSaMP算法求解式（13），在文献[9]中有详细的算法求解过程，本文不再赘述。综上所述，本文通过压缩采样得到少数测量值，通过少量测量值直接有效地估计出纹理模型参数，其参数估计框架如图4所示。

图4 本文的动态纹理模型参数估计框架

3 实验结果与分析

本文从网站[8]下载得到交通视频样本数据库，数据库是由西雅图高速公路上固定相机拍摄的254个视频数据组成，数据库中考虑了多种天气条件（下雨、晴天、阴天）下的交通视频数据，为了更方便有效地进行实验测试，本文将下载得到视频数据库中的视频数据进行像素修剪，将每个视频数据体素变为64×64×40的灰度数据。为了证明本文方法能够有效估计出交通视频信号的动态纹理模型参数，本文选取编号为“cctv052x2004080516x01638”的交通视频序列作为实验样本，通过本文提出的方法对视频序列进行参数估计，其中本文方法参数设置如下：=60，d=10，comp=5，稀疏基选择为小波基，其中 comp表示压缩采样比，即comp=（+）/M，仿真得到如图5的实验结果图，其中图（a）为原始交通视频序列，图（b）为根据本文方法（CS-DTC）估计得到模型参数恢复的交通视频序列。

图5 本文方法估计参数得到的视频效果图

通过上面的实验结果可知，本方法能有效估计出交通视频序列的模型参数A、C。为了更为直观看出本文方法对交通视频有较好的分类效果，对通过下载得到的254个视频样本进行分类测试，视频库已经通过人工标记，其中包含44个重度（heavy）交通视频（车流量较大，车流速度缓慢或停止）、45个中度（medium）交通视频（车流量一般，车流程减速运动）、165个轻度（light）交通视频样本（车辆量较少，车流程匀速运动）。本文将75%的数据作为实验的训练样本，25%的数据作为测试视频样本，本文方法设置参数：=60，d=10，采样压缩比comp分别取2、5、10，绘制多条曲线，并通过本文方法计算得到模型参数，采用马氏距离为度量对测试样本进行分类，仿真结果见图6，其中横坐标为拓展观测矩阵On（M）的参数n，纵坐标表示分类正确率。从图6中可以看出，当压缩比comp小于5时，本文方法在降低采样率的同时不会明显影响交通视频的识别率，而随着压缩比的继续增大，由于大幅降低了图像序列的采样率数目，本文方法在识别率上整体低于传统全采样方法。

图6 DTC与CS-DTC的分类正确率比较图

本文通过更改状态向量维数d的大小，比较传统方法和本文方法对交通视频数据的识别正确率，其中本文方法的参数设置为：=60，n=8，comp=5，仿真结果比较如表1所示。从表1中可以看出，状态向量的维数大小也会影响分类的正确性，状态向量维数过小，其携带的

信息量也少，会影响分类的正确率；反之状态向量维数过大，在携带不必要信息的同时也会增大计算的复杂度，所以在实际应用过程中应该合适地选择状态向量维数d的值，以获得更好的分类效果。

表1 DTC和CS-DTC在不同状态维数分类正确率比较

为了直观有效地看出本文方法能够有效降低采样率，并且不明显影响分类效果，本文选择合适的仿真参数：=60，d=10，n=8，通过调整不同采样压缩比comp下估计出模型参数分别进行试验比较，试验结果如表2所示。从试验结果可以看出，本文方法在较低的采样率下依然能够有不错的分类效果。

表2 CS-DTC在不同压缩率下对视频数据的分类正确率

4 结论

该文根据交通视频信号的纹理模型特性，在估计模型参数的过程中引入了压缩感知技术，通过压缩采样得到少量的测量值，由少量的测量值直接估计出纹理模型参数，根据模型参数对交通视频数据进行计算分类。实验结果表明，相比于传统方法，本文方法不仅能够在非常低的采样率下较为准确地估计出模型参数，且整个识别过程都不需要对视频信号进行重构，为预报和缓解交通拥堵现象提供了有利的条件，本文方法在视频纹理识别的其他领域也有着非常广泛的应用前景。

[1]JUNG Y K，LEE K W，HO Y S.Content-based event retrieval using semantic scene interpretation for automated traffic surveillance[J].IEEE Transactions on Intelligent Transportation Systems，2001，2（3）：151-163.

[2]CHAN A B，VASCONCELOS N.Classification and retrieval of traffic video using auto-regressive stochastic processes[C]. Intelligent Vehicles Symposium.Proceedings.IEEE，2005：771-776.

[3]MARTIN R J.A metric for ARMA processes[J].IEEE Transactions on Signal Processing，2000，48（4）：1164-1170.

[4]QAISAR S，BILAL R M，IQBAL W，et al.Compressive sensing：From theory to applications，a survey[J].Communications and Networks，Journal of，2013，15（5）：443-456.

[5]SOATTO S，DORETTO G，WU Y N.Dynamic textures[C]. Proceedings of IEEE International Conference on Computer Vision.Vancouver，IEEE Press，British Columbia，Canada：2001，2：439-446.

[6]DE COCK K，DE MOOR B L R.Subspace angles between linear stochastic models[C].IEEE Conference on Decision and Control.Sydney，NSW.2000，2：1561-1566.

[7]STANKOVIC V，STANKOVIC L，CHENG S.（2009）Compressive video sampling[C].Proceedings of the 16th IEEE International Conference on Image Processing.IEEE，2009：3001-3004.[8]VISAL.Highway traffic dataset[DB/OL].http：//visal.cs.cityu. edu.hk/downloads.

[9]SANKARANARAYANAN A C，TURAGA P K，CHELLAPPA R，et al.Compressive acquisition of linear dynamical systems[J]. SIAM Journal on Imaging Sciences，2013，6（4）：2109-2133.

Video signal classification of compressed sensing and dynamic texture model

Jiang Xingguo，Li Zhifeng，Zhang Long
（School of Information and Communication，Guilin University of Electronic Technology，Guilin 541004，China）

Based on the feature of dynamic texture in video data，this paper presents a method，which combine with the technology of video compressive sensing.Firstly，a few video sampling data is gotten using the technology of compressive sampling.Then linear dynamical system is set up and the model parameters from the little sampling data also are estimated.Finally，the martin distance between models is calculated to classify texture video data.Results show that at the sampling rate of 20%，the rate of accuracy about classifying video data is over 87%using the proposed method.

dynamic texture model；compressed sensing；Martin distance；video signal classification

TP391.4

A

0258-7998（2015）05-0159-04

10.16157/j.issn.0258-7998.2015.05.040

蒋行国（1973-），男，博士，副教授，主要研究方向：智能信息处理。

李志丰（1989-），男，硕士研究生，主要研究方向：视频压缩感知。

张龙（1988-），男，硕士研究生，主要研究方向：小波分析。