一种新的基于混合变换的图像稀疏表示

石翠萍，张钧萍，张 晔

（1.哈尔滨工业大学电子与信息工程学院，150001哈尔滨；2.齐齐哈尔大学通信与电子工程学院，161000黑龙江齐齐哈尔）

一种新的基于混合变换的图像稀疏表示

石翠萍1，2，张钧萍1，张 晔1

（1.哈尔滨工业大学电子与信息工程学院，150001哈尔滨；2.齐齐哈尔大学通信与电子工程学院，161000黑龙江齐齐哈尔）

Tetrolet变换对图像中边缘和纹理的稀疏逼近性能远远高于小波变换，对细节丰富的图像具有明显优势，但其对平滑图像的逼近性能却不如小波变换.针对这一问题，本文提出了具有一定普适性的图像稀疏方法.首先，对图像进行小波变换，采用p-fold抽取滤波器对各子带进行多相分解，对分解结果进行主成分变换，并对两次能量聚集后的图像进行低频稀疏逼近；然后，根据前面结果生成细节图像，采用Tetrolet变换进行高频稀疏逼近.实验表明，在相同条件下，无论是客观质量还是主观质量，该方法均优于单一的小波变换和Tetrolet变换，证实了本文方法的有效性.

图像稀疏逼近；Tetrolet变换；小波变换；多相分解

图像稀疏是以一种紧凑的形式来有效描述图像的主要特征.图像稀疏是图像处理中的重要内容，是图像特征提取、图像压缩、图像增强等图像处理技术的基础.稀疏表示的前提是图像能量应尽可能集中.传统二维小波变换作为图像稀疏的主要工具，得到广泛的应用.然而，由于小波变换不能有效表示二维图像中具有多方向性的边缘和纹理等几何特征，因此，多尺度几何分析（multiscale geometric analysis，MGA）被提出，并迅速成为了研究热点.其中，非自适应的小波有Curvelets［1］，Contourlets［2］，Directionlets［3］和Shearlets［4］，这些小波均具有更高的方向敏感性. Curvelets变换具有良好的时频域局部性、方向性及非线性逼近能力.Contourlet变换具有随尺度而变化长宽比的“长条”结构，用轮廓分割产生了更灵活、局部的图像表示方法.Directionlets能对交叉直线提供最优逼近.Shearlets在频域上是紧支撑的，具有较好的局部化特性.自适应的小波包括Bandlet变换［5］、wedgelet变换［6］等，可根据图像局部结构来自适应调整基函数.2010年，Krommweh首次提出了Tetrolet变换［7］，该变换是一种局部自适应的Haar小波变换.由于支撑域非常小，因此不受Gibbs振荡的影响，能更好地保持图像边缘和方向纹理信息［8］.Tetrolet变换一经提出，立即引起广泛的关注和研究.然而，同其他稀疏方法一样，Tetrolet变换也只针对具有某种特征的图像才能体现出明显优势.对于包含明显边缘和纹理的图像，利用Tetrolet变换进行稀疏逼近，则效果显著.反之，若图像较平滑，并不能体现较好的性能.本文利用Tetrolet变换对图像细节保持较好这一特点，结合小波变换对平滑图像的最优逼近这一性质，提出了一种新的图像稀疏表示方法.

1 新的图像稀疏表示方法总体框架

针对大多数稀疏逼近算法只对特定特征的图像才具有最佳逼近性能，适应性差的特点，提出了一种具有一定通用性的稀疏逼近算法.该算法利用小波变换处理平滑图像能力较强，以及Tetrolet变换对保留图像边缘和细节优势明显这两大特点，将图像的低频部分和高频部分分开处理.算法整体框架如图1所示.

算法共分两个阶段.

第一阶段:对图像低频进行稀疏逼近.

首先，对图像进行小波变换.为了消除子带内系数间的相关性，采用p-fold抽取滤波器对各子带进行多相分解，并对分解后的分量进行主成分变换.这样，图像就相当于进行了两次分解，因此能量更集中，可稀疏性更强.最后对这种能量高度集中的变换图像保留较大的N1个系数，其余系数置0，即进行低频稀疏逼近.根据稀疏逼近的结果，对上述过程进行反变换，得到原图像的低频图像.

第二阶段:对图像高频进行稀疏逼近.

将原图像和第一阶段得到低频图像相减，可得到包含绝大多数纹理和边缘的高频图像.由于Tetrolet变换对细节的保持能力较好，故先对高频图像进行Tetrolet变换，然后保留较大的N2个系数，其余系数置0，即进行高频稀疏逼近.对上述过程进行Tetrolet反变换，得到高频图像的近似.

最后，对两次稀疏逼近的结果叠加，即可得到最终的重建图像.

图1 提出算法的总体框架

2 提出算法的具体实现

根据算法的总体框架，对给定的图像，先进行小波变换并拆分子带，然后进行PCA变换，对其进行稀疏表示得到低频图像.根据原图像和低频图像，生成高频图像，再用Tetrolet变换对其进行稀疏逼近，得到高频图像的近似.下面从数学角度对该过程进行阐述.

2.1 基于小波变换和PCA的稀疏逼近

图像经小波变换后，各子带内的相邻系数之间仍存在冗余［9］.如果能进一步去除这种冗余，则会增加图像的能量聚集程度，使图像的可稀疏性更强.算法流程图见图1的“低频的稀疏逼近”部分，即算法的第一阶段.

步骤1 用A表示小波变换，经L级小波变换后，小波图像可以表示为

式中N表示小波子带总数，为X为原图像.

步骤2 对于每个小波子带（XAT）（i），i=1，…，N，采用p-fold抽取滤波器对其进行多相分解，变为多个分量．从数学角度，可表示为

式中permu表示系数的重排．这里设p=4，即每个小波子带被分为4个分量．下面以最低频子带LL1的分解为例，详细给出小波子带多相分解过程，如图2所示.

图2 每个小波子带多相分解的过程（以LL1为例）

设LL1的大小为8×8，为了消除相邻系数间的冗余，将LL1划分为若干个不重叠的块，块大小为2×2，为了视觉直观，图2中的块用不同颜色表示.每个块中的数字表示系数位置.用p-fold抽取滤波器对LL1多相分解:先抽取每个小块中左上角的系数，并按对应块的顺序存放，组成第一个分量；同样，抽取每个小块中右上角的系数，并按对应块的顺序存放，组成第二个分量；依次类推，最后，抽取每个小块中右下角系数，并按对应块的顺序存放，组成第4个分量.观察图2的4个分量，可以发现，每个块中4个相邻的系数刚好被放入各分量的相同位置，这样，当对这些分量进行PCA时，即可实现每个块内4个系数的能量再次集中，利用该特点即可去除相邻系数间的冗余.其余子带的分解过程和LL1的分解过程完全相同.

步骤3 对每个小波子带生成的分量序列，计算对应的变换矩阵，并进行PCA变换，使能量更集中.设B（i）表示第i个子带对应的PCA变换，则

设经过上述小波变换和PCA变换后，图像记作Y，可表示为

式中Y为经两次能量聚集后的变换图像．

步骤4 对Y进行稀疏逼近．将Y中所有分量序列的系数按绝对值从大到小排列，取出较大的N1个，其余系数置0，此时Y变为˜Y，记作:

反变换过程如下:

步骤1 对˜Y中每个子带对应的分量序列进行PCA逆变换，记作B（i）-1，i=1，2，…，N，则全部分量序列经PCA逆变换后，可记为

步骤2 根据上面的结果，将每个分量序列的内容重新组合，记作permu-1．完毕后，对整个变换图像进行小波逆变换．设重建图像为˜X1，则:

2.2 基于Tetrolet变换的稀疏逼近

Golomb提出了四格拼板（Tetrominoes）的概念.他指出，任何一副大小为N×N的图像（N为偶数），都能由5个基本拼板组合而成，如图3所示．

图3 5种基本拼板

文献［7］首次提出了Tetrolet变换，该变换的基本思想为:先将图像分为若干个4×4的块，每个块都由4个基本四格拼板组成.四格拼板的选取原则是根据图像块的局部几何特征，找到在四格拼板上定义的使得小波系数具有最小l1范数的拼板.对4×4的块，共有117种拼板组合方案，若不考虑拼板的翻转和旋转，共有22种组合方案.

利用上述思想，对上面得到的高频图像X2，采用Tetrolet变换对其进行稀疏逼近，算法过程见图1的“高频的稀疏逼近”部分.

设输入图像X2，大小为M×M，即X2=（x［i，j］）．其中M=2K，K∈N．设J为Tetrolet变换分解层数，则在第r层，（r=1，…，J-1），进行自适应Tetrolet分解如下:

1）将图像Xr2-1分成4×4的块Qi，j，i，j=0，1，…，M／4r-1；

2）对每个块，考虑117种允许的堆叠方法: c=1，…，117．对每一种堆叠方法，在4个四格拼板子集I，s=0，1，2，3上执行Harr小波变换，得到对应的4个低频系数x和12个Tetrolet系数

式中

这里，ε［l，m］，l，m=0，…，3可从Harr小波变换矩阵得到．选择最优的方向c∗，使12个Tetrolet系数之和最小，此时选择的模板为最优．

对每一个块Qi，j，得到最优的Tetrolet分解

3）用变换矩阵R将低频子带和高频子带重排，大小为2×2的矩阵，以方便下一级变换．

同样

4）找到最优分解方向后，保存高频部分系数及方向c∗，对低频图像继续进行Tetrolet分解，直至J-1层结束．

设Tetrolet变换后的图像记为Y2，对Y2进行稀疏逼近．方法是将Y2中所有系数按绝对值从大到小排列，取出较大的N2个，其余系数置0，此时Y2变为．

反变换过程如下:

3 图像特性分析及质量评估

设X和Y分别表示原始图像和重建图像，M和N分别表示图像中行和列方向的像素数．先分析了图像的特性，然后从客观角度和主观角度分别给出了评价图像质量的指标．

3.1 图像特性分析

图像的空域性质可用空间频率方法（spatial frequencymeasure，SFM）进行分析［10］.SFM定义如下:

其中

式中:R是行频率，C是列频率，x（i，j）表示原始图像中的样本．SFM表示图像的整体频率，也就是图像的细节丰富程度.SFM越大，表示图像细节越丰富.本文用SFM来分析细节对稀疏估计的影响.

3.2 质量评估测度

绝大多数文献都采用PSNR来评估重建图像的质量，然而，PSNR和MSE等客观指标已被证实并不与人眼感知相一致［11-13］.因为实际中，有时具有较高PSNR的重建图像，其视觉效果并不好.为了更好地评估所提算法，本文除采用PSNR作为客观评估方法外，还采用SSIM［14］作为主观评估方法，以综合评定重建图像的质量.

结构相似指标方法（structural similarity index measure，SSIM）可以用来衡量两幅图像的主观相似度.其可由下式得:

式中:X和Y分别表示原始图像和重建图像，μX和μY分别表示X和Y的均值，σX和σY分别表示X和Y的标准差，σXY表示X和Y的协方差．且c1=（k1L）2，c2=（k2L）2，c3=c2／2，k1=0.001，k2= 0.002（默认），L表示系数的动态范围．

最终得到的SSIM的范围为［-1，1］，值越大，表示重建图像在视觉上越逼近原始图像.当值为1时，表示重建图像和原始图像完全一致.

4 实验及结果分析

为验证本文方法的有效性，采用一些测试图像进行了实验，并在相同条件下，与小波变换和Tetrolet变换方法进行了比较.

实验中小波变换和Tetrolet变换的分解级数均为3级，采用的小波为cdf9／7小波，测试图像大小均为256×256.在本文方法中，设低频的稀疏逼近中保留系数个数为N1个，高频的稀疏逼近中保留个数为N2个，与小波变换和Tetrolet变换后直接保留N1+N2个系数进行对比．为了充分验证算法，采用两组不同的N1和N2进行实验:分别是N1=6 000，N2=2 000和N1=8 000，N2=3 000．

下面对Lena图像进行实验，实验结果及局部放大图如图4所示.图4（b）～（d）是在N1= 6 000，N2=2 000的条件下，分别采用Tetrolet变换、小波变换和本文算法得到结果的局部放大图.可以看到，相比于其它两种方法，本文方法能够更好的保留图像细节.从整个重建图像质量上看，采用Tetrolet变换、小波变换和本文算法得到的PSNR分别为33.44、35.09和35.58 dB，进一步证明了本文方法的优越性.

图4 不同实验条件及方法下重建图像质量及局部放大

从算法角度分析该原因，本文方法在低频估计阶段采用PCA进行了相邻系数去冗余，加上小波变换，相当于进行了两次能量集中，故在保留相同个数系数的条件下，本文方法的系数包含的能量更多，故低频重建的质量更好.另一方面，低频能量高度集中的结果，使得原图像的细节信息尽可能多的保留在高频图像中.采用Tetrolet变换对该高频图像进行稀疏表示，则发挥了Tetrolet变换能够较好的逼近图像边缘和纹理信息的优势.结合不同变换的特点，以及图像低频和高频信息不同这一事实，对图像分开处理，这就是本文方法效果较好的原因.

图4（e）～（g）是在N1=8 000，N2=3 000的条件下得到的结果，与图4（b）～（d）得到的结果有相同的规律.

不失一般性，采用一组常用的自然图像作为测试图像，如图5所示.先分析图像特性，然后分别从主观角度和客观角度去衡量本文算法结果.

图5 8幅用于测试的图像

对于每幅测试图像，先根据式（6），计算对应的空间频率特性，结果见表1.

表1 测试图像对应的SFM

在不同的实验条件下（不同的N1和N2），对图5中的每幅测试图像，分别采用本文算法、Tetrolet变换和小波变换，并用PSNR和SSIM来评价图像的客观质量和主观质量，结果见表2.

为了更直观地对比表2的结果，以N1= 8 000，N2=3 000的情况为例，绘制PSNR和SSIM的曲线，结果如图6和图7所示.

从图6可以看出，对于给定的测试图像，本文方法得到的PSNR均高于其他两种单一的变换方法.其中，对于图像Baboon，PSNR增加的幅度很小，其原因可以从图像特性分析得到.根据表1的结果，在所有测试图像中，图像Baboon的SFM值最大，而且高出其他图像SFM值很多，说明该图像包含的高频成分特别多，换句话说，该图像的细节特别丰富.在这种情况下，对于文中提出的将图像低频和高频分别处理，且保留的低频系数个数多于高频系数个数的方法，没有明显优势.尽管如此，对于Baboon图像，采用本文方法的PSNR依然优于采用Tetrolet变换的结果，只是程度不同而已.同样，在图7中，从人眼的视觉角度出发，从主观上衡量重建图像的质量.结果表明，本文方法得到的结果在视觉上仍然优于其他两种变换方法.该实验充分证明了本文方法的有效性.在N1=6 000，N2=2 000时，也有相同的规律，这里不再给出图示.

图6 N1=8 000，N2=3 000条件下PSNR对比

图7 N1=8 000，N2=3 000条件下SSIM对比

表2 对于给定测试图像，不同实验条件下的实验结果对比

5 结 语

针对现有绝大多数图像稀疏逼近算法通用性不强，仅对具有特定特征的图像才有较好逼近效果的问题，结合Tetrolet变换和小波变换各自优点，本文提出了一种新的具有一定普适性的图像稀疏方法.该方法同时利用了小波变换对平滑图像的最优逼近，以及Tetrolet变换对图像细节保持较好这两大特点，将两者分别用在图像的低频和高频处理中.实验证明，在相同条件下，无论是主观质量还是客观质量，采用本文方法得到的重建图像均好于单一变换得到的结果.本文方法能够在较好的保持图像低频信息同时，尽可能保留图像的主要细节.该稀疏方法为压缩提供了有效的预处理，下一步拟将图像稀疏与特定的压缩方法结合，期望得到较好的压缩效果.

［1］CANDES E J，DONOHO D L.New tight frames of curvelets and optimal representations of objects with piecewise C2 singularities［J］.Communications on Pure and Applied Mathematics，2004，57（2）:219-266.

［2］DO M N，VETTERLIM.The contourlet transform:an efficient directionalmultiresolution image representation［J］.IEEE Transactions on Image Processing，2005，14（12）:2091-2106.

［3］FRIEDRICH F，DEMARET L，FÜHR H，etal.Efficient moment computation over polygonal domains with an application to rapid wedgelet approximation［J］.SIAM Journal on Scientific Computing，2007，29（2）:842-863.

［4］GUO K H，LABATED.Optimally sparsemultidimensional representation using shearlets［J］.SIAM Journal on Mathematical Analysis，2007，39（1）:298-318.

［5］PENNEC E L，MALLAT S.Sparse geometric image representationswith bandelets［J］.IEEE Transaction on Image Processing，2005，14（4）:423-438.

［6］DONOHO D L.Wedgelets:Nearlyminimax estimation of edges［J］.Annals of Statistics，1999，27（3）:859-897.

［7］KROMMWEH J.Tetrolet transform:A new adaptive Haar wavelet algorithm for sparse image representation［J］.Journal of Visual Communication and Image Representation，2010，21（4）:364-374.

［8］KROMMWEH J，MA Jianwei.Tetrolet shrinkage with anisotropic total variation minimization for image approximation［J］.Signal Processing，2010，90（8）: 2529-2539.

［9］LIU Juan，MOULIN P.Information-theoretic analysis of interscale and intrascale dependencies between image wavelet coefficients［J］.IEEE Transactions on Image Processing，2001，10（11）:1647-1658.

［10］ESKICIOGLU A M，FISHER P S.Image quality measures and their performance［J］.IEEE Transactions on Communications，1995，43（12）:2959-2965.

［11］YOU Junyong，EBRAHIMI T，PERKIS A.Attention driven foveated video quality assessment［J］.IEEE Transactions on Image Processing，2014，23（1）:200-213.

［12］穆为磊，高建民，王昭，等.考虑人眼视觉特性的射线检测数字图像质量评价方法［J］.西安交通大学学报，2013，47（7）:91-95.

［13］ZHANG Yongfei，CAO Haiheng，JIANG Hongxu，etal. Visual distortion sensitivity modeling for spatially adaptive quantization in remote sensing image compression［J］.IEEE Transactions on Geoscience and Remote Sensing Letters，2014，11（4）:723-727.

［14］WANG Zhou，BOVIK A C，SHEIKH H R，etal.Image quality assessment:from error visibility to structural similarity［J］.IEEE Transactions on Image Processing，2004，13（4）:600-612.

（编辑苗秀芝）

A novel image sparse representation based on the hybrid transform

SHICuiping1，2，ZHANG Junping1，ZHANG Ye1
（1.School of Electronic and Information Engineering，Harbin Institute of Technology，150001 Harbin，China；2.School of Communication and Electronic Engineering，161000 Qiqihaer，Heilongjiang，China）

The sparse approximation performance of tetrolet transform to the edge and texture of image ismuch higher than wavelet transform，which makes it suitable for those images that rich in details.However，for the smooth images，its sparse approximation performance isweaker than wavelet transform.Focus on the problem，a novel sparse approximation method that is of some generality is proposed.First，the wavelet transform is conducted to the image，and the polyphase decomposition for each sub-band is operated using p-fold filter and some components are generated，then the PCA is applied to those components.Following，the sparse approximation is conducted to the image after two energy concentration.Secondly，the high-frequency image can be obtained based on the results above，then the tetrolet transform is applied to sparse it.Experimental result shows that，under the same condition，the quality of the reconstructed image obtained by the proposed method is better than that obtained by the wavelet transform and the tetrolet transform，either the subjective or objective quality，which indicates the effectiveness of the proposed method.

image sparse approximation；tetrolet transform；wavelet transform；polyphase decomposition；

TP751.1

A

0367-6234（2014）09-0036-07

2013-09-30.

国家自然科学基金资助项目（61271348）；黑龙江省教育厅资助项目（12521614）；齐齐哈尔大学青年教师科研启动项目（2011k-M11）.

石翠萍（1980—），女，博士研究生；张钧萍（1970—），女，教授，博士生导师；张 晔（1960—），男，教授，博士生导师.

张钧萍，zhangjp＠hit.edu.cn.