压缩感知在感兴趣区域编码中的应用

杜 梅, 赵怀慈, 周 浩

(1. 沈阳师范大学 科信软件学院, 沈阳 110034; 2. 中国科学院 沈阳自动化研究所, 沈阳 110016)



压缩感知在感兴趣区域编码中的应用

杜 梅1, 赵怀慈2, 周 浩1

(1. 沈阳师范大学 科信软件学院, 沈阳 110034; 2. 中国科学院 沈阳自动化研究所, 沈阳 110016)

针对面向目标探测识别的无线图像传输应用,为了解决探测识别任务对图像质量的高要求与无线信道带宽约束之间的冲突,提出一种基于压缩感知的编码方法。鉴于压缩感知优秀的抗干扰特性,利用其进行图像压缩,并将位平面提升技术引入压缩感知。首先,对图像进行分块压缩感知,然后,对获得的信号进行量化、位平面分解;然后提升感兴趣区域位平面,并分别给出3种不同的感兴趣区域位平面编码方案;最后,在解码端通过解码、阈值迭代法重构,得到感兴趣区域质量优于背景的重构图像。实验结果表明,在相同码率下,重构图像的感兴趣区域PSNR(Peak Signal to Noise Ratio)高于通常的压缩感知编码方法,验证了方法的可行性和有效性。因此,基于压缩感知的感兴趣区域编码方法能够提高无线图像传输效率,从而更好地满足目标探测识别的需求。

感兴趣区域; 压缩感知; 位平面提升; 面向探测识别

0 引 言

面向目标探测识别的图像压缩编码,通常都应用于无线信道环境中,而无线信道干扰严重,且带宽有限,因此研究如何通过不稳定并且带宽受限的无线环境优先传输重要信息,如目标区域信息,再传输次重要信息,如背景信息,即研究感兴趣区域(Region of Interest,ROI)优先的图像渐进编码方法,对无线图像传输具有重要的实际应用价值[1-2]。

目前ROI优先的渐进图像编码技术,都是以变换压缩编码为基础。感兴趣区域优先的图像编码算法中,应用较为广泛的是JPEG2000中的2种编码算法[3]:比例提升法(General Scaling Based Method)和最大提升法(Maxshift Method)。JPEG2000虽然具有优秀的压缩性能,但抗干扰性能还不够强大,需要和信道编码共同抵御无线噪声和干扰[4]。

压缩感知(Compressed Sensing,CS)是一种新的信号采样理论,是一种寻找欠定线性系统稀疏解的技术[5-6]。压缩感知理论指出,利用信号的稀疏特性,通过远小于Nyquist 采样率的随机采样方式获取信号的采样数据后,仍然能够通过非线性重建算法完美地重建信号,而且CS信号具有优秀的抗干扰特性[6-7]。鉴于CS的优秀特性,本文将基于位平面提升的ROI编码技术引入CS,给出了ROI优先的渐进图像编码方案。仿真实验验证了本文方法的可行性和有效性。

1 感兴趣区域编码技术

在图像压缩编码过程中,为了使ROI区域质量优于背景并且被优先传输,JPEG2000以位平面缩放思想为指导,对系数位平面进行不同方式的提升,分别实现了比例提升法和最大提升法。除此以外,学者们又提出综合二者优点的改进位平面提升方法[8-9]。

比例提升法的基本思想是:对图像进行小波变换、量化完成后,对量化系数进行位平面分解,然后设定比例因子S,将所有属于 ROI 区域的系数上移S层,使其位于较高的位平面上,如图1b所示。在嵌入式编码过程中,被上移的平面首先被编码,生成的比特流在整个数据比特流的最前面。这样,ROI 就会先于背景被编码。这S个ROI位平面编码完成后,才继续对剩余位平面系数进行编码。即使传输过程中编码比特流被截断,感兴趣区域也会有比背景区域更高的逼真度。解码时为了区分位于同一位平面中的ROI系数和背景系数,需要提供ROI形状和位置信息,即掩模。

(a)—无提升; (b)—比例提升法; (c)—最大提升法; (d)—交错提升法。图1 位平面提升示意图

最大提升法是比例提升法的特例,其提升后的 ROI系数最低位平面必须高于背景系数的最高位平面,如图1(c)所示,即它的比例因子 S 必须满足条件:

(1)

其中Cmax是背景系数量化后的最大值。

提升之后,ROI所有系数都大于背景系数。这样在编码过程中只有当所有的ROI信息都编码结束,才开始编码背景系数。由于在ROI完全恢复前,无法得到背景信息,因此也不能灵活调节ROI和背景重构图像质量的对比度,而往往ROI内容的判别需要依赖背景,这是最大提升法的不足。

为既能够比较灵活地控制ROI与背景的质量对比度,又不必传输ROI掩模,位平面交错提升法被提出,其基本思想是:将ROI区域与背景位平面分别按重要性程度分为高位与低位2部分,ROI高位比例因子设置为S1,背景高位比例因子设置为S2,背景提升因子设置为S3,然后按S1和S3分别对ROI和背景位平面进行提升,提升后效果见图1d。与前2种方法相比,交错提升法编码不需要传输掩模,从而降低了编码和传输数据量,同时又兼顾了背景传输,但是也增加了算法复杂度,因此应根据实际需求选取适当ROI编码方法。

2 基于压缩感知的感兴趣区域编码与渐进传输方案

压缩感知理论本身具备优秀的抗干扰特性,适合于图像压缩无线传输。普通的压缩感知编码方法是[10-11]:获取压缩感知信号后,量化,编码,然后传输。为了使压缩感知编码技术适合于面向目标探测识别的图像压缩应用,适用于感兴趣区域编码,引入位平面编码和位平面提升技术。在对图像进行压缩感知测量时,由于图像属于高维数据,为降低计算和存储代价,采取分块测量方法[12-13]。分块测量首先需要根据图像尺寸确定合适的分块,再根据分块尺寸和压缩比要求确定测量矩阵,接下来对每个图像分块利用测量矩阵逐一进行压缩感知测量,获得压缩感知信号;然后,对压缩感知信号进行基于位平面提升的感兴趣区域编码、传输;在解码端,对解码后的压缩感知信号,选取阈值迭代法(Iterative Shrinkage/Threshold,IST)[14-15]进行重构。

在了解分块压缩感知和分块重构过程的基础上,重点解决感兴趣区域优先的压缩感知信号编码问题。首先采用位平面编码代替通常的压缩感知信号编码,再对ROI位平面进行缩放处理。编码过程为:

1) 将ROI区域对应到一系列图像分块上,图像分块如图2所示,其中白色边框内为ROI区域,然后采用分块压缩感知压缩图像,并产生压缩感知信号的ROI掩模;

2) 对压缩感知信号进行量化、位平面分解,分解示意图见图3;

图2 图像分块

3) 对分解后的位平面按照ROI与背景视觉质量需求,确定比例因子S,将ROI掩模内的位平面按比例S提升;

4) 位平面编码、ROI掩模编码。

编码完成后传输编码流,传输顺序遵循编码顺序。

解码端解码过程为:

1) 获得S值,ROI掩模解码、位平面解码;

2) 将ROI掩模内的位平面按比例S下降;

3) 位平面合成,反量化,得到分块压缩感知信号;

4) 采用阈值迭代法重构,得到重构图像。

随着解码端接收码流的增多,解码位平面也逐渐增多,重构图像的分辨率逐渐提高,直到ROI位平面全部接收完毕,ROI质量不再变化;继续接收背景码流,直到背景全部传输完毕,得到质量最优的重构图像。以上为基于压缩感知的比例提升法(general shift)编解码过程,具体流程如图4。

基于压缩感知的ROI编码在传输过程中,由于意外等原因随时中断传输,都可以通过已接收的部分位平面,优先重构ROI区域,随着接收位平面的增多,得到分辨率逐渐提高的图像,直至全部位平面接收完毕,得到质量最优的图像。

图4 基于压缩感知的比例提升编码流程图

3 实验结果与分析

实验所用图像分别来自自选图像和图像数据库USC-SIPI Image Database,图像尺寸256×256。采用分块压缩感知方案,压缩采样率为0.3,图像分块16×16,重构算法采用阈值迭代法。量化级别Q=7,则位平面分解为7层。将本文ROI编码方法与普通压缩感知编码方法重构图像的ROI区域峰值信噪比(PSNR)做比较。原图如图5所示,图5a为自选图像,图5b、图5c来自USC-SIPI Image Database,图中方框部分为ROI区域。下面3组实验分别验证了比例提升、最大提升以及交错提升ROI位平面编码方法的有效性。

图5 原图

3.1 比例提升法

设定比例因子S=3,首先接收ROI位平面,接收顺序遵照编码传输顺序,即位平面从高到低的顺序,接收完ROI高位平面后,接收ROI和背景位平面,最后接收背景低位平面,实验结果见图6a～图6d与图8。图6a为从高到低接收4层ROI位平面、1层背景高位平面后的重构图像,表示为lroi=4,lbg=1,其他同理。从图中看出,最初重构图像的ROI与背景质量对比显著,随着接收位平面的增多,ROI与背景质量差距逐渐缩小,直至质量差距完全消除。相同码率下普通CS编码方法重构的图像见图6e～图6h,码率0.34 bpp下二者重构图像见图6a和图6e。当所有位平面接收完毕,比例提升法与普通压缩感知重构图像没有区别,PSNR也完全相同,均为20.41 dB,见图6d和图6h。将图6中(a)、(b)、(e)、(f)对应ROI部分放大,见图7,可见相同码率下比例提升法重构的ROI区域质量好于普通压缩感知编码方法。

对图5a设定比例因子S=4,得到的实验结果与S=3及普通CS编码的实验结果相比较,结果见图9。从图9中看出,在比特流全部传输结束之前,S=3与S=4情况下ROI位平面提升编码方法对应的PSNR一直高于普通CS编码方法。从图9可以看出,在S=4情况下,重构ROI质量更高。图中红线与蓝线重合部分表示,当ROI位平面全部解码完毕,ROI达到最好质量并不再变化,背景质量继续提高,直至背景位平面解码完毕;当所有位平面解码完毕,重构过程相当于普通压缩感知重构,因此最终3条曲线重合于同一节点。

(a)—0.34 bpp(lroi=4,lbg=1);(b)—0.86 bpp(lroi=6,lbg=3);(c)—1.35 bpp(lroi=7,lbg=5);(d)—1.81 bpp(lroi=7,lbg=7);(e)—0.34 bpp;(f)—0.86 bpp;(g)—1.35 bpp;(h)—1.81 bpp。图6 比例提升法与普通CS编码重构图像比较

(a)—0.34 bpp,普通CS; (b)—0.34 bpp,比例提升; (c)—0.86 bpp,普通CS; (d)—0.86 bpp,比例提升。图7 重构ROI区域放大效果

从实验1可以看出,相同码率下,比例提升法与普通CS编码方法相比,重构图像的ROI 区域PSNR更高,即能够更好地保护ROI区域质量,从而更能满足探测识别需求。

(a)—0.37 bpp(lroi=4,lbg=1);(b)—0.97 bpp(lroi=6,lbg=3);(c)—1.55 bpp(lroi=7,lbg=5);(d)—2.11 bpp(lroi=7,lbg=7);(e)—0.43 bpp(lroi=4,lbg=1);(f)—1.03 bpp(lroi=6,lbg=3);(g)—1.59 bpp(lroi=7,lbg=5);(h)—2.11 bpp(lroi=7,lbg=7)。图8 比例提升法重构图像Fig.8 Reconstructed images by general shift coding method

图9 比例提升法与普通CS编码方法重构PSNR比较Fig.9 Comparison of PSNR between general shift and general CS coding method

3.2 最大提升法

将实验1中的比例因子设置为位平面层数,即S=7,得到maxshift_cs方法的实验结果,如图10a～图10e所示,可见ROI区域的PSNR逐渐提高。图10b与图10a相比只是已接收ROI位平面层数增多,还未开始接收背景,因此ROI逐渐清晰,背景无变化;图10c、图10d、图10e中,ROI已经全部接收完毕,接收背景位平面逐渐增多,因此ROI图像质量无过多变化,而背景逐渐清晰。图10c、图10d、图10e中ROI的PSNR值逐渐提高,是因为在采用阈值迭代法重构图像过程当中,通过维纳滤波对全局图像消除块效应,使得ROI区域质量得到了提高。

从实验2看出,最大提升法只有当ROI位平面全部接收完毕(见图10a、图10b),才开始接收背景信息(见图10c、图10d和图10e),不能够提前获得背景信息,不如比例提升法灵活。

3.3 交错提升法

本节实验验证位平面交错提升的ROI优先编码方法。设定压缩感知采样率为0.4,ROI位平面比例因子S1=4,背景高位比例因子S2=3,背景位平面提升因子S3=4。图11展示了不同解码率下的重构结果,图11a为接收4层ROI高位平面后重构结果,无背景信息,图11b～图11d为继续接收3层背景高位平面后的重构结果,图11e～图11g为继续接收3层ROI低位平面后的重构结果,图11h～图11k为继续接收余下的4层背景低位平面后的重构结果。从图11看出,交错提升ROI位平面编码方法在优先编码传输ROI信息同时,有效兼顾了背景信息的传输,从这点来说优于最大提升法。

(a)—0.61 bpp(lroi=2,lbg=0);(b)—1.51 bpp(lroi=5,lbg=0);(c)—2.37 bpp(lroi=7,lbg=1);(d)—3.14 bpp (lroi=7,lbg=4);(e)—3.91 bpp(lroi=7,lbg=7)。图10 最大提升法重构图像Fig.10 Reconstructed images by max shift coding method

(a)—0.21 bpp(lroi=4,lbg=0);(b)—0.55 bpp(lroi=4,lbg=1);(c)—0.90 bpp(lroi=4,lbg=2);(d)—1.25 bpp (lroi=4,lbg=3);(e)—1.30 bpp(lroi=5,lbg=3);(f)—1.35 bpp(lroi=6,lbg=3);(g)—1.40 bpp(lroi=7,lbg=3);(h)—1.75 bpp (lroi=7,lbg=4);(i)—2.10 bpp(lroi=7,lbg=5);(j)—2.44 bpp(lroi=7,lbg=6);(k)—2.79 bpp(lroi=7,lbg=7)。图11 交错提升法重构图像Fig.11 Reconstructed images by cross shift coding method

图12 3种位平面提升方法PSNR比较Fig.12 Comparison of PSNR among three bit plane shifting schemes

从图12可以看出,在码率小于0.36 bpp时,最大提升法只传输了ROI信息,而交错提升法在码率大于0.21 bpp时就已经开始传输背景信息了;最大提升法在0.36 bpp时ROI的PSNR已经达到21.32 dB,然后开始传输背景信息,而交错提升法在ROI的PSNR为17.39时开始传输背景信息,直到1.25 bpp又开始传输ROI信息,直到全部ROI传输完毕后,接着传输剩余背景信息。可见在0.36 bpp的码率下,交错提升法整幅图像的重构效果好于最大提升法。随着码率的增加,最终2种方法重构图像的PSNR达到相等。图12中3种提升方法所对应的3条曲线,在码率大于0.36 bpp至小于1.40 bpp这个区间内各自不同的上升趋势,显示了3种方法在ROI与背景位平面编码顺序安排上各自的特点。

从结果可以看出,交错提升法折中解决了比例提升法和最大提升法各自存在的问题:比例提升法需要传输ROI掩模,最大提升法虽无需ROI掩模却又不能兼顾背景图像质量。交错提升法在损失一定的ROI重构速度的前提下换取了对背景的兼顾并省却了传输ROI掩模的步骤。但由于交错提升法多次提升位平面系数,因此提高了算法复杂度,故而在实际应用中应根据需要选择适当的位平面提升方法进行ROI编码。

从上述实验看出,与普通压缩感知编码方法相比,基于压缩感知的ROI编码方法优先编码与传输ROI区域,满足对解压缩图像的目标探测识别需求。

4 结 语

通过将感兴趣区域位平面提升技术引入压缩感知编码过程,实现了压缩感知基础上的感兴趣区域优先编码方法。位平面提升的编码方法为提高基于压缩感知的有损压缩编码综合效率提供了条件。通过基于压缩感知的感兴趣区域编码,感兴趣区域能够先于背景被编码、传输和解码重构,以供后续环节进行目标探测识别;在传输带宽受限或传输意外中断的情况下,也能够有效保证感兴趣区域的图像质量不受或少受干扰,尽可能满足面向目标探测识别的图像压缩的需求。

[1]张河. 探测与识别技术[M]. 北京:北京理工大学出版社, 2005.

[2]JOAN B R, JOAN S S, FRANCESC A L. JPEG2000 ROI coding with fine-grain accuracy through rate-distortion optimization techniques[J]. IEEE Signal Process Lett, 2009,16(1):45-48.

[3]JPEG2000 Image Compression Standard[EB/OL]. [2013-12-04]. http:∥www.jpeg.org/jpeg2000/index.html.

[4]BAHMANI S, BAJIC I V, HAJSHIRMOHAMMADI A. Improved Joint Source-Channel Decoding of JPEG2000 Images and Reed-Solomon Codes[C]∥ICC, 2009:1-5.

[5]DONOHO D L. Compressed Sensing[J]. IEEE Trans Inf Theory, 2006,52(4):1289-1306.

[6]CANDES E J, ROMBERG J. Sparsity and incoherence in compressive sampling[J]. Inverse Probl, 2007,23(3):969-985.

[7]杜梅,赵怀慈,赵春阳. 基于压缩感知的图像压缩抗干扰重构算法[J]. 光电子·激光, 2014,25(5):1009-1015.

[8]WANG Z, BANERJEE S, EVANS B L, et al. Generalized Bitplane-By-Bitplane Shift Method For JPEG2000 ROI Coding[C]∥ICIP, 2002:81-84.

[9]MORENO J, JAIME B, FERNANDEZ C. pGBbBShift: Method for Introducing Perceptual Criteria to Region of Interest Coding[C]∥DCC , 2013:512.

[10]WANGH T, GHOSH S, LEON-SALAS W D. Compressive sensing recovery from non-ideally quantized measurements[C]∥ISCAS, 2013:1368-1371.

[11]WAHIDAH I, SUKSMONO A B, MENGKO T L R. A comparative study on video coding techniques with compressive sensing[C]∥ICEEI,2011:1-5.

[12]MUN S, FOWLER J E. Block Compressed Sensing of Images Using Directional Transforms[C]∥ICIP, 2009:3021-3024.

[13]FOWLER J E, MUN S, TRAMEL E W. Multiscale block compressed sensing with smoothed projected landweber reconstruction[C]∥EUSIPCO, 2011:564-568.

[14]BLUMENSATH T, DAVIES M E. Iterative hard thresholding for compressed sensing[J]. ACHA, 2009,27(3):265-274.

[15]BECK A, TEBOULLE M. A fast iterative shrinkage-thresholding algorithm for linear inverse problems[J]. SIIMS, 2009,2(1):183-202.

Application of compressed sensing on region of interest coding

DUMei1,ZHAOHuaici2,ZHOUHao1

(1. Software College, Shenyang Normal University, Shenyang 110034, China; 2. Shenyang Institute of Automation, Chinese Academy of Science, Shenyang 110016, China)

For the applications of target detection and identification in the wireless image transmission, in order to solve the conflict between the requirement for high image quality for detection and recognition task and the constraint of wireless channel bandwidth, a coding algorithm based on compressed sensing is proposed. Compressed sensing is employed to compress images due to its excellent anti-interference capability, and the bit plane scaling technology is introduced into it, too. First, the blocked compressed sensing signals are quantified and decomposed to bit planes. Then, the bit planes of the region of interest are shifted, and three different coding schemes of the region of interest are put forward, respectively. Finally, after decoding, the thresholding iterative algorithm is used to reconstruct the image whose region of interest is much clearer than the background. The experimental result indicate that under the same bit rate, the peak signal to noise ratio (PSNR) of the reconstructed region of interest encoded by bit plane shifting algorithm is higher than that by the usual compressed sensing coding technology, through which the feasibility and effectiveness of our method is verified. The result is indicated that the region of interest coding algorithm based on compressed sensing can improve the efficiency of wireless image transmission system, and can meet the requirement of target detection and identification better.

region of interest; compressed sensing; bit plane shifting; detection and identification oriented

2016-07-06。

辽宁省科技厅自然科学基金资助项目(2013010420-401)。

杜 梅(1977-),女,黑龙江佳木斯人,沈阳师范大学讲师,博士。

1673-5862(2016)04-0479-08

TN919.81

A

10.3969/ j.issn.1673-5862.2016.04.021