基于JPEG2000的遥感图像感兴趣区域编码新算法及其VLSI设计

王建新 朱 恩 刘文松 祁友杰



基于JPEG2000的遥感图像感兴趣区域编码新算法及其VLSI设计

王建新 朱 恩*刘文松 祁友杰

(东南大学信息科学与工程学院 南京 211100)

为解决空间遥感图像数据量及信道带宽之间的矛盾，该文提出一种基于JPEG2000的感兴趣区域(Region Of Interest, ROI)编码算法。主流的JPEG2000 ROI编码算法难以兼顾ROI质量和系统计算量，且在低码率编码时有完全丢失背景的隐患。该算法通过精确控制各子带中背景系数的精度，使ROI分配到更多码流。并引入了人眼视觉特性，使较少的背景码流产生尽量好的视觉效果。另外，根据该算法提出了针对矩形ROI的超大规模集成电路(VLSI)设计，此设计经过简单调整，亦可适用于主流的ROI编码算法。测试结果表明，该算法在ROI质量和重建图像视觉效果上均表现优异，且支持任意形状ROI编码，兼容JPEG2000协议。该VLSI设计仅使JPEG2000系统运行时间增加一个周期，具有极高的吞吐率，可满足实时处理要求。

遥感图像；感兴趣区域编码；JPEG2000；人眼视觉特性；超大规模集成电路

1 引言

(Region Of Interest, ROI)编码是国际最新的静态图像编码标准JPEG2000的一大亮点，在与目标识别相关的遥感类应用上[1,2]，ROI编码可提供一种兼顾图像编码质量和传输效率的解决策略，即在保持图像压缩比不变的前提下，对ROI进行高质量编码，仅保留少量背景信息用于和已有的卫星图像进行比对。ROI是指人们感兴趣或者对具体应用很重要的图像区域，图像其他区域则称作背景。

JPEG2000感兴趣区域编码的主流算法是基于小波系数提升，即量化后小波子带中ROI系数的位平面上移，使其在位平面编码(Bit-Plane Coding, BPC)和算术编码(Arithmetic Coding, AC)时被优先编码，进而在优化截断时被优先保留。JPEG2000协议中采纳的最大移位法(Maxshift)和一般移位法(the generic scaling based method)均属此类。Maxshift[3,4]将ROI系数的最低位平面移动到背景系数的最高位平面之上，可获得最好的ROI编码质量。一般移位法[5]将ROI系数提升数个位平面，可控制ROI和背景的相对质量，但码流中需加入ROI形状信息，为克服此限制，文献[6]将ROI与背景的多个中间位平面交叉排列，文献[7]将ROI和背景的位平面各分为两部分并交叉排列，文献[8]将ROI的部分位平面上移。文献[6-8]中码流均不兼容JPEG2000协议。此类算法可实现高质量的ROI编码，但因位平面数增加而极大增大了系统计算量。

除上述思路外，文献[9]提出隐式加权法，通过在BPC时加权ROI码块的失真，可实现边界粗糙的ROI编码，文献[10]提出两种类似算法。文献[11-14]通过组织多个质量层等方式实现ROI编码，但编码质量较低。文献[15]提出预截断算法，获得了最优的ROI编码性能。除基于JPEG2000系统外，文献[16-23]提出多种ROI编码或提取算法。

ROI算法的硬件实现。为解决上述问题，本文提出一种新的JPEG2000感兴趣区域编码算法及其超大规模集成电路(Very Large Scale Integration, VLSI)设计。该算法在文献[15]算法基础上引入人眼视觉特性，可使较少的背景码流产生较好的视觉效果。所提VLSI设计针对矩形ROI编码，简单调整后可适用于基于系数移位的ROI编码算法。

2 算法研究

2.1 本文算法基本思想

文献[15]提出了预截断算法，通过降低小波子带中背景系数的精度，使生成的背景码流减少，则在优化截断时ROI将分配到更多码流，实现ROI编码。ROI码流是指由各子带ROI系数经BPC和AC后生成的码流，背景码流则由背景系数生成。预截断算法对第分解层子带中量化系数的处理如图1所示。

图 1 预截断算法处理前后第d分解层子带b的系数值

从人眼视觉角度看，人眼对不同频率信息的敏感度不同，对低频信息的敏感程度要高于对高频信息的敏感程度。因而，本文算法根据子带所处分解层和子带类型(LL, HL, LH, HH)调整值。为便于计算，将第1分解层HH子带中背景系数保留的位平面数作为基准值，通过引入子带修正参数来调整其它子带中背景系数保留的位平面数，如式(1)所示。取值为自然数。

以9/7离散小波变换(Discrete Wavelet Transform, DWT)为例，论述的计算方法。JPEG2000标准通过式(2)对小波系数进行恒域标量量化[3]。

表1 9/7 DWT子带量化步长

文献[24, 25]研究了视觉无损时9/7 DWT各子带的量化步长阈值。为便于与表1比较，将文献[24, 25]中DWT输入数据的标称范围归一化到[-1/2, 1/2]，则各个分解层中HL, LH和HH子带的量化步长阈值如表2所示。阈值越大，表示子带对图像视觉效果的影响越小。由表2可知，子带所处分解层越高，对视觉效果影响越大；同一分解层中HL和LH子带的影响相差无几。

表2 视觉无损时子带量化步长阈值

表3 9/7 DWT子带修正参数

不管从能量角度还是人眼视觉角度，LL子带对重建图像的质量影响最大，因而本文算法中LL子带的背景系数保留全部位平面，。

图 2 3层9/7 DWT时本文算法处理后的典型子带系数值

2.4 性能比较

本节实验测试了4幅Offutt基地遥感图像(512×512, 8 bit)。JPEG2000编码系统采用3层9/7 DWT,为11，码块大小为32×32。使用PSNR衡量图像或ROI的质量，公式为

其中，MSE指重建图像或ROI的均方误差。

2.4.1编码质量对比 图4给出了无ROI编码，Maxshift，预截断算法和本文算法的编码效果对比。ROI为白框内区域，面积为8.3%，ROI PSNR指重建图像中ROI的PSNR值，bg指预截断算法各子带保留的位平面数。

由图4可知，与无ROI编码相比，本文算法获得更高质量的ROI和可接受的图像整体视觉效果。与Maxshift相比，本文算法在背景质量和图像主观视觉效果上要好得多。与图4(c)相比，图4(d)中文字标语更清晰，即本文算法获得了比预截断算法更好的图像视觉效果，而代价仅为ROI质量的微弱减小。考虑到预截断算法可获得比文献[6-14]中算法高得多的ROI编码质量[15]，本文算法在ROI编码质量上亦表现优异。

图 3 多个值下ROI和背景(BG)质量对比

图4 码率为0.3bpp时Offutt图片的编码效果

2.4.2其他方面对比 本文算法继承了预截断算法在兼容性等方面的特性，如支持任意形状ROI编码和兼容JPEG2000协议，而文献[6-8]中算法均需对解码端做出适应性改变。另外，应用本文算法时无需改动系统其他模块，因而极易嵌入已有JPEG2000软硬件系统，而文献[3-14]中算法均需对JPEG2000其他模块作较大调整。

3 VLSI设计

3.1系统架构

基于本文算法，设计了针对矩形ROI编码的VLSI架构，如图5所示，其中下标NW, SE指矩形的左上、右下顶点，用于确定矩形的位置。此架构位于DWT (含量化)模块与子带系数缓存模块之间，实现4路子带系数的并行处理，矩形ROI亦可适用于绝大部分应用。此架构包含3个主要部分：掩膜生成模块；边界生成模块；子带系数处理模块。

掩膜生成模块根据输入的码率Rate、当前DWT层数Lv，矩形ROI的左上顶点坐标NW和右下顶点坐标SE，计算值并转化为掩膜输出。边界生成模块的输入为Lv,NW和SE，输出非LL子带内ROI的左上、右下顶点坐标。这两个模块在每层DWT开始时启动，只需2个周期即可计算出相应参数并送入子带数据处理模块。除LL子带外，其他3路子带系数由3个子带数据处理模块独立编

图 5 本文算法VLSI架构

码。子带数据处理模块的输入有系数存储使能EN，地址ADR，系数值DAT。输出为本文算法处理后的系数值DAT’，以及延时一个周期后的使能EN´和地址ADR’。此模块在EN有效时运行，每个周期处理1个小波系数，因而JPEG2000系统运行时间仅增加1个周期。为保持数据同步，LL子带的存储使能、地址及系数值亦延时一个周期输出。子带系数缓存模块的运行与无ROI编码时相比，除推迟一个周期外无任何差别。

3.2 关键模块

3.2.1 掩膜生成模块 掩膜生成模块主要包含码率查找表和面积查找表，分别由码率和ROI像素数占图像总像素数的比例倒数索引，两者输出之和为值，进而结合表3求出当前层数Lv下3个子带的值。码率查找表中码率对应的各值与图像的频率分布密切相关，因而需根据具体应用定制码率查找表。掩膜是为方便硬件实现而定义的的二进制映射，将掩膜与背景系数位与，即实现仅保留个最高位平面。

3.2.2 边界生成模块 边界生成模块主要解决DWT引发的ROI边界延展问题。当应用9/7 DWT时，1维序列边界扩展规律可表示为

(6)

其中，和分别为原1维序列ROI的左边界和右边界，L,H分别为L, H子带的左边界，sub为L, H子带的右边界。⌊/2⌋和⌊/2⌋用移位寄存器实现。扩展到2维DWT，矩形左上(右下)顶点坐标决定其左、上(右、下)边界，对应1维序列的左(右)边界。

图6为边界生成模块架构。根据当前DWT层数Lv，选用原图像ROI顶点坐标NW,SE，或上层LL子带顶点坐标SPNW_LL, SPSE。由左上顶点坐标生成模块计算式(6)，并组合成4个子带的ROI左上顶点SPNW_LL, SPNW_HL, SPNW_LH及SPNW_HH。其中，SPNW_LL用于计算下个分解层各子带边界，其他3个子带的左上顶点坐标输出。由式(7)知，各子带ROI的右下顶点相同，故共用一个输出SPSE，由右下顶点坐标生成模块计算。

3.2.3 子带系数处理模块 子带数据处理模块主要完成两个工作：判断系数是否属于ROI；将背景系数的个最低位平面置零。其关键路径如图7所示，Comp提取SPNW, SPSE和系数地址ADR的行列索引并比较。若地址ADR的行列索引均不小于SPNW的行列索引，且均不大于SPSE的行列索引，则系数属于ROI，此时与门输出高电平，MUX将DAT赋予DAT’。否则，将DAT与Mask位与的值赋予DAT’，实现降低背景系数精度。

3.3 架构扩展

文献[3-8]中论述的算法与本文算法均以子带系数为基本处理单位，因而对所提VLSI设计作适当调整，即可适用于文献[3-8]中算法。主要调整如下：

(1)将与LL子带存储使能等信号相连的D触发器换做子带系数处理模块，信号连接方式与其它3个子带数据处理模块类似；

(2)掩膜生成模块输出系数移位值；

(3)边界生成模块选择输出SPNW_LL或与其同位深的各位均为1的信号；

(4)根据算法逻辑，对子带系数处理模块进行调整。

3.4 综合验证

使用Verilog HDL描述了此VLSI设计，在

图6 边界生成模块VLSI架构

图7 子带系数处理模块关键路径

Xilinx Virtex-7 XC7VX485T FPGA平台上完成综合，综合结果如表4所示，其中ROI模块工作频率可达271.5 MHz，考虑到模块输入为4路子带数据，独立测试时吞吐率可达1086Mcoefficient/s。

表4 FPGA综合结果

已发表文献中，并没有涉及ROI算法的硬件设计，不便于比较。因此，将本文设计的ROI电路模块嵌入JPEG2000编码硬核进行测试。此硬核编码大小为512×512的瓦片(Tile)，进行3层9/7 DWT，采用文献[26]所述DWT架构，为11。测试结果表明，JPEG2000硬件系统可稳定地运行在200 MHz时钟频率，对1024×1024×24 bit彩色图像的编码速率达24帧/s，可满足高清图像实时处理要求。

4 结束语

本文提出一种基于JPEG2000的遥感图像感兴趣区域编码新方法，实现了高质量的感兴趣区域编码并提升了重建图像主观视觉效果，且在协议兼容性等方面表现优异。提出了针对此算法的VLSI设计，具有较高的工作频率和吞吐率，可满足高清图像实时编码。后续将研究任意形状ROI的表示，使所提VLSI架构可支持任意形状ROI编码。

, 徐波, 高有涛, 等. 基于近邻传播聚类与核匹配追踪的遥感图像目标识别方法[J]. 电子与信息学报, 2014, 36(12): 2923-2928. doi: 10.3724/SP.J.1146.2014.00422.

CHU Yuezhong, XU Bo, GAO Youtao,. Technique of remote sensing image target recognition based on affinity propagation and kernel matching pursuit[J].&, 2014, 36(12): 2923-2928. doi: 10.3724/SP.J.1146.2014.00422.

[2] 李晓博, 孙文方, 李立. 静止轨道遥感卫星海面运动舰船快速检测方法[J]. 电子与信息学报, 2015, 37(8): 1862-1867. doi: 10.11999/JEIT141615.

LI Xiaobo, SUN Wenfang, and LI Li. Ocean moving ship detection method for remote sensing satellite in geostationary orbit[J].&, 2015, 37(8): 1862-1867. doi: 10.11999/JEIT141615.

[3] ISO/IEC. Information TechnologyJPEG2000 Image Coding System-Part 1: Core Coding System[S]. 2000.

[4] CHRISTOPOULOS C, ASKELOF J, and MATHIAS L. Efficient methods for encoding regions of interest in the upcoming JPEG2000 still image coding standard[J]., 2000, 7(9): 247-249. doi: 10.1109/97.863146.

[5] ISO/IEC. Information TechnologyJPEG2000 Image Coding System-Part 2: Extensions[S]. 2004.

[6] WANG Zhou and BOVIK C. Bitplane-by-bitplane shift (BbBshift)A suggestion for JPEG2000 region of interest image coding[J]., 2002, 9(5): 160-162. doi: 10.1109/LSP.2002.1009009.

[7] WANG Zhou, BANERJEE S, EVANS L,. Generalized bitplane-by-bitplane shift (BbBShift) method for JPEG2000 ROI coding[C]. Proceedings of International Conference on Image Processing, New York, 2002, 3: 81-84.

[8] LIU Lijie and FAN Guoliang. A new JPEG 2000 region of interest image coding method: partial significant bitplanes shift [J]., 2003, 10(2): 35-38. doi: 10.1109/LSP.2002.807867.

[9] TAUBMAN D and MARCELLIN M. JPEG2000 Image Compression Fundamentals, Standards and Practice[M]. USA: Kluwer Academic Publishers, 2001: 639-641.

[10] BARTRINA-RAPESTA J, AULI-LLNAS F, and SERRA-SAGRISTA J. JPEG2000 arbitrary ROI coding through rate-distortion optimization techniques[C]. Data Compression Conference, Snowbird, 2008: 292-301.

[11] XIE Yun and HAN Guoqiang. ROI coding with separated code block[C]. Proceedings of IEEE International Conference on Machine Learning and Cybernetics, Guangzhou, 2005, 9: 5447-5451.

[12] AMELI J, VAISEY J, and TONG Jin. Selecting the don’t care bits in JPEG2000 ROI coding[C]. Proceedings of SPIE, San Jose, 2004, 5308: 1383-1390.

[13] KONG Haosong, VETRO A, and HATA T.[C]. Proceedings of SPIE Visual Communications and Image Processing, Beijing, 2005, 5960: 59605Q.

[14] SANCHEZ V, BASU A, and MANDAL K. Prioritized region of interest coding in JPEG2000[J]., 2004, 14(9): 1149-1155. doi: 10.1109/TCSVT.2004.833168.

[15] WABG Jianxin and ZHU En. Background pretruncated method for JPEG2000 region of interest coding[J]., 2015, 24(3): 033019. doi: 10.1117/1.JEI. 24.3.033019.

[16] JIAO Licheng, WABG Lei, WU Jiaji,. Shape-adaptivreversible integer lapped transform for lossy-to-lossless ROI coding of remote sensing two-dimensional images[J]., 2011, 8(2): 326-330. doi: 10.1109/LGRS. 2010.2072490.

[17] ZHANG Liao, LI Hao, WABG Pengfei,. Detection of regions of interest in a high-spatial-resolution remote sensing image based on an adaptive spatial subsampling visual attention model[J].&, 2013, 50(1): 112-132. doi: 10.1080/15481603.2013.778553.

[18] CHENG Guangchun and BUCKLES B. A nonparametric approach to region-of-interest detection in wide-angle views [J]., 2014, 49(1): 24-32. doi: 10.1016/j.patrec.2014.05.019.

[19] ANESAN P, RAJINI V, SATHISH S,. HSV color space based segmentation of region of interest in satellite images[C]. 2014 International Conference on Control, Instrumentation, Communication and Computational Technologies (ICCICCT), India, 2014: 101-105.

[20] ZHANG Libao and YANG Kaina. Region-of-interest extraction based on frequency domain analysis and salient region detection for remote sensing image[J]., 2014, 11(5): 916-920. doi: 10.1109/LGRS.2013.2281827.

[21] SALIHA A, KARIMA B, MOULOUD K,. Extraction method of region of interest from hand palm: application with contactless and touchable devices[C]. 2014 10th International Conference on Information Assurance and Security (IAS), Okinawa, 2014: 77-82.

[22] CHEN Huizhong, JING Ning, WANG Jun,.novel saliency detection method for lunar remote sensing images[J]., 2014, 11(1): 24-28. doi: 10.1109/LGRS.2013.2244845.

[23] ZHANG Libao, YANG Kaina, and LI Hao. Regions of interest detection in panchromatic remote sensing images based on multiscale feature fusion[J]., 2014, 7(12): 4704-4716. doi: 10.1109/JSTARS. 2014.2319736.

[24] HAN O, BILGIN A, and MARCELLIN W. Visually lossless JPEG2000 at fractional resolutions[C]. 18th IEEE International Conference on Image Processing (ICIP), Paris, 2011: 309-312.

[25] HAN O, BILGIN A, and MARCELLIN W. Visually lossless encoding for JPEG2000[J]., 2013, 22(1): 189-201. doi: 10.1109/TIP. 2012.2215616.

[26] WANG Jianxin and ZHU En. A high-throughput VLSI design for JPEG2000 9/7 discrete wavelet transform[J].(), 2015, 31(1): 19-24. doi: 10.3969/j.issn.1003-7985.2015.01.004.

王建新： 男，1989年生，博士生，研究方向为图像视频编码算法及芯片设计.

朱 恩： 男，1965年生，博士生导师，研究方向为图像视频编码算法及芯片设计.

刘文松： 男，1983年生，博士生，研究方向为图像视频编码算法及芯片设计.

祁友杰： 男，1982年生，博士生，研究方向为图像视频编码算法及芯片设计.

A New Region of Interest Coding Algorithm Based on JPEG2000 for Remote Sensing Images and Its VLSI Design

WANG Jianxin ZHU En LIU Wensong QI Youjie

(School of Information Science and Engineering, Southeast University, Nanjing 211100, China)

To resolve the conflict between the amount of image data and the channel bandwidth, a Region Of Interest (ROI) coding method based on JPEG2000 is proposed in this paper. The mainstream methods for JPEG2000 ROI coding have a difficulty in balancing ROI quality and system computation, and have a hidden trouble in losing background completely at a low bit rate. The proposed method achieves ROI coding by precisely controlling the accuracy of background coefficients in each subband. The human visual property is introduced to obtain better visual effect with limited background codestream. Also, the Very Large Scale Integration (VLSI) design of the proposed method for the rectangle ROI is proposed. This design can be suitable for the mainstream ROI methods for JPEG2000 by some necessary adjustments. Experimental results show that the proposed method obtains an excellent performance in ROI quality and visual effect of the reconstructed images, supports arbitrary ROI shape coding, and is compatible with the standard. The VLSI design only adds one clock cycle on the coding time of JPEG2000 system, has a high throughput, and satisfies real-time applications.

Remote sensing image; Region Of Interest (ROI) coding; JPEG2000; Human visual property; Very Large Scale Integration (VLSI)

The National Natural Science Foundation of China (61271058)

TP751; TN492

A

1009-5896(2016)04-0958-06

10.11999/JEIT150812

2015-07-08；改回日期：2015-12-02；网络出版：2016-02-03

朱恩 zhuenpro@seu.edu.cn

国家自然科学基金(61271058)