JPEG-LS近无损图像编码器VLSI结构设计

聂永康,雷 杰,李云松,宋长贺,吴宪云

(西安电子科技大学综合业务网理论及关键技术国家重点实验室,陕西西安 710071)

JPEG-LS近无损图像编码器VLSI结构设计

聂永康,雷 杰,李云松,宋长贺,吴宪云

(西安电子科技大学综合业务网理论及关键技术国家重点实验室,陕西西安 710071)

标准JPEG-LS图像压缩算法性能优越、算法复杂度低,因而被广泛应用于空间通信、医疗等领域.但是,该算法工作在近无损压缩模式时,计算当前像素的预测值需要使用前一像素的重建值,而重建值需要复杂运算才能得到,导致编码器存在大延时的反馈电路,这给编码器的高速硬件实现带来困难.在对JPEG-LS算法的深入研究的基础上,采用重建值的前向预测方法,提出一种全新的JPEG-LS近无损图像编码器超大规模集成电路结构,能够有效避免编码过程中的反馈延时.与现有方案相比,提出的超大规模集成电路结构具有编码速率高、不需要片外缓存、系统功耗低等优点,适用于资源受限的星载图像压缩.

图像压缩;近无损;JPEG-LS;前向预测;现场可编程门阵列

JPEG-LS是ISO/ITU标准中用于静态连续色调图像无损/近无损压缩的一种图像编码算法[1].JPEG2000、SPIHT等算法由于需要进行小波变换等复杂运算,在硬件实现上往往需要片外存储,因而具有较高的算法复杂度[2-5].然而,JPEG-LS在无损/近无损压缩时性能优异[6],算法复杂度低[7-8],对各类图像均具有良好的适用性[9],因而被广泛应用于空间通信、医疗等领域的图像压缩和加密[10-12].国内外学者针对JPEG-LS编码器的超大规模集成电路(Very Large Scale Integration,VLSI)结构设计做了很多研究,但大多是关于无损压缩模式的结构设计[10,12,15].尽管JPEG-LS算法简单且压缩性能优越,但其工作在无损压缩模式下的输出码率波动较大而且不可控[13],应用场景较为局限.与无损模式相比,JPEG-LS近无损模式在低压缩比下具有接近于无损的图像压缩性能,而且可通过码率控制技术[14]较为精确地控制编码器输出码率.但是,对于近无损压缩模式的VLSI结构设计,目前国内外的研究尚未给出较好的解决方案.文献[12]提出一种JPEG-LS无损图像编码器VLSI结构,但未解决上下文参数更新的反馈延时问题,处理速度较低;文献[15-17]提出了一种上下文参数的前向预测方法,但未能解决近无损压缩模式中的像素重建值反馈延时问题,因而该方法仅适用于无损压缩模式;文献[18]提出一种兼容无损/近无损的编码器硬件结构,但仍未解决像素重建值反馈延时问题,导致其近无损模式下的数据处理速率低.为了提高编码速率,传统的解决方案大多采用外部存储器缓存结合多个编码模块并行的模式.这种方法增加了外部存储器的访问控制,所以编码器体积、功耗较大,导致近无损编码器的应用较为局限,尤其是在对设备的体积、功耗有着更高要求的星载图像压缩领域.

针对像素重建值的反馈延时问题,通过对JPEG-LS算法的深入研究,笔者提出了像素重建值的前向预测方法,设计实现了一种新的高速JPEG-LS近无损编码器的VLSI结构.对比传统的近无损编码器,文中所提出的编码器VLSI结构具有更高的编码速率、优良的编码性能,且无需片外缓存,系统功耗低,适用于资源受限的星载图像压缩.

图1　JPEG-LS的上下文环境

1　JPEG-LS 近无损编码的像素重建值反馈延时问题

标准JPEG-LS算法按照行扫描顺序自左向右、从上到下的次序依次对图像像素点进行编码,编码过程主要为:①通过附近点对当前点进行预测;②用当前点的真实值减去预测值得到预测残差;③对残差进行Golomb编码.预测当前像素点时需使用的附近像素点如图1所示,其中x表示当前点,a、b、c、d这4个点为预测时需使用的点.

标准算法支持无损压缩模式和近无损压缩模式.对当前点的预测方法是这两种模式的主要不同点.在无损压缩模式下,像素x的预测值由像素点a、b、c、d的真实值Ia、Ib、Ic、Id来计算;在近无损压缩模式下,像素x的预测值由这4个像素点的重建值Ra、Rb、Rc、Rd来计算.其中,Rb、Rc、Rd是上一行像素编码中产生的信息,可以通过寄存临时存取,而Ra需要等待Ia经过边缘检测、梯度计算、梯度融合、预测误差计算、残差量化和重建值计算等多级运算才能得到.因此,在近无损压缩模式下,当前像素点x的编码存在较大的重建值反馈延时,如图2所示,Ix是像素x的真实值,E是量化后的残差值.

图2　JPEG-LS像素重建值反馈延时示意图

在JPEG-LS近无损编码器高速硬件实现中,如何有效避免像素重建值的反馈延时是一个难点,如果不能较好地解决这个问题,近无损编码器速率就会过低,从而限制JPEG-LS近无损算法的应用.针对该问题,笔者提出一种重建值的前向预测方法,可避免重建值反馈延时,实现高速的硬件编码器.

2　结合重建值前向预测的JPEG-LS算法

2.1JPEG-LS的限失真特性

文中所提出的基于前向预测模式的JPEG-LS算法是以JPEG-LS的限失真特性为基础的.在标准JPEG-LS算法的近无损压缩模式中,当前像素x的重建值Rx的计算过程如下:

首先,根据式(1)计算预测残差ε.其中,Px是像素x的预测值,s是梯度融合后的上下文标识,当量化梯度向量[q1,q2,q3]中第1个非0元素小于0时,s为-1;否则,s为1.

其次,按式(2)计算量化后的残差Q(ε),其中,δ是失真量化参数,sign(ε)表示ε的符号.

最后,通过式(3)计算重建值Rx.

设重建值Rx和像素真实值Ix之间的差值为Δ,由式(1)～(3)可得

其中,“/”表示取商,“%”表示取余.由式(4)式知,在JPEG-LS中,像素重建值和真实值的差值不超过失真量化参数δ,这就是JPEG-LS的限失真特性.

2.2重建值前向预测方法

基于2.1节所述的限失真特性,提出一种像素重建值的前向预测方法来解决反馈延时问题,如图3所示,R(a,i)表示像素a的第i个预测重建值,其中,i=1,2,…,2δ+1,在下文中,i的取值范围不变.首先,根据限失真特性,将与Ia相差不超过δ的像素值全部作为a的预测重建值R(a,i);然后,让R(a,i)先代替真实重建值Ra参与像素x的处理,产生x的多个预测残差值;最后,等Ra计算得出后,根据Ra从像素x的多个量化残差值εi中选择出正确的残差值E继续进行编码.采用这种方式,当前像素点的处理不需要等到前一个像素点的重建值计算出来后才开始进行,各模块是同步工作的,实现流水线式的高效处理.此外,前向预测结构的并行程度与δ相关,δ的取值范围越大,并行程度就越高.由于并行程度受到硬件资源的限制,因而δ存在一个受限的取值范围,在文中实现的前向预测结构中,δ的取值区间限制为{0,1,2,…,10}.经过对大量图像数据(1 024×1 024×8 bit)进行测试,当δ的取值区间为{0,1,2,…,10}时,对自然图像支持2倍、4倍、6倍压缩,对遥感图像支持2倍、4倍压缩,具有较好的实用价值.

图3　像素重建值的前向预测结构示意图

文中提出的像素重建值前向预测算法的整体流程如图4所示.

3　JPEG-LS 近无损图像编码器的VLSI实现

整个编码器分成3个部分,包括前端行缓存模块、中间级预测误差计算模块和后级Golomb编码模块.各模块的工作过程如下:前端行缓存模块接收相机传来的行同步信号、帧同步信号、当前像素真实值Ix和数据使能信号,并从片内双端口随机访问内存(Random Access Memory,RAM)中取出Rb、Rc、Rd,将其与Ix一起传给中间级模块.中间级预测误差计算模块接收前端模块传来的像素值,计算获得误差映射值ME和编码参数k,并将其传给后级Golomb编码模块.同时,计算获得Rx,将其传给前端行缓存模块进行缓存.后端Golomb编码模块根据k对ME进行编码,输出码流及码流同步信号.中间级预测误差计算模块是整个编码器设计的核心,其结构图如图5所示.

该模块采用流水线结构,接收Rb、Rc、Rd、Ix之后,经过7个时钟的处理,计算得到ME和k.在Stage6中,选择残差的工作是根据Ra从εi、ri中选择出正确的残差量化商E以及量化余数r.参数更新的工作是根据E更新上下文参数,并将更新后的上下文参数Au、Bu、Cu和Nu写入到RAM相应的地址中.重建值计算的工作是根据r计算出重建值Rx,并经过一级寄存后,作为下一个像素的残差量化结果的选择依据.

图4　JPEG-LS重建值前向预测模式算法流程图

图5　中间级预测误差计算结构图

4　性能评估

笔者提出的JPEG-LS近无损编码器在Xilinx XC4VSX55器件上进行了实现和验证,编码器能够直接接收光电耦合器件(Charge-Coupled Device,CCD)相机的图像数据(1 024×1 024×8 bit)完成数据压缩并输出码流.实验采用ISE软件工具自带的XST综合器进行综合实现,实现后的编码器最高工作时钟频率为66.760 MHz,其逻辑资源开销如表1所示.由表1的结果可以看出,文中提出的编码器占用了比较多的逻辑资源,这是因为前向预测方式需要同时计算出多个候选预测残差值.但是,该结构无需使用片外大容量的存储器,可以接收逐行输入的图像数据并实时完成数据的编码处理.

对比文献[10,12,18-19]与文中提出算法的编码性能,得到结果如表2所示.表2中的5种算法处理的都是像素精度为8 bit的图像,其中文献[12]提出的编码器对分辨率为640×480的图像处理时间为31 ms,表中的编码速度由此换算得出.文献[10]所提出的编码器仅支持无损压缩,由于不存在重建值反馈延时问题且采用了上下文参数的前向预测的方法,故能达到较高的编码速度.对比文献[18]中同样支持无损/近无损压缩模式的编码器,笔者提出的编码器在工作时钟频率为66.760 MHz,处理速度能达到66 Mpixels/s,是前者的5.5倍.由于采用了像素重建值的前向预测结构结合流水线处理,基本实现一个时钟处理一个像素点,克服了像素重建值的反馈延时问题.在相同压缩性能的基础上,由表2可以看出,文中的算法结构支持无损/近无损压缩模式,无需片外缓存,同时编码速度大幅提升.

表1　JPEG-LS近无损编码器资源占用情况

表2　5种JPEG-LS编码器对比

5　结束语

通过对JPEG-LS近无损图像编码器的硬件实现进行深入研究,笔者提出了一种基于前向预测模式的JPEG-LS近无损编码器VLSI结构,克服了JPEG-LS在近无损压缩模式下硬件实现的难点即像素重建值反馈延时问题.相比于现有的编码器,文中提出的编码器VLSI结构不需要片外缓存,具有编码速率高、实时性好、系统功耗低等优点,适用于资源受限的星载图像压缩.另一方面,由于文中提出的编码器占用较多的片内逻辑资源,失真量化参数δ的取值范围受限,因而下一步工作的重点是对占用逻辑资源的优化以及扩大失真量化参数δ的取值范围.

[1]WEINBERGER M J,SEROUSSI G,SAPIRO G.The LOCO-I Lossless Image Compression Algorithm:Principles and Standardization into JPEG-LS[J].IEEE Transactions on Image Processing,2000,9(8):1309-1324.

[2]雷杰,孔繁锵,吴成柯,等.适合硬件实现的JPEG2000码率控制算法及其VLSI结构设计[J].西安电子科技大学学报,2008,35(4):645-649. LEI Jie,KONG Fanqiang,WU Chengke,et al.Hardware-oriented Rate Control Algorithm for JPEG2000 and Its VLSI Architecture Design[J].Journal of Xidian University,2008,35(4):645-649.

[3]郭杰,吴成柯,王柯俨,等.JPEG2000中优化逼近的整型小波变换[J].西安电子科技大学学报,2008,35(2): 210-215. GUO Jie,WU Chengke,WANG Keyan,et al.Optimized-approximate Integer-to-integer Wavelet Transform and Its VLSI Architecture of JPEG2000 Codec[J].Journal of Xidian University,2008,35(2):210-215.

[4]毛家发,钮心忻,杨义先,等.基于MPUI模型的JPEG2000图像最大隐写容量[J].软件学报,2014,25(7): 1606-1620. MAO Jiafa,NIU Xinxin,YANG Yixian,et al.JPEG2000 Image Maximum Steganography Payload Based on MPUI Model[J].Journal of Software,2014,25(7):1606-1620.

[5]丁晓峰,何凯霖.基于改进提升小波变换SPIHT的图像压缩算法[J].计算机测量与控制,2014,22(11):3670-3672. DING Xiaofeng,HE Kailin.A lossy Image Coding for Wireless Multimedia Sensor Networks[J].Computer Measurement&Control,2014,22(11):3670-3672.

[6]RANE S D,SAPIRO G.Evaluation of JPEG-LS,the New Lossless and Controlled-lossy Still Image Compression Standard,for Compression of High-resolution Elevation Data[J].IEEE Transactions on Geoscience and Remote Sensing, 2001,39(10):2298-2306.

[7]JAKHETIYA V,AU O C,JAISWAL S,et al.Lossless/near Lossless Compression Using Bilateral Filter and Symmetrical Structure Based Bias Cancellation[C]//6th International Symposium on Communications,Control and Signal Processing.Piscataway.IEEE,2014:77-80.

[8]CHEN J,CHEN T S,LIN C,et al.A simple JPEG-LS Compressed Technique for 2DGE Image with ROI Emphasis [J].The Imaging Science Journal,2015,63(2):76-80.

[9]宋鸿梅,徐学庆,牟海维,等.图像无损压缩算法JPEG-LS实现及性能研究[J].光学仪器,2014(4):315-318. SONG Hongmei,XU Xueqing,MU Haiwei,et al.Realizatio and Performance of Lossless Image-compression JPEG-LS Algorithm[J].Optical Instruments,2014(4):315-318.

[10]WEI W,LEI J,LI Y S.Onboard Optimized Hardware Implementation of JPEG-LS Encoder Based on FPGA[C]// Proceedings of the SPIE:8514.Bellingham:SPIE,2012:851406.

[11]陈益刚,邓家先,谢凯明.基于JPEG-LS压缩比控制的图像压缩加密算法[J].计算机应用,2015,35(1):93-98. CHEN Yigang,DENG Jiaxian,XIE Kaiming.Image Compression Encryption Algorithm Based on Compression Ratio Control of JPEG-LS[J].Journal of Computer Applications,2015,35(1):93-98.

[12]李晓雯,陈新凯,李国林,等.低功耗全流水线JPEG-LS无损图像编码器的VLSI设计[J].清华大学学报(自然科学版),2007,47(10):1654-1657. LI Xiaowen,CHEN Xinkai,LI Guolin,et al.VLSI Design of a Low Power,Fully Pipelined JPEG-LS Encoder for Lossless Image Compression[J].Journal of Tsinghua University(Science&Technology),2007,47(10):1654-1657.

[13]ZHANG J,LI Y S,LIU K,et al.The Rate Control Scheme for JPEG-LS with High Bitrate[C]//Proceedings of the SPIE:8514.Bellingham:SPIE,2012:85140T.

[14]张毅,雷杰,李云松.一种新的基于先验数据表的JPEG-LS动态码率控制算法[J].电子与信息学报,2014,36(4): 823-827. ZHANG Yi,LEI Jie,LI Yunsong.A Novel Dynamic Rate Control Algorithm for JPEG-LS Based on Empirical Data Table[J].Journal of Electronics&Information Technology,2014,36(4):823-827.

[15]PAPADONIKOLAKIS M,PANTAZIS V,KAKAROUNTAS-ATHANASIOS P.Efficient High-performance ASIC Implementation of JPEG-LS Encoder[C]//Proceedings of the IEEE Design,Automation&Test in Europe Conference& Exhibition.Piscataway:IEEE,2007:1-6.

[16]KAU L J,LIN S W.High Performance Architecture for the Encoder of JPEG-LS on SOPC Platform[C]//2013 IEEE Workshop on Signal Processing System.Piscataway:IEEE,2013:141-146.

[17]KIM B S,BAEK S,KIM D S,et al.A High Performance Fully Pipeline JPEG-LS Encoder for Lossless Compression [J].IEICE Electronics Express,2013,10(12):20130348.

[18]ANTONIO L F,D’AMORE R.A Low Complexity Image Compression Solution for Onboard Space Applications[C]// Proceedings of the ACM 23rd Symposium on Integrated Circuits and System Design.New York:ACM,2010:174-179.

[19]杜奇才,李国锁,林嘉宇.基于FPGA的近无损图像压缩实现[J].微处理机,2008(2):99-101. DU Qicai,LI Guosuo,LIN Jiayu.FPGA ReaIization of Near-lossless Image Compression[J].Microprocessors,2008 (2):99-101.

(编辑:王 瑞)

VLSI design of the JPEG-LS near-lossless image encoder

NIE Yongkang,LEI Jie,LI Yunsong,SONG Changhe,WU Xianyun
(State Key Lab.of Integrated Service Networks,Xidian Univ.,Xi’an 710071,China)

The JPEG-LS image compression standard brings excellent performance and low complexity, which makes it the widely used in space communications,medicine and many other fields.However,the prediction of the current pixel requires the reconstruction value of the previous pixel in the near-lossless mode,which leads to complicated computation and a feedback circuit with long latency in hardware implementations.On the basis of an intensive study of the JPEG-LS algorithm,a forward prediction method of reconstruction value is used and the new VLSI implementation of the JPEG-LS encoder is proposed in this paper,which can avoid the feedback latency.Compared with existing implementations,the proposed one has the advantages of higher encoding speed,no nuse of off-chip storages,and lower power consumption,making it suitable for resource-limited spaceborne image compression.

image compression;near-lossless;JPEG-LS;forward prediction;FPGA

TN919.81

A

1001-2400(2016)04-0075-06

10.3969/j.issn.1001-2400.2016.04.014

2015-04-27 网络出版时间：2015-10-21

国家优秀青年基金资助项目(61222101);国家自然科学基金资助项目(61301287,61301291);111基地资助项目(B08038);中央高校基本科研业务费专项资金资助项目(K5051301043);中国博士后科学基金资助项目(2013M540735)

聂永康(1990-),男,西安电子科技大学硕士研究生,E-mail:251782250@qq.com.

雷 杰(1981-),男,副教授,E-mail:jielei@mail.xidian.edu.cn

网络出版地址：http://www.cnki.net/kcms/detail/61.1076.TN.20151021.1046.028.html