基于仿射不变的分布式多时相图像压缩

金 璐， 张盛兰， 何小海， 杨 红， 卿粼波

（1 四川大学 电子信息学院， 成都 610065； 2 易安信信息技术研发（成都）有限公司， 成都 610065）

0 引 言

图像包含丰富的语义信息，是人类获取信息的主要来源之一［1］。 随着人类对地球的探测以及对高空间分辨率、高时间分辨率的成像需求，卫星遥感技术也飞速发展。 目前大部分卫星的观测对象是地球，并且会以一定的周期重复访问，比如中巴资源卫星的重复周期为26 天，法国SPOT 卫星的重复周期为26 天等，当经过一定的时间，卫星会重新观测之前拍摄的地区。 由于卫星的重复访问，导致解码端存储了很多同一地区不同时间的卫星图像。 多时相图像和视频即卫星访问间隔不同而生成的不同产物。 这些具有时间序列变化的图像给研究人员提供了充足的数据进行多时相变化的研究［2］，然而随之而来的就是数据量的剧增，遥感设备编码端与解码端距离的限制导致未能充分利用多时相图像进行图像压缩，而遥感设备的严格尺寸限制对图像的压缩和存储也提出了挑战。

图像压缩一直以来都是图像研究的一个重要领域，普通图像中存在着大量的数据冗余和主观视觉冗余，多时相图像相对于普通图像而言，还存在着时间冗余。 多视点图像和多时相图像都是对同一地点拍摄的不同图像，与多视点图像相比多时相图像具有一定相似性，但不具备不同传感器对同一地点拍摄的待压缩图像的时间一致性，对传感器没有数量要求，大体示意图如图1 所示。 目前，针对多时相遥感图像压缩的研究较少，而对于多视点普通图像压缩的研究比较成熟。 在多视点图像压缩领域，张金雷［3］针对星载设备有限的存储能力提出一种基于行的分布式编码方案使得传感器每扫描到一行数据便可以及时地解码。 Karaca 等学者［4］提出了将参考图像利用线性变换和3D-DCT 的方法来估计目标图像。 Li 等学者［5］提出一种自适应视差补偿的方案，但是这种方法需要在编码端对2 幅图像进行视差估计以及块匹配，此方案会增加编码端的复杂度。 Poolakkachalil 等学者［6］提出用算术编码和哈夫曼编码分别对不同视点的图像进行编码。 所提方法没有充分利用视点间的相关性。 Ahmad 等学者［7］提出了一种利用码率分配和运动搜索以找到最相似参考帧的方法应用在多视点视频编码中。 文献［8-10］利用深度学习的方法计算单应性矩阵，并将图像映射到另一视点上得到残差图像，对2 幅图像进行联合编码，基于深度学习的方法会大大增加算法的时间复杂度和计算复杂度。 以上方法大多是针对多视点图像，主流的多视点图像压缩方法复杂度较高，并且很少有针对多时相图像压缩方面的研究，在数据丰富的时代背景下，极大地浪费了资源，因此本文针对多时相图像压缩技术进行了深入研究。

图1 示意图Fig． 1 Sketch map

多时相卫星图像具有很高的相似度，而且重复周期越短，图像相似度越高，在同一地区不同时间拍摄的图像中，通过考虑冗余性可以获得更好的压缩性能，在编码端资源有限、解码端资源丰富的遥感图像压缩中，充分挖掘已有数据和待编码数据的相关性是唯一突破口，而目前卫星对于多时相图像的传输采用单独编解码的方式，未能合理利用解码端的丰富资源，因此，研究一种压缩性能优秀且充分利用解码端资源的多时相图像压缩方案是很必要的。 分布式编码是一种有效的针对编码端资源有限而解码端资源丰富的应用的解决方案，该理论在1973 年由Slepian 和Wolf［11］提出的，分布式编码在编码端允许2 个信源独立编码，在解码时，可以将一个信源先解码，然后寻找2 个信源之间的相关性，将已解码的信源作为边信息辅助另一个信源解码，以充分利用2 个信源之间的冗余。 分布式编码方案适用于编码端资源简单、解码端资源丰富的通信应用中［12-15］。因此，本文针对分布式多时相图像压缩进行了深入研究，充分利用已有资源，提出了一种基于仿射不变的分布式多时相图像压缩方案。

1 基于仿射不变的分布式多时相图像压缩方案

1．1 整体方案

本文在分布式编码的基础上提出了一种基于仿射不变的分布式多时相图像压缩方案，大体框架如图2 所示。

图2 整体框架Fig． 2 Overall framework

由于遥感图像图像尺寸较大，因此可将图像以中线为中心分为2 块，其中一块作为K块，另外一块作为WZ块。 所提方案主要包含3 个部分:编码端、解码端和基于仿射不变的边信息生成模块。 编码端将K块和WZ块分别进行简单的JPEG2000 编码和信道编码；解码端对K块进行JPEG2000 解码，将解码后的图像进行仿射不变转换生成边信息以辅助WZ块解码；边信息生成部分将在下一节中做详细论述，在分布式编码方案中，边信息和WZ块越相似，其编码所需要的码率就越低，压缩效果就越好。

1．2 基于仿射不变的边信息生成

本文提出了一种基于仿射不变的边信息生成模块，利用相邻2 块图像相对位置的一致性，在解码端对图像进行配准、预测，从而实现较好的压缩效果。基于仿射不变的边信息生成模块主要包含3 个部分:解码端相似图像检索、几何模型变换求解和色差校正。

1.2.1 解码端相似图像检索

卫星在第一次绕地球飞行时，地面解码端没有相关遥感图像可供参考，但当卫星在第二次或者第n次绕地球飞行时，解码端就拥有时间序列上的一系列遥感图像，当环绕次数越多，解码端可供参考的图像也就越多，因此在进行配准前，本文利用如下相关系数衡量图像之间的相似度，先对参考图像进行一次筛选:

其中，f(i，j) 为参考图像像素值；为参考图像的像素均值；g(i，j) 为待配准图像像素值；为待配准图像的像素均值。r越大，相关性越高，越方便后续边信息的生成。

1.2.2 几何变换模型求解

传统的多视点图像压缩方案直接在编码端对其进行配准，或者使用块搜索的方法对图像进行视差补偿，对原始图像直接进行配准当然会使结果更加准确，然而也会增加编码端的复杂度，传感器拍摄的同一幅图像的相邻2 块具有相似的位置变换关系，并且对于多时相图像而言，待编码时相图像在编码端，而参考时相图像在解码端，若将参考时相图像传输到解码端进行配准会对编码端造成压力，因此本文通过在解码端求解相邻块的几何变换参数应用到当前块的几何变换参数的方法对图像进行校正。

图像配准是图像处理领域的一个重要部分，配准结果对后续工作有着重要影响。 图像配准中将用到如下公式:

其中，I1为参考图像；I2为待配准图像；T(·) 为待配准图像和参考图像之间的几何映射关系；f(·) 为待配准图像和参考图像之间的灰度变换函数。 现有的图像配准方法主要包括基于灰度的图像配准和基于特征的图像配准［16］。 基于灰度的图像配准方法不需要对图像做预处理，直接按照图像的灰度值对图像进行模板匹配，因此对图像的灰度值要求较为严格，这种配准方法计算量大，并且很容易受到图像灰度值的影响。 基于特征的图像配准方法适用于特征比较明显的图像，受2 幅图像灰度差异影响较小。 多时相图像受人流密度、城市规划、环境光照以及一些不可抗因素的影响导致2 幅图像存在色差，因此基于特征的图像配准方法更适用于多时相图像配准。 基于特征的图像配准方法主要包括以下步骤:特征提取、特征描述、特征匹配、几何变换模型参数求解和坐标变换与插值［17］，具体流程如图3 所示。

图3 基于特征的图像配准Fig． 3 Image registration based on features

求解几何变换模型参数即求取2 幅图像的空间变换关系，常见的变换模型包括:刚体变换、相似变换、仿射变换、透视变换等。 其中，仿射变换不影响直线的平行线，但是会改变直线之间的夹角，同时包含水平和垂直方向的缩放，由于被拍摄物体与相机相距较远，因此可采用仿射变换模型求取变换关系。仿射变换一共有6 个自由度，tx和ty为横向和纵向的平移像素点数，a11、a12、a21、a22为缩放、旋转参数。 这里，(x，y) 是待配准图像的坐标，(u，v) 表示参考图像的坐标，推得的数学公式如下:

本文利用同一张图像的相邻块的空间变换关系相同的关系，对第一块图像K块在解码端寻找最相似图像K1 并求取单应性矩阵后，将结果应用到寻获的最相似图像的相邻块W1，并将其作为边信息辅助第一块图像的相邻块WZ块解码的方式将原始复杂的配准步骤转移到解码端。

1.2.3 色差校正

由于多时相图像相比于视频图像拍摄间隔较长，不同图像可能受天气、光照影响存在一定的色差，因此需要根据K块图像和解码端检索出来的最相似图像进行色差补偿。 最小二乘法（Least Sqaure Method，LSM）是线性拟合的一种较好的方法，本文进行图像预测系数计算时采取LSM 来进行遥感图像的色差校正，可按如下公式进行计算:

其中，f（i，j） 为待校正图像，g（i，j） 为待解码图像，由相邻块的色差估计待解码块的色差进行图像预测生成最终的边信息。 当待配准图像结果配准后可能会存在一定偏移，如图4（a）所示。 原始图像块为正方形，当经过变换后可能变为平行四边形，存在一定的错位，部分超出原始块的图像像素无参考像素值，当将此作为边信息时，会因存在大量的外点而影响色差校正的结果，故而为了达到稳定的性能，本文提出一种给待配准图像预留一定容错空间的方式进行图像预测，如图4（b）所示。 图4 中，绿色部分为原始图像块大小，空白部分为预留容错空间。在对图像进行预测时，选取中间图像块进行预测（如原始K块大小为512*512，则在预测时选取中间400*400 大小的图像块），以充分利用原始图像的像素值，避免部分像素点没有参考值而造成的损失，从而获得更好的压缩效果。

图4 预测块对比Fig． 4 Comparison of prediction block

2 实验结果分析

2．1 实验测试集

为充分验证所提方法的有效性，本文在和主流的多视点图像进行有损压缩对比的同时，也在多时相图像上进行了无损压缩的测试，测试图像有2 组。第一组图像来自LIVE 3D 数据集，是标准的多视点图像测试集，图像尺寸为640*360；第二组图像包含2016 年10 月15 日、2016 年12 月20 日以及2017年12 月12 日拍摄的瓜达尔港场景图像，2017 年3月2 日、2017 年3 月20 日以及2017 年5 月17 日拍摄的圣地亚哥场景图像。 测试图像如图5、图6 所示。 测试硬件开发环境为i7-6700K ＠ 4.00 GHz 四核CPU 和16 GB 物理内存。

图5 第一组测试图像Fig． 5 Test images of the first group

图6 第二组测试图像Fig． 6 Test images of the second group

2．2 压缩结果对比

在进行有损压缩时，本文采用了量化和9／7 小波变换的策略，压缩效果由压缩比（Compression Rate，CR） 和（Peak Signal to Noise Ratio，PSNR） 来衡量。 压缩比越大、峰值信噪比越高，说明压缩效果越好。 本文不仅利用了已知图像编码块的仿射信息，同时还对待编码块图像进行预测，从而更好地提升效果。

第一组图像压缩结果如图7 所示。 由对比结果可以看出，在Im2 中，本文在比文献［18］提高了0.42的压缩比的同时，PSNR的性能也提升了0.88 dB。在Im3 中，本文在和文献［18］近似的压缩比的同时PSNR提升了6.14 dB，本文在利用相邻块仿射不变性质的同时也对待编码块进行了预测，达到了更加优越的性能。 本文所提方法在尺寸较大的图像中效果更好，由k块计算出来的仿射变换矩阵可以应用到剩下图像中，在实际的卫星图像中做了无损压缩测试，分布式编码结果的优劣严重依赖于边信息质量的好坏。图8展示了本文所用方法生成边信息的PSNR对比结果，图9 展示了遥感图像无损压缩的码率结果对比。其中，GROUP1～3 为随机选取的瓜达尔港场景测试结果，GROUP4～6 为随机选取的圣地亚哥场景测试结果。

图7 第一组图像压缩结果Fig． 7 Images compression results of the first group

图8 边信息结果Fig． 8 Side information results

图9 第二组图像压缩Fig． 9 Images compression results of the second group

本文通过使用相邻块的几何变换一致性，使得配准后的边信息质量高于原始边信息，人工配准剪裁很难精确到像素级别，通过sift＋ransac 使边信息质量有所提升，但此时2 幅图像的像素值仍然会有因为外界因素影响导致的差别，再通过最小二乘法进行预测使配准后图像与待解码图像更加相似，边信息的质量也得到了明显提升。 经过本文所提方案生成的边信息在上述测试图像中比原始边信息分别提高了2.48 dB、3.16 dB、2.49 dB、4.41 dB、1.07 dB、2.84 dB。由图9 可以看出，本文在6 组测试图像中也实现了比JPEG2000 更低的码率，所提方案的码率分别比JPEG2000 降低了0.29 dpp、0.22 dpp、0.29 dpp、0.06 dpp、0.12 dpp、0.23 bpp。

3 结束语

本文针对遥感图像压缩中存在的编码端和解码端资源不对称并且编码端计算能力、存储能力有限的问题，利用2 幅图像相邻块相对位置变化的一致性，提出了一种基于配准的分布式多时相图像压缩方案，并进行了有损和无损的仿真测试，实验结果证明所提方案在压缩性能上比JPEG2000 和目前主流方法更有优势，能充分利用解码端的资源，在当今数据大量涌现的时代具有一定参考价值，但本文方法的优劣很大程度上取决于配准结果的好坏，而且2幅多时相图像中可能误检到运动物体并将其匹配，下一步可通过优化配准效果以得到稳定的更优结果，在获取遥感图像时可能存在云层遮挡现象，因此若所有解码端图像都有云层遮挡则需考虑如何去除云层。