基于超分辨率的相控阵天气雷达数据压缩算法

沈邦跃,何建新,曾强宇

(1.成都信息工程大学电子工程学院,四川成都 610225;2.中国气象局大气探测重点开放实验室,四川成都 610225)

0 引言

天气雷达是探测灾害性天气过程的有效手段,天气雷达数据是研究天气形成原因以及预测分析的重要信息,对灾害性天气过程的精确预警预报有着重要作用。随着相控阵雷达技术发展,雷达数据探测精度和分辨率越来越高,随之增大的是雷达数据的数据量,数据的传输和存储压力增大。天气雷达数据压缩技术将数据进行实时压缩处理,减缓传输和储存压力,提高雷达的业务能力,因而受到越来越多的关注。

天气雷达数据压缩分为有损压缩和无损压缩。有损压缩通过损失一定的数据信息获得更高的压缩率,在实际应用中,根据不同应用环境去掉不需要的信息或降低精度实现有损压缩。无损压缩较有损压缩的压缩率更低,但能够完整保存数据,实际应用中,原始数据使用无损压缩保存。无损压缩和有损压缩的选择取决于用户需求,在进行数据精度要求不高的定性分析时,使用有损压缩能够进一步提高压缩率,而进行对数据的精度要求较高的定量计算时,数据失真会影响天气过程的分析和数据同化,雷达数据精度决定了分析结果的准确性。因此,有损压缩不适合对数据保真度要求较高的应用需求,需通过无损压缩来进行完整数据的保存。

现有压缩算法大多基于图像处理,在图像压缩算法中有很多可以借鉴的压缩算法思路。在基于图像的压缩算法中,Liu 等[1]基于线性预测、整数小波变换(IWT)与输出系数处理和Huffman 编码相结合,提出一种改进的无损压缩算法,该算法能够更好地压缩纹理复杂和分辨率高的图像。M Waleed 等[2]将可逆颜色变换(RCT)与双层Burrows-Wheeler 压缩算法(BBWCA)相结合,增加图像像素的重复性,增强冗余度,从而更好地压缩。Xin 等[3]提出一种关于图像的可压缩指示函数,给出表示位置所需的平均位数的阈值,针对二值图像、灰度图像和多分量图像,采用形状对图像进行编码,使用形状和位置来表示二值图像,能够有效进行图像无损压缩。这些图像的压缩思路可以提供基于数据压缩的理论支持以及新的研究思路,在数据压缩方便优化算法性能。

天气雷达数据有损压缩研究中,陈威等[4]详细描述了对多普勒天气雷达回波数据进行小波变换和对变换系数进行嵌入式零树编码(embedded zero tree wavelet coding,EZW)的过程,实现对回波数据的有损压缩,明显优化了峰值信噪比。潘志刚等[5]提出了一种可以根据数据的分块大小来自适应选择不同量化比特率的算法。陈璐等[6]提出了由3 部分组成的混合压缩算法,分别是预压缩、有损压缩和无损压缩。能够有效地根据需求来对气象雷达数据进行压缩。李朋等[7]提出了一种帧间自适应分块量化的压缩算法FD-BAQ。这种算法在几乎不增加复杂度的情况下提高了BAQ的压缩性能,但在压缩过程中会得到较大的量化误差,可能造成数据的较大失真。

天气雷达探测数据无损压缩研究中,黄云仙等[8]提出了基于阶梯量化的压缩算法,并使用MED 预测,能够有效实现气象雷达的数据压缩。Zeng 等[9]提出了一种预测算法,基于时间和空间对天气雷达数据进行无损压缩,利用残差数据和运动向量代替原始值进行熵编码,较次优算法的压缩性能提高了26%。夏正[10]分别研究了LMS 预测算法、分块预测算法和MED 预测算法的原理,并使用雷达回波数据对各算法的压缩效果进行验证和对比。结果表明,几种算法中,采用MED 二维预测算法对雷达回波数据预测变换后,残差数据的熵值最小。曾强宇等[11]提出了应用双偏振的天气雷达技术数据压缩算法DPRC,解决了传统通用的无损压缩算法压缩率相对低下的技术缺陷,对高分辨的双线偏振天气雷达的组网技术提供了有力支持。

现有天气雷达数据压缩算法主要针对新一代天气雷达数据,但经过双偏振和相控阵两次技术进步,天气雷达的数据量增加了100 倍以上,数据压缩技术需要针对相控阵天气雷达数据特点进行压缩性能研究。文本利用相控阵天气雷达的高时空相关性,提出基于超分辨率的相控阵天气雷达无损压缩算法,将超分辨率和预测编码结合,能有效降低数据相关冗余,实现无损压缩。这对于解决先进天气雷达数据传输与存储等实际问题,建立天气雷达数据压缩体系具有重要意义。

1 相控阵天气雷达数据特点

新一代天气雷达系统目前已经成功在全世界稳定运行了二十多年,通过机械扫描的方式,自动改变雷达天线的方位角和俯仰角来完成体扫。这种雷达扫描的方法是在严格保证雷达数据质量精度的前提情况下,雷达最快速度可保证以每6 min连续进行14 层扫描。在这种雷达扫描方法处理下的雷达资料还可以用于实现对大中尺度气象过程中如对台风、暴雨天气等灾害的实时监测分析预报和分析预警,对于进一步增强对灾害性气象过程的实时监视分析与分析预报的水平将有一个很大提高。龙卷等小尺度强对流天气形成时间短、发展快、持续时间短,新一代天气雷达无法对龙卷等天气过程进行有效探测[12]。相控阵天气雷达系统可实现在严格保证观测数据质量精度的前提情况下对系统进行实时快速的扫描,采用的阵列天线是以具有大量频率相同特性的辐射单位所构成,各个天线单元的辐射相位频率与辐射幅度方向均为完全自主和可控,可以同时进行多个高精度波束的指向,完成对任意一个方向上返波的观测。相控阵天气雷达系统可以在短短1 min时间内就完成体扫,同时得到大量准确的天气信息[13]。

成都信息工程大学联合南京恩瑞特实业有限公司研制了X 波段双线偏振相控阵天气雷达CHARTORXPARD,2021年5月雷达在江苏省兴化市气象局架设完毕,投入强对流天气过程观测。CHARTOR-XPARD雷达采用了全新设计的大角度扫描低副瓣双极化波导缝隙相控阵天线,如图1所示。双偏振相控阵雷达不仅可以探测云和降水区域的反射率因子(Z)、径向速度(V)和速度谱宽(W),还可以获得差分反射率(ZDR)、差分传播相移(ΦDP)、差分传播相移率(KDP)以及偏振相关系数(ρhv)等偏振参量。利用差分双线偏振分析技术可直接测定各种天气目标云的差分反射率因子、差分传播相移、退偏振比和其他各种物理参数,以及直接利用计算机对所有上述物理参数进行数值解析,判断目标云相态的空间分布,粒子形态结构与粒子大小的空间分布规律和各种降水天气粒子云的运动特性等(如冰雹、雪、雨、冰晶等)。天线阵面技术指标见表1。

表1 天线阵面技术指标

图1 兴化CHARTOR-XPARD 相控阵雷达

CHARTOR-XPARD 双偏振相控阵使用多波束技术,可以同时对多个仰角进行观测,在一个PPI 中,回波数据中有大量的无效数据。单层仰角数据中,共有360个径向,每个径向上有1667 个距离库,反射率数据精度为0.5 dBZ。在雷达探测扫描过程中,会产生大量的无效数据,得到的体扫数据中存在小于或大于阈值的数值或者对应区域在大气中不存在天气过程,这些区域的距离库所表示的就是无效数据。因为无效数据的大规模重复产生,天气回波数据存在很大程度的间隙。无效数据又可简单分成以下两种:一类为随机分配的数据产生的非拖尾的无效数据;另一种数据是位于径向尾端,在径向尾端被逆向到一个非零值的部分,叫作拖尾的无效数据[11]。根据江苏兴化相控阵雷达数据,可以得出在有天气过程时,无效数据占据40%～50%,其中拖尾无效数据占据15%～27%,并且无效数据的占比随着仰角增加而下降;在无天气过程时,无效数据占据82%～95%,其中拖尾无效数据占据59%～74%,并且无效数据占比随着仰角增加而增加。如图2所示,在数据预处理时,直接将拖尾无效数据去除,不会影响数据完整度,并可以进一步提高压缩率。

图2 不同天气无效数据对比图

CHARTOR-XPARD 相控阵雷达在获取气象雷达回波数据时,相邻数据段之间总是存在高度的数据相关性。本文的压缩算法旨在利用相邻数据段之间的数据相关性来减少雷达数据的冗余。基于PPI,两个径向相邻的气象雷达距离数据库与两个空间相邻的径向距离数据库高度相关,利用已传块数据预测下一块数据。本文的天气雷达数据压缩算法是降低数据之间的相关性,通过预测算法改变数据的分布结构,以便熵编码有效地压缩存储空间。如图3所示,同一径向内的相邻距离库以及相邻径向间距离库大概率会出现数据相同或者相似的现象,通过帧内预测的方式降低数值的大小,再进行熵编码能有效降低这种空间冗余。超分辨率重建是利用低分辨率数据重建出分辨率更高的回波数据,这就需要回波自身的冗余信息即回波的相关性。冗余信息可以对重建回波进行约束,使重建回波更接近原始回波。

图3 不同参数的相邻径向相关系数

2 相控阵天气雷达数据压缩算法

本文提出一种相控阵天气雷达数据压缩算法,算法流程如图4所示,算法步骤如下。

图4 压缩算法流程

Step1:对天气相控阵雷达回波数据进行预处理,将PPI 数据二倍下采样(降低分辨率)得到下采样数据;

Step2:将下采样数据使用STV 超分辨率重建算法(self-adaptive total variation,STV)[14]得到重建数据,重建数据与原始数据进行差分得到重建残差;

Step3:将下采样数据经过帧内预测之后与原始下采样数据作差得到预测残差;

Step4:将预测残差与重建残差组合得到组合数据;

Step5:进行熵编码,输出码流。

解码端利用传输的模式以及预测残差,可以恢复二倍下采样数据。再利用下采样数据通过STV 算法得到重建PPI,与传输的重建残差数据补偿得到原始PPI,解码流程如图5所示。该算法是一个无损的过程,能有效进行相控阵天气雷达数据无损压缩。

图5 解码流程

2.1 预处理

读取体扫数据,1 个体扫数据包含5 层仰角数据,根据头文件信息,将不同仰角层的各参数数据进行分类存储。在头文件信息中,头文件所包含的基本参数大部分是相同的。在头文件预处理时,将头文件进行差分得到残数数据,再进行熵编码能更有效地较少数据量。

在数据块预处理时,将数据映射至[0,160],能够更有效地进行后续编码处理,由于相控阵天气雷达的反射率数据范围是-10～70,反射率数据映射方法如下:

Data′=[(Data+10)×2]

在一个PPI 中,无效数据大量存在,其中包含拖尾无效数据。由于拖尾无效数据不会影响数据质量,直接去除拖尾无效数据可以减少大量传输数据量。去除拖尾无效数据之后再进行后续算法。

2.2 预测编码

预测编码使用的是帧内预测模式,能更好地减少数据块间存在的数据空间的冗余,使用已传数据来预测当前块的值,通过传输模式与残差来减少数据之间的相关冗余。帧内预测以4×4 的块作为一个基本单位,在边界没有足够距离库时,使用补“0”的方法构成完整块。本算法是在一个PPI 内进行,在同一层仰角相邻径向的距离库以及同一径向内相邻的距离库均具有较强相关性。在相邻的距离库之间,其数据大小很大概率会出现相同或者相似的值。相邻的两个距离库之间的差值很小,通过预测算法可以得到数值很小的残差数据块,有效地改变了数据的数值分布,预测流程如图6所示。

图6 预测流程

帧内预测共有7 种预测模式,垂直、水平和DC 模式适用于变化平坦的区域,其他模式适用于纹理比较复杂的区域。当前数据块与预测所需参考值位置如图7所示,不同预测模式输出是由A～L 参数权重不等的公式加权计算。

图7 帧内预测参考位置图

其中A～M 为已传数据,a～p 为当前块,通过7种模式预测,如图8所示。

图8 预测模式

在垂直模式下,预测块上部的样值按箭头方向复制到预测块。水平模式与垂直模式很相似,按照左部的样值进行复制。其余模式正如名称所示,适合进行有对应方向的纹理结构的预测。其中DC 模式、水平模式以及垂直模式使用次数最多,公式如下:

数据块通过7 种预测模式进行预测,计算出每个预测模式输出值与当前块原始数据的SAD 值,编码器将选择出最优预测模式以及预测值作为最终预测输出。

2.3 模式选择

模式选择用于确定最佳预测模式,输出与原始数据最相似的预测值,最终得到残差数据,如图9所示。残差数据是由原始数据与预测数据作差所得,通过SAD(sum of absolute difference)值来选择最优预测模式。

图9 模式选择

其中,Pred(i,j)是经过预测模式输出的预测块,block(i,j)是当前数据块,i和j分别是行数和列数,M和N表示当前块的大小。SAD 是指当前数据块与预测块的绝对误差和,当SAD 值越小,预测数据块和原始数据块越相似,表示预测效果更佳。选择出SAD 值最小的预测模式和预测数据块,通过传输残差值能有效降低数据大小,改变数据结构分布。

在7 个预测输出块中,选出SAD 值最小的预测模式输出块,预测块与原始数据作差得到残差值,如图10所示。最终传输的数据由整个数据块变为模式加残差值,预测编码改变了块的数值概率分布,残差值集中在零值附近呈现高概率值分布,这种数据分布便于通过后续熵编码提高压缩效率。在解码时,通过残差块与预测模式即可恢复原始数据,传输残差块和预测模式使最终残差值的数据分布更加集中,也更适用于变长编码的原理,能有效提高压缩率。

图10 预测输出

2.4 STV 超分辨重建算法

自适应全变差算法是一种改进全变差正则化算法。正则化算法是用适定的解去逼近不适定的解,用一组与原不适定问题相“邻近”的适定问题的解去逼近原问题的解。针对天气雷达回波超分辨率重建,STV 是一种基于时间和空间的正则化重建算法。该方法对重建回波在引入时间先验信息的同时,添加了相邻仰角的空间先验信息,对重建高分辨率进行约束,然后利用梯度下降算法求解得到高分辨率回波。现有超分辨率重建算法有多种,本文提出压缩概念所需超分辨率重建要求不高,选择STV 算法作为本文算法。STV 算法简易且能有效进行超分辨率重建,使用的先验条件相对较少,利用STV 算法可以得到有效的重建残差,更适用于数据压缩算法。

超分辨率算法会有失真效果,本文经过下采样数据重建原始数据数据,过程中会产生失真误差,通过与原始数据进行差分得到失真误差,传输失真误差,在恢复数据时,通过超分辨率重建算法与失真误差结合,从而达到无损的效果。如图11所示,将原始数据PPI 二倍下采样之后,通过STV 超分辨率重建算法得到重建数据,与原始数据差分得到重建残差数据。将下采样数据经过预测编码的预测残差数据与重建残差数据组合,得到新的组合数据,该组合数据结合预测残差和重建残差信息。由于相邻的径向数据相关性强,得到的数据残差数据分布均在“0”附近区域,使熵编码能够更有效地进行数据压缩。

图11 超分辨率重建流程

在解码端,先进行二倍下采样可以得到预测残差数据,利用预测残差数据与预测模式可以得到完整的下采样数据。再将下采样数据输入STV 重建算法,与所传输的重建残差数据进行补偿,便可完整重建PPI 数据。

2.5 熵编码

熵编码是指按信息熵原理进行的无损编码方式,将数据输入由新的编码表示,来实现压缩的效果。熵编码是把一系列的数据信息转换成另一种信息用于数据传递处理和数据保存处理的一种压缩的码流,输入中的熵元素符号中可以同时包含可量化的变换系数、运动向量、预测和模型信息等。熵编码可以有效去除数据元素符号之间的冗余,是保证数据编码压缩效率的有效工具。常用的熵编码有游程编码、哈夫曼编码、LZW 编码以及CAVLC 编码等。

根据天气雷达数据预测编码后所得到的数据分布,残差数据可以通过CAVLC 进行熵编码。CAVLC 可自动按照编码对象的元素情况,不断地变化在编码过程中所用到的码表,动态地选择编码的码表,可实现随意地改变系数加前缀名的长度,来获得更大的压缩率。

3 实验结果

在江苏兴化CHARTOR-XPARD 双偏振相控阵雷达2021年8月数据集中随机选取30 组数据进行测试,原始数据与残差数据的概率分布如图12所示。本文算法能够有效改变数据分布,经过预测和超分辨率重建之后,数据主要分布在“0”附近区域,能够更有效地进行熵编码,提高压缩效率,从残差回波图可以看出预测效果明显。

图12 残差数据与原始数据概率密度对比

为验证预测算法的性能,使用江苏兴化CHARTOR-XPARD 双偏振相控阵雷达2021年8月20日22:25 降雨过程的探测数据进行预测算法的性能验证。图13(a)、(b)显示了反射率数据原始数据PPI 以及数值分布,对比图13(c)、(d)经过预测以及超分辨率重建所得残差数据分布,可以明显看出,残差的数值分布在“0”附近区域,更有利于进行熵编码压缩数据冗余。图14(a)、(b)显示了径向速度V原始数据PPI以及数值分布,对比图14(c)、(d)经过预测以及超分辨率重建所得残差数据分布,可以明显看出,残差的数值分布在“0”附近区域,更有利于进行熵编码压缩数据冗余。由图13、14、15 可以看出,对于不同参数,本文压缩算法均能够有效改变数据的数值分布,消除数据之间的空间冗余,从而提高压缩效率。

图13 反射率原始与残差对比图

图14 径向速度原始与残差对比图

图15 ZDR原始与残差对比图

为验证本文算法的对相控阵天气雷达数据的压缩性能,对比几种通用算法Gzip、WinZip、Bzip2 以及用于天气雷达的线性预测压缩算法LP[15]。对江苏兴化CHARTOR-XPARD 双偏振相控阵雷达随机选取30 组PPI 数据进行压缩。表2 表明,本文算法能有效提高相控阵天气雷达数据压缩率,相比于通用算法的压缩性能提高16%～22%。根据天气情况的不同,压缩率随着数据量的变化而变化,一般情况下,晴天压缩率更高,大面积降雨压缩率较低。

表2 CHARTOR-XPARD 数据不同算法压缩率比较

4 结束语

相控阵天气雷达性能较CINRAD 雷达有大幅度提升,雷达数据精度的提升导致数据量急剧增长,增强了雷达对各种极端气候环境的跟踪探测能力。由于雷达数据量过大而不太方便实时传送数据和数据保存,影响了相控阵天气雷达业务化。使用本文预测算法可快速高效地实现相控阵天气的雷达数据压缩,可减少雷达数据之间数据的相关冗余性,实现对相控阵天气的雷达数据进行的无损压缩,比一般的通用数据压缩算法压缩率有明显提高,为相控阵天气雷达实现业务化提供技术支持。现有相控阵天气雷达数据压缩率仍有提升的空间,针对相控阵雷达数据特点进行量化的有损压缩算法以及结合应用需求的有损压缩算法,适应雷达数据熵编码算法,将是值得关注的研究方向。