基于单演小波分析的微小运动放大技术研究*

陆渊平 沈艳霞

（江南大学物联网技术应用教育部工程研究中心 无锡 214122）

1 引言

微小运动视频放大技术能够展现肉眼无法识别的运动。小到呼吸时的胸腔起伏脉搏跳动，大到桥梁楼宇在风中的晃动，对这些不明显的运动进行放大具有监测预防的作用，因而在建筑、医疗、机械监控等领域都具有重要意义。2005 年，Liu 等提出了一种微小运动增强方法［1］，基于物体运动轨迹的光流法，视角跟随流体改变，对视频帧进行校准后进行聚类跟踪，再人为分割出图像运动层，提取放大的部分渲染放大。该方法需要精确的轨迹跟踪和人工干预，实际应用场景有限。

2012 年Wu 等提出了一种基于欧拉视角的欧拉视频放大技术（EVM）［2］，EVM将视角固定为整幅图像，观察像素点在时空下的变化。将图像分解为不同空间尺度，应用带通滤波器提取感兴趣像素变化，放大运动后重建图像。但EVM 算法并没有考虑到噪声干扰，放大目标频带内微小运动的同时也导致噪声被放大。为此，Wadhwa 等在2013 年提出了一种基于相位的欧拉视频增强算法（PBVM）［3］，将图像金字塔从空域转换到频域，得到像素点的幅值和相位信号，对其中相位信号放大，由于不改变幅值分量，基于相位的欧拉视频增强算法支持更大的放大倍数且可以抑制视频噪声。在最近的研究中，连续小波变换被应用于基于相位的欧拉视频放大，Ali 等提出了一种基于小波分解的实时运动放大算法［4~5］，采用了基于Haar 族小波和自适应中值滤波器，得到了低噪声高清晰度的放大结果。

以上运动放大算法大多是在拉普拉斯金字塔分解基础上在滤波过程和图像预处理过程加以优化，传统的多尺度小波分解的局限性在于有限方向分解，只能得到有限方向的小波分解系数，提取特征信息时存在冗余［6］。为此本文考虑将小波多尺度分析和单演分析结合，利用单演信号平移旋转不变性性质构造各向同性单演小波。Freeman等此前提出的快速金字塔分解也是一种便捷的多尺度分析方法［7］，相比之下单演小波分析具有更明确的物理意义，滤波器结构简洁具有更快速的实现方式。算法极大提升视频帧分解重构速度，同时设计了大幅度运动滤波，有效抑制了非线性场景下大幅运动带来的噪声，对于非线性场景同样适用。

2 单演小波运动放大算法

2.1 单演变换

单演信号是解析信号在二维空间上各向同性的扩展，是旋转不变的二维解析信号［8］。相较于传统解析信号，单演信号在处理局部特征时，将区域内希尔伯特能量最大值处计作主导方向，再沿该方向进行一维希尔伯特变换得到幅度相位信息，因此单演信号具备平移和旋转不变性，在去噪时可以克服小振动角度导致的毛刺现象。

首先对视频序列进行单演变换得到信号的三元数表示。一维解析信号是通过对一维输入信号进行希尔伯特变换得到的复数化函数。一维输入信号自身作为复数实部，希尔伯特变换作为虚部，转换为极坐标表示可得到局部幅值和相位信息：

希尔伯特变换是构建解析信号的关键，一维希尔伯特变换可看作对信号进行90°相移的全通滤波器，传递函数定义为

希尔伯特变换的二维拓展是Riesz 变换，也称为单演变换，与希尔伯特变换类似，在二维中其频率响应为-jω/||ω|| ，可视为一对具有传递函数的滤波器组［9］。对输入图像信号f(x),x∊R2，其Riesz变换表示为

两个滤波器组合后的复Riesz变换算子的傅立叶响应表示为

其中f̂(ω)表示图像信号f(x)的二维傅立叶变换，复Riesz变换时域表示为

单演信号定义为输入信号和输入信号沿x轴以及y轴的希尔伯特变换结果三个分量的表示：

图像单演信号的局部幅值表示为

瞬时相位ξ和局部方向θ可由下式得到：

2.2 小波分解与重建

单演小波本质上是利用多重调和样条和分数阶微积分算子［8］，结合复Riesz 变换和小波变换得到。图像通过复Riesz变换得到式（8），对得到的单演信号三元数分别进行小波分解得到小波系数，实现过程如图1。

图1 单演小波变换实现过程

定义分数阶Laplace 算子(-∆)α，α∊R+是2α阶的各向同性微分算子［9］，定义其傅立叶域表示为

多重调和样条是分数阶Laplace 算子的样条函数。定义s(x)∊L2(R2) 是γ阶多重调和样条ϕγ(x)的采样函数，它满足：

式中s[x]=s(x)|x=k是s(x) 的整数采样，ϕγ(x)的傅立叶响应为

定义分数阶Laplace样条小波ψ(x)［10］：

式中γ>，ϕ2γ是2γ阶插值算子，D是下采样矩阵。样条小波的基函数可表示为

式中i,k分别表示尺度系数和位移系数。将原信号经单演变换后进行各向同性小波分解，可得到γ阶Riesz-Laplace小波即单演小波：

输入图像信号f的单演小波系数可表示为

式中ψi,k表示小波滤波器，ωi[ ]k表示径向小波系数，r1,i和r2,j分别表示复Riesz 小波变换后的小波系数实部和虚部。

为确定单演小波的主导方向需要用到结构矩阵Ji(k)［10］：

式中ν[l]表示计算窗口中心对称加权数列，定义单演信号在窗口ν中希尔伯特变换平均值最大的方向作为局部主导方向：

经向量μ=(cosθ，sinθ)单位化处理后，信号在θ方向通过一维希尔伯特变换得到：

将其表示为解析信号形式可以写成：

从而可推得幅度Ai[k]和相位ξ：

单演小波重建包含结构相同的小波逆变换和Riesz 逆变换，以小波逆变换为例，图2 给出了逆变换流程图。图1 中可看出，小波分解过程因为下采样导致轻微冗余，在重建过程通过子带回归输出标准下采样小波系数，回归标准小波基实现精准重建。

图2 单演小波重建过程

以一维信号式（23）为例进行放大，傅立叶分解得到：

对频率ω处的子带其相位ω(x+θ(t))包含运动信息，将根据傅立叶位移定理通过修改相位可以控制运动。对式（23）进行幅度滤波和时域带通滤波后得到子带相位：

将式（24）乘以放大倍数α得到放大后的子带信号：

所有子带叠加重建后得到输出信号：

即说明微小运动δ(t)放大到(1+α)δ(t)。类似的，通过式（21）、（22）可得到不同尺度下幅度和相位信号，改变信号希尔伯特域分解系数的相位，不改变幅度也可以在时域中移动信号，视频序列中边缘的任何微小运动对应该边缘希尔伯特变换系数相位的显著变化［12］。

3 实验结果和分析

实验环境为Windows 10 系统，i5 8500b 处理器，40G 内存，Radeon Pro 570X 4G 显卡，验证对象选用起重机，婴儿和手腕3 组典型示例视频［8］。视频参数由表1 给出，使用Matlab 2017b 进行算法设计仿真和数据分析。图像小波分解阶数越高，边缘信息越丰富，但当层数超过一定程度后会造成信息冗余，经实验中不同分阶数下的图像质量对比，选择分解层数γ=3 时图像质量和处理速度达到最优。三组对比实验如图3~5。图中给出了单演运动放大后的视频帧和时空切片下的细节表现，表2量将欧拉法EVM，基于相位放大法PBVM，快速相位放大法Fast-PBVM 和本文介绍的单演小波算法在处理时间，结构相似性SSIM，峰值信噪比PSNR和图像质量分数四个方面进行对比。图像质量分数指标是从人的感知度量角度来计算，质量分数范围1~10，值越高，图像质量越好［13~14］。峰值信噪比PSNR 用来度量图像处理后相较原图的失真程度，PSNR 越大说明放大图像和参考图像越接近，说明噪声越少。结构相似性是用来度量两张图像相似程度的参数，数值为1时表示两张相同的图像，为0时表示完全不同的图像。峰值信噪比和结构相似性数据取婴儿视频每间隔30 帧图像对比结果的平均值。表2 给出了不同放大算法下婴儿视频的质量分数，峰值信噪比和结构相似性数值对比。

表1 实验视频数据

表2 运动放大算法耗时比较

表3 婴儿视频放大算法比较

图3 起重机运动放大结果

图5 手臂脉搏运动放大结果

对比实验结果，在婴儿视频中可以看到本文方法几乎没有伪影，且通过时空切片可以观察到婴儿胸部起伏已被明显放大。在存在大幅度运动噪声的起重机晃动视频中，本文的方法仍能保持较低伪影，画面依旧清晰。通过实验数据量化比较，基于单演小波的放大算法在质量分数，峰值信噪比和结构相似性几组对比实验中都优于传统运动放大算法。

4 结语

现有运动放大算法大多是在拉普拉斯金字塔分解基础上在滤波过程和图像预处理过程加以优化。本文从相位提取角度提出了一种新的基于单演小波分析的放大算法，单演信号不仅能表示局部相位幅度信息还有方向信息，而单演小波能更好地在多尺度表示图像的幅度、相位和方向信息，与图像金字塔分解方法相比具有更明确的物理意义，滤波器结构简洁具有更快速的实现方式。实验结果表明，基于单演小波分析的微小运动放大算法相较于现有几种放大算法，视频处理时间更短，图像质量和信噪比更高，具有良好的放大效果。本文是在平稳运动条件的假设下进行，对于非平稳运动对象，运动频率在时空下呈非线性变化，可考虑建立参数化数学模型进行时频分析进一步研究。