基于局部卷积的视频图像像素补偿方法*

查怀志

(安庆师范大学教师教育学院,安徽 安庆 246133)

视频图像像素补偿算法是在低像素视频图像序列中获取高像素图像的过程[1].由于视频图像具备较强的动态连续性,因此高速运动目标存在像素丢失现象[2].针对该问题,张德园等[3]提出了一种基于模型的视频图像像素补偿算法,即在低像素图像恢复高像素视频图像的过程中引入正则化项,完成对视频图像的补偿.该方法需要建立较复杂的模型来描述图像的特征和补偿过程,导致算法的计算复杂度和实现难度增加,视频图像空间分辨率较低.刘晨羽等[4]提出了一种基于学习的视频图像像素补偿算法,即利用标准稀疏编码技术获取权重系数,找到对应低像素图像块并应用到高像素字典中,完成对应图像补偿.该方法需要大量的训练数据来获取权重系数,不能很好满足特定场景的补偿需求,特别是当训练数据中有噪声或失真时,可能会导致补偿结果出现伪影或其他失真现象.吴磊等[5]构建了一个基于多尺度递归网络的图像超分辨率网络模型.该模型由多个多尺度特征映射单元级联构成,在低分辨率图像中进行特征提取,并利用亚像素卷积对图像完成补偿.由于特征提取方式和亚像素卷积操作的限制,该方法可能无法很好地捕捉和重建图像中的细节信息.针对上述方法存在的问题,为了修复高速运动目标缺失像素,笔者拟设计一种基于局部卷积的视频图像像素补偿方法(简称“局部卷积补偿方法”).局部卷积补偿方法运用局部卷积并结合神经网络模型,可以实现视频图像帧的像素补偿.

1 局部卷积视频图像重建

(1)去除视频帧冗余信息.在发送视频数据前需去除冗余信息.冗余信息提取公式为

其中r为提取信息计算参数,ap为视频信息p点的像素信息.将数据编码发送至目的端,经过解码端重建编码.生成完整的视频图像后,即可解码出完整的视频文件.

(2)采用局部卷积方法重建前几帧视频图像块.根据局部卷积原理,将神经网络模型分为3个部分:①使用局部卷积方法提取视频图像特征;②使用局部卷积方法重建视频帧;③根据重建视频帧的损失,优化视频块和图像块的参数.局部卷积重建视频图像块的过程如图1所示.

图1 局部卷积重建视频图像块Fig. 1 Local Convolutional Reconstruction of Video Image Blocks

由图1可知,前3帧视频图像为输入数据,先填充卷积核尺寸、步幅和内边距,依次设为4,2,1,输入层的第1层卷积核为4×4×3.设置成功后,选取线性单元函数,将其作为激活函数.需要注意的是,所有输入的视频图像像素大小皆为128×128.在局部卷积处理的过程中,经过激活处理得到64×64像素大小的特征图,再进入下一层特征.同理,依次处理得到包含3 000个元素的特征向量,以此保证输出与输入的视频图像均具有空间分辨率.

(3)将重建的图像块与原视频帧融合在一起,即可得到一个完整帧[6].融合计算公式为

其中P表示重建图像块与原视频的关联性.在融合时,拟定计算特征t与估计相似类比c,从而完成重建的图像块与原视频帧融合.

2 视频图像像素空间激活

图2 激活过程Fig. 2 Activation Process

利用局部卷积方法重建视频帧和图像块后,需要激活视频图像像素空间,改善视频图像质量.激活过程如图2所示.

建立激活原则:

原则1若被激活的视频图像像素空间域与源图像像素对应区域相差较大,则需在低像素视频图像中突出细节和纹理特征.

若该像素空间对应的梯度强度较大,则按照原则1处理[7].

原则2通过像素空间检测提取出的源视频图像,在理想状态下是与源图像聚焦区域相对应的.

寻找源图像聚焦区域的公式为

Y=J(X),

其中J为图像聚焦系数,X为源视频图像相似数据样本.

原则3将源视频图像像素空间与激活后的视频图像像素空间作差后,需要检查纹理和边缘细节信息是否有残留[8].残留不明显,说明该像素空间为源视频图像的聚焦区域;残留明显,说明该像素空间为源视频图像的离焦区域.

激活源视频图像,得到临时视频像素空间和源视频图像像素空间后,计算视频图像各像素邻域窗口的梯度能量[9].根据梯度能量大小构建决策矩阵,并根据激活规则激活源图像中的对应像素空间.具体激活步骤如下:

(ⅰ)配准源视频图像IA,得到转换后的视频图像IB,再将IA和IB转换为列向量,构成观测矩阵V,

其中:VA为源视频图像像素;VB为源视频转换后的视频图像像素;VmnA为m×n的源视频图像像素;VmnB为转换后的m×n视频图像像素.

(ⅱ)用激活算法分解V.

(ⅲ)将观测矩阵V还原成m×n的视频图像.该视频图像为临时激活的视频图像[10].

(ⅳ)计算差异视频图像DA和DB的像素E(DA,DB),

确定源视频图像像素(m,n)是否处于聚焦区域内[11].若处于聚焦区域,则可以构建临时激活视频图像与源视频图像的相似特征矩阵S[12],

S=(VpVp′),

其中Vp为激活图像前p点像素特征,Vp′为激活图像后p点像素特征.

(ⅴ)根据激活原则,合并源图像中的聚焦区域,得到激活后的视频图像[13].

3 视频图像像素补偿

图3 局部卷积补偿方法Fig. 3 Local Convolution Compensation Method

采用局部卷积补偿方法实现图像像素补偿,原理如图3所示.

局部卷积生成的视频图像的内插帧会存在空洞.为了解决这一问题,采用线性均值补偿方法将时域中需要内插的视频帧平均分成若干份,在第1帧和第2帧中的对称区域寻找匹配块(图3)[14].传统的视频图像像素补偿方法最大的缺点在于像素矢量是不精确的,采用线性均值补偿方法可以获得更好的像素补偿及高质量视频图像.线性均值补偿方法用公式表示为

其中:fq为源视频图像参考帧;vx为搜索获得的前一帧像素;vy为搜索获得的后一帧像素.由于利用帧间像素信息可以在线性插帧基础上完成像素补偿,因此能够有效提高像素分辨率.

为了简化线性均值补偿方法的计算过程,假设视频图像帧平面由互不重叠的规则块组成,每块像素模型均代表一个块像素矢量,像素矢量代表每一块的像素情况[15].简化公式为

因视频图像编码以宏块为单位,故将当前的参考帧分成若干块,且为互不重叠的块.将这些宏块视为一个运动物体,为了方便计算,设定宏块大小为M×M.补偿准则:按照搜索顺序,在处理当前待插帧的宏块时,要给定搜索范围,并按照匹配规则搜索与当前宏块最匹配的块[16].搜索最匹配块的公式为

图4 块匹配原理Fig. 4 Block Matching Principle

得到匹配块后,计算当前块和宏块的相对位置,位移为当前宏块的像素矢量.在通常情况下,参考帧与当前帧为前后相邻的一帧或者多帧[17].当前块和宏块的原有计算公式为

其中:g为宏块位置的定位系数;m为宏块中图像帧数的最大值;zc′为相邻帧c′的位移.在计算时,需要注意参考帧与当前帧的关系,若为多帧,则需要先确定搜索范围,再进行搜索.块匹配原理如图4所示.根据块匹配原理,计算当前块与宏块的相对位置.需要注意的是,分块大小和搜索窗方位会影响补偿精度.

计算出当前宏块的位置后,判断块匹配原则的性能是否会影响计算结果[18].在局部卷积补偿方法中,常用的块匹配原则有最小准则和归一化相关函数准则.定义ft(m,n)与ft+1(m,n)分别为ft和ft+1的灰度值,M×N为宏块尺寸.根据最小准则,最佳匹配块像素矢量的计算公式为

其中D表示匹配块m与n之间的欧式距离[19].

匹配结束后,划分高、低相关区域,实现补偿块的高、低相关划分.高、低区域划分用公式表示为

图5 视频图像高、低相关区域划分Fig. 5 Division of High and Low Correlation Regions in Video Images

设前一参考帧匹配块为Blk_FP(ll,rr),后一参考帧匹配块为Blk_FN(ll,rr),其中(ll,rr)表示视频图像块中像素的相对坐标.用前一帧匹配块像素减去后一帧匹配块像素,得到灰度值[21],并以此判断阈值.视频图像高、低相关区域划分如图5所示.

通过图5求前一帧匹配块像素减去后一帧匹配块像素的均值.具体计算公式为

其中:f(u,y,t)为待插像素灰度值;f(u,y,t-1)为补偿后前一帧匹配块像素;f(u,y,t+1)为补偿后后一帧匹配块像素.

由此,完成局部卷积补偿.

图6 基于局部卷积的视频图像像素补偿流程Fig. 6 Pixel Compensation Process for Video Images Based on Local Convolution

基于局部卷积的视频图像像素补偿流程如图6所示.局部卷积补偿方法的具体步骤如下:

(ⅰ)去除视频帧冗余信息.发送视频数据前,利用压缩编码去除视频帧冗余信息.通过计算公式得到冗余信息,将数据编码发送至目的端,经过解码端重建编码,即可解码出完整的视频文件.

(ⅱ)重建视频图像块.利用局部卷积原理,重建前几帧视频图像块.选取线性单元函数,将其作为激活函数.处理特征向量,保证输出与输入的视频图像均具有空间分辨率.

(ⅲ)视频图像像素空间激活.激活源视频图像,得到临时视频像素空间与源视频图像像素空间后,计算视频图像各像素邻域窗口的梯度能量.根据梯度能量大小构建决策矩阵,再根据激活规则激活源图像中的对应像素空间.

(ⅳ)补偿视频图像内插帧空洞.采用线性均值补偿方法,利用帧间像素信息,在线性插帧基础上实现像素补偿.

(ⅴ)寻找与源视频图像待插帧像素对应的匹配块.按照搜索顺序,在处理当前待插帧的宏块时给定搜索范围,并按照匹配规则搜索与当前宏块最匹配的块.根据源视频图像待插帧当前块的像素矢量,找出对应的匹配块.

(ⅵ)判断视频图像匹配程度.对匹配块中的每个像素进行高、低相关判断,再结合前一参考帧匹配块和后一帧匹配块的灰度值来判断阈值.

4 实验部分

图7 视频图像样本Fig. 7 Sample Video Image

4.1 实验环境和数据集

选择操作系统Windows10,GPU 版本为 NVIDIA GeForce RTX 3060 6 GB ,在Matlab(2015a)平台上进行对比实验.设置实验组为局部卷积补偿方法,对照组为遥感图像分类方法[3]、单幅图像超分辨率重建方法[4]和多尺度递归图像超分辨率重建方法[5].实验数据采集1 000张分辨率为1 280×720 p/60 Hz的日常视频图像,通过LabelImg对每张图像进行标注,其中800张图像用于训练,200张图像用于测试.实验选用纹理简单的视频图像(图7)作为样本.

4.2 实验指标

(1)平均梯度.平均梯度能敏感地反映图像对微小细节反差表达的能力,可用来评价图像的模糊程度.平均梯度越大,图像越清晰,补偿效果越好.平均梯度的计算公式为

H(x,y)=bx(i,j)+by(i,j),

其中b为图像像素的值,(i,j)为像素的坐标.

(2)信息熵.信息熵又称平均自信息量,自信息是从信号源发出的消息所包含的信息.信息熵反映了图像中某种特征的统计特性,可以描述图像边缘信息的变化.信息熵越大,图像像素补偿效果越好.信息熵的计算公式为

其中pm表示灰度值为m的像素在所有像素中的占比.

(3)图像像素补偿效果.该效果主要判断处理后的图像的质量,是一种主观的评价方法.利用4种像素补偿算法对样本图像进行像素补偿,从图像质量的变化、是否妨碍观看等方面,对输出图像质量进行对比.

4.3 实验结果

4.3.1 平均梯度对比 4种算法处理后的视频图像的平均梯度见表1.

表1 4种像素补偿方法的平均梯度Table 1 Average Gradient of Four Pixel Compensation Methods

由表1可知,3种传统处理方法处理后视频图像的平均梯度均小于9,而局部卷积补偿方法处理后的平均梯度为11.239,说明局部卷积补偿方法的图像补偿效果最好.这是因为3种传统方法在计算过程中未考虑边缘方向,缺少多发方向性,从而导致最终的像素补偿效果不佳.

4.3.2 信息熵对比 4种算法处理后的视频图像信息熵见表2.

表2 4种像素补偿方法的信息熵Table 2 Information Entropy of Four Pixel Compensation Methods

由表2可知,局部卷积补偿方法处理后的视频图像的信息熵为8.665,大于其他3种传统方法的处理结果,说明局部卷积补偿方法能更有效地反映出边缘信息.这是因为,局部卷积补偿方法在计算过程中考虑了视频图像边缘的方向和视频图像像素的全局相关性,从而获得较好的图像边缘信息,有效提高视频图像空间分辨率.

4.3.3 视频图像像素补偿效果对比 4种算法的视频图像像素补偿效果如图8所示.

图8 不同像素补偿方法的视频图像像素补偿效果Fig. 8 Video Image Compensation Effects of Different Pixel Compensation Algorithms

由图8可知:遥感图像分类方法的补偿效果图灰度大,补偿效果不明显;单幅图像超分辨率重建方法的补偿效果图明暗度区分不明显,细节显示不清晰;多尺度递归图像超分辨率重建方法的补偿效果图出现曝光过度的情况,且图像边缘细节粗糙;局部卷积补偿方法的补偿效果图不仅细节清晰,而且明暗度区分明显,分辨率高,效果最佳.

5 结语

为了修复高速运动目标视频图像的缺失像素,提出了一种局部卷积补偿方法.采用局部卷积方法重建视频图像,再利用激活方法激活视频图像像素空间.局部卷积补偿方法能有效完成动态连续性视频图像的补偿,在监控领域具有较好的实际应用价值.但由于局部卷积补偿方法主要关注目标像素的邻域信息,因此可能导致其在处理全局信息以及长程依赖方面表现不佳.为了提升像素补偿的精确性和鲁棒性,下一步研究考虑将局部卷积方法与全局信息融合方法结合,以更好地增强长程依赖性和全局一致性.