面向视频超分辨率重建的混合粒子群优化算法

俞文静，张明军，王 影

(广州大学华软软件学院，广东 广州 510990)

0 引 言

视频序列图像超分辨率重建[1-5]是指已知同一场景下的多幅具有互补信息的模糊、变形以及噪声污染的低分辨率图像，来重建一幅较清晰的高分辨率图像的过程。这一技术在现实应用中有很大的应用价值，在安保监控、交通监控检测、卫星遥感、医疗等领域都具有较好的应用前景。

基于序列的超分辨率重建是在1984年由Tsai和Huang[1-3]提出的，经过多年研究，各种思想、算法及技术不断改进，已经形成一套较完整的研究理论，也取得了一些重要的研究成果。这些理论大多是在图像的运动估计和图像重建角度实现视频图像的超分辨率，从图像像素优化的角度解决超分辨率重建的研究还比较少。文中从像素优化的角度，针对标准粒子群优化算法的缺点进行了改进研究，并将该算法应用到视频超分辨率重建问题的求解，并通过仿真实验进行验证。

1 超分辨率图像重建的模型

1.1 一般视频超分辨率重建模型

(1)

由以上表达的观测模型可以得出，视频序列图像超分辨率重建模型可以看作是图像观测模型的逆过程[6]，如图1所示。

图1 视频超分辨率重建模型

1.2 视频超分辨率重建数学优化目标函数

根据以上的分析，文中将视频序列超分辨率重建的过程，看作是对一组低分辨率视频序列进行优化而获得一个高分辨率视频序列的过程。文中算法将视频超分辨率问题转换为：以多帧低分辨率图像经过插值放大后的图像像素序列作为初始化粒子,从所求高分辨率最左上角[0,0]像素点出发，依次在不同放大后图像帧间对应位置像素中选择一个或者多个像素进行优化组合，适当时进行像素变异，以达到图像清晰度函数值最大化的优化目标。因此图像的优化目标函数为[7-8]：

(2)

其中，I为重建后的图像，大小尺寸为m×n。

2 改进的MPSO(mixed PSO)算法

2.1 基本PSO算法

粒子群算法(particle swarm optimization，PSO)是一种受鸟群活动规律启发设计的群进化优化算法，适用于多约束的目标优化问题，其公式如下[7-13]：

(3)

(4)

其中，t表示粒子的进化代数；vi表示粒子速度；xi表示粒子位置；pid为单个粒子迄今为止搜索到的最佳位置；pgd为整个粒子群迄今为止搜索到的最佳位置；c1和c2为算法学习因子，为非负常数；r1和r2为独立在[0,1]之间的随机数。

2.2 算法改进思想

2.3 粒子交叉操作

MPSO为种群间的交互设计了一个交叉池，经过若干次优化依然没有发现更好解的粒子，将以一定随机概率加入交叉池中等待杂交。在粒子优化初期，由于粒子能够独立进化并建立模式库，因此很少进入交叉池。而当粒子群收敛到一定程度，优化的速度降低，粒子将逐步进入交叉完成粒子间信息的交换。

2.4 粒子变异操作

在视频图像超分辨率问题的求解中，变异操作用来改善算法全局收敛性并增加群体多样性。文中的变异策略依据蚁群算法的就近原则思想：计算节点之间的连接代价权值，权值越小的邻接点将被选为下一访问点的概率越大。

设d(i,j)表示节点i与节点j之间的度量值，那么离i1节点最远的节点度量值为：

dmax=maxd(i1,j)

(5)

为避免下一个访问点为自身，令d(i1,i1)=dmax，则下一访问点为节点j的概率为：

(6)

2.5 粒子速度与位置更新策略

在式3粒子速度矢量更新过程中[13]，由于r1和r2为彼此独立的两个0～1之间的随机数，因此就有可能会遇到r1和r2同大或同小的情况。如果r1和r2同大，粒子个体认知和社会经验的作用就被夸大；如果r1和r2同小，粒子个体认知和社会经验都没有得到充分的利用。

(7)

(8)

在改进算法的粒子速度和位置更新策略中，若新值大于设定的最大值，则取最大值；若小于设定的最小值，则取最小值。

2.6 改进MPSO算法流程

改进MPSO算法的流程描述如下[13]：

步骤1：初始化和参数设定。

步骤2：产生原始粒子群规模以及粒子序列。

步骤3：根据式7和式8进行粒子速度更新和位置更新。

步骤4：粒子遗传操作。

正由于生源质量下降导致目前高职院校的学生基础较差，对学习缺乏热情，也没有好的学习方法和习惯。除了学习不好这一缺点外，他们也有许多优点如思维活跃，喜欢表现自己，动手能力较强等。此外现在的学生是生活在通信技术快速发展的时代，各种技术及运用层出不穷，特别是智能手机应用的普及化，学生人人一部智能手机，几乎机不离手。

步骤5：适应度评估策略。

步骤6：终止条件判断。

如果满足终止条件，程序迭代结束，输出结果；如果不满足终止条件，跳转到步骤3，继续执行。

3 基于改进PSO算法的视频超分辨率问题的求解

3.1 改进PSO重建超分辨率图像的步骤

超分辨率图像最优化问题可描述为：将一组低分辨率视频图像像素序列作为输入，优化出一组高分辨率图像像素序列，为了简化问题，文中采用灰度图像，只考虑图像像素点上的灰度值优化。设图像是按照先行后列的方式排列的灰度像素序列，低分辨率图像表示为一维向量L=[l1,l2,…,lm]，m表示低分辨率图像像素个数，高分辨率图像表示为一维向量H=[h1,h2,…,hn]，n表示最终放大后的高分辨率图像像素个数，也是MPSO算法要求解的个体。

MPSO算法重建超分辨率图像的具体步骤如下[13-15]：

(1)依据式1的模型，选取视频成像中连续i帧图像序列为低分辨率图像序列向量L1=[l11,l12,…,l1m]，L2=[l21,l22,…,l2m]，…，Li=[li1,li2,…,lim]。

(2)初始化粒子群群体规模和种群个体的值，取i个初始种群个体值为Li经过多倍插值放大后高分辨率图像序列：H1=[h11,h12,…，h1m]，H2=[h21,h22,…，h2m]，…，Hi=[hi1,hi2,…，him]。

(3)初始化参数，依据适应度函数计算适应值，找出初始化粒子群中i个种群个体中适应度最大的粒子，作为全局最优解pgd，个体最优解pid为第一帧高分辨率图像序列H1。

(4)依据式7和式8更新粒子速度与位置。

(5)依据遗传操作，将粒子进行交叉和变异求解。

(6)根据适应度评估策略以及适应度评估函数，检查迭代的终止条件，若满足终止条件，则停止迭代输出，否则回到步骤4。

(7)输出重建的高分辨率图像。

3.2 图像超分辨率优化适应度函数设置

将MPSO算法应用到视频序列超分辨率问题求解中，一个最关键的问题就是迭代过程中超分辨率适应度函数的设置。文中采用灰度直方图频率的统计策略，计算低分辨图像的灰度直方图频率与放大后的高分辨直方图256级灰度频率之差的总和，当这个取值达到最小时，代表求得的高分辨率图像是最优的，适应度函数表示为：

(9)

其中，mi、ni分别为低分辨率图像与高分辨率图像中灰度级别为i的像素统计个数；m、n分别为低分辨率图像与高分辨率图像的像素个数。

3.3 图像超分辨率优化交叉变异操作准则

在MPSO算法对高分辨率图像寻优过程中，当适应度函数取值较大，而粒子多次飞行的结果又没有大的变化时，需要进行交叉操作。交叉准则是提取该粒子对应图像的相邻帧图像的对应粒子进行局部范围内交叉。同样，变异操作准则也是利用粒子节点间的连接代价权值，文中认为越相邻的帧对应的粒子之间连接代价权值越高。

4 仿真实验

仿真实验环境为：处理器Intel Core i7 920 2.67 GHz，内存8 GB，仿真平台为Matlab R2010b。采用某室内监控视频中某一时刻一组连续的3帧视频图像作为实验初始的图像数据，如图2所示。

图2 获取的视频连续3帧原始图像

利用BPSO算法和提出的改进MPSO算法对图2中的三张序列图像进行视频图像超分辨率重建，并对算法在算法性能以及应用效果上进行比较。图3显示了BPSO算法及MPSO算法优化过程动态变化曲线。从曲线图可以得到，在进化后期MPSO比BPSO的收敛度高。然而，为了克服BPSO算法早熟、容易陷入局部极值点的缺陷，MPSO对BPSO做了许多调整，加入了很多新的算子，从而增大了算法的计算量，算法的复杂度也有所增加，粒子同样进化500代，MPSO的运行时间明显比BPSO长。

图3 算法优化动态曲线

在仿真实验中，文中利用基本BPSO以及MPSO分别对以上3帧图像进行超分辨率放大3倍优化，并将两种算法的结果进行比较，分别如图4和图5所示。

图4 BPSO超分辨重建优化3倍效果

图5 MPSO超分辨重建优化3倍效果

从实验结果可以得到，改进MPSO算法与基本BPSO算法在视频序列超分辨率重建应用中，算法的执行后期的收敛性有很大的提高，除此之外，重建图像像素效果也有很大的改善，在图像重建清晰度以及图像细节表现上有了较明显的提高，尤其是图像重建倍数越大时，效果对比越明显。

5 结束语

建立了一种有效的视频超分辨率重建数学优化模型，将多帧视频超分辨率重建问题转化为从低分辨率图像到高分辨率图像的算法寻优问题。针对BPSO算法易陷入局部极值的缺陷，对其进行改进，将遗传算法原理、蚁群机制引入基本PSO算法中，并结合问题设计了适应度评估方法，提出了一种改进的MPSO算法。仿真实验验证了提出的模型和算法对于解决视频超分辨率问题的可行性和有效性。