基于稀疏表示的多幅图像快速超分辨率重建*

杨 飚， 邸 苗

(北方工业大学 城市道路交通智能控制技术重点实验室，北京 100144)

0 引 言

图像超分辨率(super resolution ,SR)重建是一种利用单幅或者多幅低分辨率(low resolution,LR)图像进行重建从而得到高分辨率(high resolution,HR)图像的数字信号处理技术。一般而言，多幅图像的超分辨率重建(SR reconstruction,SRR)算法利用了多幅图像间的互补信息，图像质量较单幅重建算法更高，因此，本文主要研究基于多幅图像的超分辨率算法。近年来,基于学习的SRR算法成为了SRR算法的重要研究方向，其中基于稀疏理论的超分辨率算法具有良好的重建效果，已被广泛地应用于图像处理的各个领域[1,2]。由压缩感知(compressive sensing)理论[3,4]出发根据稀疏表示理论，Yang J C等人[5]提出了一种基于稀疏表示的单幅图像SRR算法，其算法重建得到的图像重建质量较高，但重建速度较慢。针对该问题，孙玉宝等人[6]通过改进稀疏性正则化的多帧图像超分辨凸变分模型优化。曹翔等人[7]提出了通过一种优化的广义正交匹配追踪算法改进稀疏表示算法。沈辉等人[8]提出了基于预测稀疏编码的单幅图像SRR算法。但是上述方法并未达到理想的重建效果，所以,本文提出了一种基于多幅图像的快速SRR算法，通过改善稀疏表示算法和优化图像融合方法来提高图像SRR速度。引入优化算法加速稀疏分解获得稀疏表示；利用多幅图像稀疏表示后的信息进行超分辨率图像融合。实验表明：在改善图像重建质量的同时，本文方法显著地提高了图像SRR的速度。

1 稀疏表示的SRR算法

稀疏表示的多幅图像SRR算法的一般步骤是：图像配准、基于稀疏表示的单幅图像SRR和图像融合。该类算法要兼顾以上三个步骤的精准性，任何的不准确均会导致重建效果变差。除此之外，先对单幅图像进行重建再进行图像融合未充分利用稀疏表示产生的信息致使重建速度非常慢。

2 改进的稀疏表示SRR算法

2.1 稀疏表示重建算法相关理论

Yang J C等人首次将压缩感知理论引入到SRR的问题中，构建了传统的稀疏表示SRR模型。基本思想是将自然信号假设为可以压缩的信号或是可以根据预定的原子进行线性表示[9,10]。原理如下：设给定的高、低分辨率过完备字典为{Dh,Dl}，低分辨率图像Yi中提取的第i个低分辨率子块yli，根据式(1)求解稀疏问题

(1)

式中α为稀疏系数;Dl={d1,d2,d3,…,dL}∈RN×L(L>N)为字典；di为原子。

或者等价于求解式(2)

(2)

通过式(2)求得的稀疏系数αi，根据αi重建相应的高分辨率子块xhi，即

xhi=Dhαi

(3)

算法通过充分利用先验信息提高了图像的重建质量，但存在重建速度慢、重建成本高等问题。

2.2 基于粒子群优化聚类的字典学习

基于稀疏表示的SRR算法的核心在于得到字典D的稀疏表示。为加速字典训练，在字典训练过程中本文对低分辨率样本采用主成分分析(principal component analysis,PCA)降维。本文采用K奇异值分解(singular value decomposition,SVD)算法训练得到相应的高、低分辨率字典。Yang J C等人采用最小绝对收缩和选择算子(least absolute shrinkage and selection operator,LASSO)算法稀疏分解每个低分辨率子块时，由于全局字典中存在与其不相关的原子会影响图像SRR质量和重建速度。为减少不相关原子的影响，本文根据相似度将全局字典中相似的原子聚集到同一类使得每个低分辨率子块能够利用一个原子聚类代替相应的全局字典。本文采用的聚类算法为粒子群优化(particle swarm optimization,PSO)聚类算法[11，12]。

基本PSO聚类算法的流程如下:

1)随机选择一个簇中心对所有粒子赋值,并随机产生粒子速度；2)根据最小距离原则各个粒子对数据进行划分,并根据式(4)计算所有粒子的适应值,更新粒子的个体极值；3)根据所有粒子的个体极值,找出全局极值和全局极值的位置；4)根据PSO算法的速度公式更新粒子的速度,并将其限制在Vmax内；5)根据PSO算法的位置公式更新粒子的位置，直到满足结束条件，算法的结束条件可以是达到一定的循环次数、簇的中心变化很小或簇的成员不再改变；6)输出最优粒子的位置即最优的Nc个聚类中心。

本文应用PSO聚类算法对低分辨率字典进行原子聚类，相较于K均值聚类(k-means)算法具有更好的聚类稳定性，更容易得到基于全局的最优解。

2.3 基于稀疏表示系数融合的图像融合

首先求解每幅低分辨率图像在低分辨率过完备字典下的稀疏表示系数，再采用模极大值规则对每幅图像的稀疏表示系数进行融合，用融合系数进行SRR。方法的关键是过完备字典和融合规则的选取。过完备字典下的稀疏表示系数大多均为零且稀疏表示系数代表原图像的静态特征,所以，选取模极大值融合规则或是线性加权的融合规则的融合效果较好。经实验证明该方法相较于常规的图像融合方法提高了重建速度。

2.4 快速SRR算法

在训练字典时利用PSO聚类算法对字典原子进行聚类;通过对偶字典法快速地计算稀疏表示系数;在图像融合部分采用稀疏系数融合方法减少融合计算量提高算法的重建速度。算法步骤如下：

1)利用PSO聚类算法进行字典训练得到高低分辨样本图像的聚类字典Dh,Dl；

2)输入多幅低分辨率图像yl；

3)利用对偶字典法快速得到稀疏表示稀疏a，对每幅图像稀疏表示yl=aDl；

4)得到多个稀疏系数a1,a2,…,an；

5)选取模极大值融合方法进行系数融合，得到融合系数a；

6)稀疏表示SRRX=aDh；

7)输出高分辨率图像X。

3 实验结果与分析

实验一：有无聚类的单幅图像超分辨率算法对比

采用峰值信噪比(peak signal to noise ratio,PSNR)作为图像客观评价标准，定义为

通常，均方误差(mean square error,MSE)越小或者PSNR越大，重建图像越逼近原始图像,即失真越少，重建图像质量越高。

首先采用有无聚类算法对基于稀疏表示的单幅图像超分辨率结果进行对比，结果如图1所示。

图1 单幅图像超分辨率算法对比结果

通过对比无聚类的稀疏表示超分辨率重建(sparse representation super-resolutin reconstruction,SR-SRR)、K均值聚类的稀疏表示SRR和PSO聚类的稀疏表示SRR3种算法可得其比较结果如表1所示。由表1可以看出单纯地引入聚类算法改善了基于稀疏表示的单幅图像SRR的重建质量，但重建速度并没有得到明显改善。

表1 单幅图像超分辨率算法对比结果

实验二:多幅图SRR算法对比

从标准视频序列Miss选取第81～84幅作为原始参照序列，每幅图像尺寸均为176×144。然后对每幅图像添加均值为0，标准差σ=25 的高斯白噪声，在水平和竖直方向分别2倍降噪采样后生成低分辨图像序列，如图2所示。

图2 低分辨率图像序列

实验二中通过对常规多幅SRR、只引入PSO聚类算法的多幅SRR和优化重建速度后的多幅图超分辨率算法进行对比，得到对比结果如图3所示，所得相关数据统计如表2所示。

图3 多幅图像SRR算法对比结果

多幅图像超分辨率算法多幅PCA融合SRR多幅PSO聚类SRR加速后SRRPSNR/dB30.130633.395633.3956运行时间/s178.040042.13008.6800

由表2可以看出相比于单幅图像的SRR利用多幅图像进行SRR其重建质量得到了明显改善。相比较于单幅粒子群SRR，多幅粒子群聚类SRR的重建质量提高了约7 dB，重建速度提高了约2倍，加速后且大幅减少了超分辨率图像重建的时间。本文所提出的快速超分辨率图像重建方法提高了图像的重建质量并优化了图像的重建速度。

4 结 论

常规的基于稀疏表示的多幅图像SRR质量较差且重建速度较慢，本文提出的基于稀疏表示的多幅图像快速SRR方法通过引入PSO聚类算法保证了图像的重建质量，同时采用了对偶字典法和稀疏系数融合来提高SRR的速度。实验表明:相较于多幅PCA融合SRR，本文提出的算法框架使SRR速度提高了20倍。在后续的工作中将结合GPU加速，进一步提高本文所提出算法框架的重建速度。

[1] 江 静，张雪松.图像超分辨率重建算法综述[J].红外技术，2012(1):24-30.

[2] 乔少华,李润鑫,刘 辉，等.基于统计量的加权函数图像重建方法[J].传感器与微系统,2017，36(9):53-56.

[3] Candes E J.Compressive sampling[C]∥Proc of the International Congress of Mathematicians Madrid Zarich,2006:1433-1452.

[4] Candes E J,Wakin M.An introduction compressive sampling[J].IEEE signal Processing Magazine,2008,25(2):21-30.

[5] Yang J C,Wright J,Huang T,et al.Image super-resolution as sparse representation of raw image patches[C]∥Proc of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition,Anchorage,USA,2008:1-8.

[6] 孙玉宝,韦志辉,肖 亮,等.基于稀疏表示的图像超分辨率重建快速算法[J].系统工程与电子技术,2010,30(12):2696-2700.

[7] 曹 翔,陈秀宏,潘荣华.基于稀疏表示的快速图像超分辨率算法[J].计算机工程,2015,41(6)：211-215.

[8] 沈 辉,袁晓彤,刘青山.基于预测稀疏编码的快速单幅图像超分辨率重建[J].计算机应用,2015,35(6):1749-1752.

[9] 邱红梅,李华锋,余正涛.基于稀疏表示的医学图像融合[J].传感器与微系统,2017,36(10):57-60.

[10] 李 民，程 建，乐 翔，等.稀疏字典编码的超分辨重建[J].软件学报，2012,23(5):1315-1324.

[11] Omran G M,Salman A,Engelbrechta P.Image classification using particle swarm optimization[C] //Proc of the 4th Asia-Pacific Conference on Simulated Evolution and Learning,2002:370-374.

[12] Merwe D W vander, Engelbrecht A P. Data clustering using particle swarm optimization[C]∥Proc of IEEE Congress on Evolutionary Computation,2003:215-220.