基于自相似性车载采集城市街景图像的重建

杨 伟，谢维成，蒋文波，石林玉

(西华大学 电气与电子信息学院，成都 610039) (*通信作者电子邮箱120519152@qq.com)

基于自相似性车载采集城市街景图像的重建

杨 伟，谢维成*，蒋文波，石林玉

(西华大学 电气与电子信息学院，成都 610039) (*通信作者电子邮箱120519152@qq.com)

大众化的车载为确保实时、高速的图像显示及图像存储，其捕获的图像通常会呈现出较低的分辨率，严重影响了突发状况时有效图像信息的获取。针对该低分辨率的城市街景图像采用了一种基于透视变换、高频补偿的自相似性图像重建方法。该算法在仿射变换的基础上增加了透视变换来进行图像块的匹配，并对每一个匹配的图像块进行高频补偿以恢复构建图像金字塔时丢失的高频信息，通过多尺度非局部方法搜索图像金字塔，合成匹配图像块得到最终的高分辨率图像。采用该算法对采集到的大量低分辨率城市街景图像进行重建，并与ScSR、Upscaling、SCN这三种典型的算法进行对比，实验结果表明该算法在几种盲评价指标上较其他算法好，在提高图像分辨率的同时能保持图像的边缘和细节信息。

仿射变换；透视变换；高频补偿；图像金字塔；图像重建

0 引言

目前，车载广泛应用于各种车辆上，安装车载可以用于各种突发状况的取证，但是由于大众化的车载为了保证图像显示的实时性同时减少存储所占空间，导致车载图像分辨率较低，当需要确认图像的局部信息放大图像观察时往往得不到满意的结果。为了在分析取证时获得足够的图像细节，图像超分辨率图像重建成为了学者们研究的热点问题。

基于学习的单幅图像超分辨率重建方法主要分为两类：外部图像训练的图像重建[1-3]和内部图像自相似性重建[4-5]。文献[2]的ScSR(Sparse coding Super-Resolution)算法需要构建稀疏表示的字典，然而由外部训练进行图像重建训练字典所需的自然图像数量以及与原图像的相关性未知，仅凭经验来选取，同时大量的外部图像训练会增加算法的复杂度，降低算法的执行效率，因此本文采用单幅图像自身结构的相似性进行图像的重建。图像结构自相似性的超分辨率重建方法以图像的结构自相似性为附加信息[6-8]对于城市街景图像这种重复结构多的人工场景具有更好的重建效果。

近年来陆续出现了利用相同尺度相似图像块的超分辨率(Super-Resolution, SR)方法[6-7]，该方法虽然为图像重建提供了互补信息，但是由于相同图像自身的相似图像块有限，制约了图像重建的效果。文献[4]的Upscaling算法采用逐级放大、分多步组合的方法实现不同尺度相似图像块的重建，该方法通过不同的放大因子得到不同尺度的图像并通过局部邻域搜索获得匹配图像块，一定程度上增加了图像自相似性的附加信息，对重建图像的质量有一定的改善。文献[9-10]在图像重建的过程中同时加入了相同尺度和不同尺度的自相似性图像块信息，一定程度上提高了重建效果，但在整幅图像搜索相似图像块导致其运算复杂度较高。为了进一步提高SR重建效果，在外部图像训练方面，深度学习的方法被广泛应用，文献[3]的SCN(Sparse Coding based Network)算法采用基于稀疏先验的深度学习算法获得训练字典，达到了较好的重建效果；在自相似性重建方面，一些学者通过增加相似图像块的搜索空间来获得高分辨图像，在不同尺度图像的基础上通过图像的仿射变换(缩放、旋转、剪切)[11-13]增加额外的相似图像块的搜索空间获得重建图像质量的提升，然而这些算法利用给定图像的不同尺度的相似信息，并不能充分地重建图像表面变化的纹理细节。

因此，本文通过在多尺度图像的仿射变换的基础上增加透视变换扩展内部图像块的搜索过程，采用组合模型来处理这两种变换。通过定位平面、检测图像的透视几何特征引导图像块的搜索过程，同时在图像重建的过程中进行高频补偿弥补图像金字塔中损失的高频细节。最后以迭代反投影进一步验证图像的重建效果。

1 算法的总体概述

传统的基于自相似性的单幅图像超分辨率重建的框架如图1(a)所示。对于每一个给定的低分辨率图像I0中的图像块在下采样的图像I-1中能找到相应的匹配图像块，这个相应的图像块在低分辨率图像I0的相应位置对应的图像块作为高分辨率图像的预测，即这个相应的图像块将被粘贴于高分辨率图像I1中。本文在传统自相似算法的基础上通过增加图像块搜索时的仿射变换与透视变换，扩大图像块的搜索空间，提高图像块匹配的精度，重建更加清晰的图像。

图1 单幅图像超分辨率重建框架

给定低分辨率的城市街景图像I0，通过模糊下采样获得I-1，由I0和I-1可以重建高分辨率图像I1。首先对于I0中的每一个目标图像块P，通过变换矩阵T可以得到下采样图像I-1中最匹配的源图像块Q，如图1(b)所示。变换参数由I0和I-1的最近邻域估计获得。然后提取源图像块Q在I0中的高分辨率形式的图像块QH。源图像块P的在I1中对应的高分辨率形式的图像块PH，通过对QH求逆变换来获得，并将获得的图像块PH粘贴于I0中P的相应位置。通过对输入的低分辨率的城市街景图像中所有的图像块进行最近邻域匹配从而获得高分辨的图像，并对每一个最匹配的图像块进行高频补偿，获得最终重建的高分辨率图像。由迭代反投影算法[14]确保重建图像满足输入的低分辨率城市街景图像的重建约束。

2 检测图像平面确定平面参数

2.1 检测定位平面

为了获得透视变换矩阵，首先需要对待处理的低分辨率城市街景图像内部的三维结构进行检测定位。Chum等[15]、Zhang等[16]将平面的透视变换转变为平行平面进行平面的识别和校正，而本文使用直线段提取、消失点估计[17]以及基于消失点分组的方法进行平面的识别与校正。首先检测图像的边缘与直线，然后用基于随机抽样一致(RANdomSAmpleConsensus,RANSAC)投票的方法确定3个消失点，结果如图2所示。

图2 定位平面

(1)

2.2 平面参数的计算

(2)

其中:H表示获得的目标图像块与源图像块位置的透视变换以及平面参数。

(3)

(4)

3 最近邻域估计

通过计算平面参数可以获得透视变换矩阵，本文的算法在仿射变换的基础上增加了透视变换进行图像块的最近邻域搜索，形成最近邻域估计，进行最近邻域估计是为了得到变换矩阵Ti(θi)的最优解。相比传统的二维变化域，本文增加透视变换使图像块的搜索扩展到了三维空间，并对图像的每一个平面空间进行最近邻域估计，定义每个平面空间的最近邻域估计的目标函数为：

(5)

其中：θi为构建变换矩阵Ti(θi)的未知参数。由式(5)可知，目标函数包含三部分：表面纹理代价函数、平面代价函数、缩放代价函数。相比于文献[18]本文将透视变换应用于图像三维平面的图像块搜索与匹配，并在图像金字塔中进行尺度约束与选择，以便得到最优的变换矩阵，重建更加清晰的图像。

3.1 表面纹理代价函数

表面纹理代价函数表示了采样的目标图像块与源图像块的相似性，使用RGB空间的高斯加权平方距离来度量。

(6)

其中:Wi是方差为3的高斯权值矩阵。

3.2 平面兼容的代价函数

对于低分辨率的城市街景图像这种人为的场景使用消失点检测算法可以有效地定位平面。通过定位得到的3维平面可以用于引导图像块的搜索空间。

(7)

其中:Pr[mi|(x,y)]为像素位置(x,y)的平面mi的后验概率。

3.3 缩放的代价函数

因为允许连续的几何变换，最近邻域估计在目标图像块与该目标图像块对应的源图像块匹配时经常收敛到零解。为了避免零解引入缩放的代价函数：

Escale=λscalemin(0,SRF-Scale(Ti))

(8)

其中:SRF表示超分辨率重建因子，如2×、3×、4×等，Scale(·)表示投影变换矩阵的尺度估计。使用Ti的一阶泰勒展式近似的估计源图像块采样的缩放尺度。

其中：Tu,v表示变换矩阵Ti第u行、第v列的值，通过T3,3对变换矩阵Ti归一化处理。

通过最小化最近邻域的代价函数求得参数θi的值，进而求得变换矩阵Ti(θi)，由图像块匹配得到最匹配的图像块。

4 图像块的高频补偿

本文在最近邻域估计中增加了三维空间透视变换的最近邻域搜索，由最近邻域估计的目标函数可以得到变换矩阵Ti(θi)。通过对I0搜索得到变换(透视变换、仿射变换)后的匹配图像块，以变换矩阵对该图像块进行相应的逆变换，得到相应的初步重建的图像块，并对该图像块进行相应的高频补偿粘贴于I1中与I-1中源图像块的相应位置。对所有的源图像块重复此操作可以得到最终的重建图像。本文中对于图像块的高频补偿采用由粗到细的方式进行低分辨率的城市街景图像的自相似性重建。首先由成比例的尺度因子分别建立高频图像与低频图像金字塔。对输入图像利用不同的尺度因子进行下采样获得高频带的图像金字塔，再对高频带的图像金字塔的每层分别进行上采样获得低频带的图像金字塔。本文所要获得的目标图像是分辨率提高了的图像，每次迭代分别以分辨率最高的图像为基础进行上采样，获得不同放大尺度、不同分辨率的目标图像。以低频带的图像金字塔为依据，通过源图像块缩放比例的估计，选择相对于输入图像相同缩放比例的低频图像金字塔的对应层作为源图像。采用最近邻域估计的方法对目标图像块和源图像块进行最近邻域搜索，得到最匹配的图像块并记录该图像块的位置。分别以D、U表示对图像的下采样以及上采样，则I1=U(D(I0)),I1是I0的平滑形式,I-1=D(I0)。目标图像L0=U(I-1)，源图像为I1形成的图像金字塔。定义p表示上采样图像I=U(I0)中的图像块，其在I1中最相似的图像块表示为q(p)。由最近邻域估计得到的匹配图像块对当前层初步重建的图像I′进行高频补偿，H0(q)=I0(q)-L0(q)，I(p)=I′(p)+H0(q(p))，最终得到清晰的重建城市街景图像。其算法的总体框图如图3所示。

图3 算法的总体框图

5 实验结果及分析

5.1 实验对比结果

本文利用透视变换和高频补偿对图像进行自相似性重建，通过MatlabR2014a处理平台对该算法进行了仿真。

本文的算法通过与理想的超分辨率重建因子在相同的尺度以及零位移的情况下初始化最近邻域，这样的初始化使算法的收敛速度更快。为了保证仿射形变对于源图像块位置的不变性，通过θi=(si,mi)进行参数扩展，而不直接对变换矩阵Ti进行操作。在每一次迭代扩展之后，通过随机搜索优化当前的解，同时以后验概率分布绘制平面索引的随机采样，由金字塔模型通过由粗到细的方式搜索对于源图像块最优的几何变换减少匹配误差。

通过对图像进行5×5的分块处理，实现多尺度的超分辨率重建。超分辨率的重建因子分别为2×、3×、4×，分别在第3、5、6次上采样步骤中实现。再对每一层不同分辨率图像重建之后进行20次的迭代反投影[14]，设置其高斯滤波器的掩膜为5×5，σ=1.2。在金字塔模型中对于粗层(尺度较小的层)的最近邻域估计上采样作为下一层的初始化。通过反复实验，选择参数λplane=10-3、λscale=10-3。将本文的算法与当前较好的超分辨率重建算法进行对比实验，验证本文算法对于低分辨率的城市街景图像的重建效果。选取6张车载中的低分辨率的城市街景图像进行实验对比与验证，分辨率均为192×256像素，在不同放大因子中分别选取两幅不同场景的车载图像验证算法的重建效果，为了更直观地观察图像的细节信息，实验结果展示了每幅图像不同细节的特征区域(图像中白色方框所示)放大图。从图4的放大图可见，本文算法对于低分辨率的城市街景图像在放大2、3、4倍时的重建效果最好，细节部分较其他算法更清晰。

由图4可见，算法ScSR有一定的晕影效应，算法SCN也有些许晕影，其重建的图像质量从视觉效果上来看，相比车载中的低分辨率城市街景图像有较大的改善；算法Upscaling重建的图像锐化比较严重，仔细观察其放大的特征区域，图像的纹理细节锐化效果明显；本文算法对比度明显，几乎没有晕影效应和细节锐化，重建图像的纹理细腻，轮廓清晰。

图4 不同方法重建效果对比

5.2 图像质量盲评估

通过本文算法的处理，从人的主观视觉上来看，重建效果更清晰，对比度更明显，但是由于人的视觉极限，也需要由客观的评价指标对重建图像的质量进行定量评价。由于车载捕获的图像无法获得其原始的高分辨率的参考图像，本文采用盲评估的方法[19-20](无参考图像的质量评价方法)比较不同算法的重建图像质量。表1为图像信息熵(entropy)、图像对比度(contrast)以及算法复杂度(执行时间)评价结果，表2为图像边缘强度(ESL)、盲图像质量评价指标(BIQI)的质量评价结果。

表1 信息熵、对比度、算法复杂度(s)评价结果

表2 ESL、BIQI质量评价结果

图像的信息熵越大表明其携带的信息量越多，图像质量越好；图像对比度越大反映其灰度反差越大；图像的边缘强度越大反映重建的图像纹理更清晰；盲图像质量评价指标的值域为[0,100]，该值越大表明重建的图像质量越好。由表1、2的实验数据可见，从总体上来讲本文的算法优于其他算法。对于同一幅低分辨率城市街景图像(如图像1)，在不同放大倍数的条件下(如×2)，ScSR算法所得到的图像对比度最高，但信息熵最低，意味着在对比度增强的同时该算法获得的图像却丢失了部分信息，算法Upscaling、SCN重建的图像在这两个指标上表现较平均，没有过分偏重，本文的算法在这两项指标上较其他算法表现更好，表明其重建图像的信息量、图像质量得到了提升。而对于重建的不同低分辨率城市街景图像由于其本身纹理边缘不同其评价指标存在差异。对于同一幅低分辨率城市街景图像(如图像5)，在不同放大倍数的条件下(如×4)，本文算法得到的边缘强度更高，说明其边缘保持能力更强，同时由BIQI的比较也可见本文的算法重建的图像在视觉体验上较其他算法更有效。通过各图像在不同放大倍数时各评价指标的值可见，当重建的图像放大倍数越大时，需要搜索匹配更多的图像块，以获得更多的图像细节信息，而单幅图像自相似性重建时能够获得的图像自相似信息是有限的，因而放大倍数增大时，各评价指标值出现了一定程度的下降。由表1算法复杂度(执行时间)来看，本文算法在增加了图像搜索空间的情况下较同类利用图像自相似重建(Upscaling)算法执行效率有所提高，而算法SCN采用稀疏先验进行图像重建，其数据量大幅降低因而执行效率最高。本文采用自相似性重建在没有外部图像训练字典的情况下，为保证不丢失更多的图像信息未采用稀疏表示的方法，执行效率不及SCN。综合各算法以及各评价指标的行列对比可见，本文的算法在图像分辨率提升和执行效率上较好。

6 结语

为了在突发状况时利用车载图像进行分析取证能够获得更多的图像细节，本文针对车载捕获图像中的低分辨率城市街景图像进行图像超分辨率重建，利用仿射变换与透视变换增加图像自相似性匹配的搜索空间，同时结合金字塔模型提供的多尺度图像自相似性，由粗到精地对低分辨率图像进行重建，并对初步重建的图像进行高频补偿，丰富图像的细节信息。对低分辨率的城市街景图像进行超分辨率重建，得到的图像在主观视觉以及大部分定量评价指标上优于其他算法，几乎没有晕影效应，图像也没有过度锐化，图像的分辨率得到了一定的提升，但在算法的执行效率上有待进一步的提升。

)

[1]莫建文,曾儿孟,张彤,等.基于多字典学习和图像块映射的超分辨率重建.计算机应用,2016,36(5):1394-1398.(MOJW,ZENGEM,ZHANGT,etal.Super-resolutionreconstructionbasedonmulti-dictionarylearningandimagepatchesmapping.JournalofComputerApplications, 2016, 36(5):1394-1398.)

[2]YANGJ,WRIGHTJ,HUANGTS,etal.Imagesuper-resolutionviasparserepresentation.IEEETransactionsonImageProcessing, 2010, 19(11): 2861-2873.

[3]WANGZ,LIUD,YANGJ,etal.Deepnetworksforimagesuper-resolutionwithsparseprior//Proceedingsofthe2015IEEEInternationalConferenceonComputerVision.Washington,DC:IEEEComputerSociety, 2015: 370-378.

[4]FREEDMANG,FATTALR.Imageandvideoupscalingfromlocalself-examples.ACMTransactionsonGraphics, 2011, 30(2): 474-484.

[5]DONGW,ZHANGL,SHIG,etal.Nonlocalback-projectionforadaptiveimageenlargement//Proceedingsofthe16thIEEEInternationalConferenceonImageProcessing.Piscataway,NJ:IEEE, 2009: 349-352.

[6]PROTTERM,ELADM,TAKEDAH,etal.Generalizingthenonlocal-meanstosuper-resolutionreconstruction.IEEETransactionsonImageProcessing, 2009, 18(1): 36-51.

[7]MAIRALJ,BACHF,PONCEJ,etal.Nonlocalsparsemodelsforimagerestoration//Proceedingsofthe2009IEEE12thInternationalConferenceonComputerVision.Piscataway,NJ:IEEE, 2009: 2272-2279.

[8]SUETAKEN,SAKANOM,UCHINOE.Imagesuper-resolutionbasedonlocalself-similarity.OpticalReview, 2008, 15(1): 26-30.

[9]GLASNERD,BAGONS,IRANIM.Super-resolutionfromasingleimage//Proceedingsofthe2009IEEE12thInternationalConferenceonComputerVision.Piscataway,NJ:IEEE, 2009: 349-356.

[10]潘宗序,禹晶,胡少兴,等.基于多尺度结构自相似性的单幅图像超分辨率算法.自动化学报,2014,40(4):594-603.(PANZX,YUJ,HUSX,etal.Singleimagesuperresolutionbasedonmulti-scalestructuralself-similarity.ActaAutomaticaSinica, 2014, 40(4): 594-603.)

[11]BARNESC,SHECHTMANE,GOLDMANDB,etal.Thegeneralizedpatchmatchcorrespondencealgorithm//ComputerVision—ECCV2010,LNCS6313.Berlin:Springer, 2010: 29-43.

[12]HACOHENY,SHECHTMANE,GOLDMANDB,etal.Non-rigiddensecorrespondencewithapplicationsforimageenhancement.ACMTransactionsonGraphics, 2011, 30(4):ArticleNo. 70.

[13]DARABIS,SHECHTMANE,BARNESC,etal.Imagemelding:combininginconsistentimagesusingpatch-basedsynthesis.ACMTransactionsonGraphics, 2012, 31(4):ArticleNo. 82.

[14]IRANIM,PELEGS.Improvingresolutionbyimageregistration.CVGIP:GraphicalModelsandImageProcessing, 1991, 53(3): 231-239.

[15]CHUMO,MATASJ.Planaraffinerectificationfromchangeofscale//ComputerVision—ACCV2010,LNCS6495.Berlin:Springer, 2011: 347-360.

[16]ZHANGZ,GANESHA,LIANGX,etal.TILT:transforminvariantlow-ranktextures.InternationalJournalofComputerVision, 2012, 99(1): 1-24.

[17]HARTLEYR,ZISSERMANA.Multipleviewgeometryincomputervision. 〖16- 01- 06〗.http://www.newbooks-services.de/MediaFiles/Texts/3/9780521540513_Intro_001.pdf.

[18]HUANGJB,KANGSB,AHUJAN,etal.Imagecompletionusingplanarstructureguidance.ACMTransactionsonGraphics, 2014, 33(4):ArticleNo. 129.

[19]谭海鹏,曾炫杰,牛四杰,等.基于正则化约束的遥感图像多尺度去模糊.中国图象图形学报,2015,20(3):386-394.(TANHP,ZENGXJ,NIUSJ,etal.Remotesensingimagemulti-scaledeblurringbasedonregularizationconstraint.JournalofImageandGraphics, 2015, 20(3): 386-394.)

[20]MOORTHYAK,BOVIKAC.Atwo-stepframeworkforconstructingblindimagequalityindices.IEEESignalProcessingLetters, 2010, 17(5): 513-516.

ThisworkispartiallysupportedbytheNationalNaturalScienceofFoundationofChina(61307063),theChunhuiPlanofMinistryofEducation(Z2015115),theKeyProjectofNaturalScienceFundsofEducationDepartmentofSichuanProvince(15ZA0127),theOpenResearchSubjectofKeyLaboratoryofSignalandInformationProcessinginSichuanProvince(szjj2015-072),theGraduateStudentInnovationFundProjectofXihuaUniversity(ycjj2016161).

YANG Wei, born in 1990, M. S. candidate. Her research interests include image superresolution reconstruction.

XIE Weicheng, born in 1973, M. S., professor. His research interests include signal detection, information processing.

JIANG Wenbo, born in 1981, Ph. D., associate professor. His research interests include optical signal processing.

SHI Linyu, born in 1991, M.S. candidate. Her research interests include intelligent information processing.

Self-examples reconstruction of city street image from driving recorder

YANG Wei, XIE Weicheng*, JIANG Wenbo, SHI Linyu

(SchoolofElectricalEngineeringandElectronicInformation,XihuaUniversity,ChengduSichuan610039,China)

In order to ensure the high speed of image display and storage in real-time, the image captured by the popular driving recorder usually shows a low resolution, which has a serious impact on effective image information acquisition under unexpected situation. To solve this problem, a perspective transformation based on self-examples of the images and high-frequency compensation were used to reconstruct the city street images with low resolution. Perspective transformation was added to the affine transformation to match image patches, match image patch and high frequency compensation was used to recover the lost high frequency information of each matched image patch when image pyramid was constructed. The image pyramid was searched by non-local multi-scale method to get the matched patches, which were synthesized to obtain the images of high resolution. Many low resolution street view images were used to verify the effectiveness of this algorithm. Compared it to existing typical algorithms such as ScSR (Sparse coding Super-Resolution), Upscaling, SCN (Sparse Coding based Network), the experimental results show that the algorithm in several blind evaluation indices is better than other algorithms and it can improve the image resolution while keeping the edges and details of the image.

affine transformation; perspective transformation; high-frequency compensation; image pyramid; image reconstruction

2016- 08- 24;

2016- 09- 13。

国家自然科学基金资助项目(61307063);教育部“春晖计划”项目(Z2015115);四川省教育厅自然科学基金重点项目(15ZA0127);四川省信号与信息处理高校重点实验室开放基金资助项目(szjj2015-072);西华大学研究生创新基金资助项目(ycjj2016161)。

杨伟(1990—),女,四川都江堰人,硕士研究生,主要研究方向:图像超分辨率重建; 谢维成(1973—),男,重庆人,教授,硕士，主要研究方向:信号检测与信息处理； 蒋文波(1981—),男,重庆人，副教授,博士,主要研究方向:光学信息处理； 石林玉(1991—),女,四川南充人,硕士研究生,主要研究方向:智能信息处理。

1001- 9081(2017)03- 0817- 06

10.11772/j.issn.1001- 9081.2017.03.817

TP391.9

A