基于变分贝叶斯多图像超分辨的平面复眼空间分辨率增强

闵 雷，杨 平，许 冰，刘 永

基于变分贝叶斯多图像超分辨的平面复眼空间分辨率增强

闵 雷1,2,3,4，杨 平1,3,4*，许 冰1,3,4，刘 永2

1中国科学院自适应光学重点实验室，四川 成都 610209；2电子科技大学光电科学与工程学院，四川 成都 610054；3中国科学院光电技术研究所，四川 成都 610209；4中国科学院大学，北京 100049

平面复眼成像系统利用多个子孔径对场景进行成像，由于子孔径大小和图像传感器空间采样率的限制，各子孔径图像质量较差。如何融合多个子孔径图像来获得高分辨率图像是亟需解决的问题。多图像超分辨理论利用多幅具有互补信息的图像来重构高空间分辨率图像，然而现有理论通常采用过于简化的运动模型，这种简化的运动模型对平面复眼成像并不完全适用。若直接把现有多图像超分辨理论用于平面复眼分辨率增强，不准确的相对运动估计将降低图像分辨率增强性能。针对这些问题，本文在变分贝叶斯框架下改进了现有多图像超分辨理论中的运动模型，并把导出的联合估计算法用于平面复眼分辨率增强。仿真数据实验和真实复眼数据实验验证了推荐方法的正确性和有效性。

平面复眼；分辨率增强；运动模型；变分贝叶斯；多图像超分辨

1 引 言

平面复眼成像系统[1-2]通过适当的光学设计利用多个光学子孔径同时对同一场景进行成像，其具有轻、薄和大视场等特点。然而，由于成像子孔径较小以及图像传感器的空间欠采样，低信噪比和频谱混叠造成各子孔径图像空间分辨率较低。如何提高平面复眼的空间分辨率是亟需解决的问题。另一方面，图像超分辨理论[3]是一种基于算法的空间分辨率增强方法，该理论利用同一场景的一幅或多幅图像计算出潜在的空间高分辨率图像。有别于文献[4]中超光学衍射极限的超分辨理论，这里的图像超分辨理论是一种基于计算的几何超分辨率理论[5]，其通过融合低分辨率图像中的互补信息和先验信息来提高图像空间分辨率。图像超分辨理论已经发展了三十多年，产生了大量的研究文献，详见综述[3]。近年来，基于学习的单图像超分辨理论[6-8]发展较快，其通过外部训练库学习低分辨率图像到高分辨率图像的映射关系，再把学习到的映射关系应用到待增强的图像上获得相应的高分辨率图像。同样，多图像超分辨理论也有较大的发展[9]：对先验模型和似然函数的探索和优化，估计方法由最大似然估计到最大后验估计再到变分贝叶斯估计，高分辨率图像和模型参数独立估计到联合估计。总体来说，多图像超分辨理论朝着自动化和性能最优化方向发展，尤其是变分贝叶斯多图像超分辨理论[10-11]，该理论联合估计高分辨率图像和模型参数。

平面复眼成像能够获得同一场景的多幅低分辨率子孔径图像，在没有较好外部训练数据的情况下，多图像超分辨理论成为提高平面复眼空间分辨率的自然选择。图1是基于多图像超分辨理论的平面复眼分辨率增强示意图。由于先前的多图像超分辨理论研究主要集中在序列图像超分辨上，因而几乎所有的多图像超分辨理论都假设各幅图像之间的相对运动满足欧几里德变换，即低分辨率子孔径图像之间仅具有平移和/或旋转变换。这种简化的运动模型对平面复眼成像场景并不完全适用，例如文献[12]中设计的平面复眼系统可能存在子孔径图像相对于参考子孔径图像微略的放大或缩小，或者由于光学透镜和图像传感器的装配误差造成子孔径图像之间存在仿射变换。为了避免相对运动模型不准确引起的性能降低，我们进一步扩展相对运动模型以使其符合实际的平面复眼成像场景。基于以上讨论，本文采用适用范围更广的仿射相机模型[13]建模各子孔径低分辨率图像之间的相对运动，在变分贝叶斯框架下获得相应的分辨率增强算法，并把推荐方法用于复眼图像分辨率增强。仿真数据实验和真实数据实验验证了推荐方法的正确性和有效性。

2 分辨率增强的信号模型

2.1 前向成像模型

前向成像模型[3]描述了由潜在高分辨率图像到幅低分辨率图像(=1,2,¼,)的降质过程，包含相对运动、模糊、下采样和加性噪声：

图1 基于多图像超分辨的平面复眼空间分辨率增强

2.2 分层贝叶斯模型

分层贝叶斯模型对高分辨率图像、低分辨率观测、相对运动向量分别进行建模。其第一层直接对前述变量的概率分布进行建模。图像的TV模型[14]具有良好图像复原效果，因而这里采用TV模型建模高分辨率图像：

假设噪声n为零均值高斯白噪声且各子孔径图像噪声相互独立，于是对低分辨率观测有：

其中是高斯噪声逆方差参数。

由于运动向量的维度较小，这里直接采用非信息先验(non-informative prior)来对其进行建模，即假设：

3 分辨率增强算法

进一步通过最大后验准则：

通过优化问题：

将式(19)带入式(14)，得：

付玉看看天。天上有几只鸟雀飞过，像刀片在她记忆里划了一道黑色的弧线。马路两边的老槐树上，有蝉在叫，叫声像白花花的鱼鳞，瓦片般在地上滚动。

将式(20)带入式(18)，得：

来近似优化问题(17)。由变分贝叶斯方法[15]可得优化问题(22)的显式解：

把式(26)带入式(25)，通过计算可得下一次迭代计算式：

对辅助变量集{w}，通过最小化式(22)可得：

把上述分辨率增强算法总结如下：

算法 1 变分贝叶斯分辨率增强算法

2) 分辨率增强算法迭代步骤如下：

2.3.2)=+1，当收敛条件不满足时，返回步骤2.3.1)，直到收敛条件满足。

2.4)=+1，当收敛条件不满足时，返回步骤2.1)，直到收敛条件满足。

4 实验与仿真

4.1 性能评价

对仿真实验数据，由于存在真实的高分辨率图像作为对比，文中采用峰值信噪比PSNR[17]来定量评价图像的分辨率增强效果。PSNR计算式如下：

由于在进行真实数据实验时没有高分辨率图像作为对比，这里采用分辨率板作为目标物，把平面复眼对其成像获得的分辨率板图像作为低分辨率观测。此时，易于采用人眼对各分辨率增强方法进行评价。进一步，为了更加客观地评价各分辨率增强方法，采用BISQEI[18](blind image spatial quality evaluator index)来评价各增强方法的性能，BISQEI值越小，图像质量越高。BISQEI是一种无参考图像的图像质量评价指标，图像空间分辨率是图像质量的一个重要方面，因此这里采用BISQEI来表征图像分辨率增强方法的性能。

4.2 仿真数据实验结果与分析

其中，u和v的单位为像素。这里仅给出稍微偏离欧几里德变换的一个仿射变换实例，对更普遍的仿射变换，推荐方法仍是有效的，而对比方法中的两种多图像超分辨率理论反而恶化了图像性能。以第一幅图像为参考子孔径图像，水平和垂直方向下采样倍数都设置为=2。对于加性观测噪声n，依次加入均值为0，标准差为0.001、0.01和0.1的高斯白噪声。

表2是两幅图像在三种信噪比下PSNR实验结果。可以看出，两种单图像分辨率增强方法性能最差，因为其仅使用了单幅参考子孔径图像来重构高分辨率图像，另外SRCNN的网络参数并未针对这里的应用场景进行优化；在所有场景，推荐方法都优于TV和NS：噪声水平较大(标准差为0.1)时，推荐方法略优于TV和NS，这是由于相比于运动估计的不准确性，此时噪声是制约分辨率增强性能的主要因素；低噪声水平(标准差为0.01和0.001)时，推荐方法能够有效估计出相对运动向量，此时推荐方法的PSNR大幅优于现有方法。

图2 仿真数据实验中真实高分辨率图像。(a) Kod04；(b) Kod23

表1 仿真数据实验中运动向量设置

表2 各图像分辨率增强方法PSNR(dB)值比较

为了进一步从主观视觉上对比各分辨率增强方法，图3和图4给出了Kod04和Kod23在标准差为0.01时的实验结果图像。可以看出，低分辨率图(a)在图像边缘具有明显的锯齿且高频图像细节出现混叠。在图3中，BBC和SRCNN仍然具有较强的噪声水平，尤其是SRCNN在增强图像细节的同时明显地放大了噪声。TV和NS降噪效果明显，然而因为相对运动估计的不准确，在边缘处出现了模糊和一定的人造干扰物，另外NS方法具有一定的过平滑效应，例如，过多平滑了原图脸上的斑点。推荐方法处理结果具有锐利的边缘、清晰的细节，最接近原始高分辨率图像。在图4中，BBC最为模糊，SRCNN具有更加锐利的边缘，然而从图像左下角看出该方法对噪声放大较为明显。TV和NS方法虽具有一定的去混叠和分辨率增强效果，然而由于相对运动向量估计误差，在图像边缘，例如鸟嘴尖处，出现了明显的人造干扰物。从鸟眼周围的复杂纹理信息的恢复和锐利边缘看出，推荐方法具有最好的分辨率增强和图像复原效果。

图3 Kod04图像标准差为0.01的高斯噪声时，增强结果。

(a) 参考低分辨率图像；(b) BBC；(c) SRCNN；(d) TV；(e) NS；(f) 推荐方法

Fig. 3 The enhancement results on Kod04 in presence of Gaussian noise ( with a standard deviation of 0.01).

(a) Reference low resolution image; (b) BBC; (c) SRCNN; (d) TV; (e) NS; (f) The proposed method

图4 Kod23图像标准差为0.01的高斯噪声时，增强结果。

(a) 参考低分辨率图像；(b) BBC；(c) SRCNN；(d) TV；(e) NS；(f) 推荐方法

Fig. 4 The enhancement results on Kod23in presence of Gaussian noise (with a standard deviation of 0.01).

(a) Reference low resolution image; (b) BBC; (c) SRCNN; (d) TV; (e) NS; (f) The proposed method.

4.3 真实数据实验结果与分析

本节对复眼相机阵列采集的图像数据进行分辨率增强实验并给出相应的分析。复眼相机对ISO 12233分辨率板和USAF 1951分辨率板分别成像获得9幅子孔径低分辨率图像，并截取公共视场内的部分区域进行分辨率增强，其中，对ISO 12233分辨率板，截取大小为56´56的中心圆环区域，对USAF 1951分辨率板，截取大小为40´40的包含0、1线对组的区域。图5为两幅相应的复眼图像，其中每幅中包含9张子孔径低分辨率图像。

以左上角子孔径图像为参考子孔径图像，见图6(a)和图7(a)，设置下采样因子为3，对TV、NS和本文推荐方法，模糊核选为大小3´3、方差为1的高斯滤波器。图6(b)~6(f)和图7(b)~7(f)分别为图5(a)和5(b)复眼图像采用不同分辨率增强方法获得的增强结果图像。ISO 12233复眼图像增强后图像大小为168´168，USAF 1951复眼图像增强后图像大小为120´120。表3为各分辨率增强方法增强结果的BISQEI比较，可以看出本文推荐方法具有最好的分辨率增强性能。

图5 真实数据复眼图像，截取自分辨率板。(a) ISO 12233；(b) USAF 1951

图6 ISO12233分辨率板图像增强结果。

(a) 参考低分辨率图像；(b) BBC；(c) SRCNN；(d) TV；(e) NS；(f) 推荐方法

Fig. 6 The enhancement results on the ISO12233 resolution chart image.

(a) Reference low resolution image; (b) BBC; (c) SRCNN; (d) TV; (e) NS; (f) The proposed method.

图7 USAF1951分辨率板图像增强结果。

(a) 参考低分辨率图像；(b) BBC；(c) SRCNN；(d) TV；(e) NS；(f) 推荐方法

Fig. 7 The enhancement results on the USAF1951 resolution chart image.

(a) Reference low resolution image; (b) BBC; (c) SRCNN; (d) TV; (e) NS; (f) The proposed method.

表3 分辨率板图像增强结果BISQEI比较

对ISO 12233复眼图像和分辨率增强结果，图6(a)空间下采样造成了边缘处明显的锯齿以及高频区域的混叠图样。图6(b)上采样插值使锯齿效应得到缓解，但图像模糊且混叠图样依然存在。相对于BBC，图6(c)中的SRCNN能够去除模糊并增加对比度，但混叠图样依然存在且更加明显。单帧图像方法BBC和SRCNN不能去除混叠图样是因为其未有效利用多幅图像的互补信息，所以它们并未从本质上增加分辨率。从图6(d)~6(f)看出，利用多幅图像进行分辨率增强的TV、NS和本文推荐方法都能够有效增强图像的分辨率。图6(d)中的TV方法，由于运动估计的不准确造成了图像光滑区域的噪声和边缘上有较强的干扰物存在，图6(e)中的NS方法利用先验模型对噪声和运动不准确造成的干扰物有较好的抑制作用，但该先验也有明显的过平滑现象，圆环中高频纹理几乎被平滑掉，且仍存在少量的混叠图样。图6(f)的推荐方法不仅获得了最好的分辨率增强，且在干扰物和噪声抑制方面表现出最好的性能。

对USAF 1951复眼图像和分辨率增强结果，为了便于从视觉上对比分辨率增强效果，图7中各图的相同区域加入了黄色框和红色实线框。图7(a)锯齿现象较明显，如黄色框中数字0，同时出现了混叠现象，例如0组中的3号线条对已不能被正确分辨，红色方框中的线条组混叠更为明显。图7(b)BBC方法使得图7(a)中的锯齿现象得到缓解，但图像边缘更加模糊，且图7(a)中不能分辨的线条对仍不能被分辨。图7(c)进一步去除了图7(b)的边缘模糊，使得图像的对比度更高，但仍然没有增加对线条的分辨能力。利用多个子孔径图像的分辨率增强方法增加了图像空间分辨率，图7(a)~7(c)中不能被分辨的0组3号线对在7(d)~7(f)中都能够被正确分辨。图7(d)中的TV方法分辨率增强效果比较明显，然而由于运动模型的限制，其它子孔径低分辨率图像并不能很好地配准到参考子孔径图像上，这些配准误差体现在增强图像中线条和数字边缘处明显的干扰物，从黄色框中变形的数字0可以看出，这些干扰物极大地影响了对真实高频细节的分辨。图7(e)中NS方法利用先验模型能够抑制运动模型误差造成的干扰物，但同时把图像中的细节、纹理等高频信息也平滑掉了。从图7(f)看出，推荐方法增强结果的边缘干扰物较少且分辨率增强最为明显，增强后的黑白线条更加均匀且具有更高对比度。

5 结 论

本文把变分贝叶斯多图像超分辨理论用来进行复眼图像分辨率增强。传统的多图像超分辨方法通常假设过于简化的欧几里德变换运动模型，这限制了超分辨方法在复眼图像增强中的应用。推荐方法把仿射变换模型引入变分贝叶斯框架，并推导了高分辨率图像、运动向量和模型参数的自适应联合估计的分辨率增强算法。仿真数据实验和复眼相机数据实验验证了推荐方法的正确性和有效性：在仿真数据实验中，推荐方法具有最高的PSNR性能和好的视觉效果；基于分辨率板的真实数据实验表明，推荐方法具有最好的分辨率增强效果，且在模糊去除、噪声和干扰物抑制方面具有更好的性能。

[1] Tanida J, Kumagai T, Yamada K,. Thin Observation Module by Bound Optics (TOMBO): concept and experimental verification[J]., 2001, 40(11): 1806–1813.

[2] Carles G, Downing J, Harvey A R. Super-resolution imaging using a camera array[J]., 2014, 39(7): 1889–1892.

[3] Yue L W, Shen H F, Li J,. Image super-resolution: the techniques, applications, and future[J]., 2016, 128: 389–408.

[4] Guo Y H, Pu M B, Ma X L,. Advances of dispersion-engineered metamaterials[J]., 2017, 44(1): 3−22.

郭迎辉, 蒲明博, 马晓亮, 等. 电磁超构材料色散调控研究进展[J]. 光电工程, 2017, 44(1): 3–22.

[5] Zalevsky Z, Mendlovic D.[M]. New York: Springer, 2004.

[6] Zhan S, Fang Q. Image super-resolution based on edge-enhancement and multi-dictionary learning[J]., 2016, 43(4): 40–47.

詹曙, 方琪. 边缘增强的多字典学习图像超分辨率重建算法[J]. 光电工程, 2016, 43(4): 40–47.

[7] Dong C, Loy C C, He K M,. Image super-resolution using deep convolutional networks[J]., 2016, 38(2): 295–307.

[8] Wang F, Wang W, Qiu Z L. A single super-resolution method via deep cascade network[J]., 2018, 45(7): 170729.

王飞, 王伟, 邱智亮. 一种深度级联网络结构的单帧超分辨重建算法[J]. 光电工程, 2018, 45(7): 170729.

[9] Milanfar P.[M]. Boca Raton: CRC Press, 2011.

[10] Babacan S D, Molina R, Katsaggelos A K,. Variational Bayesian super resolution[J]., 2011, 20(4): 984–999.

[11] Villena S, Vega M, Molina R,. A non-stationary image prior combination in super-resolution[J]., 2014, 32: 1–10.

[12] Horisaki R, Nakao Y, Toyoda T,. A compound-eye imaging system with irregular lens-array arrangement[J]., 2008, 7072: 7072G.

[13] Hartley R, Zisserman A.[M]. 2nd ed. Cambridge: Cambridge University Press, 2003.

[14] Ng M K, Shen H F, Lam E Y,. A total variation regularization based super-resolution reconstruction algorithm for digital video[J]., 2007, 2007: 074585.

[15] Beal M J. Variational algorithms for approximate Bayesian inference[D]. London: The Gatsby Computational Neuroscience Unit, University College London, 2003.

[16] Dong C, Loy C C, He K,. Image Super-Resolution Using Deep Convolutional Networks [OL]. available from: http://mmlab.ie.cuhk.edu.hk/projects/SRCNN.html.

[17] Wang Z, Bovik A C. Mean squared error: love it or leave it? A new look at signal fidelity measures[J]., 2009, 26(1): 98–117.

[18] Mittal A, Moorthy A K, Bovik A C. No-reference image quality assessment in the spatial domain[J]., 2012, 21(12): 4695–4708.

Spatial resolution enhancement of planar compound eye based on variational Bayesian multi-image super-resolution

Min Lei1,2,3,4, Yang Ping1,3,4*, Xu Bing1,3,4, LiuYong2

1Key Laboratory of Adaptive Optics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;2School of Optoelectronic Science and Engineering, University of Electronic Science and Technology of China, Chengdu, Sichuan 610054, China;3Institute of Optics and Electronics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;4University of Chinese Academy of Sciences, Beijing 100049, China

Spatial resolution enhancement of planar compound eye based on multi-image super-resolution

Overview:The planar compound eye imaging system uses multiple sub-apertures to image the scene. With a proper optical design, the planar compound eye has the characteristics of thin, light, and large field of view. However, because of the constraint of imaging sub-aperture size and spatial sampling rate of the image sensor, the image quality of each sub-aperture is low. How to fuse multiple sub-aperture images to obtain a high-resolution image is an urgent problem. Multi-image super-resolution theory uses multiple images with complementary information to reconstruct high spatial resolution images. However, existing theories usually use oversimplified motion models, and this motion model is not suitable for planar compound eye imaging. If the existing multi-image super-resolution theory is directly applied to the resolution enhancement of planar compound eye, the inaccurate relative motion estimation will reduce the performance of image resolution enhancement. In order to solve these problems, the motion model of the multi-image super-resolution is improved in the variational Bayesian framework, and the derived joint estimation algorithm is used to enhance the resolution of the planar compound eye. In the first stage of hierarchical Bayesian model, we use total variation (TV) model and non-informative prior model to model the latent high-resolution image and the motion vector, respectively. In the second stage, we use Gamma distribution to model the model parameters in the first stage. Instead of the oversimplified Euclidean motion model, we use the affine motion model, which is more suitable for planar compound eye imaging scenario. The correctness and effectiveness of the proposed method is verified by the simulation data experiments and the real compound eye data experiments. We report the experiments and analyses on simulated and real data. For the experiments on simulated data, the performance of the resolution enhancement method is quantitatively measured by the peak signal-to-noise ratio (PSNR). The proposed method is superior to the comparison methods in all simulated scenarios, especially in the middle and high signal to noise ratio scenarios. Better visual effects of the results also demonstrate the advantage of the proposed method. For the real data experiments, we first e USAF 1951 and ISO 12233 resolution charts as the target at a certain distance, and use the planar compound eye prototype to collect the compound eye images. Then, the resolution chart compound eye images are used to compare different resolution enhancement methods. The proposed method has better performance in preserving image details, suppressing noise and removing artifacts.

Citation: Min L, Yang P, Xu B,Spatial resolution enhancement of planar compound eye based on variational Bayesian multi-image super-resolution[J]., 2020, 47(2): 180661

Spatial resolution enhancement of planar compound eye based on variational Bayesian multi-image super-resolution

Min Lei1,2,3,4, Yang Ping1,3,4*, Xu Bing1,3,4, LiuYong2

1Key Laboratory of Adaptive Optics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;2School of Optoelectronic Science and Engineering, University of Electronic Science and Technology of China, Chengdu, Sichuan 610054, China;3Institute of Optics and Electronics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;4University of Chinese Academy of Sciences, Beijing 100049, China

The planar compound eye imaging system uses multiple sub-apertures to image the scene. Due to the constraint of the imaging sub-aperture size and spatial sampling rate of the image sensor, the image quality of each sub-aperture is low. How to fuse multiple sub-aperture images for a high-resolution image is an urgent problem. Multi-image super-resolution theory uses multiple images with complementary information to reconstruct high spatial resolution image. However, existing theories usually adopt the oversimplified motion model which is not suitable for planar compound eye imaging. If the existing multi-image super-resolution theory is directly applied to the resolution enhancement of the planar compound eye, the inaccurate motion estimation will reduce the performance of image resolution enhancement. In order to solve these problems, the motion model of the multi-image super-resolution is improved in the variational Bayesian framework, and the derived joint estimation algorithm is used to enhance the resolution of the planar compound eye. The correctness and effectiveness of the proposed method is verified by the simulation data experiments and the real compound eye data experiments.Keywords: planar compound eye; resolution enhancement; motion model; variational Bayesian; multi-image super-resolution

Supported by National Innovation Fund of Chinese Academy of Sciences (CXJJ-16M208), the Preeminent Youth Fund of Sichuan Province, China (2012JQ0012), and the Outstanding Youth Science Fund of Chinese Academy of Sciences

TN911.73

A

10.12086/oee.2020.180661

: Min L, Yang P, Xu B,. Spatial resolution enhancement of planar compound eye based on variational Bayesian multi-image super-resolution[J]., 2020,47(2): 180661

2018-12-18；

2019-04-09

中国科学院创新基金项目(CXJJ-16M208)；四川省杰出青年基金项目(2012JQ0012)；中国科学院卓越科学家项目

闵雷(1986-)，男，博士研究生，主要从事光电图像分辨率增强、图像超分辨的研究。E-mail：minlei1986@163.com

杨平(1980-)，男，博士，研究员，主要从事自适应光学、光场信号获取与处理、激光光束净化等研究。E-mail：pingyang2516@163.com

闵雷，杨平，许冰，等. 基于变分贝叶斯多图像超分辨的平面复眼空间分辨率增强[J]. 光电工程，2020，47(2): 180661

* E-mail: pingyang2516@163.com