数字图像修复方法研究进展

摘  要：图像修复的目的在于根據已知的图像信息训练提取特征，再依据提取的有效特征恢复图像受损部分的像素。随着深度学习技术的发展，数字图像修复技术可以帮助人们解决更加复杂的问题。文章梳理了该领域近年来的研究现状：首先概述了传统图像修复方法以及存在的缺陷，然后对比分析修复效果有显著提高的图像修复方法，最后总结当前数字图像修复技术存在的缺陷并对将来的研究方向进行展望。

关键词：图像修复;计算机视觉;自编码网络

中图法分类号：TP391.4           文献标识码：A文章编号：2096-4706（2022）04-0038-03

Research Progress of Digital Image Inpainting Methods

WANG Ke

（College of Physics and Information Engineering， Fuzhou University， Fuzhou  350108， China）

Abstract： The purpose of image inpainting is to train and extract features according to known image information， and then restore the damaged part pixels of the image based on the extracted effective features. With the development of deep learning technology， digital image inpainting technology can help people solve more complex problems. This paper combs the current state of research in this field in recent years： firstly， it outlines the traditional image inpainting methods and their defects， then it compares and analyzes the image inpainting methods that have significantly improved the inpainting effect， finally， it summarizes the defects of current digital image inpainting techniques and provides an outlook on future research directions.

Keywords： image inpainting; computer vision; auto encoder network

0  引  言

图像修复（Image Inpainting）是一种旨在恢复受损图像中像素特征受损的部分，然后生成与原始图像在像素质量和语义上高度相似图像的技术。在传统的图像修复技术中，通常采用的是统计概率的机器学习算法，然后对其进行改进，以不同的方式促进图像修复的效果。传统的图像修复技术在低分辨和纹理结构简单的图像上修复效果较好，但是，针对高分辨和纹理复杂结构图像的修复却不尽人意。

2014年以后，随着深度学习技术研究不断深入，数字图像修复技术逐渐应用于各行各业，帮助人们解决复杂的问题。深度学习技术能够弥补传统图像修复技术在纹理结构和语义内容上修复的缺陷，较好地解决了图像修复在语义中的特征提取，使得修复的结果可以达到人类视觉满意的效果。本文将对传统图像修复方法和基于深度学习的数字图像修复方法进行对比分析，重点分析新出现的基于深度学习的方法，并对将来的研究热点和发展方向提出展望。

1  传统图像修复方法

传统的图像修复方法主要分为基于扩散的方法和基于补丁的方法。分类如图1所示，本章主要介绍具有代表性的传统图像修复方法，总结和分析其优缺点。

1.1  基于扩散的方法

基于扩散的图像修复方法主要是将图像破损区域周围的像素信息逐渐扩散到破损区域，然后合成新的纹理来填充受损部分。Bertalmio等人[1]提出的BSCB（Bertalmio Sa piro Caselles Ballester）模型，它的中心思想是沿着等照度线向破损区域的方向光滑的传递信息，以达到补全图像的目的。修补过程就是利用已知的像素信息向受损部分扩散修复受损部分。Chan等人[2]在全变分（Total Variation， TV）模型[3]基础上，提出CDD（Curvature Driven Diffusions）模型，经过优化后提出的CDD模型可以利用曲率来控制扩散强度进一步的扩散已知图像的信息，进而提高图像修复的真实性。

1.2  基于补丁的方法

基于补丁的方法也称为基于样本块方法，它的中心思想是在已知的图像中寻找与损坏区域最佳匹配的补丁块，然后复制补丁块的像素信息进行填充，继而完成受损图像的修复。Criminisi等人[4]提出了一种纹理合成修复算法，这种方法也是基于匹配的补丁块，在纹理和结构信息的修复上，取得了不错的修复效果。Barnes等人[5]提出一种称为PatchMatch算法，通过使用快速最近邻域算法降低了补丁块搜索过程的内存和计算成本。更多时候图像受损情况是小部分缺失，这时基于补丁的方法就变得不好处理，研究者们引入了深度学习方法进行图像修复。756FB558-D66D-4ECD-A2ED-20B98D954884

2  基于深度学习的图像修复方法

圖像修复技术根据修复对象不同可分为：矩形遮盖和小范围破损区域的修复模型、修复不规则形状的模型、产生多种修复结果的模型和修复高分辨率的模型。下面对具有代表性的模型进行了分析和总结。

2.1  基于自编码器的图像修复

自编码器（Auto Encoder， AE）最早于1986年由Rumelhart等人[6]提出概念，后面逐步出现各种基于自编码器的网络方法。Pathak等人[7]提出名为上下文编码器（Context Encoder， CE）图像修复网络，它将由基于上下文的像素预测驱动的无监督特征学习应用于小矩形块的图像修复。CE网络的结构由编码器和解码器组成，中间采用通道等宽的全连接层（Channel-wise fully-connected layer）连接，编码器提取输入图像特征，解码器将压缩后的特征图逐步放大，恢复到原始图片的大小。重建损失和对抗性损失两种损失结合在一起使生成的图像既具有结构性，又具备真实语义，使预测结果更加真实。

2.2  基于生成对抗网络的图像修复

最早提出生成对抗网络（Generative Adversarial Networks， GAN）模型的是Goodfellow等人[8]，其灵感来自博弈论。由生成器和判别器组成，生成器是生成内容，判别器是判断生成内容和真实内容的真假。GAN结构如图2所示。

Zhao等人[9]提出基于无监督跨空间变换的多样性图像修复网络（Unsupervised Cross-space Translation Generative Adversarial Network， UCTGAN）。该网络由多样性映射模块、生成模块和条件编码器模块组成。在该模型中，通过输入不同的真实图像可以得到不同的修复图像，通过判别器评估和多个损失的综合得分排名可以返回修复效果最好的图像，提高了图像修复真实性和客观一致性。

2.3  多样化的图像修复方法

Liu等人[10]提出了PD-GAN（Probabilistic Diverse GAN），PD-GAN是一种用于图像修复的概率多样化GAN。对于待修复区域图像，PD-GAN会产生具有多样化和视觉逼真的多个修复结果。作者提出了空间概率分集归一化（SPDNorm），模拟生成以上下文信息为条件的像素概率。同时，作者提出感知多样性损失，并进一步以PD-GAN方法进行多样化的内容生成。在图像填充过程中，待修复图像边界附近的像素应该更具确定性，而位于待修复区域中心的像素应该享受更多多样化。

2.4  高分辨率的图像修复方法

先前的图像修复方法由于内存的限制，一直仅限于处理低分辨率图像，但随着深度学习技术研究逐步深入，高分辨率图像的修复方法开始了探索。Yi等人[11]提出一种上下文残差聚合（Contextual Residual Aggregation， CRA）机制，对高分辨率图像进行修复。结合轻量级门控卷积和多个抽象级别上使用上下文注意力等技术，提高了图像的修复质量，同时可在不占用大量计算能力情况下对高分辨率图像进行推理和修复。

3  数据集

近年来，机器学习和深度学习在计算机视觉研究领域蓬勃发展。许多学术机构和企业在各种视觉任务中都开放了大量的图像数据集，以帮助更多的从业者将科研成果转化为生产，为社会生产进步和人民生活提供更好的服务。基于目前的技术和计算能力，训练一个通用的图像修复模型仍然是一个很大的挑战，因此大多数模型研究仍然是基于特定类型的数据进行训练和测试。表1列出了图像修复研究中最常用的几个数据集。

4  结  论

本文主要是对深度学习技术在图像修复方向提出的方法原理进行简要的介绍和总结，重点从传统图像修复方法和深度学习图像修复方法两方面进行对比和分析。深度学习技术弥补了传统图像修复的不足，使得图像修复更加符合客观要求。研究人员在生成模型选择、网络结构设计、判别器优化、损失函数优化等方面不断创新并取得了长足的进步，并且随着深度学习技术和硬件设备的快速发展，在医学、文物数字修复等领域都有了很好的应用。本文在对现有的技术进行分析的基础上，针对目前仍然存在的问题和难点，对未来的研究方向和发展趋势做出展望：（1）图像修复实际上就是通过提取已知图像的特征信息来进行匹配破损图像缺失区域的信息，但是如何将已知区域和未知缺失区域联系起来提高图像修复的准确性，还需要在后续的研究中深入探索。（2）目前的图像修复方法在处理规则的结构化数据、小孔修复和低分辨率图像修复等方面都能取得较好的修复效果。如何提高复杂纹理、大孔洞和高分辨率图像的修复效果将会成为后续图像修复研究的主要热点。（3）对于深度学习技术来说，网络结构越深，修复图像的效果越好，但同时也会带来数据集不好训练的问题，对计算机机器的要求更高。如何平衡网络的复杂结构和修复图像的质量之间的矛盾，需要进一步的研究。（4）视频流图像的修复在现阶段来说具有一定的挑战，如何结合网络结构来进行修复，结合哪种网络结构来处理视频流图像也将会具有重大意义。

参考文献：

[1] BERTALMIO M，SAPIRO G，CASELLES V，et al. Image inpainting [EB/OL].[2021.12.03].https：//dl.acm.org/doi/pdf/10.1145/344779.344972.

[2] CHAN T F，SHEN J H. Nontexture Inpainting by Curvature-Driven Diffusions [J].Journal of visual communication and image representation，2001，12（4）：436-449.756FB558-D66D-4ECD-A2ED-20B98D954884

[3] SHEN J J，CHAN T F. Mathematical models for local non-texture inpaintings [J].SIAM Journal on Applied Mathematics，2002，62（3）：1019-1043.

[4] CRIMINISI A，PEREZ P，TOYAMA K. Region filling and object removal by exemplar-based image inpainting [J].IEEE Transactions on image processing，2004，13（9）：1200-1212.

[5] BARNES C，SHECHTMAN E，FINKELSTEIN A，et al. PatchMatch： A randomized correspondence algorithm for structural image editing [J].ACM Transactions on Graphic，2009，28（3）：24.

[6] RUMELHART D E，HINTON G E，WILLIAMS R J. Learning internal representations by error propagation [J].Readings in Cognitive Science，1988：399-421.

[7] PATHAK D，KRAHENBUHL P，DONAHUE J，et al. Context encoders： Feature learning by inpainting [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016：2536-2544.

[8] GOODFELLOW I J，POUGET-ABADIE J，MIRZA M，et al. Generative adversarial nets [J].Proceedings of the 27th International Conference on Neural Information Processing Systems，2014，2：2627-2628.

[9] ZHAO L，MO Q H，LIN S H，et al. UCTGAN： Diverse Image Inpainting Based on Unsupervised Cross-Space Translation [C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Seattle：IEEE，2020：5740-5749.

[10] LIU H Y，WAN Z Y，HUANG W，et al. PD-GAN： Probabilistic Diverse GAN for Image Inpainting [J/OL].arXiv：2105.02201 [cs.CV].[2021-12-14].https：//arxiv.org/abs/2105.02201v1.

[11] YI Z L，TANG Q，AZIZI S，et al. Contextual Residual Aggregation for Ultra High-Resolution Image Inpainting [C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Seattle：IEEE，2020：7505-7514.

作者簡介：王柯（1994—），女，汉族，河南周口人，硕士研究生在读，研究方向：图像修复与图像生成。756FB558-D66D-4ECD-A2ED-20B98D954884