基于轮廓生成的海底图像修复及空洞填充*

张恒志 李晓明

（太原科技大学计算机科学与技术学院 太原 030024）

1 引言

1.1 海底图像的修复

图像修复［1］，又叫做inpainting，是由图像的已知区域来推断生成未知区域，未知区域处于图像的内部。现在绝大数的研究都是在人脸、街景、风景图等这种具有明显的结构和颜色区分的图片上进行的。本文首次提出了在海底图像上进行图像修复工作，海底图像整体颜色偏暗，而且在拍摄过程中还会造成光照不一致，所以对这类图片的研究具有很大的价值。

图1 海底图像与现有数据集图像的对比

现有图像修复的方法主要分为传统方法和基于深度学习的方法。传统的方法主要又分为基于补丁［2～3］的方法和基于扩散［4～5］的方法。基于补丁的方法是通过在图像的已知区域中来进行搜索找到匹配良好的候选块。基于补丁的方法会使用已知区域的图像块信息来填充未知区域，而且需要很高的计算代价。PatchMatch［6］方法通过使用快速最近邻场来解决这个问题，但基于补丁的方法在重建未知区域的细节方面做的很差。基于扩散的方法是利用未知区域的轮廓信息，确定扩散的方向，向轮廓内扩散已知的信息。但是该方法在未知区域比较大时（如64*64，128*128 的矩形块）或纹理结构复杂时，会存在生成区域模糊和结构不一致的问题。

最早的基于深度学习的方法之一是上下文编码器［7］，通过使用编码器-解码器结构。编码器具有将缺失区域的图像映射到低维特征空间，并通过解码器来构建输出的图像。根据周围的环境来生成未知区域的内容，在理解整张图像的基础之上对未知区域产生一个可信的填充。但是这种方法在训练时固定输入大小只能为128*128，且不能保持局部一致性。2017年，Li等提出的全局和局部一致性的图像修复网络［8］，全局鉴别器和局部鉴别器分别用于保证生成的区域在全局和局部上保持一致，但需要大量的训练集来学习细节，而且需要一些后处理过程。2019 年，刘等提出了一种基于语义的精细图像修复方法［9］，不仅可以保留上下文结构，而且还可以通过模拟特征之间的语义关联来有效的预测未知区域，但是也只能是在固定区域上进行修复。2020 年，余等提出了一种区域归一化方法［10］，根据输入的掩膜将空间像素划分为不同的区域，并计算每个区域的均值和方差进行归一化，有效避免了均值和方差偏移的情况。

本文使用的方法是基于轮廓生成的深度学习方法［11］，通过更改其残差块的使用位置并在残差块［12］中引入SEnet［13］通道注意力机制来增加轮廓生成阶段的生成能力。本方法分为两个阶段，第一阶段先把待修复图像的轮廓描绘出来，第二阶段再对所生成的轮廓进行颜色填充。

1.2 海底图像空洞区域的填充

由于陆地资源、能源已经日趋减少，而海洋中则蕴含着丰富的生物和能源，所以人类开始把目光投向海洋。但单张图片或几张图片很难能清晰地获取海底的细节信息，想要获取大规模的清晰地海底图片需要多张图片进行拼接。由于深海环境复杂，光照条件差，想要探索海底资源有很大的困难。随着社会和经济发展，研发出了水下拍照机器人，可以按照预定的路线深入海底进行拍照作业。

但是由于复杂的海底环境和机器人的智能性，机器人在拍照过程会有偏离原来的路线。这就使得在进行图像拼接时会有一部分空洞区域产生。本文的目的就是填充这些空洞区域，生成在视觉上保持一致的海底图像，对于人类对海洋的探索具有重大意义。

图2 海底图像拼接之后的空洞区域

本文先对海底图像进行预处理，得到光照均匀，亮度相对较高的图像。然后本文在固定的方形区域对海底图像进行实验，随后扩展到随机任意区域，最后是在真实场景中对海底图像的空洞区域进行填充。

2 图像预处理

直接使用原图像作为数据集进行训练，当原图像比较模糊或者整体偏暗时生成的结果也是模糊和偏暗的，所以原图的质量对于图像修复的结果具有重大的影响。海底图像的亮度低，再加上是人照光源拍摄，所以在拍摄时会导致大部分的图片会有整体颜色偏暗（如图3）和光照不均（如图4）的情况。本文针对海底图像的这些特殊性使用有针对性的方法进行预处理，使海底图像的光照变得均匀，同时还增加了图像亮度，为后续的图像修复工作提供了良好的基础。针对不同特点的图像进行针对性的预处理对于图像修复是一个很有价值的参考。

图3 整体偏暗的海底图片

图4 光照不均的海底图片

图5 预处理图像与原图对比

图6 轮廓生成网络

图7 颜色填充网络

图8 SENet结构图

图9 结果对比图

图10 随机区域生成效果图

表2 随机掩膜区域两个指标上的得分

图11 带有空洞的海底图像

图12 截取空洞区域

图13 掩膜图像

图14 填充空洞区域

图15 生成的完整图像

本文的图片数据是由水下机器人在5000m 深的海域里拍摄得到的，由于拍摄时是由水下机器人的闪光灯作为光源，所以在拍摄时会造成一大部分海底图像有光照不均和整体偏暗的特点。

基于现有海底图像的特点，在对海底图像进行预处理时，首先先对海底图像进行像素值平均操作，得到图像Nc，然后对海底图像平均处理后的图像Nc 进行多次高斯平滑处理得到图像Nz，对Nz 进行归一化处理得到光照补偿因子x，最后根据成像模型（1）得到原始图像和光照因子x 的比值就是所得到的预处理之后的图像。

从图中可以清晰地看到经过预处理之后的图片与原图相比，在图像亮度，对比度都有提升，而且光照变得均匀了。

3 网络结构

本文使用的方法是一个由两个阶段组成的图像修复网络：1）轮廓生成网络［16～18］；2）颜色填充网络。这两个阶段都遵循对抗生成网络模型［14］，即每个阶段都由一个生成器和一个鉴别器对组成。设S1 和D1 分别是轮廓生成网络的生成器和鉴别器，S2和D2分别是颜色填充网络的生成器和鉴别器。

S1 的输入是原图以及自己设置的掩膜图像，用来预测完整的轮廓图像。之后把预测的轮廓图和加了掩膜的彩色图像又作为输入传递给S2 来进行颜色填充。通过先生成轮廓，再进行颜色填充可以更好地使生成的图片与原图保持一致。

生成器由对图像进行两次下采样的编码器，第一次卷积之后跟着2 个维度为256 的残差块，第二次卷积之后跟着3 个维度为128 的残差块，第三次卷积之后跟着4个维度为64的残差块，接着是对图像进行上采样回到原始大小的解码器组成。本文方法在残差块中加入了SENet 注意力层，SENet 主要是通过显式地建模通道之间的相互依赖关系，自适应地重新校准通道的特征响应，通过学习通道之间的相关性，筛选出了针对通道的注意力。

4 实验结果及分析

4.1 实验结果

本文实验中进行对比的深度学习方法是近两年的图像修复方法，分别是Region Normalization for Image Inpainting 方法和Coherent Semantic Attention for image inpainting 方法。本文采用PSNR（Peak Signal to Noise Ratio，峰值信噪比）和SSIM［15］（Structural Similarity，结构相似性）两个指标来衡量所修复图像的质量。PSNR是计算原图和生成的图对应像素点之间的误差的，是基于误差敏感的图像质量评价。SSIM 则是从亮度、对比度、结构三方面度量图像之间的相似性。PSNR 和SSIM 的值越大，代表生成的图和原图越相近，误差越小，修复的效果越好。

表1 结果指标对比

从实验结果以及指标的得分中可以看出，使用RN和CSA方法生成低纹理的海底图像填充的有一定的效果，但是在细节上会有很多伪影的出现，而本文的方法填充的比较自然，和周围区域保持高度的一致性。而在复杂纹理的海底图片上RN和CSA方法则表现的不好，学不到相应纹理结构，而使用本方法可以看出修复工作效果还是很好的，在PSNR 和SSIM 指标上都是最高的，但有一些局部的小区域会出现失真的现象。使用未经过预处理的图片和经过预处理的图片对比，可以看出经过预处理的图片保留了更多的细节信息，图像整体是偏亮的，比未经预处理的图片在视觉效果上有一定的提升。

4.2 任意区域的图像修复

本文将缺失区域从固定大小扩展到任意区域。

实验结果证明使用本方法可以修复具有任意缺失区域的海底图像，在低纹理图像上效果很好，在具有精细结构的海底图像上颜色会有一定的失真现象。经过预处理的图片在PSNR 上有所下降，但在SSIM指标上有一定的提升。

4.3 进行空洞区域的填充

基于以上对海底图像进行修复工作的研究，我们使用本文方法对真实场景的空洞区域进行填充。

填充步骤：

1）先在海底图片中找到全黑的图片，这些全黑图片就是拍照所没有拍到的。

2）将全黑的图片与其相邻的几张图片进行拼接，就会产生带有空洞区域的图片。

3）截取空洞区域及其周围一部分场景，添加相应的掩膜，制作成测试图片。

4）将生成的图片代替截取的区域。填充流程及结果如下所示。

5 结语

本文使用基于轮廓生成的方法应用于海底图像的修复及空洞区域的填充工作，通过先生成边缘轮廓再进行颜色填充，能更好地生成精细的结构。通过对海底图片进行预处理，得到预处理之后的图片细节更加明显，亮度更亮，光照变得均匀，通过实验证明预处理对图像修复的工作具有重要意义。本文对海底图像拼接之后的空洞区域进行了填充，保持了高度的视觉和语义的一致性，对海底资源的探索提供了良好的基础。