胡清华,左旺孟,张长青,任冬伟,韩向娣
1.天津大学,天津 300072;2.哈尔滨工业大学,哈尔滨 150001;3.《中国图象图形学报》编辑部,北京 100190
视频图像是人类获取信息的重要通道,也是大数据时代占比最高的信息载体。当前,图像视频传感装置被广泛使用,成为交通、医疗、安防、质检等应用领域必不可缺的基础设施。在自动驾驶、智慧城市、深海深空探测等开放应用环境中,数字图像的采集受到软硬件制约和不理想拍摄环境的影响,噪声、低分辨率、模糊、雨雾、甚至缺损等低质图像数据大量出现,为图像处理及其语义理解任务带来严峻挑战。
近年来,基于大规模的高质量图像数据集,尽管物体分类/检测/分割和行为识别等语义理解任务在深度模型、学习方法方面取得了快速发展,但其处理低质图像时性能仍十分有限。同时,开放应用环境中成对训练数据采集受限,基于半监督、无监督学习方法的低质图像处理和语义理解亟待研究。如何发展有效的低质图像处理方法、构建面向低质图像的语义理解方法体系成为计算机视觉领域的关键性问题和挑战性难题,受到广大学者的高度关注。
为了更好地促进低质图像处理和语义理解研究与应用的发展,为相关学者提供学术交流的平台,《中国图象图形学报》邀请业内专家共同策划推出“低质图像处理与语义理解”专栏,主要聚焦于低质图像和视频的复原与增强以及面向低质视觉数据的语义理解等研究,促进相关智能算法在自动驾驶等领域的落地应用。欢迎人工智能、计算机视觉等相关领域的科研人员及企业同仁踊跃投稿。
专栏收到领域内相关学者积极踊跃的投稿。经过严格评审,共收录学术论文9篇,其中综述1篇、算法论文8篇。
综述《图像去模糊研究综述》(作者:胡张颖,周全*,陈明举,崔景程,吴晓富,郑宝玉)回顾了整个图像去模糊领域的发展历程,对盲图像去模糊和非盲图像去模糊中具有影响力的算法进行论述和分析。讨论了图像模糊的常见原因以及去模糊图像的质量评价方法。全面阐述了传统方法和基于深度学习方法的基本思想,并针对图像非盲去模糊和图像盲去模糊两个方面的一些文献进行了综述。基于深度学习的方法包括基于卷积神经网络、基于循环神经网络、基于生成式对抗网络和基于Transformer 的方法等。简要介绍了图像去模糊领域的常用数据集并比较分析了一些代表性图像去模糊算法的性能。最后,探讨了图像去模糊领域所面临的挑战,并对未来的研究方法进行了展望。
《基于照度与场景纹理注意力图的低光图像增强》(作者:赵明华,汶怡春,都双丽*,胡静,石程,李鹏)能有效提升图像亮度和对比度,且在突出暗区纹理时,能有效抑制噪声。论文方法用于极低照度图像时,在色彩还原、细节纹理恢复和噪声抑制方面均具有明显优势。代码已共享在Github 上:https://github.com/shuanglidu/LLIE_CEIST.git。
《轻量级图像超分辨率的蓝图可分离卷积Transformer 网络》(作者:毕修平,陈实,张乐飞*)所提出的蓝图可分离卷积Transformer 网络BSTN 以较少的参数量和浮点运算量达到了先进水平,能获得高质量的超分辨率重建结果。
《图像复原中自注意力和卷积的动态关联学习》(作者:江奎,贾雪梅,黄文心*,王文兵,王正,江俊君)论文在背景修复中引入退化先验,并据此提出一种动态关联学习的图像修复方法。核心是一个新的多输入注意力模块,将降质扰动的消除和背景修复关联起来。通过结合深度可分离卷积,利用CNN 和SA 两种架构的优势实现高效率和高质量图像修复。论文算法在效果和性能上具有优势,在常见的图像去雨、低照度图像增强和水下图像修复等任务上优于其他代表性的方法。
《局部特征增强的转置自注意力图像超分辨率重建》(作者:孙阳,丁建伟*,张琪,邓琪瑶)所提出的网络模型能够充分地对特征信息全局关系进行建模,同时也不会丢失图像特有的局部相关性。重建图像质量明显提高,细节更加丰富,具有一定的有效性与先进性。
《结合稀疏先验与多模式分解的低秩张量恢复方法》(作者:杨秀红*,苟田坤,薛怡,金海燕,石争浩)提出的基于稀疏先验与多模式张量分解的低秩张量恢复方法,可同时利用张量的全局低秩性与局部稀疏性,能够对受损的多维视觉数据进行有效修复。
《视觉显著性驱动的全景渲染图非局部降噪》(作者:韩鲁光,陈纯毅*,申忠业,胡小娟,于海洋)首先使用全景图显著区域检测算法获取全景画面的显著区域;然后使用梯度幅值相似性偏差辅助的非局部均值(GMSDA-NLM)滤波算法,降低显著区域的噪声;同时设计并行非局部均值(P-NLM)滤波算法,加快降噪处理速度,降低非显著区域噪声;最后利用改进的Canny 算法提取梯度特征,同时结合各向异性扩散引导滤波来优化降噪结果。该算法能够很好地用于全景图降噪,滤波效果佳,对全景电影制作应用有重要的理论和实际意义。
《MSPRL:面向图像逆半色调的多尺度渐进式残差学习网络》(作者:李飞宇,杨俊*,桑高丽)提出的逆半色调模型,综合UNet架构和多尺度图像信息的优点,选用合适的训练策略,使得图像重建的细节与纹理更加清晰,视觉效果更加细致。
《语义分割和HSV 色彩空间引导的低光照图像增强》(作者:张航,颜佳*)提出一个迭代图像增强网络,逐步学习低光照图像与增强图像之间像素级的最佳映射,同时为了在增强过程中保留语义信息,引入一个无监督的语义分割网络并计算语义损失,该网络不需要昂贵的分割注释。为了进一步解决色彩失真问题,在训练时利用HSV 色彩空间设计HSV 损失;为了解决低图像图像增强中出现细节不清晰的问题,设计了空间一致性损失,使增强图像与对应的低光照图像尽可能细节一致。所提出的低光照图像增强方法能有效解决细节不清晰、色彩失真等问题,具有一定的应用价值。
我们期待广大读者和科技人员通过“低质图像处理与语义理解”专栏,能够更深入、更全面地了解该领域的最新方法和应用,吸引更多学者从事相关研究并产生具有国际影响力的优秀成果,为本领域的发展做出新的贡献。