基于显著性物体检测和S-PCG算法的彩色全息显示系统

赵 宇, 卜静雯, 陈舒涵, 张 涛

(扬州大学信息工程学院, 江苏 扬州 225127)

计算全息技术可通过全息算法和空间光调制器(spatial light modulators, SLM)实现波前记录及波前重建, 被认为是具有变革潜力的光显示技术, 在医疗、教育、科研和军事等诸多领域具有广阔的应用前景[1-3]．与传统的光学全息相比, 计算全息具有制作成本低、 成像速度快、 记录再现灵活以及信息存储和传输便捷等显著优点[3-4], 但也存在诸多缺陷,如数据采集实时性差, 计算全息图(computer generated hologram, CGH)生成速度慢且重建精度低, 以及波前调制器件和全息显示系统性能受限等．针对计算全息图生成过程的简化和全息显示系统性能的提升, 国内外学者开展了大量研究．Islam等[5]提出了一种深度测距型波前平面加速算法, 仅计算波前记录平面(wavefront recording plane, WRP)小区域的复振幅, 提高了点云全息图的生成速度, 减少了生成计算全息图的时间, 但须进行预计算以确定波前平面的光场, 导致全息图计算耗时较长; Yasuki等[6]利用分块径向和扩散函数计算三维全息图, 提高了固定视点下的全息图计算速度, 但空间带宽积偏小, 不适用于宽视角下的裸眼显示; 笔者[7-10]提出了基于层次深度预测的加权算法, 包括点云网格化(point cloud gridding, PCG)算法和分段点云网格化算法, 并构建了基于多深度相机的全息显示系统, 一定程度上提高了计算全息图的生成速度及重建精度, 但仍难以满足实时显示的需求; 因此, 本文拟采用显著性检测和分割型网格化(segmented point cloud gridding, S-PCG)算法构建面向真实物体的彩色全息三维实时显示系统, 以期提高全息系统在采集端图像处理的实时性与准确性．

1 彩色全息三维显示系统

本文提出的彩色全息三维显示系统主要由信息采集与预处理、 全息图生成和彩色重建3个模块组成, 具体框架结构如图1所示．通过引入三维显著物体检测模型、 眼动点预测模型、 分割型点云网格化算法、 GPU并行算法和虚拟透镜等, 构建面向真实物体的彩色全息三维实时显示系统．

图1 系统结构示意图Fig.1 Schematic of the proposed system

1.1 信息采集与预处理

利用基于飞行时间的Kinect v2.0深度相机采集真实物体的三维信息, 设计三维显著物体检测模型进行图像预处理,采用基于深度学习的深度网格对图中显著性目标进行提取和重建, 滤除冗余背景信息, 降低三维图像处理的复杂度, 同时结合眼动点预测模型提升显著性目标的检测性能．本文在整体嵌套边缘检测(holistically-nested edge detection, HED)架构和反向注意力(reverse attention residual network, RAS)算法[11-12]的基础上建立三维显著物体检测网络, 网络结构如图2所示．

图2 三维显著物体检测网络结构示意图Fig.2 Schematic of 3D salient object detection network structure

首先, 将深度相机采集到的彩色图和深度图通过反向注意块从侧面输出特征中删除当前预测的显著性区域, 引导网络发现互补对象区域和细节, 将粗略或低分辨率的预测区域细化为高分辨率显著图, 进而逐步扩展目标区域．通过特征图的反向注意权重Az和侧输出特征Tz, c的元素级乘法得到输出特征Fz,c=Az·Tz,c, 其中z和c分别为特征图空间位置和特征通道的索引．

再次, 结合物体的彩色图和深度图生成点云图, 并采用深度信息将点云分为多个子层,分类后点云模型可重新采样并转化为深度网格．

最后,将网格化的点云模型和Sigmoid层输出的预测结果相乘, 得到三维显著物体的点云模型．

1.2 全息图生成

1.3 彩色重建

依据全息显示技术的衍射原理,采用与原始记录相同参数的参考光能够准确地重建原始物体．当参考光不一致时,在原始物体图像的基础上乘以一个相位因子也可得到重建图像,但参考光波长变化所造成的误差将导致重建图像的尺寸或位置发生改变．全息图作为一种衍射光栅,不具备波长选择性, 即使重建时采用的参考光波长不等于记录时的参考光波长,原始物体的图像也可被重建．基于此, 本文通过调节虚拟透镜的焦距对轴向色差进行补偿,保证3种颜色重建图像的焦点位置重合,并且每个子全息图重建的对应颜色的图像重叠,进而形成高质量的彩色重建图像．

2 实验结果与分析

实验硬件环境为Intel Core i7-12700H, 16 GB内存,RTX3070显卡,8 GB显存;软件环境为MATLAB 2021b, Windows 10和Ubuntu 22.0系统．

为检验本文所提方法的全息图重建质量, 基于深度相机采集的彩色图和深度图, 比较了显著物体检测扩张残差网络(dilated residual networks, DRN)算法[11]和本文算法的目标检测效果, 感兴趣区域(region of interest, ROI)算法与本文算法的冗余背景滤除效果, 以及不同焦距f的图像重建效果, 结果如图3～5所示．由图3～5可知: 与传统DRN和ROI算法相比, 本文方法能够更有效地去除冗余背景, 检测出的目标更完整, 轮廓更清晰, 且不同焦距的图像均可重建出清晰的三维物体．综上, 基于RGB-D显著性物体检测的彩色全息三维显示系统具有较好的图像重建效果．

A. 彩色图; B. 深度图; C. DRN算法; D. 本文方法.图3 不同算法对输入图像的目标检测效果Fig.3 Object detection effects of different algorithms on input images

A. ROI算法; B. 本文算法; C. 全息重建像.图4 不同算法对输入图像的冗余背景滤除效果Fig.4 Redundant background filtering effect of different algorithms on input images

A. 红通道; B. 绿通道; C. 蓝通道; D. 彩色图.图5 不同焦距下的重建图Fig.5 Reconstruction with different focal distances

表1 全息图分辨率为1 024×1 024时的计算时间

表2 全息图分辨率为2 048×2 048时的计算时间