基于双边滤波算法的非遗文创产品包装设计三维虚拟视点合成

摘要：三维虚拟视点合成能够让设计师在计算机上创建出非遗文创产品包装设计的立体效果，提供更真实、更全面的视觉体验，为此提出基于双边滤波算法的非遗文创产品包装设计三维虚拟视点合成。首先，采用基于相对高度深度的深度图提取方法，从非遗文创产品包装设计图像中获取其深度信息；针对深度图像提取过程中产生的缺陷如噪声、孔洞等，引入改进的自适应联合双边滤波方法，实施图像修复，从而获取更加完整、清晰的非遗文创产品包装设计深度图像；最后，引入基于深度图像的渲染（DIBR）技术，推出缺失深度的修复值，并通过DIBR的针孔相机模型和三维图像转换方程，将修复后的深度图像转换为三维虚拟视点图像，并实现其三维虚拟视点合成。实验结果表明，所提方法应用后，能够精确地修复填补非遗文创产品包装RGB图像空缺，整体完整度较高；完整且精确地展现出非遗文创产品包装设计的三维虚拟视点效果，色彩饱满，瑕疵较少；PSNR值和SSIM值均得到提高。三维虚拟视点合成方法能够有效修复缺陷图像，提升了三维虚拟点合成后的质量，满足实际非遗文创产品包装设计需求。

关键词：深度图提取；双边滤波；DIBR；三维图像转换；虚拟视点合成

中图分类号：TP472；TP3文献标志码：A文章编号：2095－414X（2024）06－0038－06

0引言

非遗文创产品[1]作为一种独特的文化遗产，其包装设计是其重要做成部分，将非遗文化元素应用于包装设计中，是一种有效的保护和传承非遗文化的途径，为了有效传承下去，需要借助先进的技术手段，将其融入到现代生活中，而三维虚拟点合成技术则可以将其转化为三维的虚拟场景，为非遗文创产品包装设计带来前所未有的创意空间，推动非遗文化的创新发展，满足现代消费者的审美需求，故需要对其展开深入研究。

蔡李美[2]等人首先对非遗文创产品包装设计图像实施三维变换后，采用形态学操作对变换后图像中的空洞实施膨胀处理，以去除伪影瑕疵；其次根据左右虚拟视点对图形前景、后景实施背景分割；最后引入分层融合机制实现图像的三维虚拟视点合成。该方法选用的形态学操作是针对纹理较为简单的图像的，面对复杂纹理的非遗文创产品包装设计图像，这种方法可能无法完全准确地处理所有的空洞和伪影瑕疵。

Kim G[3]等人根据计算复杂性和非遗文创产品包装设计图像质量，确定三维虚拟视点合成的最佳图像数量；通过校正和匹配特征点对其展开深度图三维信息提取；在此基础上基于图像之间的几何关系，利用纹理映射实现图像的三维虚拟点合成。该方法在确定最佳图像数量时需要反复试验和调整，增加了计算的复杂性。邢毓华[4]等人通过电动平移台和视点摄像机采集为非遗文创商品包装设计的稀疏视角图片;采用分层聚类与二维虚拟视点组合方式实现图像的虚拟视角组合；最后利用像素映射技术获得其微单元图像阵列，再通过该阵列完成实现二维虚拟视点的三维重建过程，以此实现图像的三维虚拟视点合成。该方法在生成微单元图像阵列过程中易受到外界因素干扰，导致阵列不准确，使合成后的三维虚拟视点图像失真。Wang Z[5]等人将目标图像分解为多个子图像，并对每个子图像与响应的部分球面相位之间作乘积运算以达到互补视点收敛；在此基础上将每个子图像的视点信息投影到目标三维区域以拼接成完整的三维虚拟点效果。该方法在拼接过程中需要消耗大量的时间，降低了运行效率。

综上所述，通过专业的软件工具快速构建和修改三维模型，实现包装的虚拟展示和交互设计，往往需要进行多次的物理打样和修改，不仅耗费大量时间和成本，而且修改过程繁琐。而三维虚拟设计可以在计算机上直接进行模拟和修改，快速生成多种设计方案，且三维虚拟包装设计能够创造出更立体、更逼真的视觉效果。非遗文创产品的包装设计需要兼具艺术性和技术性。通过整理以往研究成果的优势与劣势，本文从实际应用的角度出发，设计了基于双边滤波算法的非遗文创产品包装设计三维虚拟视点合成方法。通过引入三维虚拟视点合成技术，可以使得产品包装在展示时具有更加丰富的视觉效果，吸引消费者的注意力。而双边滤波算法的应用，则能够在保证图像清晰度的同时，有效去除噪声，提升包装设计的整体质感。

1非遗文创产品包装设计深度图生成及处理

1.1基于相对高度深度的深度图提取

为了便于三维虚拟视点合成，首先通过基于相对高度深度的非遗文创产品包装设计深度图提取方法，获取其二维深度图像，这个深度图像中包含了非遗文创产品包装设计表面及三维深度信息。方法的主要流程如下：

1.1.1灰度转换

一般采集到的非遗文创产品包装设计图是一种彩色的RGB图像，而三维虚拟视点合成所需要的是只有一种颜色分量的深度图，为此需要首先实施灰度转换[6]，提取图像的灰度信息以提高计算效率，转换公式为：

GRAY=R=G=B=0.299R（i，j） +0.587G（i，j） +0.114B（i，j）（1）

式中：（i，j） 代表的是非遗文创产品包装设计图的像素点坐标。由式（1）转换后的像素灰度值范围变为0～255，属于单通道，灰度对比度较好。

1.1.2边缘检测

该步骤的目的是检测出非遗文创产品包装设计图像中非遗文创产品包装的轮廓并标记出来。由于其边界往往与相邻像素之间具有较大的差异，为此采用So⁃bel算子[7]来展开检测，其结构简图如图1。

图1中Hx和Hy是Sobel算子水平和垂直方向上的检测模板，将这两个检测模板实施卷积运算得到求和结果H，将H与阈值H0作比较，若Hgt;H0，则表明该像素点为边缘位置并赋值为255；反之则定义为非边缘位置，赋值为0。

1.1.3线轨迹追踪

通过边缘检测获取非遗文创产品包装的边缘后，采用线性轨迹追踪[8]从边缘图像中得到相应的深度信息，选取其图中首列像素中等间距选择n个像素点并将第一列划分为n+1各部分，在给定n=20的约束条件下对这些像素逐个展开追踪直至最后一行结束，追踪顺序按照从左至右，确定下一个匹配像素点的条件公式为：

T=arg minT{a1R1（i，j） +a2 R2（i，j） +a3R3（i，j）} （2）

式中：R1（i，j），R2（i，j），R3（i，j） 分别表示的是边缘追踪约束、平滑约束以及弹性约束；a1，a2，a3为权重因子三种约束条件的计算公式为：

式中：edge（i，j） 代表非遗文创产品包装边缘图像中位于（i，j） 的边缘值；a为整幅边缘图像的平均值；ds（i，j） 为当前位置点与下一匹配点的距离；b为控制参数；de（i，j） 为当前追踪像素点与追踪线的垂直距离.。

1.1.4深度赋值

采用相对高度深度赋值法对完成追踪的n条轨迹线展开赋值，得到最终的非遗文创产品包装设计深度图像，用Ddepth表示相邻的不同轨迹线的赋值梯度，该梯度值由边缘图的n+1列划分得到，计算公式为：

通过上述四个步骤，即可完成提取非遗文创产品包装设计图像深度信息的过程，提供产品的三维表面信息，有助于更好地理解产品的形态和结构。

1.2基于双边滤波的图像修复

非遗文创产品包装设计图像纹理较为复杂，其深度信息提取过程中可能会受到噪声、阴影、表面复杂度等因素的影响，导致深度图存在一些缺陷和不连续的空洞及杂点，需要对其实施一定处理。

由于原始的双边滤波方法[9-10]权值的不稳定性可能导致非遗文创产品包装设计图像边缘附近出现结果翻转的现象，为此所提方法提出联合双边滤波方法，该方法利用导向图（一种彩色图像）作为计算值域权重的依据，从而在传统双边滤波的基础上，实现了自动确定目标图像中每个空洞像素点的滤波相关参数，进一步提升修复的准确性和稳定性。计算公式为：

式中：Fx，Jy表示原始图像深度值和滤波后的像素深度值；ec（x，y） 和er（x，y） 分别代表颜色相似权重以及空间距离项权重；ςc，ςr为ec（x，y） ，er（x，y） 的参数；Ox，Oy为原始图像中待填充点位置x以及邻域内位置y的像素值。

在非遗文创产品包装设计的深度图像修复中，手动确定滤波参数会增加时间成本且难以达到最佳修复效果。为此，引入改进的自适应联合双边滤波方法，该方法能自动确定每个空洞像素点的滤波参数，以适应不同深度值的修补需求，从而简化了参数调整并提升修复效果。自适应确定最优参数步骤如下：

（1）空洞像素点滤波邻域范围Ω确定。求出各空洞像素点m×m和邻域内非零像素点之间的比例T，设定一个占比阈值Q，若Tgt;Q则设滤波邻域为m×m，反之为m=m+2，m是滤波邻域边长，并以此判断T，Q的关系。

（2）求解空间距离权重项参数ςr。式（6）表明，空间距离权重项参数ςr与空间距离项权重er成正比，以此为依据通过步骤（1）的m值可以确定ςr值，m越大，ςr越小，公式为ςr=m0/m∙ςr（max） ，其中ςr（max） 表示参数ςr允许的最大值。

（3）求解颜色相似权重项参数ςc。引入结构相似度（SSIM）[11-12]评价指标。该指标包含亮度、对比度和结构三个方面，用于评估非遗文创产品包装设计彩色图像和深度图像在同一区域的相似度。以像素均值ux，uy、像素标准差ςx，ςy以及协方差ςxy来描述ςc，更全面地衡量图像修复的质量和效果，计算公式为：

íìïSSSIM（x，y） =（2uxuy∙2ςxy）/（ux（2）+uy（2））∙（ςx（2）+ςy（2））

式中：SSSIM（r，g，b） 为彩色图像RGB 3个通道各自的SSIM值，且SSIM值范围为（0，1] ；ςc（max） 表示ςc允许的最大值。

求得空洞像素点的参数和权重后，将结果输入到式（5）中推出缺失深度的修复值，进而获取更完整的含三维信息的非遗文创产品包装设计深度图像。

2非遗文创产品包装设计三维虚拟视点合成

非遗文创产品包装设计三维虚拟视点合成[13]是一种将传统非遗工艺与现代技术相结合的设计方式。通过三维虚拟视点合成技术，设计师可以在计算机上创建出产品的立体效果，提供更真实、更全面的视觉体验。

获取非遗文创产品包装设计的完整深度图像后，采用数字图像重建技术（DIBR）来实现其三维虚拟点的合成。这一过程主要分为两个关键步骤：

（1）根据图像的深度信息，将二维平面的像素点映射到三维空间中的对应位置，为后续的三维处理和操作提供基础。

（2）利用三维图像转换方程，将三维空间中的点映射到目标视点上，实现从不同视角的三维虚拟视点合成，从而能够从各种角度查看和处理虚拟三维模型。

2.1针孔相机模型

步骤（1）主要采用针孔相机模型[14]，该模型定义了三维世界中某一点到目标二维非遗文创产品包装设计深度图像上的投影关系，转换示意图见图2（a）。

假设相机光心C的光轴与Z轴共线位于坐标系原点处，根据三角形性质即可获取三维世界点A=（x，y，z）T与其在非遗文创产品包装设计深度图像平面上的投影点a=（u，v）T之间的集合关系，如图2（b）所示，用投影矩阵描述：

在该矩阵的基础上，用非遗文创产品包装设计深度图像坐标系的原点描述图像中每个像素的位置；用图像的主点作为原点描述图像中非遗文创产品包装的实际位置和大小，并将该矩阵转换到图像像素坐标系下：

式中：fu=f∙du，fv=f∙dv，du，dv为U轴和V轴方向上物理坐标系与像素坐标系的尺度；[xc，yc，zc]T代表三维世界点在相机坐标系下的位置；（pu，pv） 代表主点P在图像像素坐标系中的位置；矩阵K为相机的内部参数，描述相机内部的坐标变换。

完成相机坐标系到图像像素坐标系的转换后，将世界坐标系转换到相机坐标系下，变换公式为：

式中：R代表3*3旋转矩阵；t表示3*1平移向量；矩阵[R| t] 为相机外部参数。将上式代入到式（10）中即可得到世界坐标系到图像像素坐标系的转换关系：

将其进一步简化得到：

式中：A为三维世界点在世界坐标系中的齐次坐标；a为三维世界点在图像平面上的的投影点齐次坐标；P表示相机投影矩阵；z表示三维世界点到相机焦平面的距离（深度）。

2.2三维图像变换

步骤（2）作用是利用三维图像变换方程，将参考图像在三维空间中的视点投影到目标视点上。这一步通过深度值的不断调整，模拟从不同视角观察非遗文创产品包装设计三维场景的效果，从而实现三维虚拟视点合成。

将非遗文创产品包装设计深度图中的8位灰度值使用真实场景中的最远和最近深度值实施尺度变换：

式中：d代表深度图的像素值；znear，zfar代表真实场景中的最近深度值和最远深度值；设三维世界中的一个点A的齐次坐标为[x，y，z，1]T，其在参考图像和目标图像上的投影分别为aref=[uref，vref，1]T和ades=[udes，vdes，1]T，两者的投影关系为：

式中：zref，zdes表示参考和目标视点相机焦平面到三维世界点A的距离；Pref，Pdes表示参考和目标相机视点相机的投影矩阵[15]。

根据上式即可获取目标图像的虚拟视点与参考图像中的点的对应关系：

最后通过针孔相机的视差多角度偏移得到多个视点的非遗文创产品包装设计深度图像，对这些图像实施上述三维变换并合成后，得到最终的非遗文创产品包装设计三维虚拟视点效果。

3实验与分析

为了验证基于双边滤波算法的非遗文创产品包装设计三维虚拟视点合成的整体有效性，需要对其展开测试。

首先建立非遗文创产品包装设计三维虚拟视点合成的实验环境，准备一台配备高性能处理器和足够内存的计算机，实验过程中使用到Blender三维建模软件、Substance Painter纹理映射软件、V-Ray光照渲染引擎以及Nuke合成软件，测试页面见图3。

实验参数设定：①视点数量：10；②视点角度：-180～180°;③纹理分辨率：2048x2048像素；④主光源角度：45°。；强度100%；环境光亮度30%；⑤渲染分辨率：4000x4000像素；⑥采样率：24；⑦抗锯齿：8x MSAA。

基于上述测试环境，首先验证所提方法采用的改进联合双边滤波算法对非遗文创产品包装设计深度图像中各类空洞缺陷的修复效果，修复后图像整体的完整度越高，对提高后续图像三维虚拟视点合成合成精度的优势越大。选择测试图像中非遗文创产品的外壳包装为测试对象，得到如图4所示的修复结果。

在深度信息提取后，原始的非遗文创产品包装RGB图像经深度信息提取后出现了较多的空洞缺陷，导致图像不完整。通过所提方法采用双边滤波对图像实施修复后，这些空缺都被精确地修复填补，这表明所提方法能够有效地提高图像的整体完整度，从而使其更加符合实际应用的需求。

与上述实验的测试对象为主，运用所提方法和文献[2]方法、文献[3]方法对这个非遗文创产品包装深度图像展开三维虚拟视点合成，并用V-Ray光照渲染引擎对其实施彩色渲染，三种方法的合成结果见图5。

根据图5，可以清楚地看到，在三种合成方法中，只有所提方法能够完整且精确地展现出非遗文创产品包装设计的三维虚拟视点效果，这种方法得到的结果色彩饱满，为设计师提供了更真实的效果；相比之下，文献[2]方法得到的三维虚拟视点效果较差，出现了伪影和空洞现象；虽然文献[3]的方法没有出现空洞现象，但仍然存在较多伪影。这两种传统方法均存在瑕疵，由此可以说明所提方法的性能更好。

最后从客观方面（PSNR值和SSIM值）对所提方法、文献[2]方法以及文献[3]方法展开对比。PSNR是一种基于峰值信噪比的客观评价指标，用于衡量原始图像和合成视点之间的像素级差异。PSNR值越高，说明两者越接近，方法性能越好；SSIM是一种结构相似性指标，用于衡量两者之间的结构相似程度，SSIM值越接近于1，说明两者结构越相似，性能越好。

在给定一组非遗文创产品包装设计图像的不同虚拟视点个数下，采用上述三种方法展开三维虚拟点合成测试，获取的PSNR值和SSIM值对比结果由表1描述。

分析表1的数据可以知道，文献[2]方法获得的非遗文创产品包装设计三维虚拟视点合成结果的PSNR、SSIM值均比较低；文献[3]方法虽然比文献[3]方法的PSNR值要高，但SSIM值与所提方法相比，还是要低一些，且值不够稳定；相比之下，所提方法下无论是PSNR值还是SSIM值均高于其他两种传统方法，说明所提方法能够更显著地提高非遗文创产品包装设计三维虚拟点合成后的质量。

4结语

为了实现非遗文创产品包装设计的三维虚拟视点合成，使用深度提取方法，获取其深度图像，重点在于采用自适应联合双边滤波方法，修复图像缺陷，创新之处在于结合DIBR技术，将深度图像转换为三维虚拟视点图像。这一过程结合了传统非遗工艺与现代技术，三维虚拟视点合成合成精度具有优势，各类空洞缺陷的修复质量较高，且彩色渲染结果没有出现空洞现象，瑕疵较少，PSNR值和SSIM值均得到提高，呈现出更真实更全面的非遗文创产品包装设计效果，不仅能够提升产品包装的视觉效果和质感，满足消费者的多样化需求，同时也能够推动传统文化的传承和创新发展，具有显著的必要性。

参考文献：

[1]柏清，任宇翔.基于非遗文化的文创产品设计探究[J].包装工程，2023，44（18）：351-353、384.

[2]蔡李美，李新福，田学东.基于分层图像融合的虚拟视点绘制算法[J].计算机工程，2021，47（4）：204-210.

[3]Kim G，Lee D.Adaptive View Sampling for Efficient Syn⁃thesis of 3D View Using Calibrated Array Cameras[J].Elec⁃tronics，2021，10（1）：82.

[4]邢毓华，胡晓龙，杨琛.基于分层聚类二维视点合成的集成成像系统[J].量子电子学报，2021，38（1）：2-9.

[5]Wang Z，Tu K，Lv G，et al.Cross Talk-free Retinal Projec⁃tion Display Based on a Holographic Complementary View⁃point Array[J].Optics Letters，2023，48（9）：2437-2440.

[6]娄联堂，何慧玲.基于图像灰度变换的OTSU阈值优化算法[J].中南民族大学学报（自然科学版），2021，40（3）：325-330.

[7]潘少伟，王蒙歌，王亚玲，等.改进Sobel算子对岩心图像的边缘检测研究[J].数学的实践与认识，2021，51（17）：119-129.

[8]张博，刘红平.基于多目标视频图像边缘特征的核相关滤波跟踪算法[J].激光与光电子学进展，2021，58（6）：132-139.

[9]陈亚超，樊彦国，禹定峰，等.考虑法向离群的自适应双边滤波点云平滑及IMLS评价方法[J].图学学报，2023，44（1）：131-138.

[10]唐伟，贾方秀，王晓鸣.基于双边滤波的可见光与红外图像自适应融合[J].兵工学报，2022，43（11）：2836-2845.

[11]俞利新，崔祺，车军等.结合结构重参数化方法与空间注意力机制的图像融合模型[J].计算机应用研究，2022，39（5）：1573-1578、1600.

[12]高传斌，朱莉，张华，等.基于向量相似度的LPG-PCA图像去噪算法[J].微波学报，2023，39（4）：83-88.

[13]张博文，周洋，殷海兵.面向三维视频的虚拟视点合成技术研究进展[J].计算机工程与应用，2021，57（2）：12-17.

[14]何泽，黄宁，王鹏，等.针孔相机全场X射线荧光成像的模拟研究[J].强激光与粒子束，2021，33（11）：184-192.

[15]赵祖阳，崔海华，杜坤鹏，等.基于单应性矩阵的三维激光投影标定方法[J].光子学报，2022，51（11）：312-321.

Three Dimensional Virtual Viewpoint Synthesis for Packaging Design of Non Heritage Cultural and Creative Products Based on Bilateral Filtering Algorithm

SI Lili

（1.College of Arts and Media，Chuzhou City Vocational College，Chuzhou Anhui，239000，China;2.Graduate School，Chinese National Academiny，Beijing 100029，China）

Abstract：3D virtual viewpoint synthesis enables designers to create three-dimensional effects for packaging design of non heritage cultural and creative products on computers，providing a more realistic and comprehensive visual experience.Therefore，a 3D virtual viewpoint syn-thesis for packaging design of non heritage cultural and creative products based on bilateral filtering algorithm is proposed.Firstly，a depth map extraction method based on relative height depth is adopted to obtain depth information from packaging design images of non heritage cultural and creative products;Aiming at the defects such as noise and holes generated during the process of depth image extraction，an im-proved adaptive joint bilateral filtering method is introduced to implement image restoration，thereby to obtain more complete and clear depth images of packaging design for non heritage cultural and creative products;Finally，depth image-based rendering（DIBR）technology is introduced to derive the repair value for missing depth，and through DIBR pinhole camera model and 3D image conversion equation，the repaired depth image is converted into a 3D virtual viewpoint image，and its 3D virtual viewpoint synthesis is achieved.The experimental re-sults show that the proposed method can accurately repair and fill the RGB image gaps in the packaging of non heritage cultural and creative products，with a high overall integrity;Fully and accurately display the three-dimensional virtual viewpoint effect of packaging design for non heritage cultural and creative products，with full colors and fewer defects;Both PSNR and SSIM values have been improved.The 3D virtual viewpoint synthesis method can effectively repair defective images，improve the quality of 3D virtual point synthesis，and meet the packaging design requirements of actual non heritage cultural and creative products.

Keywords：depth map extraction;bilateral filtering;DIBR;3D image conversion;virtual view synthesis

（责任编辑：李强）