基于B样条曲线的投影图像边缘融合方法

宋 涛，祁继辉，侯培国，赵明宇，李 坤

（1.燕山大学 电气工程学院，河北 秦皇岛 066004；2.秦皇岛视听机械研究所，河北 秦皇岛 066004；3.河北省数字影像装备与数字显示技术重点实验室，河北 秦皇岛 066004）

引言

随着数字显示技术以及虚拟现实技术的发展，多通道数字投影技术日益完善[1-2]。为了满足用户高逼真的沉浸感体验的需求，多通道投影系统需要实现无缝拼接[3]。在多通道投影过程中，邻近通道投影影像画面彼此存在重叠区域，该区域的亮度远大于非重叠区域的亮度，会影响用户的体验的真实感。因此，需要对邻近通道投影图像边缘的融合带进行亮度调节，使得投影画面重叠区域跟非重叠区域亮度保持一致。2000年之前，国外诸多公司与大学对多通道投影画面的几何校正、颜色校正以及边缘亮度调节进行研究，至今为止，对几何校正与颜色校正的国外研究日益成熟，保证投影画面在多种形状的投影幕不发生几何畸变并且彼此衔接完好，投影画面彼此也不存在色差[4-5]。但是，边缘亮度衰减技术至今为止并没有显著突破，只是在肉眼观看上投影画面重叠区域未发生视觉不适即可，并没有严格的标准保证投影画面的重叠区域与非重叠区域亮度保持一致[6]。近几年，国内诸多公司与大学在多通道投影边缘亮度调节方面作出一些创新。线性融合函数可减弱融合带的亮度，但是边缘处的亮度变换不平滑[7]。平滑过渡可代替线性过渡，但只适用于理论上的图像像素叠加，不适用于实际投影画面[8-10]。余弦函数可进行边缘亮度调节，伽玛校正可对边缘亮度进行补偿，但依旧不能保证投影画面重叠区域与非重叠区域亮度一致[11]。长春理工大学硕士吴金吉在亮度模型的基础上提出一种基于亮度均衡的全局阈值融合，通过直方图比较来判断亮度调节后投影画面颜色强度的变化，但并不能作为投影画面重叠区域与非重叠区域亮度一致性的评估指标[12]。浙江大学教授王修晖根据投影仪与投影幕的自身性质以及外界光照环境对投影画面进行颜色强度处理，但对重叠区域的亮度调节问题并不能进行有效处理[13]。

本文根据投影画面重叠区域的实际颜色强度选取传统融合函数与伽玛校正的参数，再比较二次B 样条曲线与三次B 样条曲线的校正精度与灵活度选取，最后以摄像机为反馈，根据投影画面重叠区域的实际颜色强度进行基于三次B 样条曲线的亮度优化，使投影画面重叠区域各颜色通道的峰值性噪比提升。

1 边缘亮度融合函数

1.1 衰减函数

为了减少投影画面融合带的亮度，需要在图像边缘采用亮度衰减函数对其亮度调节，根据HSV（hue-saturation-value）与RGB(red-green-blue)色彩空间的转换关系可知，图像像素的亮度值等于RGB 3 个颜色通道的颜色强度最大值。因此，通过对RGB 3 个颜色通道的颜色强度同时进行衰减便可对亮度进行衰减。衰减函数如（1）式所示：

其中：a与p都为常数；t为重叠区域归一化后的横坐标，相对投影画面的最内侧为1，最外侧为0；d(t)为衰减函数，与融合带原有颜色强度值的乘积作为亮度衰减后的颜色强度值。

设a为0.5，则p为1、2、3 的衰减函数融合曲线如 图1所示。

图1 设 p为不同值时衰减函数融合曲线Fig.1 Attenuation function fusion curves when patdifferent values

为了使边缘亮度衰减变化平滑，设p为3。如果a为0.5，那么2 个投影图像融合带的衰减参数相加始终等于1。从图像叠加的角度上讲，重叠区域与非重叠区域的亮度一致，但是，实际投影画面的颜色强度取决于投影仪与投影幕的自身性质以及外界光照环境。因此，即便2 个投影图像融合带的衰减参数相加始终等于1，也不能保证重叠区域与非重叠区域的亮度一致。例如，对于图像叠加，颜色强度为（127，127，127）与（128，128，128）的2 个灰色像素叠加会得到（255，255，255）的白色像素。但是，对于投影画面叠加，2 个灰色的投影画面在投影幕不能叠加成白色投影画面，叠加后依然是灰色投影画面，只是在投影幕上的颜色强度会增加。因此，需要调整a的值，设p为3，a为0.25、0.5、0.75 的衰减函数融合曲线如图2所示。

图2 设a为不同值时衰减函数融合曲线Fig.2 Attenuation function fusion curves when aat different values

由图2 可知，a越大，边缘亮度越大，具体值根据实际投影环境而定。

1.2 伽玛校正

对于衰减函数，在实际操作过程中，虽然a增大可有效增强投影画面重叠区域的亮度，但是在保证投影画面重叠区域的亮度不大于非重叠区域的同时，重叠区域水平坐标的中央处存在亮度变化不平滑的现象。因此，需要伽玛校正对衰减函数的参数进行调整。

基于伽玛校正的亮度衰减函数如（2）式所示：

其中：γ为常数；t为重叠区域归一化后的横坐标，相对投影画面的最内侧为1，最外侧为0；g(t)为伽玛校正衰减函数，与融合带原有颜色强度值的乘积作为亮度衰减后的颜色强度值。

设 γ为0.4、1、2.5 的伽玛校正衰减函数融合曲线如图3所示。

图3 γ为不同值时衰减函数融合曲线Fig.3 Attenuation function fusion curves when γat different values

由图3 可知，对于底数的大小在0 至1 之间，γ大于1 时，输出值小于输入值，γ小于1 时，输出值大于输入值，并且 γ越小，边缘亮度越大，具体值根据实际投影环境而定。

但是，对于伽玛校正衰减函数，在实际操作过程中，虽然 γ减小可有效增强投影画面重叠区域的亮度，但是在保证投影画面重叠区域的亮度不大于非重叠区域的同时，依然会使重叠区域水平坐标的中央处略暗。因此，需要在衰减函数的基础上进行伽玛校正，如（3）式所示：

设a为0.75、p为3 的衰减函数，设 γ为0.4 的伽玛校正衰减函数以及设a为0.5，p为3、 γ为0.4 的衰减函数基础上伽玛校正融合曲线如图4所示。

图4 三种亮度融合函数的曲线Fig.4 Curves of three luminance fusion functions

由图4 可知，衰减函数基础上伽玛校正融合函数跟其他2 个融合函数相比，融合曲线在拐点处更加平滑，因此，对应的投影画面融合带亮度变化也就相对更加平滑。

2 投影图像边缘亮度优化

2.1 误差评估指标

本文通过摄像机把屏幕空间转换至摄像空间，通过摄像空间内投影画面重叠区域的颜色强度跟非重叠区域颜色强度的比较便可判断亮度调节的精确度。但是，摄像机在采集投影画面过程中，其内部参数会导致摄像空间内像素发生几何畸变，因此需要采用张正友标定算法对相机进行去畸变处理，保证照片内信息的真实性。除此之外，相机摆放不正也会导致摄像空间不能准确反映屏幕信息，因此，摄像机需要正对投影平面中央进行采集，而且，在摄像空间内获取投影画面重叠区域4 个顶点的坐标值，以此判断摄像机摆放的位置与角度是否理想，如果不理想，在摄像空间内设定重叠区域4 个顶点的理想坐标值，以此对摄像空间进行透视变换，以此保证摄像空间内屏幕信息的准确性。

本文在实验操作过程中，投影图像的所有像素均设为（255，255，255），在摄像空间内以非重叠区域投影画面的颜色强度平均值作为重叠区域投影画面颜色强度的标准值。以峰值信噪比（PSNR）作为边缘亮度调节的评估指标，如（4）式所示：

其中：MAX 为颜色强度最大值，取255；MSE 为均方误差，如（5）式所示：

其中：r与s为摄像空间内投影画面重叠区域的横纵坐标，最大值分别为R和S；I为摄像空间内投影画面非重叠区域颜色强度的平均值，即摄像空间内重叠区域的理想颜色强度值；F（r，s）为摄像空间内该坐标处的实际颜色强度。

对3 个颜色通道都进行峰值信噪比计算，给予峰值信噪比一个标准值，如果峰值信噪比小于标准值，对3 个颜色通道进行各自的亮度优化，直到3 个颜色通道的峰值信噪比都达到标准值为止。

2.2 B 样条曲线的校正精度及灵活性

n次B 样条曲线的数学表达式如（6）式所示：

其中：Pi,n(t)表示第i段变换后的值，指优化后的衰减权重；t表示水平坐标值；pi+k-1表示第i段的控制点；Fk,n(t)表示n次B 样条曲线的分段混合函数，其数学表达式如（7）式所示：

二次B 样条曲线与三次B 样条曲线为常见的B 样条曲线类型，本文比较这两类B 样条曲线的校正精度与灵活性。

以a为0.5、p为3、 γ为0.4 的伽玛校正衰减函数作为目标函数，以此求得二次与三次B 样条曲线的控制点，确定二次与三次B 样条曲线的表达式，二者的精度比较如图5所示。

图5 二次与三次B 样条曲线的精度比较Fig.5 Accuracy comparison of quadratic and cubic Bspline curves

在图5（a）中，二次与三次B 样条曲线跟目标函数曲线几乎重合，不能由此比较二者精度。由图5（b）可知，二次B 样条曲线相对于目标函数的残差最大值高于0.01，而三次B 样条曲线相对于目标函数的残差最大值低于0.005。由此可知，三次B 样条曲线的精度高于二次B 样条曲线。

t=0.5 时，目标函数对应的值为0.757 858，三次B 样条曲线对应的值为0.757 857，二次B 样条曲线对应的值为0.757 275。设t=0.5 对应的值为0.85时，二次与三次B 样条曲线的校正精度与灵活性比较如图6所示。

在B 样条曲线的控制点求取过程中，设t=0.5对应的值为0.85，所求得控制点确定的B 样条曲线表达式所对应的曲线如图6（a）所示。由图6（a）可知，二次与三次B 样条曲线在t=0.5 处实际对应的值差距较大，通过计算可得，三次B 样条曲线实际对应的值依然为0.85，而二次B 样条曲线实际对应的值为0.815125，由此可知，三次B 样条曲线的校正精度高于二次B 样条曲线。

图6 二次与三次B 样条曲线的校正精度与灵活度的比较Fig.6 Comparison of correction accuracy and flexibility of quadratic and cubic B-spline curves

通过调整二次B 样条曲线的控制点，把t=0.5实际对应的值变换至0.85，由图6（b）可知，二次B 样条曲线的影响范围大于三次B 样条曲线的影响范围，因此，三次B 样条曲线的校正灵活性高于二次B 样条曲线。

由图6 可知，三次B 样条曲线的校正精度与灵活性均高于二次B 样条曲线，因此，三次B 样条曲线更适用于边缘亮度优化。

2.3 基于三次B 样条曲线的边缘亮度优化

三次B 样条曲线表达式如（8）式所示：

由此可知，每段曲线由对应4 个控制点决定，相邻两端之间的节点由对应3 个控制点决定。

式中Bi为处重新设定的衰减权重，因此，该B 样条曲线共有10 段11 个节点13 个控制点。由于该B 样条曲线是开曲线，拟定p0=p1，p11=p12，由此求得所有控制点确定该三次B 样条曲线的数学表达式。

如果经B 样条曲线优化后重叠区域的峰值信噪比依旧没有达到标准值，那么根据优化后水平坐标处的颜色强度重新设定理想衰减权重再优化，直到重叠区域的峰值信噪比达到标准值为止。

本文所设计的边缘亮度调节方案如图7所示。

图7 本文所设计的亮度调节方案Fig.7 Designed brightness adjustment scheme

3 实验结果与分析

首先，本文通过衰减函数和伽玛校正对边缘亮度进行调节，原投影图像所有像素的颜色强度均为（255，255，255），衰减参数是根据实际投影环境设定的经验值，RGB 三通道的衰减参数一致，重叠区域的投影亮度达到肉眼观看的标准即可。通过单平面-双通道投影进行亮度调节，亮度调节前后的亮度值比较如图8所示。

图8 单平面-双通道投影画面亮度调节前后的亮度值比较Fig.8 Comparison of brightness values before and after brightness adjustment of single plane and dual channel projection images

由YUV 与RGB 色彩空间的转换关系可知[14-15]，YUV 色彩空间的亮度Y=0.299×R+0.587×G+0.114×B，由图8 可知，经亮度调节，投影画面重叠区域的亮度明显衰减，并且与非重叠区域的亮度相差较小。

接下来，通过摄像机对重叠区域进行采集，根据RGB 三通道各自的颜色强度分别进行B 样条曲线优化。本文的实验系统为四通道投影CAVE 系统，每个投影画面对应一个投影平面，因此，若想存在重叠区域，必然存在异面投影，即重叠区域会分布在2 个投影平面，所以，若想保证摄像空间内能够准确反映重叠区域的信息，需要对2 个投影平面进行单独拍摄。RGB 三通道亮度优化后的效果如图9所示。

图9 RGB 三通道的边缘亮度优化结果Fig.9 Edge brightness optimization results of RGB three channels

经B 样条曲线亮度优化后，不管投影画面为哪种颜色，重叠区域都不存在亮度突变，如图10所示。

图10 四通道CAVE 系统的边缘亮度优化结果Fig.10 Edge brightness optimization results of four channel CAVE system

为了验证本文所设计亮度调节方案的准确性，将亮度调节后的峰值信噪比跟文献[7] 的亮度调节方案进行比较，结果比较如表1所示。

表1 边缘亮度调节后的峰值信噪比比较结果Table 1 Comparison results of peak signal to noise ratio after edge brightness adjustment

本实验设峰值信噪比标准值为32 dB，经B 样条曲线亮度优化后，重叠区域RGB 三通道的峰值信噪比都显著提高并且达到标准值，其中，R 通道的峰值信噪比提升了9.13 dB，G 通道的峰值信噪比提升了6.09 dB，B 通道的峰值信噪比提升了

7.53 dB。

4 结论

由于传统的衰减函数与伽玛校正只能对融合带进行整体亮度调节，因此，只要改变其中一个水平坐标对应的亮度，对所有水平坐标的亮度必然会产生影响，而且在调整参数的同时，也难免会造成亮度变化不平滑的问题。针对上述问题，提出了基于B样条曲线的投影图像边缘亮度融合方法。由于B样条曲线的自身性质，在调整其中一个水平坐标对应亮度的同时，只有该处附近的水平坐标对应亮度会相应进行调整，因此，采用B 样条曲线进行亮度调节既能增添灵活性，又可保证平滑性，能够根据实际情况通过控制点提高重叠区域的峰值信噪比，而且，三次B样条曲线的校正精度与灵活性强于二次B 样条曲线。实验结果证明：跟原有方法相比，本文提出的方法使投影画面重叠区域R 通道的峰值信噪比提升了9.13 dB，G通道的峰值信噪比提升了6.09 dB，B 通道的峰值信噪比提升了7.53 dB。由此可知，三次B 样条曲线适用于投影图像边缘亮度调节，提高亮度调节的准确性。