复杂表面投影几何校正技术研究*

白 烨,王爱华,尹 晶,刘春艳,崔艳群,乔 良

（1.长春理工大学 光电信息学院,吉林 长春 130022,2.吉林铁道职业技术学院，吉林 吉林132001）

投影显示系统在生活、商业、军事、科研等诸多领域都有着巨大的应用前景[1-2]，因此，智能投影技术成为学术界的研究热点。目前，拼接融合、几何校正和颜色补偿等技术已经比较成熟，但这些技术都是针对平面或已知规则曲面[3-4]的投影表面或投影幕，如柱幕系统、锥幕系统、球幕系统和CAVE系统等[5]。如果投影表面或投影幕发生形变，需要对投影表面或投影幕进行严格的调整，甚至更换新的投影表面或投影幕，这增加了投影系统的成本，限制了投影技术应用范围。

如果投影表面或投影幕是复杂曲面，投影图像会发生不同的失真与形变而无法满足观察者的视觉需求，为此,本文充分利用投影表面的几何形态信息和观察视点，提出了基于角点检测的几何校正方法，以保证在任意复杂投影表面上均能得到理想的图像，降低投影系统的成本，提高投影系统的智能化水平，扩大投影系统的应用范围。

1 复杂表面投影校正原理

对于复杂曲面投影校正技术，首先通过如图1所示的横竖特征条纹图像，以得到复杂曲面上的特征点。在大多数情况下，可以假定投影机投射到复杂曲面上的特征图像不会发生超出平面变换范围之内的三维变换，因此，使用这种非编码的“粗特征”图像即可很好地获取复杂曲面上的特征点。

这种“粗特征”既可以克服亮度低对特征提取的影响，又可以减少投影特征丢失现象的发生。复杂表面上的投影图像的几何校正就是获取最大内接长方形，也就是一种平面图像的变换。如图2所示为每一个四边形区域的变换原理[7]。

对每一个四边形区域进行如式(1)所示的二维变换：

其中，(x,y)为 A、B、C、D 中的一个点；(x′,y′)为 A′、B′、C′、D′中 的 一 个 点 ；c1、c2、c3、c4、c5、c6、c7、c8为 计 算 得 到的变换矩阵中的参数值。

2 复杂曲面投影几何校正方法

复杂表面投影几何校正的流程如图3所示，该方法首先获取变换区域，利用横竖特征条纹图像找出特征点，在歪曲的投影图像中对特征点进行解算，以得到一个校正后的理想图像。由于人眼的识别能力不是非常精确，因此，对于校正后的图像只要符合人眼的视觉条件就可以了，而并非需要针对高分辨率的图像进行彻底分析校正。

2.1 投影变换区域的提取

由于在后期的检测算法中，要根据投射后采集的图像找到投射中的特征点，然后进行深度计算，因此，计算量是相当巨大的，为了省掉一些不必要的时间与资源浪费，在所有采集的图像中提取出需校正图像范围是相当必要的。因此，需要利用特定的数值来进行白色区域和黑色区域的区分。

在对复杂曲面投影白色区域进行阈值分割时，首先对图像进行灰度化，即把采集的24 bit深度图像全部转化为8 bit单通道灰度图，为下一步的处理做准备。在OpenCV库中，将函数cvLoadImage中的第二个参数设为CV_LOAD_IMAGE_GRAYSCALE，载入图像到内存，即可实现图像的灰度化。然后，利用OpenCV库中函数cvThreshold即可实现图像的二值化。二值化的阈值是最重要的参数，对后期工作影响巨大，因此，需要不断观察二值化后的效果并调整阈值，以得到一个最佳效果。

2.2 特征点的提取

根据2.1节中的曲面投影白色区域的阈值分割，可以确定在当前情况下预处理中的需校正图像范围，接下来需要进行特征点的提取。为了简化特征点的提取过程，采用角点的检测方法。利用得到的校正变换区域，再结合横竖特征条纹图像进行角点的检测以提取特征点。在特征点的提取过程中，需要特别处理出横竖特征条纹图像中的红线。为了确保在灰度化后所得到的图像中黑色条纹没有丢失，要确保红线贯穿所有黑色条纹，如果黑色条纹存在丢失,则在几何校正过程中将会出现错误。

提取特征点就是提取横竖两幅特征条纹图像中横竖特征条纹的重合部分，由于黑色比较明显，因此，采取黑色的重合部分。在提取特征点时，对特征点的坐标数据要具体情况具体分析。由于前期图像处理结果不能绝对理想化，在匹配时势必要产生一些误差点，因此，需要过滤掉这些点，提取出概率密度最高的系列数据，求其平均值，作为最终的特征点的坐标。

2.3 图像的几何校正

对实际投影图像进行处理。在处理时，利用上述算法计算出特征点的坐标，得到理想的投影图像。这里需要使用矩阵的逆运算，即利用原来所存在的特征点的对应关系矩阵，来逆运算出校正后图像中特征点所对应的点。然后利用点的关系处理校正后投影到复杂表面上的正视图像。最后再利用矩阵反运算出投影机应该投影的歪曲图像，将歪曲图像投影到复杂曲面上，即可得到理想的观看效果图像。

3 实验与结果分析

3.1 实验步骤

复杂表面投影实验设备主要包括投影仪、摄像机、计算机和连接线。实验步骤为：

(1)选择合适的位置固定投影仪，然后选择合适的位置固定相机；

(2)利用投影机在非规则表面进行投影白色的图片，利用相机拍取歪曲图片进行处理;

(3)利用第(2)步中处理的结果图片，采用步骤(2)中相同的方法处理横竖黑白条形图片;

(4)利用以上的处理结果，在电脑中完成所要投影图像的预处理，计算出所要投影的歪曲的图像;

(5)把处理后的投影图像投影在非规则表面上，观察处理结果。

3.2 实验效果

在实验过程中，首先处理白色区域图像。利用投影机投影出白色区域图像，如图4(a)所示。从图可知，白色区域图像在复杂表面上出现歪曲。在提取白色区域的过程中，对已经歪曲的图像进行灰度化，根据实际情况，设定红色边界色值为0.212 671,绿色边界色值为0.715 160，蓝色边界色值为0.072 169。最后对白色区域进行的阈值分割，处理效果如图4(b)所示。

然后，利用白色区域的阈值分割所得到的校正变换区域和上面所用的颜色边界值，对横竖特征条纹图像进行处理，得到处理后的效果图，如图5和图6所示。

最后对投影图像进行处理。待投影图像如图7所示。结合横竖特征条纹图像，通过角点的检测来提取横竖黑白特征条纹结合处所形成的特征点，利用投影区和电脑内图像特征点的矩阵关系，通过矩阵的逆运算可以计算出校正后的图像，如图8所示。

经过计算可以得出要投射出理想的效果，投影机应该投射的歪曲图像，如图9所示。利用投影机投影出歪曲图像，通过摄像拍摄，得到理想的观看图像，如图10所示。

3.3 实验结果分析

在实验过程中，得到的观看图像中的颜色存在视觉性的偏差，这主要是因为没有对投影图像的颜色进行补偿。此外，白色区域的阈值分割比人工分割的精度高，特别在待处理图像的分辨率较高的情况下，既提高了处理速度，同时也得到了更好的观看图像。

[1]王修晖,华炜,林海,等.面向多投影显示墙的画面校正技术[J].软件学报,2007,18(11):2955-2964.

[2]王胜正,杨杰.自动多投影仪非线性几何校正与图像边缘融合方法[J].上海交通大学报,2008,42(4):574-578.

[3]YANG G P，CHEN F M.The gamma correction for multiple projectors after alpha blending[J].Computer Applications and Software,2009,26(1):232-233.

[4]张军,王邦平,李晓峰.针对多投影仪显示墙画面校正的图像对准技术[J].中国图象图形学报,2011,16(2):293-298.

[5]Liu Shu,Ruan Qiuqi,Li Xiaoli.The color calibration across multi-projector display[J].Journal of Signal and Information Processing,2011(2):53-58.

[6]Jiang Zhongding,Jiang Nan,Mao Yandong,et al.A multiprojector display wall system driven by chromium framework on PC cluster[C].Proceedings of the 12thInternational Conference on Human-Computer Interaction,2007.

[7]MAJUMDER A,GOPI M.Modeling color properties of tiled displays[J].Computer Graphics Forum,2005,24(2):149-163.