多投影显示系统的几何校正及边缘融合技术研究与实现＊

陶婷婷， 张亚萍

（云南师范大学 信息学院，云南 昆明650500）

1 引 言

多投影显示系统由于具有大范围、高分辨的显示效果，能够给用户带来很强的视觉沉浸式体验，目前在科学数据可视化、工业设计、展览、教育等领域有着广泛的应用.为了产生完整、逼真的显示效果，必须解决两个问题：其一，由于各投影仪摆放位置的任意性以及各投影仪本身的内部畸变，相邻投影仪的投影区域会出现几何边界的不对齐现象，因此需要对投影图像进行几何校正.其二，在对多个投影图像进行拼接时，如果投影仪是重叠投影，则投影图像的重叠部分会产生一条高亮度显示区域；如果是非重叠投影，则相邻投影图像之间形成一条拼缝，从而影响投影图像的整体性，因此，需要对相邻投影边缘部分进行融合.

早期多投影显示系统对图像的几何校正和边缘融合是通过手动拼接和购买昂贵的硬件来实现的，这些方法不仅设备成本高昂，且操作维护困难，需要专业人员才能使用.目前随着投影显示技术的不断发展，计算机图形设备性能的提高，建立基于PC机的多投影显示系统，并通过软件对投影图像进行校正已经成为可能.近年来，出现了很多实现多投影显示系统的几何校正和边缘融合方法.如Raskar［1－3］等人使用一个预先校正好的固定的摄像头对投影仪进行几何校正；Ashdown［4］等研究了基于投影仪—相机的平面投影；Okatani［5］等对基于投影仪—相机的自动校正方法进行了深入研究，提出并证明了显示墙与相机及投影仪对应的透视几何关系的自动几何校正方法；Bhasker［6］等针对投影镜头的畸变给出了基于有理Bezier曲面网格的修正方法.国内，浙江大学的石教英等人［7］提出了基于数码相机反馈的几何校正算法；王修晖［8］等利用特征条替代特征线来获取映射关系，提出了一种高精度的平面几何校正算法，并将此方法推广到立体平面幕系统.

本文提出的多投影显示系统基于普通PC机和普通投影仪，采用单台普通数码相机获取各投影校正参数，进行几何校正预处理，利用非线性函数进行相邻投影边缘融合实现无缝拼接显示.方法简单有效，能快速地完成图像的几何校正并有效消除多投影画面之间的亮条和拼缝.

2 系统组成

如图1所示（左），本系统由4台分辨率为1680＊1050的SHARP投影仪、四台普通的计算机和一部数码相机组成.在确保相邻投影仪投影区域有一定重叠的情况下，四台投影仪任意摆放，组成一个2×2的投影阵列.另外，为了使计算过程简单化，系统需要对数码相机的位置有一定的限制，即让数码相机的镜头正对投影屏幕，介于四台投影仪中间，垂直摆放，以保证获取到的投影图像不会产生变形.这样数码相机获取到的图像就可以直接作为投影屏幕上的图像，用于计算每台投影仪的校正参数.系统流程如图1（右）.

图1 多投影显示系统结构图（左）、软件校正整体流程（右）Fig.1 Multi－projector display system architecture （left），and the flow chart of software correction（right）

3 几何校正原理及算法

3.1 几何校正原理

理想的情况下，只有当投影仪光轴垂直对准平面显示屏幕的时候，投影仪才能显示出正常的图像.当投影仪的投影角度发生变化或者投影仪本身径向形变以及屏幕形变的时候，投影的图像会发生一定程度的几何形变.因此，几何校正的关键是让每个投影仪投影图像的一部分，并对图像进行预畸变，然后再投影到属于各自的指定区域中去，从而形成一副几何上不失真的完整图像，原理图如图2所示.

图2 几何校正原理图Fig.2 Schematic diagram of geometric correction

3.2 几何校正算法

3.2.1 特征图像的捕获和识别

为了获取投影屏幕上图像和原始图像即帧缓存图像上点集的对应关系，需要对每台投影仪分别投影一组特定模式的特征图像.系统使用一组6×6的白色圆点作为特征图像，然后使用数码相机获取特征图像.通过中值滤波、二值化、基于canny的边缘检测和基于hough变换的圆心检测，求取白色圆点点集的中心坐标，再根据中心坐标的像素值进行排序，建立投影屏幕图像点集Pi（xp，yp）与帧缓存图像Wi（xw，yw）之间的一一对应关系.如图3所示上面图像为每台投影仪分别投影一组特征点图像，下面图像为经过上述处理后图像.

图3 特征点图像（上）、处理后特征点图像（下）Fig.3 Feature images （top），and post－processing feature images（down）

3.2.2 有效区域划分

为实现最终显示画面的完整性，需要精确的获取多投影仪显示画面的最大有效显示区域作为多投影显示校正后的公共投影区域，如图4左图中Q1Q5Q9Q7以及右图中的蓝色区域为系统最终确定的最大有效显示区域.然后根据图像处理算法计算出每台投影仪在整个显示屏幕全局坐标系中的显示区域，因此需要对最大有效区域进行最佳分割，由于相邻投影仪投影区域有重叠，在进行分割的时候，存在两种分割方法：有重叠和无重叠的划分，如图4所示，左边图像为无重叠区域划分，右边为有重叠区域划分，记有效区域图像为Si（xs，ys）.

图4 有效区域划分（左为无重叠区域划分、右有重叠区域划分）Fig.4 Effective areas division （Non－overlapping area（left），overlap area（right））

3.2.3 投影图像校正

几何校正最为关键的步骤就是求出投影变换矩阵，即帧缓存图像到投影屏幕图像之间的变换矩阵，根据其变换矩阵的逆矩阵对帧缓存图像进行预畸变.由于多投影显示系统都是基于平面的，所以需要找到一种用来描述平面之间的几何变换的变换模型.

通常，对于平面到平面的图像变换，可以用一个3×3的矩阵来描述其变换关系模型：

其中，（xp，yp）是变换后的坐标，即投影屏幕图像上点坐标，（xw，yw）是变换前的坐标，即帧缓存图像上点坐标，M＝ ［m11m12m13m21m22m23m31m32m33］T是需要求得的参数.w和w＇是为了和三维矩阵构成齐次处理而引入的齐次坐标，通常取w＝w＇＝1，m33＝1，则公式（1）可改为：

为了使得计算结果更加精确，选取36组对应点：［xpi，ypi，1］，［xwi，ywi，1］，i＝｛0，1，…n（n＝35）｝，则根据公式（2）构建矩阵B：

记C＝BTB，根据线性代数的相关内容，变换矩阵M等于矩阵C的最小特征根对应的特征矢量.

由上可得经过投影到投影屏幕上的图像Pi＝MWi（Wi为帧缓存图像），则帧缓存预畸变图像Hi＝M－1Si（Si为有效投影区域），将预畸变图像投影到显示平面上就可以真正的实现几何校正，如图5为两种不同有效区域划分投影结果，相邻投影仪在几何上都实现了对齐.

图5 几何校正结果（左为无重叠区域投影、右为有重叠区域投影）Fig.5 Geometric correction results（Non－overlap area projection（left），overlap area projection（right））

4 边缘融合

由几何校正结果可以看出，无重叠的划分算法在多投影显示系统中并不是最好的，各种误差会影响最终的显示效果.如图5（左），相邻的投影区域间会出现拼缝，这种拼缝很难消除，从而影响用户的视觉需求，另外，如果投影仪或者投影幕出现震动等都会导致缝隙更加明显.为了消除边缘上的误差所带来的负面影响，增强整个画面的整体性，将无重叠的划分修改成带有重叠的划分方法.

消除有重叠区域划分方法中相邻投影重叠区域的高亮度区域，通常的方法是采用边缘融合技术，使得重叠区域图像的颜色亮度平滑过渡，从而实现亮度融合.本文采用了基于非线性函数的融合方法来实现相邻投影区域的亮度边缘融合，即给重叠区域图像的RGB分量分别乘以一个融合函数f（x）来改变该图像的亮度，融合函数f（x）如下：

其中，x为像素点在重叠区的相对位置，p控制曲线的弯曲程度，a是用来调节图片亮度.当a≥0.5时，重叠区域偏亮，当a≤0.5时，重叠区域偏暗，因此，综合考虑取a＝0.5，p＝2.以左上和右上投影重叠区域为例，分别为重叠区域某一像素点到重叠区域左右边界的距离，如图6所示.将左上边投影图像重叠区域的RGB分量分别乘以f（x），为了使融合后的图像重叠部分的像素值仍为1，则右上边投影图像重叠区域的RGB分量分别乘以1－f（x），上下投影重叠区域边缘融合的方法也是一样，实验结果如图7所示.

图6 非线性融合函数曲线和融合系数计算示意图Fig.6 Nonlinear fusion function curve and fusion coefficient calculation diagram

图7 边缘融合结果Fig.7 Edge blending results

5 结果分析

图8（a）是多投影显示系统，4台投影仪任意放置，图8（b）是尚未校正之前的投影图像，可以看出整个显示区域的边界都很不对齐，有明显的错位，相邻投影仪之间有明显的亮度区域，经过前面的校正之后，图8（c）是最终的校正结果，整个投影图像没有明显的几何失真，呈现出一幅完整的图像，两两投影之间也没有明显高亮度显示区域，但是在颜色方面只进行了重叠区域的边缘融合校正，而没有考虑各个投影仪之间由于色彩差异而形成的整个显示画面色彩不均一问题，因此，下一步的工作需要考虑对各投影的色彩进行校正.

图8 系统校正图Fig.8 Calibration system

6 结 论

多投影显示系统通过拼接组合若干台投影仪为用户提供高分辨率、超大视域范围的沉浸式体验.几何校正和边缘融合是系统必须解决的两个关键技术问题.本文在前人的研究基础上，使用普通数码相机对多投影显示系统进行几何校正，采用非线性融合函数对相邻投影图像进行边缘融合，实现了多台投影仪的无缝拼接显示.该系统布置方便、操作简单，能够有效应用于学校、商场的大屏幕展示.

［1］RASKAR R，MS BROWN，R YANG，et al.Multi－projector displays using camera－based registration［C］.Proceedings of IEEE Visualization，San Francisco，USA，1999：161－168.

［2］RASKAR R，WELC G，FUCHS H.Seamless projection overlaps using image warping and intensity blending［C］.Proceedings of the 4th International Conference on Virtual Systems and Multimedia，Gifu，1998：179－188.

［3］RASKAR R，VAN BAAR J，CHAI J X.A low－cost projector mosaic with fast registration［C］.Proceedings of the Fifth International Conference on Computer Vision，Melbourne，Australia，2002：1－6.

［4］ASHDOWN M，FLAGG M，SUKTHANKAR R，et al.A flexible projector－camera system for multi－planar displays［C］.Proceedings of Computer Vision and Pattern Recognition，Washington DC，USA，2004：165－172.

［5］OKATANI T，DEGUCHI K.Auto－calibration of a projector－camera system［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（12）：1845－1855.

［6］BHASKER E，JUANG R，MAJUMDER A.Registration techniques for using imperfect and partially calibrated devices in planar multi—projector displays［J］.IEEE Transactions on Visualization and Computer Graphics，2007，13（6）：1352－1359.

［7］LI C，LIN H，SHI J.Multi－projector tiled display wall calibration with a camera［C］.SPIE－Int.Society of Optical Engineering，San Jose，USA，2005：294－301.

［8］王修晖，杨海波，林海.多投影显示墙的几何校正［J］.计算机辅助设计与图形学学报，2008，20（6）：707－712.