多视觉下基于多重颜色一致性约束的三维体重建

李秀秀，郑江滨，张艳宁，陈 宁

（西北工业大学计算机学院，西安710129）

在基于多视觉图像的三维目标外形体重建过程中，颜色一致性约束是判断体素是否属于三维目标外形的重要条件，因此颜色一致性的准确计算、阈值选取将会影响到重建结果的完整性。经典体重建方法及其改进，如多视点轮廓体相交法［1］、体素着色法［2－4］和Space－carving［5－7］法，普遍存在重建结果粗糙，重建效果易受光照变化、相机色差等因素的影响。因此很多学者对光照变化、相机色差等情况下的颜色一致性计算方法进行了研究：Hornung等［3］将体素在多视图像中投影的颜色向量归一化以解决光照、色差问题；Wu等［8］通过不同光照条件下的深度候选方法解决光照变化、相机色差情况下的颜色一致性准确计算问题；Aganj等［9］通过模拟退火法优化全局的颜色一致性，实现噪声情况下的精确鲁棒三维目标体重建。

上述方法都是针对体素颜色一致性的有效计算进行的研究，使得存在光照变化、相机色差等现象时仍然能够较为准确地计算体素在多视环境下颜色一致性。然而在三维目标外形体重建过程中，如果颜色一致性使用不当，很可能将属于目标外形的体素剔除，从而形成空洞或是重建出错误的三维目标外形。针对上述问题，本文提出多重颜色一致性约束，以尽可能地剔除非目标外形上的体素，并保证三维目标外形的完整。

1 算法流程

本文的目的是通过准确、有效的颜色一致性分析，实现三维目标的逼真、完整外形体重建。为此，本文给出如图1所示的重建流程。

图1 本文方法流程图Fig.1 Flow chart of proposed algorithm

该流程在进行体素颜色一致性计算之前加入了体素可见性分析这一步骤，即确定体素在哪些视点中可见，使得体素颜色一致性的计算只在其可见视点中进行，保证了计算的准确性；在判断体素是否属于目标外形时，使用了多重颜色一致性约束：体素及其邻域颜色一致性最大约束，既能剔除非目标表面的体素，又能保证三维目标外形的完整性。以下将详细的介绍图1中的各个步骤。

2 基于多重颜色一致性约束的三维目标体重建

给定待重建目标O，将M个相机（C1，C2，…，CM）环绕目标O放置。目标O在各个相机所成的图像中的投影为（S1，S2，…，SM）。使用多点轮廓体相交方法［1］得到三维目标的外形凸壳，将该凸壳及其内部体素作为初始体素空间V。

2.1 体素可见性分析

对于相机Cj，如果体素P遮挡体素Q，即体素P在该相机中可见，那么满足：

即P到相机Cj的距离小于Q到相机Cj的距离。在本文中使用了欧式距离，即：

在体素可见性分析时，遍历V中的体素，对体素voxi（voxi∈V），在相机Cj对应的图像上的投影区域为pi＿j。将体素voxi与相机Cj的光心连成一条直线l，那么处于体素空间V内位于l上的体素vox都满足：

proj（vox）表示将体素vox投影于相机Cj所成的图像中。此时，根据公式（2），计算体素空间V内位于l上的体素到相机Cj的距离，如果体素voxi满足：

那么体素voxi相对于l∩V上的其他体素在相机Cj可见。

为了在进一步处理中，使重建出的目标外形尽可能地接近真实目标，同时避免将属于三维目标表面的体素剔除，在重建出的三维目标外形上形成空洞，本文提出了多个最可见体素的方法，即对相机Cj除了可见的体素外，计算l∩V中的其他体素到相机Cj的距离，并按距离由小到大排序，将前N－1个体素作为备用体素保留，并将可见体素与这N－1个体素组成最可见的N个体素。

2.2 颜色一致性计算

体素着色法与Space-carving通过定义一个体素在各个相机所成图像的颜色值的方差函数计算体素的颜色一致性，然而使用多个相机同时获取目标图像，很可能存在光照变化、色差等因素，因此体素的颜色一致性将会受到影响。本文为每个体素创建一个颜色向量，通过归一化该向量解决上述问题，步骤如下：

（1）将给定体素vox均匀地分成8份，形成一个子体素向量，将该向量中每个元素投影到体素vox可见的vis＿num个相机所成的图像中，得到各个子体素在各个图像中的颜色值，形成子体素向量对应的颜色向量：pj＝｛p＿sub1j，p＿sub2j，…，p＿subij，…，p＿sub8j｝（1≤j≤vis＿num）。

（2）归一化子体素颜色向量pj，得到（见式（5））：

（3）计算体素vox的颜色一致性。通过计算对vox可见的vis＿num个相机对应的颜色向量的相关性来得到体素vox的颜色一致性。

式中：

从上式可以看出，photo＿consis越小，对应的体素颜色一致性越大。

2.3 多重颜色一致性约束

为了保证三维目标外形体重建的逼真度、完整性，本文定义了多重颜色一致性约束：体素颜色一致性最大和体素邻域颜色一致性最大，在尽可能多地剔除非三维目标外形上体素的同时保证目标外形的完整性。

（1）体素颜色一致性最大约束

对于体素vox，其与相机Cj对应的光心连成的直线l上位于体素空间V的体素包括：目标外形上的体素、非目标区域的体素和目标内部的体素。其中非目标区域的体素和目标内部的体素在二维图像上投影的颜色值来自于不同的体素，因此其颜色一致性较小。在体素vox可见的相机中，寻找vox及其N－1个备用体素的颜色一致性的最大值，该最大值对应的体素即可看作三维目标外形上的体素。

（2）体素邻域颜色一致性最大约束

如果一个体素属于三维目标外形，那么它邻域的体素的一部分也属于目标的三维外形，而且当前体素与这些邻域体素都将满足体素颜色一致性最大约束，因此，当前体素与其邻域体素的颜色一致性之和应该达到最大：在体素vox可见的相机Cj中，寻找最可见的N个体素及其邻域的颜色一致性最大值，该最大值对应的体素即可看作三维目标外形上的体素。

式中：

其中neighbor（voxt）表示体素voxt的邻域体素。

在判断一个体素是否属于三维目标外形时，将上述两个约束条件结合，可有效地剔除非物体外形上的体素，而颜色一致性最大约束的使用，则可有效避免由于颜色一致性阈值选取不当造成的“过剔除”，从而保证了三维目标外形的完整性。

3 实验结果与分析

将16台相机环绕目标放置，获取的图像分辨率为648×490。这16台相机的内外参数通过张氏标定得到。以下只给出4台相机获取的图像（见图2）。

图2 视点1，5，9，13获取的图像Fig.2 Images from viewpoint1，5，9，13

实验分别使用体素着色法和本文方法重建三维目标的外形，体素大小为8 mm×8 mm×8 mm。图3给出了体素着色法重建出的目标外形，共包括38 702个体素。其中矩形框标出的区域是本来属于目标区域的体素，但是由于光照、色差或是颜色一致性约束太强烈等原因，使得该区域无法重建，在目标外形上形成了空洞

图3 体素着色法重建结果Fig.3 Reconstruction result of voxel coloring

图4是本文方法的重建结果。在使用本文方法重建时，备用体素的个数N－1＝7，为了能够不断逼近真实目标的外形，在重建后，保留该外形及其内部的体素，然后迭代实施重建过程，直到剔除的体素数量达到某一阈值为止。重建结果包含34017个体素。与体素着色法重建结果相比，本文方法明显消除了目标面部的空洞。

图4 本文方法重建结果Fig.4 Reconstruction result of proposed algorithm

以下将重建出的三维目标外形投影到各个相机所成的图像中，通过其对目标区域的覆盖情况验证本文算法在保证三维目标外形完整性时的有效性。

图5给出了体素着色法的重建结果在二维图像中的投影，在矩形框内，可以看到那些属于目标区域的像素没有被覆盖，也就是出现了“过剔除”。

图6给出了本文方法的重建结果在二维图像中的投影，可以明显看出目标区域被完全覆盖了。

图5 体素着色法重建结果在视点1，5，9，13的投影Fig.5 2D projection of reconstruction result in viewpoint 1，5，9，13 by voxel coloring

图6 本文方法在视点1，5，9，13的投影Fig.6 2D projection of reconstruction result in viewpoint 1，5，9，13 by proposed algorithm

表1给出本文方法和voxel coloring方法在二维图像投影中覆盖的面积及实际目标图像的面积对比。从表1中的视点7和14可以看出，用本文方法得到的投影区域面积大于真实目标的面积，这是由于在视点7或14中目标的某些区域不存在，但是在其他视点中却仍然存在，而这些区域在重建过程中被重建了出来，因此其投影区域面积大于真实目标区域的面积，如图7所示，矩形框给出了视点7和14的原始图像中目标的头部缺失部分，而这些部分在其他视点是存在的。

表1 投影面积比较Table 1 Comparison of projection areas by two methods

图7 原始图像与本文方法图像面积对比Fig.7 Comparison between original images and 2D projection area of reconstruction result by proposed algorithm

4 结束语

在研究多视轮廓体相交、体素着色法及其改进的基础上，提出了多重颜色一致性约束的三维目标外形重建方法，通过在重建过程中引入体素可见性分析，提高了颜色一致性计算的准确性，在判断体素是否属于三维目标外形时，使用了体素及其邻域颜色一致性最大约束，在剔除非三维目标外形体素的同时，保证了三维目标外形的完整性。本文方法能够重建较为逼真的目标外形，但是当视点不足时也会在目标三维外形上形成空洞，因此以后将针对此问题进行研究，拟借助目标运动过程提供的时空相关性重建完整的目标三维外形。

［1］Laurentini A.The visual hull concept for silhouettebased image understanding［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence，1994，16（2）：150-162.

［2］Seitz S M，Dyer C R.Photorealistic scene reconstruction by voxel coloring［C］∥The Conference on Computer Vision and Pattern Reconstruction，1997：1067-1073.

［3］Hornung A，Kobbetlt L.Robust and efficient photo-consistency estimation for volumetric 3D reconstruction［J］.Lecture Notes in Computer Science，2006，3952：179-190.

［4］Culberston W B，Malzbender T，Slabaugh G.Generalized voxel coloring［J］.Vision Algorithm：Theory and Practice，2000，1883：100-115.

［5］Kutulakos K N，Seitz S M.A Theory of shape by space carving［J］.International Journal of Computer Vision，2000，38（3）：199-218.

［6］Esteban C H，Schmitt F.Silhouette and stereo fusion for 3D object modeling［J］.Computer Vision and Image Understanding，2004，96（3）：367-392.

［7］Starck J，Miller G，Hilton A.Virtual view synthesis of people from multiple view viewo sequence［J］. Graphic Models，2005，67（6）：600-620.

［8］Wu Cheng-lei，Lin Ye-bin，Ji Xiang－yang，et al. Multi-view reconstruction under varying illumination conditions［C］∥IEEE International Conference on Multimedia and Expo，Mexico，2009：930-933.

［9］Aganj E，Keriven R，Pons J P.Photo-consistency surface reconstruction from noisy point clouds［C］∥IEEE International Conference on Image Processing，2009：505-508.