动态多光照三维光场采集系统设计与实现

任浩然，周文晖

(杭州电子科技大学计算机应用技术研究所，浙江杭州310018)

0 引言

三维建模一直以来是计算机视觉与计算机图形学交叉研究热点，使计算机像人一样的感知场景、获得信息，得到三维模型，对模型添加各种操作，例如转换视角、运动捕捉、运动分析等。自20世纪90年代开始，多视角三维光场建模方法成为计算机视觉领域的一个研究热点，由多视角在光场中建立完整的3D 模型通常被称为“3D 摄影学”［1］。视觉信息的表示是由七维全光函数 P(x，y，z，θ，φ，λ，t)［2］表示，其中(x，y，z)代表场景光线在三维空间的位置，(θ，φ)表示光线方位和夹角，λ表示波长，t表示时刻。静态光场概念［3］，缺点是由于采样密度要高使得采样困难，只能处理静态无遮挡区域场景。动态光场采集从早期典型的基于图像绘制系统发展到近期变光照采集系统，实现了第一个变光照静态采集系统［4］，主要用于人脸采集，该系统首次给出静态变光照采集的实施方法，但实验时要求采集对象静止不动，给系统带来一些限制。实现了一个高3m，直径6m的采集系统，可以多光照、动态场景采集与建模的采集系统，实现了多视角动态场景的采集，但场地限制无法实现规模场景采集，如多人交互场景等［5，6］。由以上介绍可知，采集系统研究的发展趋势是:动态光照采集的要求，采集对象类别丰富的要求。本文就所实现的采集系统结构，解决光照与采集同步之间的要求，基于采集系统的三维建模方法展开论述。

1 系统架构

本文实现的三维光场采集系统机械支架为一个半球体，整个结构高7m，直径10m。如图1所示，整个球体的外围由方便抠图操作的蓝色幕布围成，内部由50个200万象素相机环形阵列与2 000个均匀分布的LED动态光场组成，满足场地拍摄运动捕捉，多人交互等需要。

图1 机械支架结构及内部

2 系统同步控制

系统同步控制的解决方案是基于串口通信的动态多光照控制程序与基于C/S架构的采集程序，系统同步的硬件结构定义了控制服务器、采集服务器、相机、LED以及控制电路板之间的连接关系。选取的采集服务器使用采集卡与相机之间用1394B线连接。多个采集服务器与控制服务器组建在一个局域网，由控制服务器统一远程管理。系统结构拓扑如图2所示。

图2 系统拓扑架构图

控制单元主要组成是:进行控制的服务器与由单片机控制板组成的同步控制器。单片机电路板串口接口单元电路同服务器连接，接受上位机软件的控制。LED控制单元由升压电路、驱动恒流源和散热装置组成，单片机的输出信号经过升压电路作用输出给驱动恒流以控制输出电流大小从而来控制LED的亮暗程度。总线接口单元由总线收发器和网络接口组成，并由CAN总线把多块MCU电路板连接在一起工作。相机触发单元根据单片机输出产生电压脉冲来控制摄像机起始采集时间，电气隔离电路的作用是单片机输出信号出现问题时候保护摄像机不受到损害。系统可实现同步或者异步采集视频图像。可以根据配置文件来进行多种光照下的采集。可以根据配置的不同来实现摄像机与LED的同步分组配合。

采集程序可以设置相机采集方式为同步或异步，相机与采集服务器之间由数据线进行数据传输，拍摄的图像和视频保存在采集服务器上。

3 采集系统的三维重建

3.1 摄像机校准

任何摄像机阵列在使用前都必须经过校准才可以为后续的匹配等算法所使用，进行校准的标定图像序列如图3所示。

图3 标定图像序列

本系统的环形摄像机阵列需要校准得到摄像机的内外参数矩阵以对后续的三维几何重建与表面匹配使用。本系统使用的方法是保持摄像机不动，拍摄不同位置不同姿态的校准版，之后通过匹配来求的摄像机参数［5］。

由于排列为环形，每次校准版有一半的摄像机采集不到，针对这一问题，系统首先要对采集的图像进行分组，之后在组内求解内参和外参，最后在不同组之间通过相邻的外参转换来求得校准结果。分组完成之后，即分别对每组分好的摄像机进行组内联合校准，得到所有摄像机的内参和外参;最后还需校准不同组间相邻的摄像机，以令所有摄像机外参在统一的世界坐标系下。

3.2 背景分割与三维重建

研究在基于多视角图像重构真实物体的“视觉外形”。对兴趣目标进行前景－背景分割是拟合一个3D模型的很好方式［7］，从拍摄图像或者视频得到二值轮廓图像，然后映射到三维空间的交集中来重构一个3D体模型。

(1)轮廓分割，由于环形摄像机阵列在一次采集过程中每个视角基本固定，采集一次无采集目标的背景图，再采集有动态目标的前景图，将采集的多视角图像或视频的前景－背景分割，提取对采集对象的轮廓，蓝色幕布为此步骤提供了便利。

(2)对象建模，根据提取的二值多视角轮廓图为采集对象建立三维几何模型(Mesh网格)，视觉外形的计算基于“基于图像的视觉外形”［8］，采用基于比较成熟的 Visual hull生成算法(IBVH［8］，EPVH［9］)改进后的算法来得到三维点云，该算法利用在物体表面的空间点对预估物体所在空间进行切割，并将这些点保存在八叉树结构中，而后运用Marching Cubes算法来得到物体表面信息。

(3)轮廓点采样，在上一步生成的三维点云之后再进行泊松圆盘采样处理三维点云数据可以得到很好的三维点云结果。

(4)轮廓点校正，由于轮廓分割出的前景的精度有限，得到的模型和真实有差距，为此需要进行匹配一致性检验，作模型的校正再建立Mesh网格。

3.3 实验结果

实验过程与结果(单人标准动作)如图4所示。

图4 单人标准动作三维重建结果

动态场景多人场景的采集重建结果如图5所示，从左到右依次为原始单视角图像，三维点云结果，三维表面结果。采集系统可以很好的完成多人交互的动态采集。

图5 多目标动态场景三维重建结果

4 结束语

该系统可以满足两种光照模式(恒定、变化)，两种采集方式(同步、异步)，多视角三维采集，从采集到获得三维点云数据，为以后的工作提供了一个较好的实验平台。但也存在一些问题如采集效率不够高，背景分割准确程度对三维重建的结果影响很大，基于轮廓的三维重建算法速度和精度上需要做进一步优化。

［1］Richard Szeliski.Computer Vision:Algorithms and Applications［M］.New York:Springer，2010:607.

［2］Adelson E H，Bergen J R.The Plenoptic Function and of Early Vision.Computational Models of Visual Processing［M］.Cambrige:MIT Press，1991:3 －20.

［3］Marc Levoy，Pat Hanrahan.Light field rendering［C］.New York:Proceedings of the 23rd annual conference on Computer Graphics，1996:31 －42.

［4］Debevec P，Hawkins T，Tchou C.Acquiring the reflectance field of a human face［C］.New York:Proceedings of the 27rd annual conference on Computer Graphics，2000:145 －156.

［5］曲震.变光照动态多视角采集系统的设计［D］.北京:清华大学，2008.

［6］刘烨斌.动态光场的关键技术研究［D］.北京:清华大学，2010.

［7］Sheikh Y，Shah M.Bayesian object detection in dynamic scenes［C］.San Diego:IEEE Conference on Computer Vision and Pattern Recognition，2005:74 －79.

［8］Matusik W，Buehler C，Raskar R，et al.Image-based visual hull［C］.New York:Proceedings of the 27rd annual conference on Computer Graphics，2000:369 －374.

［9］Franco J S，Boyer E.Exact Polyhedral Visual Hulls［C］.Norwich:British Machine Vision，2003:329 －338.