基于三维VR技术的小区域目标重建研究

郭亮

摘 要： 针对当前重建目标区域缺失图像信息时局限性较大，提出一种结合三维VR技术的小区域目标重建方法。对小区域目标进行相机标定，在相机标定过程中，引入小区域目标二维图像物理参数组建相机成像模型，利用直接法求解小区域目标成像参数，结合相机标定的结果利用SURF算法对小区域目标二维图像提取特征点。寻找小区域目标图像内任意一个主方向，构成各个特征点的图像旋转不变量，以该不变量为依据利用归一化互相关方法计算出小区域目标两图像块之间的近似程度，通过对极几何的性质约束小区域目标特征匹配点计算基础矩阵，以获得的小区域目标投影矩阵和特征点的匹配关系为依据，完成小区域目标空间点的三维重建。实验结果表明该方法准确率及实用价值较高。

关键词： 三维VR技术； 小区域目标重建； 相机标定； 特征点匹配

中图分类号： TN948.4?34； TP391 文献标识码： A 文章编号： 1004?373X（2017）19?0094?04

Research on small?area target reconstruction based on 3D VR technology

GUO Liang

（College of Electrical Information， Changchun Guanghua University， Changchun 130000， China）

Abstract： The current reconstruction of the target area has strong limitation while image information is missing， so a small?area target reconstruction method combining with 3D VR technology is proposed. The small?area target is performed with camera calibration， in which the 2D image′s physical parameters of small?area target are introduced to establish the camera imaging model， the direct method is used to solve the imaging parameters of small?area target， and the SURF algorithm is adopted to extract the feature points of 2D image of small?area target according to the camera calibration results. The arbitrary main direction within the small?area target image is found out to compose the image rotation invariant of each feature point. On this basis， the normalized cross?correlation method is used to calculate the approximation degree between two image blocks of small?area target. According to the property of epipolar geometry， the feature matching points of small?area target is restrained to calculate the basis matrix. The matching relation between the obtained small?area target projection matrix and feature points is taken as the basis to realize the 3D reconstruction of small?area target spatial points. The experimental results show that the method has high accuracy and high practical value.

Keywords： 3D VR technology； small?area target reconstruction； camera calibration； feature points matching

0 引 言

随着计算机技术的快速发展，三维技术日益完善，计算机技术不断突破，虚拟现实、三维技术动画等三维VR技术均获得了较大的发展。三维重建[1]不仅在制造业、建筑行业，军事技术科技、地理信息位置系统等一些领域获得了广泛的应用，而且快速地融入了大众生活。

三维技术以虚拟的形式出现，文献[2?3]不仅可以利用观察数据，并且可以与数据相互交换，而且这种区域观察具有从内而外和从外而内的重建空间特征。文献[4?5]利用三维技术来表示数据和过程，能够让用户走进一个视觉效果逼真的三维虚拟世界，因此如何加快进行三维VR技术的小区域目标重建是当前急需解决的问题。

当前也存在一些相关研究成果。文献[6]提出一种利用尺度不规则变化的特征检验算法，该算法检测特征点的实时性较好，准确性较高，鲁棒性特点强，被广泛地利用在图像拼接、纹理识别和图像复原等领域。其描述部分利用代替图像的表述方式对其研究进行了改良。虽然改良效果好，但是特征提取速度比较慢。

文献[7]研究一种利用空间点进行分类的三维景物重建方法。首先剔除局外点，这样可以提高重建的精确度，由于在后续的三维技术重建过程中不需要再对局外点的重建数据进行三维技术重建计算，所以减少了重建技术的计算时间。改进的范数重建方法可以不断去调整搜索的上下方向，减少了调整次数，提高了调整效率，但局限性较大。

文献[8]提出一种具有区域尺度特征的提取方法，此方法以区域尺度为基础，将空间和区域尺度确定为角点；为了满足不同区域尺度下提取特征的要求，对图像亮度相关矩阵增加了自适应区域尺度；针对特征点匹配的视图问题，利用区域匹配算法获得的视图实验结果可知，所研究的联合匹配算法可得出视图，证明了算法的有效性和可行性，但该算法复杂性比较强。

针对上述所存在的问题，研究一种结合三维VR技术对小区域目标进行重建的方法。首先进行相机标定、重建特征点的提取与匹配，计算三维技术信息。将该方法应用到重建小区域，实现快速重建小区域建筑物三维模型，可以有效缩短重建时间，同时提高三维VR技术小区域的重建精度。

1 三维VR技术的小区域目标重建研究

1.1 三维VR技术的小区域目标匹配

在进行三维VR技术的小区域重建过程中，先利用相机标定得到坐标系与空间坐标系之间的关系，把求出的坐标系与坐标点的关系应用到空间点的三维重建中，这对三维VR技术的小区域空间重建有着重要的意义。

相机标定分为两部分，先是代入物理参数去建立相机图像模型，再用直接法求解相机参数。在坐标系下，相机标定坐标点可以表示为：

[Tcw=Rcwtcw] （1）

式中，世界坐标系转为相机坐标系[cw，][Rcw，][tcw]可表示为：

[Rcw tcw0 0=e] （2）

式（2）为坐标系下的相机坐标，对该轴方向的转换量[?]描述如下：

[?=0μ6-μ6μ1-μ60μ4μ2μ5-μ10μ30000] （3）

利用相机的坐标位姿建立相机坐标系点[p]与世界坐标系点的转换关系为：

[p=Tcwpw] （4）

小区域重建的特征点提取与匹配利用文献[9]中的SURF算法，是由Herbert Bay提出的新型特征提取算法。利用SURF算法对小区域目标二维图像进行特征点提取，通过寻找小区域目标图像内任意一个主方向，构成各个特征点的图像旋转不变量。对特征点的检测是Hessian近似矩阵，根据Hessian矩阵行列的最大值检测特征点。对Hessian矩阵进行计算，将高斯微分模板与区域图像相结合，为简化高斯微分模板，将模板与区域图像结合转化成盒子滤波计算，确定简化后的模板是由几个矩形区域组成。

对于盒子滤波表述的值，可以简单地利用积分图像来求得，积分图像定义为：

[IΣ（x，y）=i=0x j=0yI（i，j）] （5）

利用积分图像能求出任意大小区域的灰度值，即能求盒子滤波的回应值。所以，Hessian矩阵行列式可表示为：

[det=DxxDyy-（0.9Dxy）2] （6）

由矩阵行列式求出的区域值来计算图像中某点的回应值。在一个尺度下，图像中的每个像素点计算特征点得出回应值，就形成了在该确定的尺度下特征点检测的回应图像，依据盒子滤波不同的模板尺寸，就形成了在不同尺度下特征点的回应图像，确定最终的金字塔图像。对金字塔区域图像进行抑制非极大值，通过像素插值得到实际图像极值点的高精确坐标：

[x=?2H-1?x2-?H?x] （7）

最终利用SURF算法提取特征点子维向量，进行归一化处理。

根据上述SURF算法，以给出的不变量为依据，利用归一化互相关方法表征小区域目标两图像块之间的近似程度，通过对极几何的性质约束小区域目标特征匹配点计算基础矩阵，以获得小区域目标投影矩阵和特征点的匹配关系。计算两幅图片中的匹配代价[NCC（v0，v1）]，并对此求平均值：

[NCC（v0，v1）=j=0n-1v0（j）-v0?v1（j）-v1xp2IΣ（x，y）] （8）

式中：[v0（j）]和[v1（j）]分别代表窗口[v0]和[v1]中第[j]个像素的像素值；[v0]和[v1]代表窗口图像像素平均值。

1.2 小区域目标空间点的三维重建

结合上述SURF 算法求出像素值，由一个空间图像点反射投影到三维技术空间形成一条空间射线，两条空间射线相交便能确定空间射线点的位置，由此得出射线投影矩阵和射线图像点的匹配关系以及重建空间点的坐标位置。假定，空间上的任意点能够在两个图像中分别表示出来，即空间上的任意点的坐标，还有两个相机的效果平面上的成像点、图像点上的像素坐标在投影矩阵上显示为：

[M=m111m112m113m114m121m122m123m124m131m132m133m134] （9）

根据投影矩阵变换公式得出：

[μ1ν11=m111m112m113m114m121m122m123m124m131m132m133m134] （10）

其中空間点分别在两个相机坐标系中绕光线轴方向的坐标分别是其在各自图像中的图像坐标，展开式（10）得：

[μ1=m111xw+m112yw+m113+m114ν1=m121xw+m122yw+m123+m124] （11）

整理式（11）可得：

[（μ1m131-m111）xw+（μ1m132-m112）yw+（μ1m133-m113） =m114-μ1m134（ν1m131-m121）xw+（μ1m132-m122）yw+（μ1m133-m123） =m124-ν1m134] （12）

式（12）中的两个线性方程是空间中两个表示平面的方程，两个表示平面的方程相结合为空间的直线方程，即为两个平面的交线。同理可得出式（12）是一个空间内的直线方程。

三维空间区域的平面方程为线性方程，由于空间点有交点，所以它必定同时满足式（10）～式（12）。

由上述求出的空间重建坐标，假设相机中照片的投影矩阵为：

[Q=A-1M=（RI-RT）] （13）

由旋转和平移向量可得：

[Q=（UWVTI-μ3）] （14）

式（14）为矩阵正确解。

以投影矩阵为例，设：

[Q=qq11q12q13q14q21q22q23q24q31 q32q33q34] （15）

得出下列式子：

[Zeu=q11Xw+q12Yw+q13Zw+q14Zev=q21Xw+q22Yw+q23Zw+q24Ze=q31Xw+q32Yw+q33Zw+q34] （16）

消去[Ze]得：

[q11Xw+q12Yw+q13Zw+q14-q31uXw-q32uYw-q33uZw=q34uq21Xw+q22Yw+q23Zw+q24-q31vXw-q32vYw-q33vZw=q34v] （17）

该方程组表达两个平面相交成为一条直线。在两张照片中找一个相同匹配点，求出其相应的投影矩阵，即为区域重建的三维坐标。由上述得出的结论可知，把该方法应用到三维VR技术的小区域重建目标中能够取得重大的成果。

2 实验与分析

对本文提出的SURF算法在VC 6.0 环境下用多组立体图像进行实验，验证本文提出的SURF匹配算法精确度较高，可用于小区域目标的三维重建。图1是SURF算法检测提取的角点和改进的SURF算法检测提取到的角点的对比效果图。这组原图图像是384×288的立体匹配图像。

由图1能够看出改进后的SURF算法可以减弱角点聚集的现象。同时对图1中的建筑图像的点数进行提取，将统计结果表示在表1中。从表1的统计结果能够发现特征点大量减少，但图1中反映重建物体的外貌特征点并没有丢失，仍很好地反映出物体的结构特征，这样在后期的匹配中可以有效地减小误差匹配率，并且还能提高匹配的速度。

不能准确确定重建物體的坐标，将对重建物体对应线段的长度重建方法进行误差分析，重建物体线段长度误差结果对比如图2，图3所示。

图2，图3中的实验数据对比分析发现，以三角形重心为约束条件，对多张图像信息特征点进行三维VR技术重建，可以取得较高的区域重建精准度，并且在算法的稳定性方面具有较大的改进。

3 结 论

本文针对传统的三维重建技术环境构建困难、成本偏高、灵活性较低，难以适应动态变化的建筑模型对象，提出一种以相机获取设备图像的方式，对重建的小区域目标进行特征点的提取与匹配和三维VR技术重建的空间计算。本文方法具有设备图像获取便利，特征点信息易于提取、应用范围受限小等优势，在利用三维VR技术进行小区域目标重建等领域具有广阔的应用前景。

参考文献

[1] 卢毅，李晓艳，徐熙平.双目立体视觉三维重建技术[J].长春工业大学学报，2015，36（6）：678?682.

[2] 顾刚，袁杰.基于超分辨率图像重建技术的运动估计研究[J].现代电子技术，2015，38（10）：80?86.

[3] 张纪满，韩宇鹏，周振华，等.基于二维图形数据的三维模型重建[J].电子技术与软件工程，2014（21）：122.

[4] 席小霞，宋文爱，邱子璇，等.基于RGB?D值的三维图像重建系统研究[J].测试技术学报，2015，27（5）：409?415.

[5] 郑金鑫，汤帜，王勇涛.基于单幅线条图的三维立体重建方法综述[J].计算机科学，2014，41（1）：43?47.

[6] 魏楚亮，罗培羽，洪晓斌，等.基于单张照片模式的三维图像重建新方法研究[J].中国测试，2014，40（2）：23?26.

[7] 韩宝玲，朱颖，徐博，等.一种基于场景轮廓特征的三维地形重建方法[J].光学技术，2015，41（4）：322?326.

[8] 贺涛.基于双目立体摄像机图像的三维建模方法设计及实现[J].电子技术与软件工程，2014（10）：123?126.

[9] 郑立国，刘杨，罗江林.基于PCL的人体实时3D重建技术的研究与实现[J].电子技术与软件工程，2015（10）：95?97.