视频监控中运动图像序列三维重建

胡红权

摘 要： 视频监控中运动图像序列三维重建一直是三维重建研究的重点，其重建效果会对运动图像的清晰度产生影响。但当前三维重建方法都是通过获取二维视频监控中的运动图像序列，通过基于Java Applet与Java Application编程，采用体绘制法完成视频监控中二维运动图像序列的三维重建，该方法无法保证重建后的图像质量，导致图像清晰度不高。为此，提出基于图像特征点提取与匹配的视频监控中运动图像序列三维重建方法。首先，对视频监控中运动图像序列特征点进行检测，并对特征点一定邻域内图像的纹理、结构以及其他特征进行统计，通过对运动图像序列特征点的特征比较，完成运动图像序列特征点提取与匹配；然后，对视频监控中运动图像序列的结构和运动初始化，并进行视频监控相机的自标定，实现对视频监控中运动图像序列的三维重建。实验结果表明，所提方法能够有效提高三维重建后视频监控中运动图像序列的清晰度，减少三维重建流程，提高运动图像序列重建效率，具有良好的使用价值。

关键词： 视频监控； 清晰度； 特征点； 匹配； 运动图像序列； 三维重建

中图分类号： TN911.73?34； TP391 文献标识码： A 文章编号： 1004?373X（2018）03?0067?04

Abstract： The three?dimensional （3D） reconstruction of moving image sequences in video surveillance is always the research importance of 3D reconstruction. But the current 3D reconstruction method adopts the volume rendering method to realize the 3D reconstruction of two?dimensional motion image sequences in video surveillance by means of acquiring the moving image sequences in two?dimensional video surveillance， and adopting Java Applet and Java Application programming， which can′t guarantee the reconstructed image quality， and has low image resolution. Therefore， an image feature points extraction and matching based 3D reconstruction method of moving image sequences in video surveillance is proposed. The feature points of motion image sequences in video surveillance are detected， and their image texture in a certain neighborhood， structure and other characteristics are calculated. The characteristics of the feature points of the motion image sequences are compared to realize the feature points extraction and matching of feature points of the motion image sequence. The structure and motion of the moving image sequence in video surveillance are initialized， and the self?calibration of the video surveillance camera is performed to realize the 3D reconstruction of the moving image sequence in video surveillance. The experimental results show that the method can increase the definition of the reconstructed moving image sequences in video surveillance effectively， reduce the 3D reconstruction process， improve the reconstruction efficiency of moving image sequence， and has high application value.

Keywords： video surveillance； definition； feature point； matching； moving image sequence； 3D reconstruction

0 引 言

随着科技的发展，人们生活水平的提高，对图像视觉产生更高要求，为满足人们的视觉要求，三维重建技术应运而生[1]。随着对三维重建技术研究的深入，三维重建技术趋于成熟，开始在各领域中应用[2]。当应用在视频监控运动图像序列三维重建中时，有利于提高视频监控图像的清晰度，因此视频监控中运动图像序列的三维重建越来越受到重视[3]。目前运动图像序列三维重建大多通过开发交互操作的三维重建系统，利用射影几何中的交比不变性理论，通過监控相机内外部参数和像差修正参数分离的标定方法，实现视频监控中运动图像序列的三维重建[4]。这种方法需要开发三维重建系统，不但重建成本高，且不易于操作[5]。该方法引起了重大反响，对该问题的研究也成为相关专家学者研究的重点，并取得了丰硕的研究成果[6?7]。endprint

文献[8]通过将二维视频监控中运动图像序列数据直接堆垒起来，利用阈值分割、线性内插等方法，获得直观性较好的三维视频监控中运动图像序列。通过对重建图像进行旋转、截取等操作，获得了不同方向的三维图形。但这种方法计算过程过于简单，无法保证三维重建后视频监控中运动图像序列的质量。文献[9]提出基于分割的视频监控中运动图像序列三维重建方法，但该方法存在一定的主观性。文献[10]提出基于多幅图像的视频监控中运动图像序列三维重建方法，利用角点检测算法提取视频监控中运动图像序列的边缘和内容特征，通过将极线约束和SIFT特征描述算子相结合，完成特征点匹配，从而得到特征点的三维坐标。根据这些坐标，完成视频监控中运动图像序列三维重建，但这种方法过程复杂，花费时间长，难以被广泛使用。

针对上述问题，提出基于图像特征点提取与匹配的视频监控中运动图像序列三维重建方法。實验结果表明，所提方法能够提高三维重建后运动图像序列的清晰度，减少三维重建流程，提高运动图像序列三维重建效率。

1 视频监控中运动图像序列三维重建

三维重建可归结为利用图像上的像素点恢复相机位置，投影矩阵以及三维空间中点的坐标。因此，需要对视频监控中运动图像序列进行三维重建，视频监控中运动图像序列特征点提取与匹配是前提，然后通过线性时域对准，完成视频监控中运动图像序列的三维重建。

1.1 视频监控中运动图像序列特征点提取与匹配

完成视频监控中运动图像序列特征点的提取与匹配工作。首先对视频监控中运动图像序列的特征点进行检测，分析特征点的空间位置信息以及尺度信息，并统计特征点在一定邻域内图像的纹理、结构以及其他特征，并将统计值组合，将组合的统计值作为特征点的特征向量，使视频监控中运动图像序列特征点具备可区分性，最后利用特征点特征向量的相似度，将相似度最高并满足一定阈值的点作为对应匹配点，从而完成视频监控中运动图像序列特征点匹配。

首先利用LoG尺度空间特征点检测算子完成视频监控中运动图像序列特征点检测，其用公式表示为：

式中分别表示空间内坐标。对式（1）进行拉普拉斯变换并规范化得到：

式中表示拉普拉斯变换系数。设定拉普拉斯响应值为视频监控中运动图像序列特征点判断指标，当导数为0时，对式（2）求极值，得到：

将其拉普拉斯响应值与空间相邻的26个点的响应值做比较，通过式（3）确定空间位置和尺度空间巅峰值，完成视频监控中运动图像序列特征点检测。

设定表示视频监控中运动图像序列高斯尺度空间，通过对原始视频监控中运动图像序列的尺度二维高斯函数做卷积运算得到：

式中：表示视频监控中运动图像序列方向卷积操作；表示特征点平面坐标；表示视频监控中运动图像序列尺度，其大小与视频监控中运动图像序列平滑程度成反比。通过对高斯差分视频监控中运动图像序列进行非最大值抑制，完成视频监控中运动图像序列特征点的尺度空间和位置空间定位。

式中：表示视频监控中运动图像序列两个相邻尺度空间的因子倍数。根据视频监控中运动图像序列特征点尺度空间和位置空间定位，利用SURF方法进行特征点匹配。通过积分图生成特征向量，利用双数计算结果降低运算量，避免特征向量生成时对图像重复运算。

通过上述论述，完成视频监控中运动图像序列特征点的检测，根据视频监控中运动图像序列特征点的特征进行比较，完成特征匹配。

1.2 视频监控中运动图像序列三维重建

在1.1节论述的基础上，通过视频监控中运动图像序列结构和运动的初始化，实现视频监控中运动图像序列结构和运动的恢复。

选择图像匹配点多且图像之间距离较远的两幅视频监控中的运动图像。为满足图像距离要求，通过从经过平均平面变换的点和目标图像中的对应点中值距离对其进行计算。

首先对主框架进行初始化，利用下式进行计算：

然后对结构进行初始化，完成对测量点调整矫正。其矫正公式为：

式中：表示图像的矫正量。在图像上的矫正量很小的情况下，该近似是准确的，且计算量很小，提高了视频监控中运动图像序列三维重建的准确度。

在对视频监控中运动图像序列特征点进行矫正后，通过线性三角形法来初始化与其对应的三维空间的点。在每一幅视频监控的运动图像序列中，分别测量将这些方程组合成的形式，得到关于的线性方程，将进行扩展，得到以下公式，其中前两个是线性独立的。

式中：表示的行，关于的向量是线性的，形成与近似的方程，得到：

式（12）的最小二乘解则为初始化的视频监控中运动图像序列三维空间点坐标的齐次表示。

然后对视频监控中的相机进行自标定，自标定指直接由未标定的多幅图像完成视频监控相机内参数的设定，从而根据视频监控图像完成度量重构的计算，提高计算的灵活性。

设定表示视频监控相机的视点，表示三维空间坐标系中某一点的空间坐标。视频监控相机的有效焦距表示图像平面与光心间的距离，表示视频监控相机模型下点坐标，从空间的三维坐标到平面坐标的转换步骤可分为两步。

对三维空间坐标系到视频监控相机坐标系的坐标转换，可表示成：

式中：表示视频监控相机的旋转矩阵；表示视频监控相机的平移向量，可表示为：

式中：分别表示视频监控中运动图像序列三维点在坐标变换过程中沿轴、轴和轴三个方向的平移量。

在视频监控中，相机模型下透视投影变换可表示为：

通过上述方法，完成视频监控中运动图像序列的坐标转换，实现视频监控中运动图像序列的纹理映射，从而完成视频监控中运动图像序列三维重建。

2 实验结果与分析

为了证明本文提出的基于图像特征点提取与匹配的视频监控中运动图像序列三维重建方法的有效性，进行仿真实验，实验在Windows 7 Ultimate的操作系统下进行，CPU型号是3.2 GHz的Intel Core I3，运行平台为Microsoft Visual Studio.NET 2010。通过将本文提出的三维重建方法与文献[6?7]所提三维重建方法进行对比，完成本次实验。endprint

首先对三种视频监控中运动图像序列三维重建方法重建后的图像清晰度进行对比，设清晰度的单位为像素，其计算过程如下：

式中：表示通过种方法进行三维重建的清晰度，分别表示种方法的转换系数；表示视频监控相机的旋转矩阵；表示的矫正向量。

通过计算，得到三种方法进行重建后的图像清晰度对比结果，如表1所示。

为了更明显地表示三种方法的重建结果，将表1转换成折线图形式，得到的对比结果如图1所示。

从表1，图1可以看出，无论通过哪种方法进行三维重建，都有利于提高视频监控中运动图像序列的清晰度，且重建后视频监控中运动图像序列清晰度随着原视频监控中运动图像序列清晰度的提高而提高，但本文所提方法对应的图像清晰度随着原视频监控中运动图像序列清晰度的提高，提高速度相比文献[6?7]较快，且从三条折线的起点可以看出，本文所提方法进行三维重建的原始清晰度较高。

对三种视频监控中运动图像序列三维重建方法进行时间对比。为保证实验的准确性，进行了500次实验，以每50次实验结果作为一组数据，得到平均耗时，具体计算过程如下所示：

式中：代表实验结果次数；表示实验花费的总时间；表示实验中的休息时间。得到三种视频监控中运动图像序列三维重建方法耗时对比，对比结果如图2所示。

图2中，折线的起点表示三种方法的理论耗时。通过图2可以看出，本文所提方法花费时间较少，且实际耗时与理论耗时差距小，说明利用此方法进行视频监控中运动图像序列三维重建的重建效果较稳定。

3 结 语

随着科技水平和生活质量的提高，人们对视觉要求越来越强烈。对视频监控中运动图像序列三维重建可提高视频监控中运动图像序列视觉效果。本文所提基于图像特征点提取与匹配的视频监控中运动图像序列三维重建方法，有利于降低三维重建耗时，提高重建后图像质量，具有良好的使用价值。

参考文献

[1] 高欣健，张旭东，高亚捷，等.基于单幅灰度图像的快速三维重建方法研究[J].机械工程学报，2014，50（2）：42?47.

GAO Xinjian， ZHANG Xudong， GAO Yajie， et al. Fast method of 3D surface reconstruction based on single gray image [J]. Journal of mechanical engineering， 2014， 50（2）： 42?47.

[2] 赵春宇，孙伟，陈许蒙.微惯性传感器加速的序列图像三维重建方法[J].光学精密工程，2016，24（10）：559?566.

ZHAO Chunyu， SUN Wei， CHEN Xumeng. 3D reconstruction of sequence images accelerated by micro inertial sensors [J]. Optics and precision engineering， 2016， 24（10）： 559?566.

[3] 罗宇，宋歌，杨红雨.基于图像识别的建筑物三维重建[J].计算机工程与设计，2015，36（1）：191?196.

LUO Yu， SONG Ge， YANG Hongyu. 3?D rebuilding based on recognition of image [J]. Computer engineering and design， 2015， 36（1）： 191?196.

[4] 魏楚亮，罗培羽，洪晓斌，等.基于单张照片模式的三维图像重建新方法研究[J].中国测试，2014，40（2）：23?26.

WEI Chuliang， LUO Peiyu， HONG Xiaobin， et al. Research on a new method of 3D image reconstruction based on single photo mode [J]. China measurement & test， 2014， 40（2）： 23?26.

[5] 张丹，吕学强，肖诗斌，等.基于轮廓线法的汽车类外观专利图像三维重建[J].计算机应用与软件，2015，32（4）：170?174.

ZHANG Dan， L? Xueqiang， XIAO Shibin， et al. 3D reconstruction of automobile design patent images based on contour algorithm [J]. Computer applications and software， 2015， 32（4）： 170?174.

[6] 丁伟利，陈瑜，马鹏程，等.基于阵列图像的自适应光场三维重建算法研究[J].仪器仪表学报，2016，37（9）：2156?2165.

DING Weili， CHEN Yu， MA Pengcheng， et al. Study on adaptive light field 3D reconstruction algorithm based on array image [J]. Chinese journal of scientific instrument， 2016， 37（9）： 2156?2165.

[7] 张聪炫，陈震，黎明.单目图像序列光流三维重建技术研究综述[J].电子学报，2016，44（12）：3044?3052.

ZHANG Congxuan， CHEN Zhen， LI Ming. Review of the 3D reconstruction technology based on optical flow of monocular image sequence [J]. Acta electronica sinica， 2016， 44（12）： 3044?3052.

[8] 沈振一，孙韶媛，赵海涛.基于PP?MRF模型的单目车载红外图像三维重建[J].东华大学学报（自然科学版），2015，41（3）：341?347.

SHEN Zhenyi， SUN Shaoyuan， ZHAO Haitao. Three?dimensional reconstruction from monocular vehicular infrared images based on PP?MRF model [J]. Journal of Donghua University （natural science edition）， 2015， 41（3）： 341?347.

[9] 于春和，祁乐阳.基于HALCON的双目摄像机标定[J].电子设计工程，2017，25（19）：190?193.

YU Chunhe， QI Leyang. Binocular camera based on HALCON [J]. Electronic design engineering， 2017， 25（19）： 190?193.

[10] 隋巧燕，董洪伟，刘蕾.双目下点云的三维人脸重建[J].现代电子技术，2015，38（4）：102?105.

SUI Qiaoyan， DONG Hongwei， LIU Lei. 3?D point cloud face reconstruction with binocular system [J]. Modern electronics technique， 2015， 38（4）： 102?105.endprint