不同场景下虚拟现实视频畸变校正算法

摘要：不同场景下虚拟现实重构视频受到运动目标以及载体方位不稳定等因素的影响导致视频畸变，提出基于运动补偿及特征图像配准的虚拟现实视频畸变校正算法.基于兴趣特征点检测的方法建立不同场景下虚拟现实视频图像检测模型，通过图像配准和角点稀疏性检测，实现对虚拟现实视频进行畸变成分检测、动态描述和特征匹配，将不同场景下虚拟现实视频的图像帧投影到一个公用坐标系，并从相邻帧的背景层中分离出视频的畸变成分，采用运动补偿及特征图像配准的方法实现视频畸变动态校正.仿真结果表明，采用该方法进行不同场景下虚拟现实视频畸变校正的动态配准能力较好，适合不同复杂场景下的视频图像虚拟现实重构和检测.

关键词：不同场景；虚拟现实；视频；畸变校正；帧投影

中图分类号：TP391 文献标志码：A

文章编号：2095-6991（2023）01-0040-05

Abstract：In different scenes， the reconstructed video of virtual reality is distorted by the images of moving objects and the unstable orientation of the carrier. This paper proposes a distortion correction algorithm of virtual reality video based on motion compensation and feature image registration. Based on the method of interest feature point detection， the image detection model of virtual reality video in different scenes is established. Through image registration and corner sparsity detection， the distortion component detection， dynamic description and feature matching of virtual reality video are realized. The image frames of virtual reality video in different scenes are projected to a common coordinate system， and the distortion components of video are separated from the background layers of adjacent frames. Motion compensation and feature image registration are used to realize the dynamic correction of video distortion. The simulation results show that the dynamic registration ability of virtual reality video distortion correction in different scenes is good， and it is suitable for video image virtual reality reconstruction and detection in different complex scenes.

Key words：different scene; virtual reality; video; distortion correction; frame projection

随着虚拟现实技术的发展，建立不同场景下的视频重构和识别模型在军事目标识别以及不同监控场景下的视频重构和识别中都具有重要意义.在进行虚拟现实的视频重构中，由于受到不同场景下成像因素的干扰，导致不同场景下虚拟现实视频成像存在畸变，因此需要建立不同场景下虚拟现实视频畸变校正模型，通过畸变校正和动态修正，实现对视频的虚拟现实重构和仿真，提高视频仿真重构的精准度[1].

对不同场景下虚拟现实视频畸变校正是通过视频图像目标识别和跟踪实现的.首先对时空信息的联合特征参数进行识别，初始化视频先验信息；然后通过时空联合信息分布式检测，进行视频畸变修正.当前，对不同场景下虚拟现实视频畸变校正的方法主要有基于Harris角点检测的视频畸变校正方法、基于感知场景的空间重构视频跟踪校正方法以及SIFT畸变校正方法等[2-3].结合图像拼接和运动目标检测，进行视频的虚拟现实重构.美国DARPA（Defense Advanced Research Projects Agency，DARPA）研发的虚拟视频监控系统COCOA系统采用多种类型的运动目标自动检测和视频校正方法，该方法在视频的动态检索模糊度较大，Aryo Wiman Nur Tbrahim提出了MODAT（Moving Objects Detection andTracking，MODAT）系统，通过SIFT角点旋转不变矩分析，实现虚拟视频校正，但该方法在虚拟视频动态校正和重构的效能不好[4].针对上述问题，本文提出基于运动补偿及特征图像配准的虚拟现实视频畸变校正算法，首先建立不同场景下的虚拟现实视频采集和成像模型；然后将不同场景下虚拟现实视频的图像帧投影到一个公用的坐标系，并从相邻帧的背景层中分离出视频的畸变成分，采用运动补偿及特征图像配准的方法实现视频畸变动态校正，最后对改进算法进行仿真测试分析，证明本文方法在提高视频畸变校正能力方面的优越性.

4 结语

建立不同场景下虚拟现实视频畸变校正模型，通过畸变校正和动态修正，实现对视频的虚拟现实重构和仿真.本文提出基于运动补偿及特征图像配准的虚拟现实视频畸变校正算法，采用显著度融合的方法，建立时间显著性和空间显著性区域分布模型，采用子空间融合降噪和增强学习，提高虚拟现实视频图像的检测和识别能力.经过测试，本文方法对虚拟现实视频畸变校正的精度较高，特征聚类性较好，校正后的输出误差较低，提高了视频畸变动态校正能力.

参考文献：

[1] EVERINGHAM M，ESLAMI S M A，VAN GOOL L，et al.The PASCAL visual object classes challenge：a retrospective[J].International Journal of Computer Vision，2015，111（1）：98-136.

[2] LENG J，LIU Y.An enhanced SSD with feature fusion and visual reasoning for object detection[J].Neural Computing and Applications，2019，31（10）：6549-6558.

[3] 张永宏，严斌，田伟，等.基于PPMU-net的多特征高分辨率遥感道路提取[J].计算机工程与应用，2021，57（1）：200-206.

[4] 许长青，陈振杰，侯仁福.融合不精准先验知识的Landsat 8 OLI影像深度学习分类方法[J].计算机应用，2020，40（12）：3550-3557.

[5] SULLA-MENASHE D，GRAY J M，ABERCROMBIE S P，et al.Hierarchical mapping of annual global land cover 2001 to present：the MODIS Collection 6 Land Cover product[J].Remote Sensing of Environment，2019，222：183-194.

[6] 刘巧元，王玉茹，张金玲，等.基于相关滤波器的视频跟踪方法研究进展[J].自动化学报，2019，45（2）：265-275.

[7] 李墨羽，焦瑞莉，朱云龙，等.GNSS-R SAR地面目标建模与成像[J].计算机工程与应用，2019，55（23）：265-270.

[8] 王嫣然，陈清亮，吴俊君.面向复杂环境的图像语义分割方法综述[J].计算机科学，2019，46（9）：36-46.

[9] 苏健民，杨岚心，景维鹏.基于U-Net的高分辨率遥感图像语义分割方法[J].计算机工程与应用，2019，55（7）：207-213.

[10] 余玛俐，张海.基于低秩矩阵填充与全变分约束的HDR成像[J].计算机工程，2019，45（4）：262-266，274.

[11] 刘佶鑫，魏嫚.可见光-近红外HSV图像融合的场景类字典稀疏识别方法[J].计算机应用，2018，38（12）：3355-3359，3366.

[12] 孙佳美，吴成茂.正则化图形模糊聚类及鲁棒分割算法[J].计算机工程与应用，2019，55（11）：179-186.

[13] 郑乐乐，韩慧妍，韩燮.基于显著性与弱凸性的三维点云模型分割[J].计算机工程，2018，44（4）：299-304.

[14] 余娜，刘彦，魏雄炬，等.基于注意力机制和金字塔融合的RGB-D室内场景语义分割[J].计算机应用，2022，42（3）：844-853.

[15] 邓天民，冒国韬，周臻浩，等.基于密集连接卷积神经网络的道路车辆检测与识别算法[J].计算机应用，2022，42（3）：883-889.

［责任编辑：李 岚］

基金项目：福建省中青年教师教育科研项目（JAT210719）

作者简介：王敏（1976-），女，重庆人，副教授，研究方向：计算机技术.E-mail：gaoyiliuban126@163.com.