基于移动增强现实技术的融媒体系统的研究

2021-01-11 22:13吕科锦秦一松
数字通信世界 2021年9期
关键词:图像识别二维码动画

吕科锦,秦一松

(广西城市职业大学,广西 崇左 532200)

0 引言

现阶段,虚拟现实技术备受关注,且已经成为资本市场尤为关注的热点课题。无论是在终端器件方面、平台打造方面,还是在行业应用层面,国内外相关企业皆开始致力于虚拟现实技术的布局。毋庸置疑,在确保虚拟现实技术实用性的前提下,关注线下场景用户的体验互动,构建操作简单、开发成本和复杂度较低的虚拟现实技术应用方案,能够取得理想的展示效果,同时,也有着理想的行业推广价值。

文章即结合图像识别技术、虚实结合技术和三维注册等技术,立足于移动增强显示理念,构建了融媒体系统。该系统为手机端APP,主要包括四部分,即:模型展示子系统、视频播放子系统、二维码识别子系统和游戏互动子系统,用户利用移动端摄像头进行图片扫描后,即可获取形式不同的增强现实效果,同时,用户利用手势和声音等,即可实现与系统的交互,进而取得更加良好的趣味性和体验感。

本文从项目特点出发,分别对四个子系统进行了全面的开发和阐述,同时,立足于兼容性需求,选择Unity 3d作为开发引擎、选择Easyar实现增强现实效果、选择C#作为开发语言。

1 融媒体系统关键技术

从增强现实的特性来看,主要包括四方面,即:图像识别、虚实结合、实时交互和三维注册。

(1)图像识别。在本文所构建的融媒体系统内部,图像识别最为基础也最为关键。图像识别部分所包括的图像匹配功能,能够找到同一场景两幅图像内对应的特征关系。从图像分配的步骤来看,主要分为四步:一是检测图像特征点,二是提取图像特征点描述向量,三是粗匹配图像特征点,四是消除错匹配。总结来说,算法执行大概流程为:先应用ORB特征提取,依据特征点欧氏距离,实现图像粗匹配,然后应用RANSAC算法,筛选粗匹配点,最终完成匹配。

(2)三维注册。所谓三维注册技术,实际上就是以实时追踪摄像头的位置信息为依据,判断出虚拟信息于真实场景内正确位置,并实时显示于显示设备,最终达成虚拟信息与真实场景相融合目标的一项技术。现阶段,仿射变换注册技术和相机定标注册技术为常见的三维注册技术[1]。

(3)虚实结合。利用图像识别子系统和三维注册子系统的功能,即可获得足够设置虚拟模型位置的相关信息,将真实场景和虚拟信息结合后,即可良好的呈现给用户。为实现真正意义上虚实无缝结合目标,要采取有效措施,根据环境和光照变化的实际情况,对虚拟物体的纹理信息进行调整,进而实现物体光照和阴影自然变化的目标,最终强化用户的沉浸感。

(4)交互控制。在移动A R系统内部,交互控制技术作用显著,与跟踪注册和显示技术联系密切,一般来说,交互控制技术的优劣,直接关乎着虚拟对象和现实场景交互体验质量。同时,在移动AR系统内部,基于计算机输入要求和输出要求,围绕人机交互构建了大量的研究,日前,仅应用鼠标和键盘两项传统的输入方式,已经无法契合新时期系统人机交互需求,若想达成理想的增强现实目标,务必要保障交互方式的自由性。近段时间以来,在计算机技术的推动下,新型的人机交互方式频频涌现,本文所构建的系统,即采用了语音识别、手势识别等先进的交互方式。

2 融媒体系统实现功能

本文所构建的融媒体系统,主要可以实现优化现实效果、手势交互、粒子特效、语音动画、颜色实时映射和二维码识别等功能。

(1)优化现实效果。利用手机摄像头,用户即可对图片进行扫描,摄像头在扫描图片阶段,若检测到与数据库内存储图像相同的特征点,即会对应到三维模型和三维视频,并显示于屏幕,优化现实效果。

(2)手势交互。为强化系统的娱乐性,更好地彰显系统的交互功能,本系统具有模型手势控制功能。在完成图像的扫描和识别后,用户即可于虚拟屏幕空间获取对应三维模型,通过触摸手机屏,即可以手势控制模型,达成和模型的交互目标。具体来说,手势控制主要包括:一是点击,用户利用手指点击模型,模型即会作出反应,产生对应的动画和声音。本系统综合考虑了用户的习惯,在模型上添加了碰撞体,用户在点击模型本身后,即会发生点击效果[2]。二是缩放,通过两手指间的滑动,即可实现模型的缩放目标,用户可以从自身需求出发,灵活调整模型缩放比例。三是旋转,通过手指于屏幕上的滑动,即可控制模型旋转,对模型进行全方位的观察。四是移动,区别于缩放操作,用户两个手指同时向同一方向移动,即可移动模型。

(3)粒子特效。在UI主界面上应用粒子特效,可强化效果的逼真程度。

(4)语音动画。在本系统的语音动画模块内,主要应用Unity 3d内嵌Animation动画系统,并以动画状态机为依托,对动画的交换和交互进行控制[3]。

(5)颜色实时映射。本系统的颜色实时映射效果主要是为了满足二维识别图到三维模型UV图的映射需求,可以良好的将二维图像着色创作效果表现于三维模型。

从颜色实时映射效果的实现来看,主要涉及图像处理算法如下:一是纹理映射,二是双线性插值。首先,基于摄像头拍摄二维画面,可掌握画面四个角点与识别框位置关系,进而确保画面整体处于识别框内部,在此基础上,对识别区域透视变化,也就是利用二维纹理映射反向映射算法,实现不规则图像映射于规则矩形内的目标[4]。然后,应用线性插值算法,开展图像采样工作。最后,完成图像处理后,将图像作为模型Texture附着三维模型表面,获取对应颜色。

受手机设备性能限制,模型Texture采用512×512分辨率,如此,即可兼顾处理速度和着色效果的要求[5]。

(6)二维码识别。相比于传统二维码识别效果而言,增强现实技术背景下的二维码识别,识别内容可显示于手机屏幕,效果更加理想。

3 融媒体系统开发实现

(1)开发环境。本系统选择Unity 3d作为开发环境,选择Easy SDK作为开发工具,选择UGUI功能模块作为界面开发工具,选择Animation作为模型开发动画系统,选择Particle System开发粒子特效[6]。

(2)界面开发。在界面设计阶段,要力求界面美观、简洁,并带有理想的操作性。在开发UI界面阶段,可应用UGUI系统进行高级控件的绘制,并添加背景音效和粒子效果,强化沉浸效果。

(3)功能开发。毋庸置疑,本系统各个学习场景搭建,皆以移动增强现实技术为核心。一是在识别图处理方面,根据Easyar特征点标记特点,识别图多选择特征点多、对比度高的图像[7]。二是在Unity 3d内开发,主要包括调整场景布局、应用C#编程语言编写脚本和导入Easyar SDK等。三是依托Unity 3d将系统导入安卓平台,于智能手机上测试系统功能。

4 系统发布应用

系统程序发布后,下载APP即可进行使用,用户通过移动端摄像头扫描,即可进行不同的场景,获取不同形式的体验效果。一是AR模型场景,APP可于视频内实时渲染叠加模型,用户利用相关手势,即可旋转、放大和缩小模型。二是视频场景,系统识别图像后,会将视频叠加于识别图播放。三是二维码扫描场景,摄像头扫描二维码后,会将解码的内容显示于手机屏幕,若为网页信息,用户点击按钮后,即可进入网页。第四是AR涂涂乐,用户在图像涂色后,扫描图像即可予以显示。

猜你喜欢
图像识别二维码动画
Clifford hits the big screen
做个动画给你看
二维码
小康二维码
动画发展史
我的动画梦
基于Resnet-50的猫狗图像识别
高速公路图像识别技术应用探讨
图像识别在物联网上的应用
图像识别在水质检测中的应用