基于移动增强现实技术的融媒体系统的研究

吕科锦，秦一松

（广西城市职业大学，广西 崇左 532200）

0 引言

现阶段，虚拟现实技术备受关注，且已经成为资本市场尤为关注的热点课题。无论是在终端器件方面、平台打造方面，还是在行业应用层面，国内外相关企业皆开始致力于虚拟现实技术的布局。毋庸置疑，在确保虚拟现实技术实用性的前提下，关注线下场景用户的体验互动，构建操作简单、开发成本和复杂度较低的虚拟现实技术应用方案，能够取得理想的展示效果，同时，也有着理想的行业推广价值。

文章即结合图像识别技术、虚实结合技术和三维注册等技术，立足于移动增强显示理念，构建了融媒体系统。该系统为手机端APP，主要包括四部分，即：模型展示子系统、视频播放子系统、二维码识别子系统和游戏互动子系统，用户利用移动端摄像头进行图片扫描后，即可获取形式不同的增强现实效果，同时，用户利用手势和声音等，即可实现与系统的交互，进而取得更加良好的趣味性和体验感。

本文从项目特点出发，分别对四个子系统进行了全面的开发和阐述，同时，立足于兼容性需求，选择Unity 3d作为开发引擎、选择Easyar实现增强现实效果、选择C＃作为开发语言。

1 融媒体系统关键技术

从增强现实的特性来看，主要包括四方面，即：图像识别、虚实结合、实时交互和三维注册。

（1）图像识别。在本文所构建的融媒体系统内部，图像识别最为基础也最为关键。图像识别部分所包括的图像匹配功能，能够找到同一场景两幅图像内对应的特征关系。从图像分配的步骤来看，主要分为四步：一是检测图像特征点，二是提取图像特征点描述向量，三是粗匹配图像特征点，四是消除错匹配。总结来说，算法执行大概流程为：先应用ORB特征提取，依据特征点欧氏距离，实现图像粗匹配，然后应用RANSAC算法，筛选粗匹配点，最终完成匹配。

（2）三维注册。所谓三维注册技术，实际上就是以实时追踪摄像头的位置信息为依据，判断出虚拟信息于真实场景内正确位置，并实时显示于显示设备，最终达成虚拟信息与真实场景相融合目标的一项技术。现阶段，仿射变换注册技术和相机定标注册技术为常见的三维注册技术[1]。

（3）虚实结合。利用图像识别子系统和三维注册子系统的功能，即可获得足够设置虚拟模型位置的相关信息，将真实场景和虚拟信息结合后，即可良好的呈现给用户。为实现真正意义上虚实无缝结合目标，要采取有效措施，根据环境和光照变化的实际情况，对虚拟物体的纹理信息进行调整，进而实现物体光照和阴影自然变化的目标，最终强化用户的沉浸感。

（4）交互控制。在移动A R系统内部，交互控制技术作用显著，与跟踪注册和显示技术联系密切，一般来说，交互控制技术的优劣，直接关乎着虚拟对象和现实场景交互体验质量。同时，在移动AR系统内部，基于计算机输入要求和输出要求，围绕人机交互构建了大量的研究，日前，仅应用鼠标和键盘两项传统的输入方式，已经无法契合新时期系统人机交互需求，若想达成理想的增强现实目标，务必要保障交互方式的自由性。近段时间以来，在计算机技术的推动下，新型的人机交互方式频频涌现，本文所构建的系统，即采用了语音识别、手势识别等先进的交互方式。

2 融媒体系统实现功能

本文所构建的融媒体系统，主要可以实现优化现实效果、手势交互、粒子特效、语音动画、颜色实时映射和二维码识别等功能。

（1）优化现实效果。利用手机摄像头，用户即可对图片进行扫描，摄像头在扫描图片阶段，若检测到与数据库内存储图像相同的特征点，即会对应到三维模型和三维视频，并显示于屏幕，优化现实效果。

（2）手势交互。为强化系统的娱乐性，更好地彰显系统的交互功能，本系统具有模型手势控制功能。在完成图像的扫描和识别后，用户即可于虚拟屏幕空间获取对应三维模型，通过触摸手机屏，即可以手势控制模型，达成和模型的交互目标。具体来说，手势控制主要包括：一是点击，用户利用手指点击模型，模型即会作出反应，产生对应的动画和声音。本系统综合考虑了用户的习惯，在模型上添加了碰撞体，用户在点击模型本身后，即会发生点击效果[2]。二是缩放，通过两手指间的滑动，即可实现模型的缩放目标，用户可以从自身需求出发，灵活调整模型缩放比例。三是旋转，通过手指于屏幕上的滑动，即可控制模型旋转，对模型进行全方位的观察。四是移动，区别于缩放操作，用户两个手指同时向同一方向移动，即可移动模型。

（3）粒子特效。在UI主界面上应用粒子特效，可强化效果的逼真程度。

（4）语音动画。在本系统的语音动画模块内，主要应用Unity 3d内嵌Animation动画系统，并以动画状态机为依托，对动画的交换和交互进行控制[3]。

（5）颜色实时映射。本系统的颜色实时映射效果主要是为了满足二维识别图到三维模型UV图的映射需求，可以良好的将二维图像着色创作效果表现于三维模型。

从颜色实时映射效果的实现来看，主要涉及图像处理算法如下：一是纹理映射，二是双线性插值。首先，基于摄像头拍摄二维画面，可掌握画面四个角点与识别框位置关系，进而确保画面整体处于识别框内部，在此基础上，对识别区域透视变化，也就是利用二维纹理映射反向映射算法，实现不规则图像映射于规则矩形内的目标[4]。然后，应用线性插值算法，开展图像采样工作。最后，完成图像处理后，将图像作为模型Texture附着三维模型表面，获取对应颜色。

受手机设备性能限制，模型Texture采用512×512分辨率，如此，即可兼顾处理速度和着色效果的要求[5]。

（6）二维码识别。相比于传统二维码识别效果而言，增强现实技术背景下的二维码识别，识别内容可显示于手机屏幕，效果更加理想。

3 融媒体系统开发实现

（1）开发环境。本系统选择Unity 3d作为开发环境，选择Easy SDK作为开发工具，选择UGUI功能模块作为界面开发工具，选择Animation作为模型开发动画系统，选择Particle System开发粒子特效[6]。

（2）界面开发。在界面设计阶段，要力求界面美观、简洁，并带有理想的操作性。在开发UI界面阶段，可应用UGUI系统进行高级控件的绘制，并添加背景音效和粒子效果，强化沉浸效果。

（3）功能开发。毋庸置疑，本系统各个学习场景搭建，皆以移动增强现实技术为核心。一是在识别图处理方面，根据Easyar特征点标记特点，识别图多选择特征点多、对比度高的图像[7]。二是在Unity 3d内开发，主要包括调整场景布局、应用C＃编程语言编写脚本和导入Easyar SDK等。三是依托Unity 3d将系统导入安卓平台，于智能手机上测试系统功能。

4 系统发布应用

系统程序发布后，下载APP即可进行使用，用户通过移动端摄像头扫描，即可进行不同的场景，获取不同形式的体验效果。一是AR模型场景，APP可于视频内实时渲染叠加模型，用户利用相关手势，即可旋转、放大和缩小模型。二是视频场景，系统识别图像后，会将视频叠加于识别图播放。三是二维码扫描场景，摄像头扫描二维码后，会将解码的内容显示于手机屏幕，若为网页信息，用户点击按钮后，即可进入网页。第四是AR涂涂乐，用户在图像涂色后，扫描图像即可予以显示。