基于机电传感的虚拟课堂演播室系统的研究

沈 渊，何成芊，洪 亮

（扬州市职业大学 信息工程学院，江苏 扬州 225009）

基于机电传感的虚拟课堂演播室系统的研究

沈 渊，何成芊，洪 亮

（扬州市职业大学 信息工程学院，江苏 扬州 225009）

作为虚拟课堂演播室系统的核心技术，摄像机定位与跟踪技术是目前研究的热点。针对图形识别方式的摄像机定位跟踪系统存在着数据处理时间长、视频延时量较大等缺点，提出虚拟课堂应采用机电传感方式实现摄像机的定位与跟踪。分析摄像机镜头校准的方法，给出了机电传感跟踪流程和精度依据，并对系统主机获取运动参数方式给出设计思路。该方案具有摄像机的定位跟踪几乎没有延迟、参数精确可靠等优势，是虚拟课堂演播室较为合适的定位跟踪方式。

虚拟课堂；机电传感；定位；跟踪；演播室

近些年来，虚拟课堂演播室系统在各类学校虚拟课堂建设中得到了更多的关注与重视。究其原因，是目前大多数虚拟课堂的学生看到的教学视觉信息多为老师的头肩像且很少发生变化，不能形象、具体地展示所要讲述的教学内容。随着计算机技术与虚拟现实技术的发展，虚拟演播室技术在广播电视领域真正走向了实用。它的实质是将电视摄像机现场拍摄的人物活动图像与计算机制作的虚拟三维场景进行实时数字化的合成，使人物与虚拟背景能够同步变化，以实现两者天衣无缝的融合，从而获得完美的画面合成。在虚拟课堂的建设中引入这项技术，不仅可以节约巨额的场地硬件投入，而且能轻而易举地实现学习者在虚拟课堂中足不出户即能置身于各种特殊的现场和情景中，提高了教学内容制作效率。

1 虚拟课堂演播室定位跟踪方式的选择

虚拟课堂演播室系统在各类学校虚拟课堂建设中得到了更多的关注与重视，实现摄像机拍摄的内容和虚拟场景能够无缝融合。摄像机定位与跟踪技术的选择在很大程度上决定了虚拟课堂演播室系统的建设方式和功能特点。目前大多数学校虚拟课堂演播室摄像机跟踪定位系统主要采用图形识别方式。图形识别定位跟踪方式无需在摄像机上安装附加装置，安装方便，成本较低。但因为要对每幅画面进行较大数据量分析和计算，数据处理时间长，视频延时量较大。同时，拍摄过程中教学人员的活动范围受到一定的限制，也无法拍摄特写镜头，还对灯光布置要求比较严格。根据虚拟课堂建设的特点和教与学活动的要求，笔者认为机电传感定位跟踪方式有着无需特别复杂计算就能实现摄像机的定位跟踪。数据几乎没有延迟，参数精确可靠等优势，更加适合虚拟课堂演播室的需求。

2 虚拟课堂演播室摄像机初始定位与校准

初始化定位与校准是为保证虚拟场景准确接受实际摄像机机位参数，使其与实际摄像机的机位参数和镜头参数完全一致，以便实际摄像机作机动变化时虚拟场景的动作与实际摄像机的动作完全同步[1]。

2.1 安装定位与校准

虚拟课堂演播室系统设备安装调试时，要进行首次定位与校准。其主要目的是让系统感知演播室的大小和位置并数据化，并将其坐标与虚拟场景坐标进行锁定，使它们工作达到一致[2]。首次定位与校准先通过选取样点获得相对坐标，再经位置测量得出摄像机机位与虚拟场景的对应关系，完成系统定位。

2.2 日常定位与校准

日常定位与校准是系统为保证虚拟场景每次准确获知摄像机机位参数而设置的工作机制。完成安装定位和校准工作获得准确位置关系后，虚拟课堂演播室系统每次使用时就依据这个位置坐标关系准确计算出初始位置，从而完成每次工作的初始化。

3 虚拟课堂演播室摄像机镜头的校准

摄像机的校准是基于机电传感的虚拟课堂演播室系统中三维重建的关键一步，目的是要获取摄像机及镜头的光学与几何特性，主要用于真实摄像机与虚拟摄像机视域的匹配。

3.1 镜头校准的原因

在机电传感定位与跟踪方式中，系统通过安装在摄像机镜头上的运动参数编码器感知码盘刻度变化从而获取摄像机的运动参数。因为摄像机镜头的焦点在变焦和聚焦时的移动是非线性的，故需通过摄像机校准获得变焦透镜组的焦距随变焦和聚焦码盘刻度变化的非线性关系，并相应的获得虚拟场景中虚拟摄像机的视角与真实摄像机变焦和聚焦变化的非线性关系[3]。当真实摄像机镜头推拉、变焦时，虚拟场景根据非线性曲线获得精确的变化参数，完成同步运动。

3.2 镜头校准的方法

摄像机的校准的过程就是获得摄像机几何模型参数的过程。这些准确参数一般必须通过实验与计算才能得到，这个过程也称为摄像机标定[4]。针对不同的摄像机模型，经典的校准算法主要有线性算法（DLT）和非线性算法。Roger Tsai提出Tsai两步标定方法[5]，利用径向一致约束来求解摄像机镜头外参数，根据外参数进而求解摄像机的其他参数，是一个易于实现且精度能满足要求的算法。

3.2.1 制作标定板获取标定图像序列

标定板是贴在玻璃板上的一张8×8格的国际象棋棋盘格（如图1所示），在棋盘格的6×6处的4个点设置校准点（如图2所示）。摄像机从不同的角度拍摄若干张标定板灰度图像。为了尽可能地减小相机镜头成像畸变对标定精度的影响，应尽量使标定板与相机立面平行，并使标定板位于成像的中心位置。对每个拍摄角度获得的图像进行编号并存储至计算机。

图1 标定板图案Fig.1 Calibration board pattern

图2 标注校准点的选择Fig.2 Mark calibration point selection

3.2.2 两步实现准确标定

在取得标注特征点的坐标后，与其三维坐标对应[6]，用最小二乘法求解线性方程组解得摄像机外参数和平移量。由于线性标定没有考虑镜头变形，存在误差大和结果不稳定的缺陷，因此要进行非线性优化[4]。根据上一步求得的摄像机外参数数据，求解摄像机内部参数。如果摄像机无透镜畸变，则可由一个线性方程直接求出。这个过程所求解的内外部参数分别为焦距不径向畸变因子k，旋转矩阵R和平移向量t。

4 虚拟课堂演播室摄像机机电传感跟踪

跟踪效果是评价虚拟课堂摄像机调控能力的重要指标之一。如果不能高质量的即时跟踪，前景与背景就会产生脱节或停顿，甚至出现明显的失真影像。虚拟课堂演播室机电传感跟踪系统依靠安装在摄像机镜头上的变焦镜头传感器获取摄像机镜头运动参数，依靠安装在三脚架上的机电摇摆和俯仰码盘获取摄像机的方向及机身运动参数。

4.1 虚拟课堂摄像机的运动类型

虚拟课堂演播室中的摄像机一般因为考虑拍摄质量是架设在固定或移动云台之上，其运动可以有摄像机镜头的运动、摄像机机头方向的运动和摄像机机身的运动3种类型。摄像机镜头的运动主要包括光圈、变焦和聚焦的变化。摄像机机头方向的运动主要包括机头的横摇、俯仰。摄像机机身的运动主要包括摄像机的移动、升降和旋转。这3种类型的运动都可以通过机电传感设备获取运动参数，实现运动跟踪，保证拍摄内容和虚拟场景的融合。

4.2 机电传感技术的跟踪应用

4.2.1 机电传感跟踪流程

当摄像机有镜头运动和机头方向运动时，安装在摄像机运动位置的咬合齿轮作用于传感器。这种传感器实质上是一种光电编码器，将以上配件的机械运动信息传递至编码器的转轴[7]上。再经FPGA芯片对光电编码器输出的信号进行采集计算，可实现设备小型化、集成化，还能进行较高频率的数据处理[8]。编码数据通过RS232或RS422接口传送到虚拟课堂演播室主机。虚拟课堂演播室主机根据推拉变焦信息确定画面景别，聚焦信息协助纠正画面范围，摇摄俯仰角度变化数据确定虚拟场景的空间透视。当摄像机机身发生运动的时，可以通过安装在云台脚轮及升降支柱的传感器测得摄像机云台的移动和旋转变化，从而推算出摄像机机身位置变化参数。（如图3所示）摄像机最终运动变化参数是两方面运动参数的叠加。

图3 摄像机运动参数采集编码流程Fig.3 Camera motion parameters acquisition and encoding process

4.2.2 机电传感跟踪精度

虚拟课堂为保证教学活动的连续性和排除干扰的需求，对摄像机的跟踪精度提出了较高的要求。跟踪精度要求任意轴向实际旋转角度和位移与采集处理得到的旋转角度和位移要精确一致，虚拟场景摄像机的变焦值要与实际摄像机变焦值一致。

依目前的机电传感技术水平，虚拟课堂机电传感跟踪方式可获得很高的精度，完全可以满足虚拟课堂的需求。我们以虚拟课堂常用拍摄镜头——摇镜头为例。假若摄像机提供的横向分辨率为800，传感器精度要想达到不降低分辨率，则其分辨出的最小视角应达到5/1 000度左右。而目前使用的一般传感器的精度早已达到1/1 000度，完全可以满足虚拟课堂演播室的跟踪精度要求，而且其设备投入也不大。

4.2.3 虚拟课堂系统对跟踪数据的处理

虚拟课堂演播室跟踪系统由编码器送出数字脉冲信号。虚拟课堂系统如何完成这一信号的采集也是一个工程技术难点。因为在电视工程领域，所有电视设备信号都是由同步信号锁定的。演播室跟踪系统送来的摄像机运动参数也不例外，必须确定在每场时间里面摄像机运动的相对量，否则背景移动的画面将不会和摄像机前景运动的画面同步，出现背景画面抖动、撕裂等现象。虚拟课堂可以将编码器送出的数字脉冲信号直接输送至脉冲采集电路，脉冲采集电路按同步信号频率采集需要的脉冲。这样就不需要对编码器的信号进行同步调制，整个传感跟踪系统无需延时，降低了整个系统的延时时间[7]。同时也不需要采集处于行、场逆程时段的无用脉冲信号，提高了采集效率。虚拟课堂主机从而准确获知摄像机运动的相对位移，然后与虚拟场景合成，人物与虚拟背景能够同步变化[9]。最终通过渲染控制计算机将画面与虚拟场景融合。

5 结束语

虚拟课堂是目前学校现代远程教育建设的热点。合理选择摄像机定位跟踪形式决定了虚拟课堂演播室系统的运行效果，也决定了虚拟课堂信号源的质量。文中从系统安装定位与校准入手，分析摄像机镜头校准方法，给出机电传感跟踪流程和精度依据。但对虚拟课堂演播室的研究和设计还存在着诸多不足，如关于摄像机运动参数的数据采集系统没有深入研究和探讨，未能给出全面的解决方案。这些问题还有待以后的工作中深入研究，向同仁请教。

[1]成海民.数字化三维虚拟演播室系统 [J].电影文学，2007（20）:62-63.

CHENG Hai-ming.Digital 3D virtual studio system[J].Movie Literature， 2007（20）:62-63.

[2]许艳，张宗印.虚拟演播室的定位与校准[J].现代电视技术， 2010（2）:125-126.

XU Yang，ZHANG Zong-yin.The positioning and calibration of virtual studio[J].Advanced Television Engineering，2010（2）:125-126.

[3]鲁敏，郁文贤，鲍虎军，等.基于机电跟踪的三维虚拟演播室系统[J].电子学报， 2003，31（12）:2035-2039.

LU Min，YU Wen-xian，BAO Hu-jun，et al.3D Virtual Studio System Based on Electromechanical Tracking [J].Acta Electronica Sinica， 2003，31（12）:2035-2039.

[4]王靖韬，侯振杰.传统相机标定方式的自动标定方法[J].计算机工程与应用，2010，46（35）:205-208.

WANG Jing-tao，HOU Zhen-jie.Camera self-calibration method based on traditional calibration method[J].Computer Engineering and Applications， 2010，46（35）:205-208.

[5]Tsai R Y.AVersatile camera calibration technique for highaccuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses [J].IEEE Journal of Robotics Automation， 1987，RA-3（4）:324-334.

[6]鲁敏，匡纲要，郁文贤.基于机械跟踪的虚拟演播室系统中摄像机校准和定位算法 [J].国防科技大学学报，2004，26（3）:68-73.

LU Min，KUANG Gang-yao，YU Wen-xian. Camera calibration and initial alignment in virtual studio based on electromechanical tracking[J].Journal of National University of Defense Technology， 2004，26（3）:68-73.

[7]陈艺腾.虚拟演播室传感跟踪系统的技术比较和分析[J].中国有线电视， 2010（7）：845-847.

CHEN Yi-teng.Virtual studio technology sensing system comparison and analysis[J].China Digital Cable TV，2010，（7）：845-847.

[8]唐虹，石峰，怀时卫，等.基于FPGA的虚拟演播室数据采集系统设计[J].中国制造业信息化，2011，40（1）:42-45.

TANG Hong，SHI Feng，HUAI Shi-wei，et al.The design of data acquisition system of virtual studio based on FPGA[J].Manufacture Information Engineering of China，2011，40（1）:42-45.

[9]杨健，蔡潮潮.虚拟演播室技术在电视节目制作中的应用[J].电脑知识与技术， 2011，7（19）:4708-4709.

YANG Jian，CAI Chao-chao.Virtual studio technology in the production of television programs[J].Computer Knowledge and Technology，2011，7（19）:4708-4709.

Research of virtual class studio system based on the electromechanical sensing

SHEN Yuan，HE Cheng-qian，HONG Liang
（Information Engineering Institute，Yangzhou Polytechnic College，Yangzhou225009，China）

As the virtual class studio system core technology，camera positioning and tracking technology is a hot topic at present.Graphics identification camera positioning and tracking system has data processing time is long，a large amount of video delay.Virtual class should be used for electromechanical sensing mode to realize the camera positioning and tracking.Analysis of the camera calibration method，gives the electrical sensor tracking process and precision based on.The scheme has the camera positioning and tracking with little delay，parameter precise and reliable advantage.This is a virtual class studio more appropriate positioning and tracking method.

virtual class； electromechanical sensing； positioning； tracking； studio

TP391

A

1674－6236（2011）23-0001-03

2011-10-09 稿件编号：201110022

扬州市职业大学科教研项目（11j01）

沈 渊（1978—），男，安徽天长人，硕士，讲师。 研究方向：多媒体、人工智能 。