实景动画拍摄系统研制

田　丰，宋　莹，王　攀

(上海大学 上海电影学院，上海 200072)



实景动画拍摄系统研制

田丰，宋莹，王攀

(上海大学 上海电影学院，上海 200072)

为实现实景动画拍摄系统，设计了一种基于嵌入式控制器的实体拍摄支架。针对国外拍摄机器人价格超高的问题，设计了低成本、简便易用的实景动画拍摄系统，完成了计算机端插件、通信接口、嵌入式控制器、运动控制支架。经实际应用，3DMAX中虚拟相机姿态导出精度和分辨率达到30 f/s(帧/秒)，实体相机旋转方向和速率与虚拟相机保持完全同步，实景动画系统同步虚拟相机和实体相机运动路后能获得准确影视内容合成效果。

虚拟相机；实体相机；嵌入式系统；影视特效

1　实景动画拍摄

随着现代影视制作技术的飞速发展，影视特效合成是后期制作的关键步骤[1-7]。特殊拍摄与特效合成也是国内影视信息学科关注的问题[8-10]。实景动画制作合成是特殊拍摄与特效合成的关键技术之一。实景动画技术为内容展示带来了一种全新表达方式，并在国内外影视大片中成为后期制作的最流行手段。现有特效镜头基本都以软件三维跟踪合成方式开展，而软件跟踪方式的约束条件过多：1)实拍画面色彩不能过于丰富或单调，不然跟踪点容易失联；2)实拍摄像机运动不能过快，且受光干扰影响较大，否则也容易失联；3)实拍镜头手持稳定性较低，无法重复拍摄；4)三维跟踪由完备的计算机视觉理论体系支撑，但受到相机分辨率的限制，距离较远处的跟踪精度较低；5)无法提前设置人工拍摄的准确路径；6)反复人工标记跟踪的工作量大；7)虚拟相机跟随实体相机，而无法实现实体相机跟随虚拟相机。

近年来，拍摄机器人已在好莱坞影视节目制作中广泛使用。“地心引力”拍摄中的Motion Control和光盒联合拍摄给影迷留下深刻印象[11]。拍摄机器人已在国外数字制作中占有非常重要的作用，拍摄自动化、信息预览、拍摄前规划等能够快速实现。重复拍摄和指令拍摄使得影视制作的质量和效率大大提高。

拍摄机器人售价近千万，而影视广告市场迫切需要一类低成本、功能简化的微型拍摄系统。本文为实现低成本实景动画(虚实结合)拍摄系统开展了初步实验，完成了整套单轴转动拍摄支架系统，设计了基于3DMAX的控制插件和嵌入式控制器，最后完成了虚拟镜头同步控制实体相机的拍摄任务。

2　系统设计

2.1实景动画系统运作总体流程

如图1所示，实景动画系统运作总体流程可分为4个模块：1)计算机端插件；2)通信插件和电缆；3)嵌入式系统软件；4)支架端。计算机端有虚拟相机运动设计、虚拟相机相对运动计算、虚拟相机数据保存等功能单元；通信插件和电缆有数据发送插件、USB转串口传输电缆；嵌入式系统端有嵌入式系统数据存储、运动数据与PWM数据解码、PWM信号输出等功能模块；支架端有步进电机驱动、支架同步旋转等功能模块。数据链路由虚拟相机端传输转移到实体相机端，即把虚拟相机运动数据识别、保存、传输、解码、发送到实体相机，实现了实体相机同步跟随虚拟相机运动，本文完成跟随单轴旋转运动。

图1　实景动画系统运作总体流程

2.2硬件系统设计

如图2所示，实景动画拍摄系统由计算机、USB转串口、JTAG、ARM控制器、5 V和24 V电源、控制线、步进电机、驱动器、轴承、旋转支架、摄像机等模块和部件组成。计算机通过JTAG把计算机编写的嵌入式软件烧录ARM控制器并能够做单步调试；USB和RS-232通信接口把3DMAX或MAYA软件内部虚拟相机的运动路径数据传输给ARM控制器；ARM控制器保存相机运动路径，接受计算机运行指令后立即把运动编码转化为PWM信号；步进电机接受PWM信号后根据细分编码执行步进指令，保证每1/30 s内与虚拟相机同步。

图2　实景动画拍摄支架结构总体框架

如图3a所示，JTAG连接ARM控制器，USB-RS-232连接计算机。如图3b所示，步进电机驱动轴承，轴承带动拍摄支架旋转。如图3c所示，PWM控制线包括PWM信号线、DIR方向信号线、地线共3组。

图3　实景动画拍摄系统

ARM控制器采用STM32L152VBT6，128 kbyte片内内存和16 kbyte片内RAM满足数据存储和拍摄系统运行要求，内核包含超过6个可编程定时器计数器，可支持未来6轴实景动画拍摄系统。本文试验了单轴旋转拍摄支架，故仅使用处理器内部1路定时器计数器产生PWM信号。ARM控制器使用5 V供电，步进电机驱动使用24 V供电。步进电机驱动支持3.3 V电压控制信号，故ARM控制器的3.3 V电压能够直接驱动步进电机旋转。

2.33DMAX数据输出插件设计

3DMAX数据输出插件是获取虚拟相机运动数据并发送的关键模块，其中包括初始化数据、解读运动数据和保存发送数据模块，如图4所示。在初始化数据模块中，首先插件获取当前虚拟相机的角度，其次新建运动数据文件，最后初始化至第1动画帧；在解读运动数据模块中，首先插件累加动画帧，其次判断动画是否结束，如有下列帧即获取虚拟相机帧角度，清洗越界数据，识别运动方向，最后保存方向和旋转角度数据；在保存发送数据模块中，首先插件保存数据文件并关闭，接着从串口发送运动数据。

图4　3DMAX数据输出插件流程图

其中解读运动数据流程如下：

1)时间轴Time++。

2)如果Time<=TimeAll，那么继续执行运动数据解读步骤3)，执行；如果Time>TimeAll，就跳出循环，结束运动数据获取。

3)获取虚拟相机角度，当前帧相机角度与初始化相机角度相减，获得相对旋转角度Rydelta。

4)在对1/30 s内限定转速的前提下清洗数据，如果Rydelta<-60，则Rydelta=Rydelta+360；如果Rydelta>60，则Rydelta=Rydelta-360；如果Rydelta>2.34，则提示超标报错；如果Rydelta<-2.34，则提示超标报错。

5)识别运动过方向，如果Rydelta<0，则方向WriteByte=255；否则WriteByte=254。

6)取绝对值保存运动数据temp=abs(Rydelta)×100，写文件Writetemp，跳转到步骤1)。

设时间轴时刻为Time，总时间为TimeAll，相对旋转角度Rydelta，方向变量为WriteByte，被保存的运动数据为temp，保存文件名为Writetemp。

2.4嵌入式控制软件设计

嵌入式系统是实体相机同步虚拟相机运动数据的核心模块，其中包括嵌入式系统初始化、控制PWM使能和PWM输出模块，如图5所示。在嵌入式系统初始化模块中，首先初始化GPIO，其次初始化系统时钟，初始化1组1/30 s中断，初始化6组PWM定时器，最后程序进入死循环；在控制PWM使能模块中，首先串口中断1获取计算机端控制指令，包括接受数据并转码、使能PWM定时器1和关闭PWM定时器1；在PWM输出模块中，对PWM定时器1进行1/30 s一次的转码数据更新。

图5　嵌入式控制器软件流程图

接受旋转角度数据并转码是为了实现旋转角度与PWM定时器数值的转换，达到步进电机与虚拟相机同步旋转的效果。设置步进电机细分数为128脉冲旋转0.9°。设Y为定时器发出的脉冲数，n为步进电机旋转的角度，则其关系为

Y/128=n/0.9

(1)

ARM控制器系统时钟为8 MHz，根据主时钟设定中断及定时器。设X为处理器内部定时器的分频数，30 f/s对应每个时间周期为1/30 s，则X与Y的关系为

X=8 000 000/30×Y

(2)

把式(1)代入式(2)，则获得定时器分频数X与旋转角度n的关系为

X=1 875/n

(3)

3　实验

连接USB转串口线、电源线、PWM控制信号线、嵌入式控制板、拍摄支架。如图6所示，架设手机到支架上。

如图7a，在3DMAX软件中导入模型车，设定模型车运动轨迹，在适当位置架设虚拟相机，设定虚拟相机

图6　实体相机安装

旋转方向和速度。测量虚拟相机与桌面的角度，测量虚拟相机与模型车初始相对位置，按虚拟位置和角度等比例放置实体相机，使其相对角度和距离与虚拟相机一致。连续导出虚拟相机旋转角度，下载数据到嵌入式控制板，下达控制指令，使实体相机也按照虚拟相机连续旋转角度而运动，实体相机获取如图7b的连续影像，对图7a连续渲染影像抠图并叠加在图7b上，最后合成图7c的连续实景动画影像。

图7　合成过程

4　小结

针对拍摄机器人价格高昂的问题，设计了基于运动控制的实景动画拍摄系统。经实际的室内应用，实景动画拍摄系统可单轴变速旋转拍摄，动画软件中的虚拟相机和真实世界实体相机保持同步。实景动画拍摄合成是特效制作的重点技术之一，它能够应用到先设置虚拟动画再开展实景拍摄的特殊影视节目制作过程中，此项技术已应用在装备工业的富媒体制作过程中。在下一阶段，本课题还能对拍摄系统进行升级，扩展到6自由度拍摄支架，满足范围内任意运动路径的拍摄任务。

[1]HANIKA J，DROSKE M，FASCIONE L. Manifold next event estimation[J]. Computer graphics forum， 2015， 34(4)：87-97.

[2]NOWROUZEZAHRAI D， JOHNSON J， SELLE A， et al. A programmable system for artistic volumetric lighting[J]. ACM transactions on graphics (TOG)， 2011， 30(4)： 76-79.

[3]SEO J，IRVING G，LEWIS J P， et al. Compression and direct manipulation of complex blendshape models[J].ACM transactions on graphics， 2011，30(6)：61-64.

[4]刘毅.浅析计算机技术在电影后期处理中的应用[J].视听界广播电视技术，2015(3)：115-118.

[5]胡军民.数字特效在影视作品中的应用[J].电子技术与软件工程，2014(19)：193.

[6]魏良.全球影视后期特技制作发展趋势浅析[J].大众文艺，2011(7)：167.

[7]郭劲锋.数字思维模式下电影与技术的互动[J].当代电影，2015(6)：4-8.

[8]佟志强，刘波.立体电视中特效镜头合成的分析[J].电视技术，2010，34(3)：73-75.

[9]湛永松，陈显军，刘文兆.基于粒子系统的影视特效生成技术[J].电视技术，2009，33(9)：12-14.

[10]沈承祖，张文俊，张目.“时间冻结”数字影视特效拍摄系统[J].电视技术，2007，31(8)：97-99.

[11]《地心引力》：诞生记——逆天特效主宰一切[EB/OL].[2016-01-02].http：//107cine.com/stream/25582/.

田丰(1976— )，博士，硕士生导师，主要研究方向为电影技术；

宋莹(1977— )，硕士，主要研究方向为3D特效技术；

王攀(1992— )，硕士生，主要研究领域为电影技术。

责任编辑：时雯

Development of live-action and virtual shooting system

TIAN Feng，SONG Ying，WANG Pan

(ShanghaiFilmAcademyinShanghaiUniversity，Shanghai200072，China)

To achieve the live-action and virtual shooting system， an entity shooting bracket based on embedded controller is designed. In the light of the problem of ultra-high price of shooting robot in foreign countries， a low cost， easy to use live-action and virtual shooting system is designed， the computer end plug， communication interface， embedded controller， motion control support are completed. By practical application， the accuracy and resolution of virtual camera pose reach 30 f/s， the rotation direction and speed of live-action camera remain completely synchronized with the virtual camera. After the live-action and virtual system synchronize the motion path of virtual camera and camera， the accurate video content synthesis effect is obtained.

virtual camera； live-action camera； embedded system； film special effects

TN871

ADOI：10.16280/j.videoe.2016.07.005

上海市科委“科技创新行动计划”高新技术领域项目(14511108202)；2016年度上海大学电影学高峰学科项目

2016-01-10

文献引用格式：田丰，宋莹，王攀. 实景动画拍摄系统研制[J].电视技术，2016，40(7)：20-23.

TIAN F，SONG Y，WANG P. Development of live-action and virtual shooting system [J].Video engineering，2016，40(7)：20-23.