傅剑峰
教学精品录播跟踪定位技术浅析
傅剑峰
中国电信股份有限公司金华分公司,浙江 金华 321000
为了更好地发展和大力推广教学精品录播业务,对教学精品录播系统中讲师跟踪、学生定位等关键技术的发展方向不明确的问题,通过原理解析与对比分析的方法进行了研究,得出了精品教学录播业务关键技术的发展趋势,以及以图像分析识别为主流的技术实现方式。
录播系统;教学精品录播系统;图像识别;跟踪与定位技术
最近几年,教育部每年都会重点提及传统教育融入现代化技术的战略,排在首位的就是教学录播系统。经过多年的试点推广,教学录播系统得到各教育机构、学校的初步认可,尤其是教学精品录播。但因为目前存在各种不同的实现方式及技术瓶颈,所以众多学校、培训机构对教学精品录播系统既渴望又却步。最明显的就是教学视频的智能跟踪与定位技术的实现,是传统录播系统无法得到广泛推广和应用的拦路虎[1]。本文针对教学精品录播目前的主流技术实现方式与优劣势,进行了相关的技术研究与对比分析。
录播系统,即把现场的音视频以及各种电子设备的信号进行数字化采集与记录,生成有效的流媒体文件,用于直播、存储、后期编辑和点播等。教学录播系统具有两个功能:一是生成课程资源;二是将课程资源提供给需求对象。对使用对象产生价值是录播的目的所在。
教学录播又分为教学常态录播和教学精品录播。常态录播可实现常态化教学中的课件录制,系统实现相对简单、固化;而教学精品录播需要进行高质量课件录制及制作,如名师录制公开课等。
教学精品录播系统,自诞生起主要经历了全手动录播、半手动录播、全自动录播三个阶段。其中,全自动录播系统的图像跟踪与定位系统是技术实现上最难的领域之一。讲师定位系统可采用红外、智能图像分析等方式,智能拍摄讲师的多种授课角度与场景,如全景、放大近景、板书特显等。讲师一般设置在图像定位范围之内,讲师走动时不会跟丢,整个跟踪的过程要求连续、稳定及平滑等。学生定位系统能够定位发言学生并采用特写拍摄。
截至目前,教学精品录播系统中的讲师跟踪与学生定位技术主要有三种技术实现方式,分别是超声波跟踪技术、红外跟踪技术及图像识别跟踪技术。其基本原理如下。
讲师跟踪要求其配戴无线麦克风,通过麦克风内置超声波装置,使摄像机跟踪授课讲师在课堂中的位置变化来实现。板书则是通过黑板下方的超声波设备与讲师携带的超声波装置进行感应来实现。学生的定位是通过触发按扭操作来实现的,需要学生配置一个遥控设备或麦克风装置。
红外跟踪有点对点被动红外跟踪技术和主动红外空间网格定位跟踪技术两种。红外点对点跟踪的关键设备是红外发射源和红外接收装置,根据红外信号发生的变化,指使系统作出相应的判断并发出跟踪指令,让摄像机跟踪定位与拍摄[4]。主动红外空间网格技术主要通过横向纵向的红外线形成“立体”网格,判断讲师行动方向与学生的站立发言等情况。
识别图像是依靠计算机软件对有人像的视频进行对比分析,即深度学习,并对其中的人物设置成跟踪对象,使其一直处于拍摄范围内,实现人像自动跟踪抓拍。
讲台区域的跟踪摄像是多机位分区,或者是通过跟踪球机来实现的。一般就是在教室后面安装多个固定摄像机或者安装智能跟踪球机,并在黑板下沿安装超声波收发器,实现有效距离在0.5米左右可调[5]。当讲师由一个区域进入另一个区域时,另一个区域的摄像机就会跟踪讲师在此区域范围内的一切动作,而且不同区域之间的切换是自然的,视频画质清晰而且不抖动。当讲师写板书时,可对板书的内容进行放大与特显,满足视频教学的要求。
红外跟踪技术主要有两种模式,即点对点被动红外跟踪技术和主动红外空间网格定位跟踪技术。
3.2.1 点对点被动红外跟踪技术
点对点被动红外跟踪技术通常情况采用在讲师使用的无线话筒上安装红外发生器装置,发生器不断发出红外信号;录播教室后方的跟踪摄像机上安装红外接收装置,不间断地接收到讲师方向的红外信号,从而控制球形摄像机随时跟踪讲师的视频画面[6]。
学生的定位与跟踪则是在学生座位上安装光电感应设备。在学生正常就坐情况下,学生的身体将光电感应器的感光入口进行遮挡,使信号无法触发;当学生回答问题时站立即离开座椅,感光孔就有光线进入进而触发信号,判定此信号发生点位有学生站立,则要求摄像机对指定学生进行拍摄;而当学生问题回答完成之后坐下,感应孔又被身体遮挡,进而信号关闭,对应学生摄像机不再跟踪,视频切换回讲师位。
红外跟踪的实现方式稳定但需要佩戴设备,复杂度高,讲师的接受度不佳。点对点红外跟踪技术的优点是不管是讲师还是学生,其跟踪定位都相对准确。
3.2.2 主动红外跟踪技术
主动红外跟踪技术又名红外空间网格定位跟踪技术,原理是通过红外发生器和红外感应带将教室进行条块划分,创建一个相对完整的红外三维空间网格,讲师内部的每个点都能够和红外网格坐标进行对应[7]。不管是讲师或者学生,在讲师内的任何一个位置,都会对对应区域的网格产生影响,系统立刻收到横向和纵向网格信号对应的坐标,命令摄像机进行该点的视频跟踪与画面显示。
空间网格定位的优点在该技术将整个教室空间三维网格化,系统可以准确进行空间定位,实现跟踪“无盲区”。定位设备安装在教室四周的墙壁和天花板上,讲师和学生本人都不需配戴设备,使他们能进行常态化的教与学,对讲师和学生的依赖和影响较小。
此技术实现方式的最大缺点是对讲台区域的讲师跟踪时容易产生视频画面的切换晃动。同时此技术方式在画面跟踪时,对环境要求较高,特别是教室内的光线、室内温度等都可能对系统使用带来一定影响。
图像识别技术是采用智能跟踪摄像机对讲师和学生进行定位与跟踪,然后由全景或者特显摄像机进行画中画显示。教师内系统安装示意图如图1所示。
其中采用人脸检测与头肩模型等检测结合的方式实现智能跟踪,具体技术实现方式如下。
当讲师检测或者学生检测第一帧图像输入时,为图像中的每个像素点分别创建一个背景模型,并初始化每个背景模型;针对后续输入的每帧图像中的每个像素点,分别根据其灰度值以及前一帧图像中同一坐标位置的像素点的灰度值对其对应的背景模型进行更新,并根据更新结果确定出该像素点为前景点还是背景点;利用确定出的前景点和背景点得到一个以上前景团块,将前景团块作为检测到的目标,提高检测结果的准确性。当检测到移动物体后,计算移动物体到指定点的距离,根据该距离决定是否触发跟踪,且跟踪的触发更为准确,更加有效地实现对讲师的跟踪及学生定位检测[8]。跟踪物体始终处于画面中心位置,可以保证跟踪的持续性和有效性。通过视频图像的识别技术,实现讲师跟踪与学生定位,与此同时,通过讲师或者学生的全景及特显的配合,加上板书的特显等,使整个系统实现有机结合。
图1 图像识别与跟踪定位技术实现示意图
除了通过前后的跟踪摄像机对讲师或者学生的画面进行定位与跟踪之外,因为目前的高清摄像机的普及,采用电子云台取代传统的球机跟踪方式,即通过高清的全景画面中的局部定位点,运用图像裁剪方式实现画面的跟踪,这种方式不使用机械式的跟踪摄像机,所以总体使画面更平滑、稳定,也是目前最为先进的使用模式[9]。
图像识别技术应用在精品教学录播,其优点在于系统设计简单、实现便捷,但是对图像识别的技术成熟度要求更高,其成熟度还需要继续提升。目前的智能跟踪与定位方式还是通过各个厂家的不同方式、不同算法实现的,甚至有专门进行跟踪检测摄像机,希望视频图像识别技术在行业内尽快形成标准、取得突破,为精品教学录播系统的发展提供有力支撑。
教学精品录播技术的发展是支撑教学精品课程资源生产的重要的信息化支撑。针对几种关键技术的流派,各有主张、各有利弊。整体而言,市场上视频跟踪通过红外方式实现跟踪的较多,主流的厂家包括北京中庆、上海易视、深圳锐取、AVA等;超声波技术的代表厂家有上海卓越,北京竞业达;图像识别的有翰博尔、奥威亚、中庆、文香、凡龙、海康威视等。
其中,超声波技术主要应用于大学课堂,以跟踪讲师为主,因为大学课堂以讲师讲授为主,师生互动少;红外技术主要应用于中小学课堂,因为中小学课堂师生互动量远远大于大学课堂。但是这两种方式在系统集成上相对要求多,用户体验也一般,不利于广泛的推广与运用[10]。图像识别分析技术是解决自动跟踪的最理想的方式,是主流的技术路线,也是大规模应用推广的方案。随着视频智能技术的突破,围绕着能够更简单易用、更智能、更准确的方式,逐步显现并取代其他方式,也希望视频图像识别技术在行业内尽快形成标准,取得突破,为精品教学录播系统的发展提供有力支撑。
[1]陈宗让,李晓铭. 课堂教学自动录播系统图像跟踪技术研究[D]. 长沙理工大学,2009.
[2]李胜广,李莉,谭林. 数字公安监所可视化智能监控系统设计[J]. 中国安防,2014(15):84-88.
[3]教学录播跟踪技术的应用研究[J]. 课程教育研究:新教师教学,2013,26(4):72.
[4]张飞碧. 全自动智能录播系统的架构分析[J]. 中国电化教育,2008(5):104-108.
[5]邓文新. 录播系统在精品课程教学录像制作中的应用研究[J]. 中国电化教育,2008(5):101-103.
[6]李丁. 全自动精品课程录播系统升级探究与实践[J].玉林师范学院学报,2011,32(2):147-150.
[7]黄建军. 高校全自动精品课程录播系统解决方案[J].北京电力高等专科学校学报:社会科学版,2012,29.
[8]陈世文. 全自动智能录播系统跟踪技术比较研[J]. 中国教育技术装备,2013(23):57-60.
[9]郑海峰. 教学录播系统发展趋势探析[J]. 电子技术与软件工程,2014(4):59.
[10]赵玉山,赵嘉林. 浅谈自动录播系统图像跟踪技术[J]. 中国教育技术装备,2010(27):87-88.
Research on the High-Quality Teaching Recording and Tracking Positioning Technology
Fu Jianfeng
China Telecom Corporation Limited Jinhua Branch, Zhejiang Jinhua 321000
In order to develop and promote the high-quality teaching recording system preferably, so the author do the research on the unclear development problems such as the teachers tracking of high-quality teaching recording system, students positioning , automatic conducting through the principle analysis and the contrast analysis method. At last, it could be conluded the development trend of high-quality teaching recording technology, and the implementation of video intelligent analysis and recognition as the mainstream.
recorded system; high-quality teaching recording system; image identification; tracking and positioning technology
G434
A
傅剑峰,高级工程师,硕士,浙江大学电子与通信工程专业毕业,任职于中国电信股份有限公司金华分公司,研究方向为智慧城市、智慧安防、智慧校园、移动通信等。