张 赟,王李冬,沈兵虎,练益群
(1. 浙江传媒学院 浙江广播电视技术研究所,浙江 杭州 310018;2. 杭州师范大学 钱江学院,浙江 杭州 310018)
多特征融合的新闻视频单元高效分割方法研究
张 赟1,王李冬2,沈兵虎1,练益群1
(1. 浙江传媒学院 浙江广播电视技术研究所,浙江 杭州 310018;2. 杭州师范大学 钱江学院,浙江 杭州 310018)
为了提高新闻视频单元分割的准确性和稳定性,提出了多特征融合的新闻视频单元高效分割技术。首先,通过基于重要性区域分析的局部直方图比较方法,实现新闻镜头的准确检测,并提取出每个镜头的关键帧。然后,检测出关键帧中的人脸信息,并针对局部直方图和人脸特征实现关键帧聚类,从而确定口播镜头的位置。最后,通过解析串联单进一步优化新闻单元分割的结果。在省、市、县播出的多个新闻视频上进行实验,结果表明该方法具有较高的可靠性和稳定性,能够准确高效地实现新闻单元的自动分割。
多特征融合;新闻单元分割;聚类;人脸识别;串联单
近年来,视频检索、索引、浏览、表示等技术引起了学术界和工业界的广泛关注。在大多数视频应用中,需要首先根据内容将视频分割成多个独立的片段。但是由于视频内容多样化、结构复杂且数据量巨大(长度仅1分钟的视频就包含了多达15 000帧图像),因此视频自动分割的难度较大。尽管过去已经有大量学者致力于视频结构分析研究,但是目前还没有成熟的商业软件用于视频分割。大多数视频编辑工具根据固定时长将视频分割成多个片断,如“iMovie”,但是无法根据视频内容进行准确的片断分割。
由于视频内容和结构的复杂性,很难找到针对所有视频的自动化分割方法,因此当前的研究工作主要针对特殊类型的视频,如新闻、采访、体育等。一般说来,新闻视频通常由多个独立单元组成,每个新闻单元有各自的主题内容,具有“口播镜头 + 新闻单元”的结构,因此研究新闻单元的自动分割具有可行性。天津大学的冀中等人[1]对新闻单元分割技术作了综述,将现有方法进行了分类,分析了各类方法的特点,并指出存在的问题和今后发展的趋势。余骁捷等人[2]利用语音识别技术实现了基于语义信息的新闻故事单元划分,然而该方法依赖于语音识别结果的质量,可靠性不高。口播镜头是新闻视频的重要内容,大量研究工作提出了基于口播检测的新闻单元分割方法[3-4]。以上方法主要根据口播镜头的颜色和音频特征实现单元分割,适用于口播画面简单且变化不大的情况。然而,当前新闻节目的内容和形式多样,经常根据具体内容变换主持人的位置和背景。图1给出了同一节目中不同口播镜头画面和对应的直方图分布,可以看出同一主播的多个口播画面的差异较大。本文的研究工作正是为了实现更加鲁棒高效的新闻单元分割,以适应当前新闻节目内容、形式多样化的特点。
图1 同一新闻视频中不同口播镜头画面比较(截图)
图2给出了算法流程图,输入是一段新闻视频,经过镜头检测、基于口播镜头检测的新闻单元分割、基于串联单解析的优化等处理,输出结果是分割后的多个新闻单元。本文的主要贡献在于提出了多特征融合的新闻单元自动分割算法。
图2 算法流程图
图3给出了新闻视频的层次结构图,形象地描绘了新闻单元分割的具体过程。其中第一行的色块表示所有视频帧;第二行的色块是经过镜头边界检测后的所有镜头;第三行是根据镜头相似性聚类后识别出的口播镜头,以及根据口播镜头得到的新闻单元分割结果;第四行是根据串联单解析的新闻单元分割结果;最后一行是根据串联单解析结果对基于口播检测的单元分割结果进行优化后的新闻单元分割结果。下面将具体介绍本文的新闻单元分割算法。
图3 新闻视频的层次结构图
2.1 镜头边界检测
镜头边界检测是基于内容的视频分析与处理的重要步骤。多年来,国内外学者进行了大量研究[5-7],他们的方法大多根据颜色统计信息检测镜头间的突变和渐变。本文提出了基于重要性区域分析的局部直方图比较方法,实现了新闻镜头的准确检测。如图4所示,首先将视频画面平均分割成18×18的小方格,然后分别计算相邻两帧图像对应方格的直方图距离,最后统计直方图特征相似的方格数量。若相似方格的数目超过30%,则认为两帧之间没有发生镜头切换。为了减少由动态背景引起的口播镜头分割错误,对相似性较大的方格,适当增加其权重。如图4所示的例子中(背景和左下角方格分别表示变化不大和变化较大的区域),虽然主持人背后大屏幕的内容发生动态变化,但是通过分块统计相似性,能够准确地检测出主持人口播镜头。实验表明,镜头检测的准确率能够达到95%以上。
图4 视频画面的相似性比较
2.2 主持人口播镜头检测
得到视频的镜头边界后,需要进一步识别出其中的主持人口播镜头,进而实现新闻单元分割。然而视频中的主持人口播镜头很可能根据内容不断变化,如图1所示,此时基于直方图统计的方法很难实现主持人镜头的正确聚类。为了准确地检测出口播镜头,提出了基于直方图和人脸识别的聚类方法。首先提取出关键帧图像并检测出其中的人脸图像,然后进行基于直方图和人脸特征的关键帧聚类,最后自动定位口播镜头并得到相应的新闻单元。下面具体介绍口播镜头自动检测方法。
2.2.1 人脸检测
采用基于不变特征量的Adaboost算法[8],通过基于Haar特征的弱分类器构建出强分类器。将待检测图像进行灰度化和直方图均衡化处理,利用训练得到的分类器进行多尺度的人脸检测。
2.2.2 基于单样本的人脸识别
对于所有关键帧(k1,k2,…,kn),以其中任意一个包含人脸的关键帧ki作为训练样本,匹配其余关键帧中检测出的人脸图像。采用基于自适应加权LBP的人脸识别方法[9],通过自适应权重提升基于单样本的识别效果,大量实验表明,识别准确率达到93%以上。
2.2.3 基于局部直方图和人脸识别的口播镜头检测
采用基于局部直方图统计和人脸识别的方法实现镜头关键帧聚类。对所有关键帧图像进行两两比较,若只是直方图相似,则相似性定义为直方图距离的倒数;若只是人脸特征相似,则相似性定义为很大的正整数(实验中取100);若直方图和人脸特征均相似,则定义其相似性为正无穷大(实验中取10 000);若人脸和直方图特征均不相似,则定义其相似性为负无穷大(实验中取-10 000)。如式(1)所示
(1)
得到相似性矩阵后,采用相似性传播(AP)[10]的方法进行关键帧聚类。与其他方法相比较,AP聚类方法更加灵活有效。该算法的输入是相似性矩阵Sn×n,输出是每个关键帧对应的标签,其中聚类到一起的关键帧的标签一致,算法细节请见文献[10]。大量实验表明,主持人口播镜头在新闻中通常出现最多,包含关键帧数量最多的聚类即为口播聚类。进一步地,建立多个电视台常见主持人的人脸特征库,通过将聚类中心的人脸分别与特征库中的人脸进行匹配,能够保证主持人口播镜头检测的准确性和稳定性。
图3的第3行内容表示经过聚类后的结果。每个色块表示一个新闻单元,其中深色小块表示聚类得到的口播镜头,每个新闻单元都是以口播镜头为开始标志,直到下一个口播镜头结束。
2.3 基于串联单解析的优化
口播镜头是新闻单元自动分割的重要依据,然而很多新闻单元并不是由主持人口播开始的,连续两个口播镜头之间可能包含多个新闻单元。先前的方法通过音频识别来检测新闻单元边界,但是其准确性和稳定性不够[9]。为了准确分割没有明显界限的新闻单元,调研了浙江省、市、县多个电视台的新闻制作过程,提出了基于串联单解析的方案。如图5所示,串联单是电视台新闻节目播出的重要脚本,包含了新闻内容的详细信息,包括每个片段的时间长度和文字描述,以及转场、广告等提示信息。通过正则表达式解析能够从串联单中准确提取出每个新闻片段的入出时间点和文字内容。然而串联单中包含大量无效片断,如转场、口播提示等,此外串联单的时间点精确度不够。
图5 电视台新闻节目串联单(截图)
具体算法如下:
输入:
基于主持人口播的新闻单元A[M]
基于串联单解析的新闻单元B[N]
输出:
优化后的新闻单元A[S](N≤S≤M)
初始化:i=0,j=0,k=0;
重复i:
重复j:
重复k:
根据A[i]校正B[j]入点和B[k]出点;
将B[j]~B[k]间的单元添加到A中;
直到B[k].end>A[i].end
直到j 直到i 其主要思想是利用串联单解析结果进一步优化基于口播镜头检测的新闻单元分割结果。主要过程为:根据主播镜头的单元分割结果对基于串联单的单元分割结果进行配准,若入出点配准成功,则首先校正基于串联单解析的新闻单元入出点,并将其中不包含口播镜头的新闻单元添加到基于口播的单元分割结果中,最终输出优化后的新闻单元。图3的3~5行表明通过利用串联单信息,本文提出的方法不但能够准确检测出新闻单元边界,而且能够区分无口播镜头的新闻单元,具有准确性和稳定性。 图6给出了系统的软件界面,通过简单操作,用户能够方便高效地实现新闻单元分割。在配置为Intel i5-3470 3.4 GHz,16 Gbyte RAM,NVIDIA Geforce GTX 650的PC机上,一段30 min,600×480,1 Mbit/s的新闻视频的单元分割时间为30~35 s。图7给出了两组新闻单元分割的结果,其中上面两条色带分别表示基于口播检测和串联单解析的单元分割结果。可以看出,基于串联单解析的新闻单元数量较多,且包含很多短小的片段,最后一条色带是最终的处理结果。虚线部分给出了基于口播的分割结果和最终结果的比较,并给出了 多个新闻单元切换前后的画面。可以看出,本文的方法不但能够准确分割出以口播镜头的为标志的单元,而且能够准确分割出不包含口播镜头的新闻单元。 图6 新闻单元分割的主界面(截图) 为了证明本文提出算法的有效性,与当前最新的新闻单元分割算法[3-4]进行比较,其中文献[3]采用了基于直方图和SIFT特征聚类的方法,文献[4]采用了视频、音频和字幕等多模态特征结合的方法。选取近两年央视、浙江省、杭州市、桐乡等各级电视台的多档热门新闻节目作为实验数据,分别使用文献[3-4]和本文提出方法进行新闻单元分割。表2给出了以上三种方法的查全率和查准率比较。图8给出了平均查准率和查全率比较。可以看出本文提出的方法比文献[3-4]具有明显优势,其原因在于:文献[3]的方法难以处理主持人口播画面变化较大,且对于无口播镜头的新闻单元容易造成错检和漏检;文献[4]提出方法中的静音误判、字幕误检等问题容易造成新闻单元分割的错误;本文提出的方法通过主持人的人脸检测聚类和串联单解析,能够较好地解决新闻单元错检、漏检、准确性不高等难点问题。因此本文提出的方法能够显著提高新闻单元分割的准确率和稳定性,并且能够处理内容和形式多样的新闻节目,具有很强的适应性。 图7 新闻单元分割的结果及比较 表2 新闻单元分割性能的比较 图8 新闻单元分割结果的平均查准率和查全率比较 提出了多特征融合的新闻单元分割算法,通过结合基于口播检测和串联单解析两种方法的优势,显著提升了新闻单元分割的性能。在算法研究的基础上,开发了软件系统实现准确高效的新闻单元分割。研究的新闻单元分割方法能够应用于新闻快速编目、检索等,满足新媒体时代节目快速制作和发布的要求。 今后,将进一步研究高效的视频单元分割方法,应用于更多类型的视频节目,如体育、电影、综艺节目。需要面临更多具有挑战性的难题,如特征表示、关键帧选取、相似性度量等。将利用更多特征信息,如声音、字幕、运动等,实现更加高效的视频结构分析。 致谢: 本论文成果要感谢浙江广电集团、杭州文广集团、桐乡市电视台提供的大量新闻素材,对系统的功能进行了大量测试,并为论文的提升提出了宝贵建议。 [1]冀中,张春田,苏育挺.新闻视频故事单元分割技术综述[J].中国图象图形学报,2007,12(11): 1952-1960. [2]余骁捷. 新闻播报节目的内容自动标注系统[D].北京:清华大学,2014. [3]张赟. 新闻视频单元高效切分方法的研究与实现[J].电视技术,2014,38(23):170-173. [4]刘嘉琦,封化民,闫建鹏. 基于多模态特征融合的新闻故事单元分割[J].计算机工程,2012,38(24): 161-165. [5]凌坚,练益群.新闻单元的自动快速分割方法[J].电视技术,2009,33(7):59-63. [6]刘群,江伟,吴渝. 采用多特征融合的镜头边界检测方法[J].计算机工程与应用,2010,46(13): 171-174. [7]LU Z M,SHI Y. Fast video shot boundary detection based on SVD and pattern matching[J]. IEEE transactions on image processing,2013,22(12):5136-5145. [8]VIOLA P A,JONES M J.Rapid object detection using a boosted cascade of simple features[C]// Proc.IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,2001:511-518. [9]赵汝哲,房斌,文静.自适应加权LBP的单样本人脸识别方法[J].计算机工程与应用,2012,48(31): 146-149. [10]FREY B J, DUECK D. Clustering by passing messages between data points[J]. Science,2007, 315(5814): 972- 976. 张 赟(1984— ),副研究员,主要研究方向为视频图像编辑与处理,计算机视觉; 王李冬(1982— ),女,副教授,主要研究方向为语义网络,数据挖掘; 沈兵虎(1953— ),研究员,主要研究方向为广播电视技术、媒资管理; 练益群(1955— ),女,教授,主要研究方向为广播电视技术、媒资管理。 责任编辑:闫雯雯 行业聚焦 工信部:从六方面着力推进网络 强国建设 近日,中央政治局就实施网络强国战略进行第三十六次集体学习,习近平总书记进一步强调了建设网络强国的重要性和紧迫性,提出了“六个加快”的要求。 工信部总工程师张峰表示,工信部将进一步深入学习习近平总书记系列讲话精神,对网络强国战略进一步深入研究,细化落实,进一步强化使命意识和担当精神,立足工信部的职责,扎实推进网络强国建设。当前重点考虑在以下方面着力推进:一是要加快构建新一代信息基础设施。二是要继续提升技术产业支撑能力。三是要继续提升行业监管能力。四是要继续提升网络安全保障能力。五是大力促进数字经济发展。六是要积极参与互联网国际治理。 我国新批七个国家级大数据综合 试验区 10月8日,国家发展改革委、工业和信息化部、中央网信办发函批复,同意在京津冀等7个区域推进国家大数据综合试验区建设,这是继贵州之后第二批获批建设的国家级大数据综合试验区。 此次批复的国家大数据综合试验区包括2个跨区域类综合试验区(京津冀、珠江三角洲),4个区域示范类综合试验区(上海市、河南省、重庆市、沈阳市),1个大数据基础设施统筹发展类综合试验区(内蒙古)。其中,跨区域类综合试验区定位是,注重数据要素流通,以数据流引领技术流、物质流、资金流、人才流,支撑跨区域公共服务、社会治理和产业转移,促进区域一体化发展;区域示范类综合试验区定位是,引领东部、中部、西部、东北等“四大板块”发展,注重数据资源统筹,促进区域协同发展,实现经济提质增效;基础设施统筹发展类综合试验区定位是,加大资源整合力度,强化绿色集约发展,加强与东、中部产业、人才、应用优势地区合作,实现跨越发展。 直播卫星用户突破一亿户 截至2016年10月10日,我国直播卫星用户总数突破1亿户。其中,村村通用户超过1 632万户,户户通用户超过8 376万户。直播卫星已经成为我国农村地区群众接收广播电视的主要方式。 直播卫星公共服务自2011年启动实施以来,在中央有关部门和地方各级政府的大力支持配合下,全国各地采取整省推进与市场零售相结合的方式,建立健全贯穿中央、省、地市、县及乡镇的直播卫星公共服务运行机制,直播卫星户户通用户规模持续快速扩大。直播卫星户户通工程的顺利推进,有效地解决了农民群众收听收看高质量广播电视节目的难题,极大提高了城乡广播电视公共服务均等化水平,进一步扩大了中央和省级广播电视节目在农村地区的辐射力、影响力,有力占领并巩固了农村宣传思想文化阵地。 上半年有线电视用户突破2.5亿 数字化率达85% 据前瞻产业研究院数据显示,2016年上半年我国有线电视用户数为25 376.9万户,较2015年底净增268.9万户,有线电视家庭收视格局中所占份额小幅增长,突破了60%,仍居首要收视地位。直播星用户达到8 772.1万户,较2015年底增加1 673.9万户。IPTV用户达到6 581.2万户,较2015年底增加1 992.2万户。互联网电视用户达到5 298.6万户,较2015年底增加848.6万户。 2016年上半年,我国有线高清持续发力,高清数字电视保持稳步快速增长,截止到2016年上半年,我国有线高清数字电视用户突破7 000万户,占全国有线数字电视用户的34.74%,占全国有线电视用户的28.67%,高清数字化程度达到34.74%。截止到2016年上半年,我国有线高清交互数字电视用户突破4 000万户,占有线数字电视用户的19.95%,占有线电视用户的16.47%。 云南广电传媒集团与柬埔寨国家电 视台签署互联网电视项目建设协议 10月12日,中国云南广电传媒集团与柬埔寨国家电视台的柬埔寨DTMB+OTT(中国标准数字电视融合互联网全媒体业务)项目建设协议在金边正式签署。 当天,云南广电传媒集团与柬埔寨国家电视台的柬埔寨DTMB+OTT(中国标准数字电视融合互联网全媒体业务)建设项目签约,广西人民广播电视台与柬埔寨国家广播电视台合办的《中国广播剧场》项目签约以及“中国动漫栏目”首部柬语配音动画片《西游记》开播仪式在柬埔寨新闻部举行。中宣部副部长、国家新闻出版广电总局局长聂辰席与柬埔寨新闻部代理部长奥克·普拉瑟那以及中国驻柬埔寨大使馆的嘉宾共同出席相关活动。 黑龙江省2020年基本实现 数字广播电视户户通 黑龙江省政府办公厅日前下发《关于加快推进广播电视村村通向户户通升级工作的通知》。 《通知》要求,在全面实现广播电视数字化方面,要统筹无线、有线、卫星三种技术方式,在有条件的农村地区鼓励采取有线光缆联网方式,有线电视未通达的农村地区可由群众自愿选择直播卫星、地面数字电视或“直播卫星+地面数字电视”等方式,到2020年基本实现数字广播电视户户通;在全省有序实施广播电视无线数字化覆盖工程,并同步实施数字音频广播覆盖工程,到2020年基本实现全省无线广播电视由模拟向数字化转换;积极推进农村广播电视双向覆盖网络建设,全面实现光纤入户,到2020年基本建成面向未来网络演进的下一代广播电视网。 江西联通与广电开展战略合作 发力IPTV 10月25日,江西联通与江西广播电视台在南昌签署融合发展战略合作协议。根据协议,双方将在IPTV高清电视和移动新媒体手机江西台等项目上共同发力。 由江西联通与江西广播电视台合作的江西联通IPTV(沃TV)即将上线试运行,IPTV平台拥有高清25路、标清80路直播电视频道,高清节目点播长达4万小时,其中高清电影约1万部,高清电视连续剧约1 500部,百姓在家即可享受高清视听盛宴。同时,IPTV平台还实现了时移、回看、游戏和应用等综合业务功能,让观众由“看电视”向“用电视”转变。 四川:广播电视“村村通”升级 “户户通” 四川省提升相关补助标准加快推进广播电视“村村通”向“户户通”升级。该政策出台后,各级财政年度投入将从3.6亿元提升至5亿元以上。预计到2020年,实现省市县乡村五级广播电视设施网络全覆盖、互联互通。 四川省将提高广播电视运行维护费补助标准,由原来每个自然村每年0.1万元提高到0.12万元;对贫困地区给予特殊补助政策:对未通广播电视信号的建档立卡贫困户配置入户接收设备每户一次性补助200元,对未通广播贫困村建设村级应急广播(村村响)系统每村一次性补助3万元,对贫困县建设县级应急广播平台每县一次性补助100万元;非贫困村村级应急广播系统、非贫困县县级应急广播平台、基层广播电视公共服务网点的建设及运行维护所需资金纳入公共文化服务体系建设资金中统筹安排。 媒体融合智慧乡村——TVOS绍兴 试点项目正式启动 10月18日,“媒体融合,智慧乡村”国家新闻出版广电总局TVOS绍兴试点启动会,在绍兴市袍江经济技术开发区荷湖村召开。 绍兴TVOS智能终端融合了广电专网、互联网、通信网的技术和应用,实现了有线、无线的无缝接入。与传统机顶盒相比,芯片处理能力提升了8倍,清晰度提升了20倍,采用TEE可信执行环境,可以安全、可靠地承载智慧家庭、媒体网关、多屏交互及电视支付等融合类业务,并通过大数据应用聚合能带给用户以TVOS2.O为载体的家庭生态系统多样化体验。 据悉,中广有线绍兴分公司将通过2016年、2017两年建设,实现绍兴农村TVOS2.O智能终端的规模部署,并依托三大平台:云服务平台、有线无线融合的下一代广电网、用户家的超高清终端平台,充分发挥广电在智慧乡村建设中服务三农、服务政府的积极作用,同时,也正在全面、深入地参与绍兴智慧城市建设。 DVB超高清第二阶段标准即将发布 据悉,DVB指导委员会将在12月批准通过并出版UHD-1第二阶段标准(TS 101 154)。该标准已获得了DVB技术研讨小组的支持,旨在提升广播电视服务的音视频质量。高动态范围(HDR)能显著提高对比度,为图像带来更多“活力”。 这一DVB标准还支持两个由BT.2020标准定义的量化曲线:混合对数伽马以及感知量化编码。此外,新标准还定义了高于现在使用的50/60 Hz的高帧率。在音频方面,这一DVB标准还加入了最新的下一代音频计划,支持基于对象或场景的音频。这些新功能可与高清和超高清分辨率相结合。 有线无线融合网研讨会召开 10月21日,国家新闻出版广电总局科技司在广东江门召开有线无线融合网研讨会,介绍了有线无线融合网试验、NGB-W试验、移动多媒体交互电视广播情况,并就有线无线融合覆盖的技术、业务、规划、管理、运营、需求及建议等进行了研讨。 4K联合实验室成立 10月15日,4K联合实验室在云栖大会正式成立。该实验室由阿里云与4K花园联合发起,华数、索尼、富士、佳能等合作伙伴作为第一批入驻成员加盟。 4K联合实验室将致力于普及4K概念,制定4K行业标准,规范4K视频制作流程,向成员及其他社会单位提供4K技术支持和培训,提高中国视频产业水平,服务于全球用户。实验室成员共享研究成果,共同推动4K产业快速发展,打造健康的4K生态。4K联合实验室落地杭州,而杭州作为华数的主场,将更有利于发挥其自身的优势资源,为4K联合实验室提供强大的支持。加之4K花园、索尼、佳能、富士等成员在北京的优势资源,实验室将形成南北呼应之势从而辐射全国。 IMAX将在欧洲启动首个 虚拟现实中心 近日,巨幕电影公司IMAX正在进军虚拟现实市场。该公司将启动全新的欧洲虚拟现实中心。在全球各地,IMAX已启动了多个虚拟现实项目,包括在洛杉矶成立的第一个虚拟现实中心。 IMAX表示,欧洲的首个中心将于2016年底之前开幕。这里将提供多种虚拟现实体验,时长为5~15 min,内容将来自好莱坞和游戏发行商。最终将通过虚拟现实中心提供该公司与谷歌合作、使用“影院级”虚拟现实摄像机拍摄的内容。IMAX的每个虚拟现实中心将包含多个“舱位”,这些舱位可以提供单用户或多用户内容,并且“优化虚拟现实环境中的用户运动和互动”。此外“舱位”是模块化的,因此这些虚拟现实中心可以很容易地进行重新配置。 北京新媒体集团·融合媒体内容集 成播控平台正式上线 北京新媒体集团与奇虎360合资成立“北京时间股份有限公司”,利用北京电视台及市属主流媒体的内容资源,共建包括“内容、渠道、平台、服务”在内的互联网媒体生态系统。经纬中天提供IP流集成调度、多节点信号传输监控、IP流播出管理等一整套融合媒体内容播出控制与内容应用服务建设解决方案,支持北京新媒体集团实现了包括海量视频流汇聚、基于360云服务的全民参与UGC互动直播、与不同类型演播室或播报间互动交流、24小时不间断新媒体新闻直播等融合媒体互动应用。 联通携手华为开通国内首个 标准化NB-IoT商用网络 近日,中国联通网研院、广东联通与华为率先在广州外场实现了标准化NB-IoT网络的端到端打通,完成终端接入、上下行指标等典型业务验证,这标志着国内首个基于现网的标准化NB-IoT落地。 中国联通将物联网列为六大创新战略之一,率先启动多城市NB-IoT规模试点。广州本次列为联通第一批物联网NB-IoT试点城市,积极跟进物联网标准进展,与华为成立联合项目组启动NB-IoT落地验证。广州外场试点将先期连片建设40个站点,系统性地验证NB-IoT在联通1800M和900M网络上的覆盖性能指标及典型业务应用。中国联通将在今年内分批次启动8~9个城市试点验证和商用部署,总规模将超千站,并在智能停车、智能抄表、智慧路灯、物流跟踪等多个典型行业领域开展业务应用验证和培育探索。 阿里巴巴构建华人华语地区家庭 娱乐内容第一生态 10月12日,阿里巴巴集团数字娱乐事业部、优酷联合在北京举办“视无界,见未来——阿里巴巴家庭娱乐战略发布会”。阿里巴巴大文娱产业发展委员会主席、合一集团(优酷土豆)董事长兼CEO古永锵,合一集团(优酷土豆)总裁兼阿里音乐CEO杨伟东,阿里巴巴集团数字娱乐事业部总经理兼合一集团(优酷土豆)高级副总裁李捷携阿里巴巴数字娱乐事业部管理团队正式对外宣布以优酷为中心的阿里巴巴多屏战略将升级,并提出阿里巴巴家庭娱乐战略的愿景——构建“华人华语地区家庭娱乐内容第一生态”。 截止目前,阿里巴巴拥有家庭娱乐日活跃可运营用户超2 000万,日均视频播放量约2.4亿,用户日均在线时长近3.9小时。 厂商动态 永新视博参展2016 IBC VR精彩亮相 2016 IBC展会在荷兰阿姆斯特丹成功举办。永新视博通过IBC平台,展出高新技术产品和多种端到端解决方案,展品涵盖安全管理统一平台、VR、魔方、屏屏通等多种解决方案。 本次展会展出了核心产品安全管理统一平台,该平台融合了CAS和DRM,为基于DVB,IPTV/OTT网络平台提供传统广播和新媒体服务的运营商提供一站式全平台安全解决方案;屏屏通作为热点产品,其多种运营模式包括家庭模式、学校模式、银行模式、工厂模式、运营商宽带模式和全程网络模式,并辅以新型运营思路,成为广电运营商向智能小屏终端进发的排头兵;魔方作为公司最新的高科技智能网关产品再次亮相,该产品集智能路由,EoC宽带技术和智能机顶盒为一体,适应广大消费者的需求。永新视博自主研发的VR端到端解决方案与公司的智能网关终端和安全管理平台相融合,从VR内容的采编和拼接,到VR内容的编码及传输,以及终端VR内容的解码观看等方面,给参观者呈现了完整的VR体验。 Avid发布Pro Tools|MTRX 音频 接口,带来出众的音质和灵活性 近日,Avid®发布了一个全新的通用音频接口Pro Tools®| MTRX,用于Pro Tools | HDX 和 HD Native。此接口传承了DAD经典的 AD 和 DA转换器的出众音质,并加上强大灵活的监听控制, I/O和路由功能,所有这些都集成在强大的MTRX中。基于MediaCentral®平台,与Pro Tools | S6 和 Pro Tools | S3无缝集成。 Pro Tools|MTRX 给用户带来:1)实现扩展的监听控制和灵活的路由功能,可并与 Pro Tools | S6, S3及 EUCON 控制器一起使用。2)将转换器用作一台高性能的64通道Pro Tools| HD 接口箱。3)通过AES3, MADI, Dante 和/或 SDI I/O协议,连接并可自由路由整个工作室。4)以选件的形式增加高质量的传声器放大器并可用Pro Tools远程控制。5)通过8个可用的8通道卡槽,根据需要自定义Pro Tools | MTRX。6)通过Word Clock, AES11, Video 和数字 I/O同步所有设备。7)AES输入自带采样率变换。 大洋四大项目同获“广播电影电视 科技创新奖” 10月19日,“2015年度广播电影电视科技创新奖”颁奖典礼在杭 州ICTC大会上举行。中科大洋与各地用户合作的创新项目中,有4个项目获得了本届广播电影电视科技创新奖。分别是:高新技术研究与开发类一等奖,获奖项目:基于频道制模式统分结合的全媒体智能聚合云架构全台网;工程技术类二等奖,获奖项目:非线性高端制作岛;科技成果应用与技术革新类二等奖,获奖项目:高清制播网流程服务平台;软科学类二等奖,获奖项目:高标清混合制播图像幅型比变换规范研究。 新奥特:畅谈大视频智能管理与 运营发展 2016年10月19日, 以“智慧、安全、融合、一体化发展”为主题的ICTC2016在杭州拉开帷幕,新奥特(CDV)做了题为“大视频智能管理与运营发展之路”的主题演讲。 报告分析了目前广电市场现状和困境,提出了以虚拟化/云化为基础,以数据为核心联结、以智能驱动运营为方向,快速响应未来媒体业务变化的智能化变革与发展之路。演讲中特别指出,虚拟化≠云计算,并具体描述了云计算区别于虚拟化的两大重要特点:1)按需服务——以用户自服务的形式来实现用户系统的横向扩展是实现快速相应业务变化的重要一步,也是云计算区别于虚拟化的一个重要特征。2)弹性服务——自动化的服务能力扩展与收缩使用户系统由人工扩展变为自动伸缩,从而更快速智能地应对系统对资源需求的变化。 Research on efficient segmentation of news unit based on multiple features ZHANG Yun1, WANG Lidong2, SHEN Binghu1, LIAN Yiqun1 (1.InstituteofZhejiangRadioandTVTechnology,ZhejiangUniversityofMediaandCommunications,Hangzhou310018,China;2.QianjiangCollege,HangzhouNormalUniversity,Hangzhou310018,China) In order to improve the accuracy and stability of news unit segmentation, an efficient technique based on multiple feature fusion is proposed. Firstly, the shot boundary is correctly detected by the saliency-ware local histogram comparison, and keyframes are extracted to represent each shot. Then, human faces in each keyframe is detected, and keyframes based on local histogram and face similarities are clustered, accordingly the anchorperson shots can be located. Finally, news unit segmentation results are optimized by analyzing the news planned order. The proposed method is tested on many news videos produced by provincial, city and country level television station, and experimental results show that the method is reliable and stable, and can automatically segment news units correctly and efficiently. multiple feature fusion; news unit segmentation; clustering; face recognition; news planned order 张赟,王李冬,沈兵虎,等. 多特征融合的新闻视频单元高效分割方法研究[J]. 电视技术,2016,40(11):132-136. ZHANG Y,WANG L D,SHEN B H,et al. Research on efficient segmentation of news unit based on multiple features[J]. Video engineering,2016,40(11):132-136. TP391 A 10.16280/j.videoe.2016.11.027 浙江省自然科学基金项目(LY14F020050;LQ14F020008);浙江省科技计划项目(2015C33069);浙江广播电视技术研究所2015年度科研项目(2015004) 2016-02-213 实验结果及分析
4 小结