周清
(江西广播电视网络传输有限公司,江西 南昌 330000)
有线网络公司静帧监测算法优化实践
周清
(江西广播电视网络传输有限公司,江西 南昌 330000)
图像静帧故障的及时准确发现和快速处理,是有线网络公司日常运维的一项重要工作。传输节目的多样性导致了静帧监测算法的复杂性,结合机房运维的实际情况,提出了以灵敏度和静帧抑制策略为核心,辅以静帧运行图的一整套静帧监测优化算法,取得了很好的效果,极大地提升了静帧报警的有效性,减轻了机房值班人员的工作强度。
有线网络公司;静帧监测;灵敏度;静帧抑制
随着广播电视技术的不断发展,各地有线网络公司传输的数字电视节目数量不断增加,在丰富了人民群众精神生活的同时,安全播出的工作也面临着越来越大的挑战。图像静帧是各级广电单位机房日常值班维护中需要重点关注的一种故障现象,对于各地有线网络公司而言,其传输的数字电视节目众多,来源和节目播出特征也多种多样,情况相比电视台等单位更为复杂。一般来说,网络公司机房运维值班对于静帧监测的基本诉求如下:
1)对于播出、传输设备故障引起的图像静止,能快速准确报出,为及时处置提供依据;
2)对于讲座类容易出现图像不动的频道,能尽量减少甚至规避节目正常播出时可能存在的静帧报警;
3)对于夜间停播的频道,报警状态能够稳定持续,避免出现报警在发生和恢复之间来回变化的情况,干扰对重点播出频道的安全监控;
4)出现静帧故障时,值班人员需要有途径能进行快速的处理和甄别,以便不影响其他频道的监视。
主流的数字电视监视监测系统都提供了对图像静帧的监测报警功能,但因为缺乏对网络公司机房传输节目静帧特性、机房值班实际情况的了解,常规的静帧报警功能不能很好地解决上述问题。为此,本文提出了一种以灵敏度和静帧抑制策略为核心,辅以静帧运行图的一整套静帧监测优化算法,取得了良好的效果。
1.1 基本原理
对于数字电视的静帧监测,基本流程如图1所示。监测系统接收IP化的TS码流,分别进行解复用、视频解码之后,得到图像的YUV数据,再对YUV数据的亮度信息(Y分量)进行对比分析,判断图像是否发生了静帧故障。
图1 数字电视静帧监测流程
在提取到原始YUV图像之后,通过以下几个步骤可以实现静帧故障的监测:
1)图像归一化及干扰区域裁剪
数字电视有高标清多种分辨率和色彩格式,对于静帧监测故障而言,352×288分辨率的灰度图像就足够了,对待分析图像进行归一化有两个好处:一是可以显著减少静帧算法处理的数据量,提高监测效率;二是归一化后的图像可以方便地应用统一的处理算法,避免不同格式的图像对算法产生不必要的复杂度。
此外,某些电视节目在制作的过程中,图像边缘会存在一些抖动、条纹等干扰信息,这些干扰信息在做监测时需要进行排除,避免影响算法的准确性,通常是去除图像四周各5%的区域。
2)图像相似度计算
静帧监测的实质是比较两幅图像是否一致,也就是相似程度的衡量。为提高效率,步骤1)中处理后的灰度图像,可以按照8×8像素的大小进行网格化区分,计算每个网格的图像灰度值的总和,作为该网格的特征值,如图2所示。
图2 网格化特征提取
对相邻两幅图像对应网格之间的特征值求差,并将差值累计,计算相似度S为
式中:K,L分别表示当前采样和上一次采样时,网格化区域的特征值;P为参考常量。相似度大于设定的门限则认为图像静止,否则认为图像不静止。
3)报警生成与恢复
将相邻两幅图像中相似度计算结果进行统计,一段时间内图像相似的次数大于一定比例,则认为该视频静帧,否则认为静帧恢复。如果将一系列待处理的图像相似度比对结果记为一系列的0或1序列,1代表图像相似,0代表图像不相似,那么可以在每个判断点对序列求和,取值大于设定序列长度的90%,则认为是静帧,否则认为静帧恢复,即报警产生的逻辑可表示为
1.2 灵敏度
按照1.1节中所论述的静帧监测算法,可以对真正严格的图像静帧故障进行准确的识别,但实际运维中的情况却要复杂得多,不少节目表面上看起来静止,并且从值班的角度也期望报静帧,监测系统的报警状态却经常不稳定,在静帧故障和静帧恢复之间来回切换,有的甚至则报不出静帧来。经过分析确定,是图像的某些细微变化导致了静帧报警状态的不稳定,为了解决这个问题,需要引入灵敏度的概念。
1)空间灵敏度
一种典型需要处理的问题是某些频道夜间停播时在画面上显示的时钟,虽然时钟在走动,但对于实际值班人员来说,这种情况最好能统一当作静帧来处理,主要有两方面的原因:一是不同频道的停播画面各不相同,有的有时钟、有的无时钟,统一报警的话有助于值班人员的统一判断;二是同一个频道,测试图本身也不甚稳定,有时会有时钟有时没有时钟,无法进行统一对待。
如果只是简单地调节式(1)中的判断门限,可以将图3所示情况统一为静帧故障,但这样势必引入大量的误报,其根源是没有考虑到图像变化区域的空间特性。在通过式(1)计算得到的相似度都比较高的情况下,图3上显示的变化区域相对比较集中,因此可以认为是静帧;但如果图像变化区域比较大,例如讲座类节目鼠标移动的动作,就不应该认为是静帧,这就是所谓的空间灵敏度。
图3 静帧的空间灵敏度
2)时间灵敏度
有的节目夜间停播时,会出现一些短时的图像剧烈异常,如图4所示。相邻的两幅图像明显存在重大的差异,相似度极低,但因为这些异常图像出现的频率非常低,可以通过时间灵敏度来加以规避。
图4 静帧的时间灵敏度
时间灵敏度的处理采用了类似于游程的概念,在根据式(2)判断视频是否处于静帧时,不仅判断其累加的和,还要判断图像连续不相似的最大次数(游程),只有两个条件都满足时才认为是静帧,此办法可以有效地规避短时的图像抖动导致的静帧恢复,游程判断表示为
1.3 抑制策略
在加入了灵敏度的策略之后,静帧报警的实用性大大提升,但还是有一个现实的问题,即时间判断门限的问题。考虑到安全播出的重要性,对于真正的静帧故障,需要在尽可能短的时间内报告出来,以便进行妥善处置,而这势必需要一个较短的时间门限;但如果将这个较短的时间门限应用到所有的场合,误报情况将会非常多,比较典型的是摄影、棋牌、讲座、政策文件宣讲的场景,非常容易报静帧,必须要有相应的静帧抑制手段。
由于单纯的图像识别已经无法区分真正的静帧故障和正常播出中的静止画面,因此必须结合电视节目的其他方面特征来进行判断,一种最直观有效的办法就是以电视伴音作为辅助判断。
节目制作、传输过程中的故障导致的静帧,往往是因为接线不牢、设备死机、网络中断等引起,出现故障时经常是视频和音频同时出现异常,即图像静帧的同时,音量值也非常低,对于人耳来说就是静音。而正常播放节目中的图像静止,往往都是伴随音频讲解播放的。利用这一特点,可形成一个视音频相结合的静帧抑制策略:对于每个要监测的节目,可以定义不同的静帧抑制参数K,当通过式(3)检测出图像静止时,并不立即进行静帧报警,而是判断这段时间内的音频报警是否正常。如果在静帧判断的正常时间门限T内,音频播放正常,则图像需要连续静止K×T的时间才进行报警;如果在静帧判断的正常时间门限T内,音频已经不正常,则静止时间达到T时马上进行静帧报警。
举例来说,静帧的时间门限典型的可以设置为10 s,静帧抑制参数可取值30。在这种配置情况下,真正的静帧故障10 s就能识别出,而对于那些音频正常的情况下,需要300 s才会进行静帧报警,这样就可以避免绝大多数的静帧误报。特别地,如果将静帧参数设置为0,可以认为只要音频播放正常,就不进行静帧报警,这对某些节目的监测也有现实意义。
1.4 静帧运行图
通过上述改进措施,静帧监测算法已经比较完善,但仍有一些特殊情况,如图5所示,有的频道在夜间停播时播放的测试图会出现周期性的移动,按照正常的逻辑,这种情况会周期性地出现静帧报警、静帧恢复的情况,给夜间值班人员造成极大的困扰。
图5 周期性变化的测试图
考虑到此类节目的播出特性,为了在保证安全播出的同时降低值班人员的强度,需要引入静帧运行图的概念,即静帧故障只在设定的时间段内进行监测,在此时间段外只监测视音频丢失、黑场等严重的故障。相比较而言,一般的监测系统只考虑了节目的运行图,在运行图内就对所有的故障类型监测,在运行图外则什么故障也不监测,静帧运行图的设计和使用可以较好地在安全播出防范和值班强度之间做出一个好的平衡。
使用监测系统默认的监测功能,对网络公司传输的200余套节目进行监测,对一天的观测数据进行统计的结果如图6所示,可以看出,棋牌类、学习培训类节目产生的静帧报警数目占据了绝大多数。
使用第1部分论述的算法,从灵敏度、抑制策略两个方面对静帧算法进行优化,并对不同类型的节目设置合适的监测门限之后,静帧报警数量有了明显的变化,如表1所示。
图6 静帧故障分布
表1 优化结果对比
除了上述从算法逻辑上做的改进之外,还有一些从日常值班的角度考虑需要进行完善的辅助手段,这些手段的应用,可以进一步提升有线网络公司机房值班运维的水平。
3.1 循环语音提示
语音报警是各类监测管理系统必备的提示方式,对于视音频监测来说亦是如此,来源于不同监测设备、不同节目的不同告警信息汇聚到语音报警设备,通过TTS(Text To Speech)技术进行集中的语音报警。通常情况下,语音提示只在报警发生和恢复的时候进行提示。实际值班过程中,为了防止值班人员因为各种情况漏听到语音报警,进而可能存在对异常现象的漏处理,系统设计了循环语音提示的功能:在报警恢复前,语音提示按照预先设置好的次数和频率进行周期性的播报。
3.2 故障确认
和循环语音提示相关联的,需要引入故障确认机制。当值班人员已经注意到故障,需要有手段进行确认,一旦对故障进行了确认,相关的语音报警就应该暂停。通过表1可以看出,由于有线网络公司监测的频道众多,即便应用了静帧优化算法,每天仍有一定数量的静帧报警会产生,对于这类情况,就需要应用到故障确认机制,避免这些报警影响日常的值班工作。
安全播出是广播电视永恒的主题,静帧故障的发现和处理是广电网络公司日常运维工作的一个重要内容。广播电视技术是应用型的技术,本文给出的办法也是工程化的解决办法,通过实践证明能有效提高静帧报警的有效性,从根源上杜绝漏报,最大限度避免误报,有效地提高了运维水平。
[1] ISO/IEC 13818-1,Generic coding ofmoving pictures and associat⁃ed audio,Part1:System[S].1994.
[2] 李广东,高新波,赵力.一种基于静帧特征分析的视频检索方法[J].数据采集与处理,2011(5):334-338.
[3] 刘汉武.基于IP的嵌入式广播电视信号监测设备设计与实现[J].广播电视与技术,2011,38(9):124-127.
TCL集团:拟建单独公司推智能家居
11月12日,TCL公司公告称,公司拟与控股子公司TCL多媒体、TCL通讯共同投资9 000万元在香港成立合资公司。通过该公司,TCL将在中国境内投资成立一家外商独资企业,作为智能家庭项目的运营实体。TCL集团、TCL多媒体、TCL通讯将分别持有该合资公司30%、30%、40%的股权。该项目拟通过整合新兴物联网及服务业务,通过APP完成对整个家庭的状态监控、远程遥控和智能服务,打造全流程的智能家庭服务体验。
Optim ization Practice of Freeze Detection A lgorithm in Cable TV
ZHOU Qing
(Jiangxi Radio&TV Network Corporation,Nanchang 330000,China)
The accurate detection and fast handling of video freeze fault is an important routine to cable TV operators. The variety of TV programs leads to the complexity of freeze detection algorithm.Based on the practice of cable TV monitoring system,an optimization algorithm to freeze detection is given,which uses sensitivity check and freeze control as main principle,freeze monitoring period as a supplement.The optimization algorithm is proved to be effective in spot test, thus the work intensity of staff on duty is obviously reduced.
cable TV;freeze detection;sensitivity;freeze control
TN94
B
�� 京
2014-10-21
【本文献信息】周清.有线网络公司静帧监测算法优化实践[J].电视技术,2014,38(24).
周 清(1972—),硕士,从事有线数字电视信号传输及安全播出工作。