金振,林翀云,冯杰,凌啼(中国移动通信集团浙江有限公司,杭州 310030)
视频监控端到端业务质量监测技术研究*
金振,林翀云,冯杰,凌啼
(中国移动通信集团浙江有限公司,杭州 310030)
本文介绍视频质量监测系统,利用计算机图像处理技术,对视频监控业务端到端网络中出现的摄像头故障、视频信号干扰、网络拥塞等问题进行分析、判断和告警。
视频监控;亮度异常;信号丢失;视频卡顿;端到端监测
视频监控系统基于电信运营级的视频监控管理平台,以LTE和有线宽带网络为基础,将分散、独立的监控点图像进行联网处理,实现跨区域的统一监控、统一管理及分级存储,满足政府、企业客户业务需求。
目前浙江移动的视频监控业务已进入高速发展期,但由于摄像头、编码器、视频链路、4G网络、CMNet网络等故障原因,视频业务频繁出现亮度异常、对比度异常、信号丢失、视频卡顿等15种视频图像质量问题,问题出现率达到12%。如果以人工巡检播放视频画面的方式发现故障,人力资源浪费严重,并且不能第一时间发现问题,视频图像故障主动发现率低。
为此,浙江移动开发建设视频质量监测系统,利用计算机图像处理技术,对视频业务端到端网络中出现的摄像头故障、视频信号干扰、网络拥塞等问题进行分析、判断和告警,能对接、监测多套视频监控平台。
影响视频监控画面质量的因素有摄像头、现场环境、传输网络。摄像头设备故障、老化,容易导致视频画面清晰度异常、色彩积色、条纹、对比度异常、亮度异常、视频噪声、视频卡顿、信号丢失问题。现场环境对摄像设备的干扰,容易导致画面过暗、视频遮挡、视频抖动、摄像角度变化问题。视频端到端网络质量不佳,容易导致视频信号丢失、视频卡顿问题。图1展示了常见的视频画面异常现象。
图1 常见视频画面异常现象
视频画面的最终呈现质量是视频监控业务的核心,也是客户最为关心的,之前我们发现视频质量问题的主要手段是人工巡检,但是近几年业务发展迅速,摄像头总量超过20 000个,人工巡检浪费大量人力资源,并且也无法及时发现视频质量问题。
2.1设计思路
视频质量监测系统支持各类视频监控平台协议,调取千里眼视频监控、海康威视等视频监控平台的监控画面,实时分析监控画面的图像质量,并通过告警同步接口将告警信息同步给综合告警平台,实现工单派发,整体业务逻辑图如图2所示。视频质量监测系统包含3大功能模块:管理调度模块、视频分析模块和Web服务模块。
图2 视频质量监测业务逻辑图
管理调度模块从千里眼平台获取摄像头列表及播放路径,并向多个视频分析模块分发视频检测任务。视频分析模块通过CMNet向地市千里眼平台请求视频流,实施视频质量检测,视频分析模块单设备检测能力:3 600路/小时,支持多台设备组成集群并行检测。Web服务模块供管理员配置视频监测的计划与策略,并且以图文形式展现视频监测结果。
2.2视频分析原理介绍
视频质量监测系统的视频分析模块从千里眼平台的视频服务器实时获取视频流,对视频流进行解码,提取出每一帧的图像,分离出亮度信号Y和色度信号V,并对信号进行一系列的运算处理,与预设阀值进行比对,判断图像质量是否低于预设值。详细流程如图3所示。
图3 视频分析原理
2.3视频图像亮度过亮检测算法
在视频监控系统中由于摄像头故障、增益控制紊乱等原因会引起视频画面过曝,导致视频图像过亮或白茫茫的一片。本文提出一种自动判断视频增益过曝的检测算法,算法流程图如图4所示,主要包括以下5个步骤。
(1)接收系统传入的视频图像,计算当前帧视频图像的灰度直方图hist。
(2)计算图像像素灰度均值m,灰度均值m的三阶矩u3,该值描述了直方图的偏斜度,判断u3大于给定的阈值T1,如果u3>T1,则说明视频图像亮度分布在高亮区域,存在增益过曝问题,进入步骤3。
(3)计算图像中灰度值小于h1的图像面积,记为sum1;同时计算直方图中灰度值大于h2的图像面积,记为sum2。计算sum2/sum1的比值t,如果t的值大于给定阈值T说明视频增益异常,进入步骤4。
(4)计算sum2/N的值,即高亮度部分占图像的面积比,其中N为步骤1中得到灰度图像总像素数(图像面积),记录当前的面积比为r=sum2/N,进入步骤5。
(5)通过公式p=m-t0+t1×u3+t2×r计算出p作为最终的过曝强度值,其中t0、t1、t2为常量系数。
2.4视频图像低对比度异常检测算法
在视频监控系统中由于镜头损坏、焦距不当或异物遮蔽等因素的影响容易引起视频图像对比度偏低,从而导致视频图像关键信息丢失,严重影响视觉效果以及后续的图像分析。本文提出一种低对比度异常检测算法,算法流程图如图5所示,主要包括以下几个步骤。
图4 视频增益过曝检测算法
图5 视频低对比度异常检测算法
(1)接收系统传入的视频图像,对当前帧图像进行灰度直方图统计,计算直方图中值所在的位置y0以及直方图的方差var。
(2)在直方图中以y0为中心,依次向两边扩展,扩展方法为:从y0向两边扩,步长为1,哪边高就往那边扩,直到扩展部分的直方图面积占总面积的百分比分别为R0、R1、R2时记录此时的直方图相对坐标长度L0、L1、L2。
(3)对图像进行边缘检测,利用罗伯茨交叉边缘检测公式得到边缘图像,获取有效边缘点数num。
(4)利 用 公 式p = a×(L1-L0)+ b×(L2-L1)+ c×var/num计算出的p作为最终的低对比度异常强度值,其中,a、b、c为常系数。
(5)设定对比度异常强度阀值P,如果p<P,判定对比度过低异常。
2.5针对每路视频配置不同的检测标准
根据客户对于视频图像质量的关注角度,对每一路视频图像,可分别灵活配置15种图像的检测标准,满足客户的特定需求,配置效果如图6所示。比如公安局关注夜间的图像过暗问题,则视频质量监测系统提升图像过暗的检测门限。
在浙江移动建设一套视频质量监测系统,由于浙江省视频监控平台由省、市两级节点组成,视频质量监测系统通过省节点的IF11接口,完成账户登录与视频列表获取;通过市节点的IF13接口,实时获取摄像头的视频画面,并进行图像质量监测,检测准确率达到96%以上。浙江视频监控业务现有摄像头21 000路,如果采用手工巡检的方式发现视频质量问题,需安排16人手工巡检,本成果的应用节省了人力资源浪费;并且将故障主动发现率从27%提升到96%,故障发现时间从12 h减少到1 h。
图6 基于摄像头的检测标准配置
表1展现的针对某集团客户视频的检测结果,视频图像平均异常率为12%。
表1 某集团客户的视频检测结果
本文的研究成果解决视频监控业务图像质量无法自动化监测的业界共性难题,可对海康卫视、大华、中兴力维等各品牌的视频监控系统进行对接监测,显著提升了视频监控业务图像质量问题的主动发现能力。下一步的工作计划是将本项目应用于宽带视频和4G手机视频业务的图像质量自动化监测,提升视频客户业务感知。
Research on service quality monitoring technology of video monitoring
JIN Zhen, LIN Chong-yun, FENG Jie, LING Ti
(China Mobile Group Zhejiang Co., Ltd., Hangzhou 310030, China)
In this paper, video quality monitoring system is introduced. Using the technology of computer image processing, we can detect camera malfunction, signal interference, network congestion and generate alarm.
video monitoring; brightness anomaly; signal loss; video caton; end to end monitoring
TN915.4
A
1008-5599(2016)08-0011-04
2016-07-16
* 中国移动集团级一类科技创新成果,编号zj2015_LY009_004,原成果名称为《视频监控端到端业务质量监测技术研究》。