营销类多媒体信息发布系统终端自动化运维

陈艳，叶德建



营销类多媒体信息发布系统终端自动化运维

陈艳，叶德建

摘 要：随着终端规模的增加、系统部署时间的增长，营销类多媒体信息发布系统由于传统单服务器模型在存储、性能可扩展性的限制，实时监控及故障预警与处理机制的缺乏而难以运维。利用流媒体细分行业云提供的云存储、云计算等基础服务重新设计架构，实现线性可扩展；分析信息发布系统业务特色及运维需求，确定终端监控指标体系及基于有限状态机的实时监控方案，降低故障处理时间，提高系统可运维性；重点讲述基于字符串最长公共子序列的终端播放逻辑正确性检测，基于帧率、图像质量的视频失真评估模型，实现视频播放质量的实时监控。实验显示运维方案既能满足终端性能需求，又能达到运营预期。

关键词：营销类信息发布系统；流媒体云平台；大规模机顶盒终端；自动化运维

体，上海，201203

叶德建（1976-），男，浙江，复旦大学，软件学院，网络信息安全审计与监控教育部工程研究中心，副教授，研究方向：网络多媒体，上海，201203

0 引言

营销类多媒体信息发布系统为企业构建业务互动营销管理平台，商业价值与服务质量之间关系密切，业主十分关注其达到的宣传效果与资金投入是否成正比，因此播放逻辑（精确到秒）、广告播放质量等的监控对广告运营而言至关重要。传统主观多媒体服务质量监控手段，采用人轮询的方式因耗费大量人力难以实现，亟需定制符合业务需求的自动运维方案。

信息发布系统无法实时监控，一是缺乏存储、计算资源。随着终端数量的增多，服务器对数据处理不及时；随着部署时间的增长，历史离线数据难以存储、分析处理。二是缺乏有效的运维监控方案及故障预警与处理机制。学术界现有相关研究围绕受众营销有效性展开，采用传感器及人脸识别、姿势检测、运动检测、人流量分析等机器挖掘技术，从观看人数、时间等方面衡量信息发布系统对受众的推销影响[1]。传感器的引入，为系统增加了器材购置、运维等的开销，无法广泛应用于产业界。文献[2]提出了客观服务质量的监控方案，基于日志输出提取指标数据依赖于日志数据的准确、完整、及时，在终端实际运行中难以保障。此外，两者均缺乏故障检测、故障处理机制，无法完全满足广告自动化运维的需求。

因此，论文首先基于流媒体业务云搭建信息发布系统业务，利用存储、计算等云服务设计系统架构，实现系统的线性可扩展。其次从业务、运维需求中提取监控指标，利用大数据处理平台对采集的流式数据进行数据挖掘，着重设计并实现对大规模终端的播放逻辑正确性、视频控件播放质量的实时监控。最后展示数据挖掘结果并测试监控模块对终端资源的消耗。实验数据及生产部署显示，监控方案对终端资源消耗合理，且满足运维预期。

论文的创新性在于：（1）利用云技术设计系统架构，实现线性可扩展；（2）建立适合多媒体信息发布系统的运营指标体系；（3）设计适合机顶盒终端的播放逻辑、视频质量监控方案。

1 自动化运维

1.1 基于云的多媒体信息发布系统

Clear云为流媒体视频行业细分云，为信息发布系统、OTT网络电视、酒店VOD等流媒体应用提供存储、计算基础服务。

系统架构如图1所示：

图1　信息发布系统架构图

信息发布系统部署在Clear云平台上，主要包括smartpub信息发布子系统（用于终端、多媒体资源等信息管理、节目的编辑与定时定点发布）、iips终端服务器（负责与终端的交互，推送节目，处理终端请求）、monitor终端监控平台（负责实时处理终端上报的心跳和日志，监控终端实时状态）3个业务子系统，及Clear日志服务、Clear大数据处理服务（提供批处理和流式数据处理）、Clear分布式文件系统（存储日志等离线数据）、Clear分布式对象存储（存储视频、音频、图片、JavaScript等静态文件）、Clear分布式消息中间件5个云平台子系统。通过分布式消息队列粘合各个子系统，同时保持子系统间的松散耦合，实现功能线性可扩展。

系统中主要有4路数据流：（1）系统管理员在smartpub信息发布子系统编辑节目，并通过iips终端服务器发布到终端；（2）机顶盒终端到mongodb布局数据库中获取发布的布局，然后从swift分布式对象存储中获得相应多媒体文件；（3）终端将心跳、日志等数据上传至log日志服务器，经过nsq消息中间件分发到monitor终端监控平台，基于spark等大数据平台处理后将故障结果推送至移动互联网应用，通知相应运营人员；（4）终端通过iips终端服务器实现软件更新。

1.2 监控指标体系

笔者从宜信贷、中民福彩等实际项目中提取出信息发布系统的运维需求：

（1）商用多媒体信息发布系统主要为企业推销形象，管理员集中发布节目后，终端必须严格按照时间表、播放列表、播放日程进行播放，因此需要图形化展示终端播放流程，并监控其播放逻辑是否符合预期。

（2）为提高系统竞争力，需要保障多媒体控件展示质量。图片、文字、音频数据量相对较小，通过HTTP资源下载，质量容易保障。对于实时发布的节目，为减少启动延时，视频采用HLS传输协议，因此需要为系统提供视频客观质量评估方法，实时评估播放内容。

（3）为运维人员提供终端在线状况视图，并统计终端使用情况，如在线盒子、活跃盒子、新增盒子、启动频率、地域分布、版本分布、存留分析等。

（4）终端硬件资源使用数据，根据当前资源使用情况及经验阀值，判断当前终端是否健康。

基于上述需求，系统监控指标如表1所示：

表1　终端监控指标

其中终端在线状况及终端硬件资源使用情况比较简单，本论文不做过多讨论。

1.3 基于有限状态机的终端状态管理

系统为每一个智能终端维护一个有限状态机，如图2所示：

图2　终端有限状态机

来自性能、播放状况、播放逻辑等的数据挖掘事件、心跳事件和预警措施事件将触发其状态的改变。终端一共有3个状态：正常态、退化态、故障态。初始时系统处于正常态，当播放质量变差、性能指标降低、播放逻辑打分变低时，系统进入退化态。当系统恢复正常时，其回退到正常态。当出现3次心跳超时、播放故障、资源过载、及播放逻辑混乱时，系统将从正常态或者退化态直接进入故障态，此时通过运维人员的人工干预，可以回到正常态。

1.4 播放逻辑

对于信息发布系统而言，客户非常关注其播放效果，如投放的广告，是否按时播放、播放次数是否符合预期。因此播放逻辑的检测非常重要，主要检测管理员发布的节目，预定播放逻辑和实际播放逻辑的对比，并计算两者匹配程度。1.4.1 多媒体控件实体关系

信息发布系统中多媒体控件实体关系如图3所示：

图3　多媒体控件实体关系

一个频道有多个布局，一个布局有多个多媒体控件，多媒体控件可以分为视频、音频、文字、图片控件，而一个控件可以播放多个多媒体文件。系统可以在布局和多媒体文件（视频、音频、文字、图片）两个层面定义开始播放时间、节目时长、播放次数。

1.4.2 播放逻辑

播放逻辑即，根据发布的频道获得其基于时间轴的素材播放列表。首先需要确定频道中各个布局的播放列表。布局根据播放优先级分为插播布局、定时布局和常规布局。插播布局最先播放，定时布局则是在规定时间点播放，常规布局则在插播布局之后，定时布局之间播放，其处理流程图如图4所示：

图4　布局播放列表生成流程图

布局调度开始后，首先确定插播布局播放时间，遍历每一个插播布局，按其规定次数播放插播布局。然后，确定定时布局播放时间，遍历每一个定时布局，如果其规定开始播放时间比当前时间轴可调度时间小，则其规定播放次数由于时间被占用而减少，系统将按调整后的播放次数播放当前布局。最后，确定常规布局播放时间，遍历每一个常规布局，从时间轴上找到每一次播放所对应的插播布局与定时布局之间的时间间隔，播放当前布局。

在确定布局开播时间、播放时长后，则需要确定其内部每一个组件的媒体文件播放列表。由于各个组件独立运行，因此可以单独调度，组件调度流程图如图5所示：

图5　组件素材播放列表生成流程图

组件节目调度开始后，如果素材已播放时间大于其规定的播放时间，则调度结束。否则将遍历组件中每一个多媒体文件，进行规定次数的播放。

1.4.3 播放逻辑正确性检测

对于发布到终端的频道，系统从布局展示逻辑、组件素材展示逻辑两个层面获得其预期播放逻辑；同时从终端播放日志可以获得其实际播放逻辑。获得基于时间轴的预定播放逻辑和实际播放逻辑后，系统给出基于开播时差、播放完整度、播放列表匹配度的播放逻辑总分，来衡量实际播放逻辑与预期播放逻辑的差别。

首先需要对素材进行匹配，找出预期播放列表与实际播放列表的最长公共子素材＜布局1，布局2，布局4＞为其最长匹配素材播放列表，如图6所示：

图6　播放列表匹配示意图

比较两个播放序列，可以发现在实际播放中出现了漏播和播放延迟。

可以将该问题转化为字符串最长公共子序列这一经典算法，定义如果播放列表一的所有素材按其在时间轴的顺序出现在播放列表二中，则播放列表一为播放列表二的子串，并利用动态规划求解。用数学表示，序列X=＜x1,x2,...,xm＞为预期播放列表，xi为X中第i个播放素材，Y=＜y1,y2,...,yn＞为实际播放列表。设X和Y的一个最长公共子序列为Z=＜z1,z2,...,zk＞，其中X{zi}为X中zi对应的播放项，Y{zi} 为Y中zi对应的播放项。

素材zi开播时差得分T(zi)，如公式（1）：

其中SX{zi}为X{zi}的开始播放时间，即预期开播时间，SY{zi}为Y{zi}的开始播放时间，即实际开播时间，得分在[0,1]区间，随开播时间差指数衰减，α为系统可调时间参数。

素材zi播放完整度得分D（zi）如公式（2）：

其中DX{zi}为X{zi}的播放时长，即预期播放时长，DY{zi}为Y{zi}的播放时长，即实际播放时长，得分随时长差线性衰减，在[0,1]区间。

素材列表播放逻辑总分S（X,Y），如公式（3）：

为平均匹配得分，对于公共播放列表Z中每一项，其分数为时间偏差与播放完整度的乘积，S(X,Y)在[0,1]。

假定布局中组件列表为C=＜c1,c2,...,cl＞，ci为C中第i个组件。布局内所有组件播放综合得分如公式（4）：

其中S（ci）为组件ci播放逻辑得分，wci为组件ci的权重，通过权重值的分配可以为视频、音频组件赋予更高的权重。

当X、Y表示布局播放列表时，布局得分如公式（5）：

单项得分为布局内组件播放得分、时间偏差与播放完整度综合得分，其值在[0,1]区间内，得分越高，说明播放逻辑越好。

1.5 视频质量监控

视频质量评估主要分为主观质量评估和客观质量评估，客观方法分为全参考、半参考、无参考模型[3]。主观质量评估由人对观看的视频进行打分，最可靠最有效，但需要大量运维人员的参与，代价昂贵。客观方法中全参考模型，需要同时获取参考多媒体文件与测试文件，将终端播放画面传回云端，或者在终端预先下载存储参考多媒体文件，为存储、带宽资源有限的机顶盒添加了过重的负担；无参考模型不依赖参考文件，准确性较低，需要实时提取视频空间、时域信息，计算复杂度高，不适合嵌入式设备。而现有半参考模型基于计算、带宽等因素的考量同样不适宜直接应用在信息发布系统中，因此，论文基于Thomas Zinner提出的影响QoE （Quality of Experience，服务体验质量）的帧率、图像质量因素结合人类视觉特性，提出了简化版视频质量评估模型[4]。

视频失真包含空域失真和时域失真两种类型。对于空域失真而言，一个失真画面往往包含多种失真，而对所有失真进行建模计算量大且无法覆盖所有失真。文献[5]指出，使用daubechies9/7小波基对失真图像进行小波变换后，每个子带的系数都服从广义高斯分布，相应的高斯分布系数可以唯一地刻画该子带的失真特性，因此，可以提取子带系统统计直方图作为特征向量来描述图像。

参考人眼视觉效应，画面出现失真时，物体运动越快，失真越容易被掩盖，因此，空间失真是运动矢量与空间失真的综合作用。空间失真Ds模型如公式（6）：

其与运动矢量M负相关，与画面失真度S’正相关。画面失真度S’，如公式（7）-（9）：

终端播放帧率与参考帧率偏差越大，画面连续感越差，时域失真越明显。此外运动矢量越大，画面转变得越快，人眼对失真感知度越明显，因此系统中用帧率F（Fr为参考帧率，Fa为实际帧率）和运动估计M来估计当前时域失真Dt，如公式（10）：

论文综合考虑空域失真Ds和时域失真Dt，视频实时失真D如公式（11）：

视频质量算法框架如图7所示：

图7　视频质量评估框架

对于终端视频，每隔一定时间抽样当前播放内容画面，提取特征向量并传输到云平台。在Clear云平台，也对相应帧提取特征向量，同时进行视频复杂度分析，最后基于三组输入进行视频质量分析，获得质量得分。该算法采用部分参考模型，在保证质量评估准确性的前提下，减少了终端机顶盒的数据传输，同时将终端计算量移到云平台，充分利用云平台计算资源，降低终端计算量。

2 实现与测试

2.1 播放逻辑展示

系统采用amCharts的时间序列图展示播放逻辑。参考布局如图8所示：

图8　参考频道布局播放列表

图为测试频道的布局播放列表，其中all和video单次播放55分钟，其播放顺序为all-all-video-video。

其中all布局有四个组件，各组件内媒体文件播放列表如图9所示：

图9　all布局各组件素材播放列表

从上到下依次为图片组件、文字组件、音频组件、视频组件。

all布局中视频组件的第二次播放处理结果，如图10所示：

图10　素材播放逻辑处理结果

图10中粗线为预期播放列表，灰线为测试播放列表，其中总分为0.736分，播放逻辑较差。

2.2 视频质量监控展示

不同画面质量分析结果如图11所示：

图11　图像质量分析

图片左上角为参考画面，中间为网络情况良好时的视频播放效果截图，右上角图片为网络差时视频播放效果的截图。第二排为图像第一维度水平方向细节小波变换系数统计直方图，可以看到，图片失真严重时，其直方图差异明显，因而失真分数高。

终端对单帧采样图片（分辨率为1920×1080）处理时间曲线，如图12所示：

图12　图像处理时间

可以看到处理时间稳定在450ms左右，当视频切换时，其处理时间上升到1000ms，但会在短时间内急剧下降。因此当采用间隔在0.2秒以上时，通过大小为2~3的线程池，终端能较好完成任务。

2.3 监控模块资源消耗

将终端监控模块集成到客户端，客户端为ARM Cortext-A9处理器、1GB内存、Android4.2的海美迪Q3II机顶盒。在播放相同节目时，对有监控模块和没有监控模块的CPU和内存资源消耗情况进行了采样，并计算平均资源使用情况，如图13所示：

图13　监控模块资源消耗

集成监控模块以后，系统CPU增加7%，内存使用增加2%，运维监控模块增加的硬件资源消耗可以接受。

3 总结

本文通过分析营销类信息发布系统随着终端规模的扩张难以自动化运维的原因，提出了基于流媒体云平台的架构设计，既满足业务自身需求，同时为运维提供有力支持；结合业务特色和运营反馈，从终端播放逻辑、控件播放质量、终端资源消耗、终端在线情况4个方面给出了基于有限状态机的终端实时监控方案，重点讲述了播放逻辑检测、视频质量评估的设计与实现。实验证明该方案既能满足系统性能需求，又能达到运营预期。

参考文献

[1] Yin K C ,Wang H C, Yang D L. A study on the Effectiveness of Digital Signage Advertisement[C]//IEEE/2012 International Symposium on Computer,Consumer and Control(IS3C)[C]. 2012, 169-172.

[2] 李露露, 叶德建, 刘新. 一种自动精确衡量信息发布系统客观服务质量的方法[J].计算机应用与软件, 2015, 32(1): 74-77.

[3] Seshadrinathan K, Soundararajan R. Study of Subjective and Objective Quality Assessment of Video[J].Transactions on Image Processing, 2010, 19(6): 1427-1441.

[4] Zinner T, Hohlfeld O, Abboud O. Impact of frame rate and resolution on objective QoE metrics[C].IEEE/2010 Second International Workshop on Quality of Multimedia Experience, 2010, 29-34.

[5] Moorthy A K, Bovik A C. Statistics of nature image distortions[C].IEEE/ International Conference on Acoustics Speech and Signal Processing, 2010, 962-965.

Automated Maintenance for Advertising Multimedia Digital Signage Terminals

Chen Yan, Ye Dejian
(Software School ,Fudan University, Shanghai 201203, China)

Abstract:With the increasing of terminal scale and deployment time, the information publish system for marketing multimedia is hard to maintain because the traditional single server model has the limits of storage and performance scalability, and the lack of real-time monitoring schema, fault alarm and handling mechanism. This paper uses the basic services such as cloud storage and computing provided by the industry of streaming media segmentation to redesign the architecture and realize linear expansion. It analyzes the business characteristics and maintain requirement of the information publish system, and determines the index system of monitoring terminals and the real-time monitoring scheme based on finite state machine. It reduces the time of error handling and improves the system operations. Then it focuses on the logic validity check of terminal player based on longest common sub-sequence and the evaluation model of video distortion based on frame rate and image quality, to realize the real-time monitoring for the playing video quality. Experiments demonstrate that this solution is effective and acceptable.

Key words:Advertising Digital Signage; Multimedia Cloud; Large-Scaled Set-Top Box; Automated Maintenance

收稿日期：（2015.04.15）

作者简介：陈 艳（1989-），女，湖南，复旦大学，软件学院，网络信息安全审计与监控教育部工程研究中心，硕士研究生，研究方向：网络多媒

基金项目：上海市科委科技发展基金攻关项目

文章编号：1007-757X(2016)01-0025-05

中图分类号：TP31

文献标志码：A