广电运营商大数据综合运营平台设计和实践

张 卫

(浙江博通影音科技股份有限公司，浙江 杭州 310000)

广电运营商大数据综合运营平台设计和实践

张 卫

(浙江博通影音科技股份有限公司，浙江 杭州 310000)

对有线电视运营商大数据平台设计思路、功能架构和应用场景进行分析，介绍了广电大数据分析应用系统的构成及关键技术问题，并通过应用案例分析了广电大数据系统的发展前景。对于有线电视发展大数据运营，有重要的借鉴意义。

广电运营商；大数据；互联网+；数据采集；数据分析

随着互动媒体的发展以及服务竞争态势的日益加剧，广电运营商的互动媒体经营理念经历了3次重要的变革，第一阶段是广电业务发展的初期，业务单一，仅仅围绕承载广播电视传输业务，确保安全播出开展各类服务；第二阶段，三网融合政策的推广促使各地纷纷开展基于有线数字电视机顶盒的互动点播业务，交互式服务使广电的服务业态进一步丰富，服务种类更加多样；第三阶段，互联网+和智慧城市的东风启发了传统广电运营商拥抱互联网的思维，个性化展现、多屏互动、电子支付、T2O(TV to Online,即电视电商聚合)越来越频繁地成为互动电视业务界面的创新元素[1]。

众多互联网时代的新兴媒体在业务发展过程中构筑了名副其实的大数据系统，并通过和大数据系统的良性互动进一步深入挖掘和引导了用户需求，实现了服务创新和产业共赢。不知不觉间大数据成为互联网时代商业模式创新的基石。

广电行业在互动媒体业务运营的过程中，形成和累积了大量文件颗粒度大的视频内容、海量的用户服务数据、亿万次的个性化点播服务请求、海量的直播用户收视数据……这些数据的加工处理已经融入到广电媒体运营的方方面面，对广电运营商制定营销体系业务策略、开发新产品乃至创新商业模式等都提供了丰富的数据支撑[2]。大数据时代是广电行业的发展红利，广电必须以大数据为引擎和催化剂，消除既有业务系统的数据孤岛，通过整合各类不同维度的业务数据(直播电视、互动电视、互联网电视、手机APP等)形成数据仓库，并以此为基石，细分用户群体，挖掘不同层次受众的个性化需求，以大数据引领互动媒体服务运营，打造以大数据为基础的精准营销工具和决策平台，以应对互联网带来的严峻挑战。

广电大数据平台在具体业务开展及后续决策分析方面都将产生重要的作用及价值。

1 总体功能架构

广电大数据平台由大数据基础平台、大数据分析系统及智能推荐引擎组成。基于统一标准的数据接入规范，实现对广电运营商用户收视行为的广泛采集，通过大数据分析系统对收视数据进行基础分析和处理，利用智能推荐引擎为广电运营商提供全面的业务精准营销。总体功能架构如图1所示。

图1 总体功能架构

智能推荐引擎及大数据分析系统都是基于大数据基础平台实现。

大数据基础平台提供海量数据整合、数据存储、数据计算的能力子系统。针对广电的结构化、非结构化数据，提供大型的、并行的数据仓库；提供对海量数据分析的能力；针对广电产生流量的实时数据，提供流计算的能力。

智能推荐引擎基于海量聚合内容数据及用户行为数据进行采集、清洗、集中处理和智能分析，以相关性推荐及个性化推荐为核心分析方向，面向多屏上层应用提供用户相关性及个性化的数据推荐、搜索数据推荐服务以及实时的内容分析服务。

大数据分析系统可处理数据量在TB到PB级别的用户规模，并支持弹性缩容、扩容，通过针对广电行业数据分析展现，达到对用户需求洞察、产品决策支持的能力[3]。

2 功能模块分解

整体功能模块分解如图2所示。

2.1 大数据基础平台

基于HDFS2建立大数据平台的数据仓库，对大量数据进行存储、维护、备份等管理；通过Sqoop对结构化数据进行转换加载；通过Flume采集半结构化、非结构化数据进行采集转换；在HDFS2的基础之上建立Hbase查询引擎、Hive分析引擎；通过Yarn调度实现MapReduce分布式离线计算；通过Storm实现在线流式计算；通过Spark实现集群的内存计算；通过BI提供对大数据基础平台运行状况的监控及分析。

图2 功能模块分解

2.2 智能推荐系统

搜索推荐模型管理功能提供对搜索联想词推荐管理的功能；推荐模型管理功能提供对各类推荐模型的参数、配置、数据的管理；内容数据分析，提供在线标题、内容查看、分析的功能；用户画像管理功能提供对用户画像规则及参数的管理；数据源管理功能提供对相关媒体内容元数据，用户行为原始数据、用户基础数据的数据清洗、抓取、聚合的管理；算法管理功能提供对各类算法的通用参数、独立参数的管理，以及对算法组件增加的管理；推荐效果分析功能对推荐服务进行A/B Test分析，推荐调用统计、推荐服务调试等功能；系统管理功能对智能推荐引擎平台的角色权限、推荐API等的管理功能。

2.3 数据分析平台

数据分析平台可根据客户需求及实际情况，进行定制性分析，基本功能如下：直播业务分析，针对传统业务频道、节目进行收视份额数据、用户UV、用户忠诚度等分析；点播业务分析，针对新媒体业务的点播、时移、回看等进行数据的各类分析。

3 关键技术介绍

3.1 实时智能推荐技术

实时推荐系统如图3所示。

图3 实时推荐系统

开放API，将分析和挖掘系统相关功能以服务API的形式封装和打包，对外提供访问接口。基于流计算的内容资源分析与挖掘，为用户提供基于自身需求的定制化服务和响应，充分挖掘数据蕴含的深层价值。基于分布式并行计算，对数据做复杂的业务处理，实现海量内容资源离线分析与挖掘。

3.2 融合异构推荐算法模型

异构推荐系统如图4所示。

图4 异构推荐系统

本系统的算法模型设计，参考融合推荐框架。通过内容过滤、统计过滤、协同过滤机制，采用多种基础算法(切词算法、SVD等)、推荐模型(I2I KNNU2U KNN混合模型)的合理混合，进行推荐预测并输出推荐列表，通过用户反馈数据的交叉验证，来评估推荐效果，并进一步优化推荐模型。

4 典型应用场景

4.1 影视剧内容评估优化

综合数字电视、互联网视频网站、移动互联网APP、社交网站等多个渠道形成对影视剧的收视情况的综合评价，形成相关指导指数，构成相对于收视率更加全面的收视评价数据(见图5)。

图5 影视剧内容评估(截图)

一方面，可以为影视制作单位提供可靠的收视依据，便于影视制作单位对收视情况的量化评估，同时也为后继的影视剧生产和投资方向起到辅助决策的作用。甚至可以参照《纸牌屋》的制作模式，边播边拍，用户和制作方良性互动，创作更多易为客户接受的定制剧产品。

另一方面，可以为广电运营商设置影视专区，对媒体内容的分类管理提供有效的决策依据。

同时，还可以为影视剧版权购买策略的制定提供重要的决策依据，对不同剧种的广告销售策略的定价提供数据支撑。

4.2 营销策略优化

广电大数据平台将重构精确营销模式，一方面综合原有CRM系统、BI系统的同时还可以从诸如社交媒体数据、邮件数据、地理位置、物联网信息、移动互联网信息等不同维度增加对非结构化数据的采集、处理、挖掘和分析。个性化推荐界面如图6所示。

图6 个性化推荐界面(截图)

根据大数据分析结果，在电视门户、网站门户、手机门户等推荐位推荐相关的公共内容，产生收视排行榜，供用户自由选择收看。

分析每个用户/客户的消费能力、交往圈、习惯与爱好等，然后提供智能化服务与消费引导。提供定向推送广告等服务，从而实现广告的精准到达，大大提升广告的点击率和营销效果。同时可以为用户推荐个性化的节目内容，或者跟电商合作，推荐相关的电商产品。可根据用户登录区域、时间的不同推荐不同的内容，可以在不同的屏上实现相同内容的推送，保证用户体验上的一致性。个性化推荐界面如图6所示。

4.3 运营产品优化

根据大数据分析，形成反馈意见优化门户等交互产品的设计，使设计更加人性化，更加符合用户使用习惯，从而提升产品的价值(见图7)。

图7 运营产品优化

4.4 网络运维资源优化

可以根据用户的收视习惯优化网络的配置，特别是边缘网络资源的配置，对于点播等互动业务比较频繁的区域，可以增加IPQAM等边缘网络设备的数量，并尽量将相关设备下沉部署，对于那些互动业务订购量不大、点播行为不活跃的地区，可以减少相关设备的投入，从而最大程度地实现网络资源和业务成本的最优配比。

5 小结

广电运营商经历了从模拟到数字，从广播到互动，从单一广播电视业务到融合了宽带、互动电视和移动视频的全媒体业务的转变，从媒体内容的生产、加工、消费和运营各个环节都实现了数字化，多年的运营累计了大量的用户消费数据和业务运营数据，对于广电运营商而言，通过对结构化和非结构化数据的挖掘分析，细分用户群体，挖掘群体化消费需求，打造社交化媒体消费平台，是优化广电现有业务、开展精细化运营的必要手段，从而实现对用户消费群体的细分，实现精确地定制产品和服务，将细分业务做深做细，将基础业务做大做强，满足日益个性化的用户需求，有效应对互联网竞争的大潮。

[1] 孙亮.基于大数据应用的互动电视增强业务研究[J].电视技术，2013，37(22)：7-9.

[2] 李锐.浅谈广电运营商的大数据分析及应用系统 [J].有线电视技术，2013(9)：19-22.

[3] 尹亚光，施玉海.大数据对媒体融合发展的支撑和促进[J].广播电视信息，2015(12)：12-16.

责任编辑：许 盈

Design and practice of big data integrated operating platform owned by television cable network operators

ZHANG Wei

(ZheJiangBrightMediaTechnologiesInc.，Hangzhou310000，China)

The ideas focused on big data platform about its architecture designing, function modules defining, users scenarios planning and others are discussed, it introduces and analyzes the components and key technologies to build the platform which will show outstanding performance about the service analysis and reporting sector. The article also outlooks the future perspective about the cable network operators’ big data service based on the detail cases studying. And it is meaningful for the development of big data operating of television cable network.

television cable operators; big-data; Internet+; data mining; data analysis

张卫. 广电运营商大数据综合运营平台设计和实践[J].电视技术，2017，41(1)：42-46. ZHANG W. Design and practice of big data integrated operating platform owned by television cable network operators[J].Video engineering，2017，41(1)：42-46.

TN949

A

10.16280/j.videoe.2017.01.009

2016-05-27