内蒙古广电网络大数据建设初探

宋振芹 刘利鑫

1.2.内蒙古广播电视网络集团有限公司 内蒙古 呼和浩特市 010051

1 概 述

内蒙古广电网络经过十多年的转企改制、网络整合、数字化整转、双向化、宽带互联网化等发展阶段，面对当前严峻的市场竞争压力，内蒙古广电网络正在实施“一云一网三平台”战略和“基本公共服务入户”，通过积极推动终端（机顶盒、电视一体机）智能化、业务信息化等工程，已成为集视频、宽带等于一体的综合服务商。高质量服务是广电网络的生命线，建设综合大数据平台，与各业务系统互联互通，通过大数据真正实现了高质量服务。

2 大数据平台建设总体架构

内蒙古广电网络大数据平台采用“统一规划、统一设计、统一架构、统一服务、统一技术”的策略，结合内蒙古广电网络实际情况，按照“层次化设计思路”，构建面向大数据生态的“一个中心，两个环境，三个体系”的总体架构。“一个中心”指数据资源中心，“两个环境”指用户服务环境、大数据处理环境，“三个体系”指标准规范体系、安全保障体系、智慧广电管理体系。将各系统进行详细功能划分、明确服务层次，最终形成以“大数据”驱动决策、驱动管理、驱动业务增长的格局。

此大数据平台以Hadoop 为基础架构，提供从终端到头端、从设备到业务、从数据到运营决策的全业务、全数据、全覆盖的整体架构，完成数据资产从成本中心到利润中心的转变，实现商业智能。图1为技术架构图。

图1 总体技术架构图

平台采用分布式架构，支持巨量数据存储与分析，保障大数据平台的高性能、高可用性和易扩展性。

3 大数据平台特点说明

3.1 全终端打通

对内蒙古广电网络全景工作的所有终端形态都采集数据，包括智能机顶盒、电视一体机、手机、Pad、PC、交换机/路由器等设备，采用统一接口，实现了全终端设备数据采集的打通。

3.2 全业务打通

除对传统的电视直播业务进行采集外，还对基于智能终端上运行的IPVOD 点播/时移/回看、各OTT 增值业务（芒果、爱奇艺、华数等视频APP）、教育类、广告类、游戏类、公共服务类应用（公共法律服务、科普内蒙古、党报党刊、三务公开等）、微信类、生产数据类（BOSS 系统、网管系统、96066 客服系统等）、设备状态类（终端设备硬件质量、网络指标等）等进行了全业务对接打通。

3.3 全标准打通

大数据领域的标准化工作是支撑大数据产业发展和应用的重要基础，此大数据平台按照大数据国家标准及广电行业标准和指导规范进行建设，实现各层、各平台的数据共享、互联互通、资源调配。包括GD/J 074-2018《电视收视数据元素集规范》、GD/J 075-2018《电视收视数据交换接口规范》、GD/J 076-2018《电视收视数据清洗规范》等标准。

4 大数据平台功能介绍

4.1 概述

通过采集各终端硬件、软件、收视行为（直播、点播、回看、时移、广告、游戏、购物等）以及各业务系统（BOSS、AAA、EPG 等）的相关数据，经过对收集的各类数据进行清洗、存储、关联和分析，按照不同的维度进行数据分析，形成用户分析、设备分析、点播分析、直播分析、销售分析、终端行为、客户画像等多方位的数据分析能力，具备饼图、线图、柱图、流量图、堆积图、K 线图、计数器以及大屏展示等多种多样的数据表现形式，为公司媒资运营、精准营销、智能推荐等提供数据支持，提升内部运营效率，更好的促进业务发展。

整个平台对海量数据进行采集、存储、分析、搜索、挖掘，发现其内在价值，从用户、内容、质量、营销等几个方面切入，细致分析，并建立用户肖像，构建“用户—时间—标签”的多维数据矩阵，将用户在互动域的使用行为进行量化并映射到增值业务域，从宏观至微观为客户运营策略、商业模型分析等提供强有力的数据支撑。

4.2 大数据涵盖功能

（1）业务数据实时分析

在大数据分析平台上，可以详细记录和分析统计出直播、点播、时移、回看电视节目播出平台上各个栏目、各个频道的点播、直播及回看的收视率。然后按照用户的开机情况、用户在线时长、用户平均收视时长等信息数据，能够统计具体到地区的用户收视情况。

（2）用户画像实时更新

凭借追踪用户行为的功能，实现新增用户、活跃用户、累计用户实时分析，提供用户实时画像分析，为精准化营销提供精确数据支撑。

（3）服务质量实时监控

可以详细统计分析视频服务质量，如视频卡顿比、慢速比、故障分析，为快速定位问题根源提供问题路径分析，最大限度的保证视频服务质量。

（4）营销数据实时分析

是市场运营一个节目内容“从产品到商品”的能力。

（5）一站式数据处理平台

通过内存计算技术、高效索引、执行计划优化和高度容错的技术，使得平台能够处理从GB 到PB 的数据，并且在每个数量级上都能提供比现有技术更快的性能；客户不再需要混合架构，不需要孤立的多个集群。可以伴随客户的数据增长而动态不停机扩容，避免MPP 或传统架构数据迁移的棘手问题。

（6）一站式数据分析平台

支持批处理统计分析、交互式SQL 分析、在线数据检索、实时流处理，为客户提供广泛的计算支持能力，客户无需切换平台或架构即可完成复杂的任务。

（7）一站式管理平台

开发了用户友好的管理界面、提供了系统安装、集群配置、安全访问控制、监控等多方面支持，在可管理性方面优势显著。

4.3 千人千面服务

以视频数据分析为基础，针对用户的个性化收视习惯，打造真正意义上的智能EPG 入口，把广电网络海量的内容产品和用户的零散收视需求进行有效的互联，通过与平台的数据关联进行用户数据的智能分析，从而达到了解用户的收视行为习惯，包括点击量、访问次数、停留时间、用户性别年龄兴趣爱好、地域等，针对独立用户实现内容的智能推荐和个性化展现，为用户提供更好的互动收视体验。

4.3.1 付费内容精准营销

用户画像是精准营销模型的重中之重，其核心在于用高度精炼的特征来为用户“打标签”，如年龄、性别、地域、偏好、消费能力等，最后综合关联用户的标签信息，勾勒出用户的立体画像。用户画像可较完美地抽象出一个用户的信息全貌，为进一步精准、快速地预测用户行为、消费意愿等重要信息提供了全面的数据基础，是实现数据精准营销的基石。

4.3.2 智能内容推荐

系统可对各类型节目加以标签化，形成基础内容标签库，系统还会实时、定时扫描内容标签库，并检索出新发布内容的所有类型，与用户偏好标签进行匹配，根据推荐算法进行关联分析，最终形成智能内容推荐列表。

4.3.3 精准广告投放

平台利用终端数据采集挖掘形成用户画像，从大量用户中选出最具消费潜力的潜在用户，规避了传统意义上的广撒渔网式广告投放转化率低的弊端。传统广告投放，一条广告只有一个或多个投放方式，采用精准广告投放，一条广告具有数万个投放通道。

4.4 高效数据统计分析

4.4.1 数据分析

（1）用户维度（用户发展、用户活跃、用户收视分析）；

（2）收视维度（点播、回看收视分析等）；

（3）产品维度（单点、包月、包年产品订购分析等）；

（4）收入维度（产品订购收入及CP 收入分析等）；

（5）CP 维度 （CP 内容统计分析、CP 内容收视分析及产品包CP 结算分析等）；

（6）内容维度（媒资内容底量、更新、删除量等）。

4.4.2 数据统计

（1）实时分析点播、回看收视率统计；

（2）区域维度：全区、地级市；

（3）时间维度：实时、分钟、时、日、周、月、年；

（4）业务功能使用：点播、回看、时移等；

（5）用户类型：指机顶盒类型，如智能、高清、标清等。

4.4.3 智能报表输出

（1）条件的组合查询、时段查询、区域查询、分产品查询；

（2）实现图、表图、图表、表表之间的交互功能；

（3）各类统计数据的时间序列、交叉、类比；

（4）多样的报表输出及自定义报表输出。

4.4.4 用户画像

通过自建标题体系，就可以利用各种标签来定位我们想触达的用户。用户画像一般服务于精准营销，也帮助了解用户深层次的动机与心理。后期也可以生成报告与用户研究。通过对用户画像的分析可以了解行业动态，人群消费偏好等。

用户画像系统通过行为日志等刻画出完整的平台用户画像，可了解用户关联度、内容关联度、套餐关联度等信息；提供了方便的API 接口，方便第三方应用调用查询，可定时生成行业报告，了解平台用户情况。

图2 用户画像

4.4.5 内容分析

（1）点播分析

点播分析是针对点播内容数据进行分析，分析内容包括点播内容分析、点播内容排行榜、点播内容精细化、点播地区分布、点播版本分布、点播栏目分布、点播内容提供商分析、冷门点播内容分析（见表1）；

（2）直播分析

直播分析是针对直播频道进行分析，直观的展示在网用户对直播需求的变化以及收视情况，直播分析可对直播频道、直播精细化、黄金时段分析、直播频道收视率、直播频道收视率精细化等进行展示（见表2、3、4）；

（3）回看分析

直观的展示在网用户回看需求变化以及收视情况（见表5）；

（4）时移分析

时移分析是针对观看时移用户播放情况的统计展示（见图3）。

表1

表2

表3

表4

4.4.6 销售分析

销售分析是针对销售数据的统计与展示，可直观的展示产品包的销售情况、订购人数、销售额等数据，可对订购信息进行精细化分析，也可对用户退订的产品进行分析，提高用户订购率。

（1）订购概览

表5

图3

订购概览是针对全平台的订购数据展示，包括产品包销售量、产品订购人数、产品包销售额等数据，以及展示产品包销售TOP5、单片购买TOP5、媒资类型销售比例等，为运营人员提供可靠的数据支撑。

（2）订购精细化

订购精细化是针对订购数据的精细化筛选和展示，支持对销售量、订购金额、订购人数、退订人数、订购率等展示。

（3）退订分析

退订分析支持对退订用户信息分析以及产品包分析，对退订用户趋势、地区分布、退订率直观展示，为运营人员提供数据依据。

（4）订购分析

订购分析针对用户订购数据进行分析，对用户订购总数、订购失败数、订购失败率，以及下单情况进行统计，为运营人员提供数据依据。

（5）支付分析

支持对支付数据分析进行展示，以及支持条件筛选，筛选类容包括：支付订单数、支付用户数、有效收益、新增支付用户数、时间段。

（6）收入分析

支持对收入数据分析进行展示，以及支持条件筛选，筛选内容包括：ARPU、有效收益、人均支付金额、时间段。

（7）用户转化

支持对用户转化数据分析进行展示，以及支持条件筛选，筛选内容包括：新注册用户数、活跃订购用户数、新注册用户转化率、新购买用户转化率、时间段。

（8）订购留存

支持对订购留存数据分析进行展示，以及支持条件筛选，筛选内容包括：1日订购用户留存率、30日订购用户留存率、3日订购用户留存率、7日订购用户留存率、时间段。

4.4.7 终端分析

系统根据终端软探针采集上报的数据，对终端设备及故障、卡顿比、慢速比等进行监测分析统计。

（1）设备分析

设备分析是针对现网设备的统计与分析，分析内容包括：设备状态、设备开机、设备新增、设备在线、设备累计等维度。

（2）质量分析

故障分析：是针对用户发送故障的次数、故障类型、地区、版本的统计与分析，帮助运维人员排除故障。

卡顿比：是针对用户播放过程中发生播放缓冲次数和播放总次数的比值统计与分析，帮助运维人员排除故障。

慢速比：是针对用户播放过程中发生慢速与播放总次数的比值统计与分析，帮助运维人员排除故障。

4.5 大屏监测

系统具备可视化的图形UI 设计，方便在大屏上更好的展示关键数据，并对用户行为数据进行实时监控。

（1）可展示平台运行概览（上线地图、开机率、收视总时长、设备分析等）；

（2）可展示用户分析（用户标签变化、地区排行、活跃用户数、上线用户数等）；

（3）可展示节目分析（点播排行榜、点播趋势、CP 内容占比）；

（4）可展示直播分析（频道排行榜、收视率等）；

（5）终端质量监控（设备上线、设备开机、故障分析、卡顿比、慢速比等）；

（6）公共法律服务（在线观看实时监控、地区分布情况、学习时长等）；

（7）三务公开监管（实时更新内容、页面访问情况、各政府部门信息量等）；

（8）党报党刊分析（累计用户量、地区用户量、周热门版面排行、往期阅读趋势、周文章阅读进度、周热门版面排行等）。

图4 首页展示

图5 直播分析

图6 终端质量监控

图7 公共法律服务电视终端

5 平台系统价值

目前基本已经进入数据智能时代，广电业务的转型正以数据为主，通过大数据技术，可实现故障的精准定位、用户喜好的深度分析、节点/链路负载情况实时监测、预警分析等，充分了解各个环节目前的实际状态可以实现更为科学的动态调配。通过采集、分析、追踪用户的各项指标，完成有效数据挖掘，颠覆传统媒体粗放型的管理方式，优化现网资源及业务，进行科学化运营，提升用户满意度，最终将“留住用户、提升效益”。

目前内蒙古广电网络大数据平台还与国家广播电视总局大数据平台进行积极对接。此工作完成后，通过数据驱动，能为各级政府进行决策提供参考依据。此平台经过半年多的试运营，已在内蒙古广电网络集团各级分公司全面推开使用，对精准营销、网格化管理、提升企业管理水平提供了更有力的保障。