摘要:为了深度挖掘直播卫星多维关联数据之间的隐藏关系,加强系统间数据交互的高效性、规范性、可扩展性,提出搭建直播卫星用户数据分析平台。通过建设全生命周期数据管理系统、用户数据分析系统、业务与服务统一门户系统及业务与服务总线系统等四个子系统,建立海量异构数据同步共享机制,完善直播卫星数据治理规范,实现中心全部业务系统及外部相关渠道的数据整合、内容整合和统一登录,满足不断涌现的数据交互共享、综合查询、分析挖掘需求。
关键词:数据共享;数据分析;广播电视直播卫星
一、引言
随着“中星9号”及“中星9A”卫星的成功发射,在党中央的号召下国家广电总局卫星直播中心积极推行我国“户户通”工程,利用地球同步轨道卫星将广播、电视及其他数据业务直接发送至用户接收设备,为近1.5亿农村家庭提供丰富优质的广播电视节目。在此期间,为了对业务实施提供有效的保障和支持,中心陆续建设了一系列信息化系统,包括户户通用户管理系统、村村通用户管理系统、加密卡管理系统、专营点申报审核系统、服务区域管理系统等25个业务支撑系统。然而,由于各业务系统逐步开发、分散设计、独立运行,直播卫星平台具有系统内数据维度多、系统间数据耦合度高、信息资源难以共享的问题。
综上,有必要在对直播卫星业务支撑系统做顶层梳理规划的基础上,建设直播卫星用户数据分析平台,建立海量异构数据同步共享机制,完善直播卫星数据治理规范,加强系统间数据交互的高效性、规范性、可扩展性,打破“信息孤岛”的壁垒,深度挖掘直播卫星多维关联数据之间的隐藏关系,满足不断涌现的数据交互共享、综合查询、分析挖掘需求。
二、总体技术架构
直播卫星用户数据分析平台主要由全生命周期数据管理系统、用户数据分析系统、业务与服务统一门户系统及业务与服务总线系统等四个子系统组成,实现中心全部业务系统及外部相关渠道的数据整合、内容整合、接口规范和统一登录。直播卫星公共服務平台用户数据分析系统的总体技术架构如图1所示。
三、系统功能设计
(一)全生命周期数据管理系统
全生命周期数据管理系统,通过统一的数据接口规范,对中心所有业务系统的业务数据进行采集和汇聚,形成数据共享平台,有效、灵活实现不同系统间的信息交换、数据共享与业务协同,进一步发挥信息资源和应用系统的效能。通过建立全局大集中数据库,实时捕获多系统、多数据库的数据变化,采用数据泵压缩数据日志文件并加密的方式将数据同步至目的数据库,在不影响原业务系统业务的前提下,实现中心全部业务系统的数据同步[1-2]。此种同步方式不仅具有带宽占用少、亚秒级同步延时、对源数据库影响较小的优点,同时支持对多种数据库实现一对一、一对多、多对一、双向复制等功能。其次,为了给后续数据统计、分析挖掘提供数据基础,建设全生命周期实时数据仓库,将数据从全局大集中数据库的缓冲区经过清洗、转换、映射等复杂的数据处理,进入到实时数据仓库,实现数据的“一次采集、多系统共享”。此外,全生命周期数据管理系统具备灵活的可视化配置功能,能够快速实现不同机构、不同应用系统、不同数据库间基于不同传输协议的数据交换与信息共享,为各种应用和决策支持提供良好的数据环境。
(二)用户数据分析系统
用户数据分析系统,利用数据共享平台采集的直播卫星业务数据、从互联网搜集的非结构化数据及用户回传的收视行为数据,通过数据预处理、数据仓库、数据分析与数据挖掘四个步骤,建立各种业务模型和分析模型,深度挖掘数据背后蕴藏的价值,掌握直播卫星用户实际的收视习惯及内容需求,有力地支撑中心进一步精准化、科学化管理,形成快速感知用户、社会对于直播卫星业务舆情态势的能力,探索分析评价直播卫星业务对于收视地域在政治层面、经济层面等公共服务视角下的影响力。用户数据分析系统主要包括9大功能组件:
1.市场分析组件功能
主要面向卫星直播业务的市场存量和发展空间进行量化分析,包括农户市场总存量分析、当前用户数分析、零售省份市场空间分析、整省推进省份市场空间分析等内容。
2.渠道分析组件功能
主要针对卫星直播业务推广的合作渠道进行量化分析,包括专营点数量分析、专营点发展规律分析、专营点业务推广情况分析、工号数量分析、工号业务办理情况分析、僵尸工号分析、僵尸专营点分析等内容。
3.运维分析组件功能
主要针对运维相关的数据进行量化分析,包括运维人员分析、资产分析、设备分析、信息系统分析、日常运维任务分析、运维作业计划分析、运维故障分析等内容。此外,还提供了基于在线流模式的事件分析应用功能,包括疑似攻击行为分析、异常事件识别与上报、事件管理中心等功能。
4.统计报表服务组件功能
主要从用户发展、安全监控、业务管理、客户反馈等多角度进行用户及业务数据的统计报表服务。
5.营销分析组件功能
主要侧重于分析业务发展规律和旺季规律,为专营点开展营销活动提供科学指导,包括节假日用户增长规律分析、淡旺季用户增长规律分析等内容。
6.合作伙伴分析组件功能
主要针对卫星直播中心的合作伙伴进行量化分析,包括合作伙伴类型与数量分析、方案商授权情况分析、机顶盒厂商生产/销售情况分析、机顶盒厂商故障分析等内容。
7. 收视率分析组件功能
主要针对直播卫星用户的收视行为、兴趣喜好等进行挖掘分析,包括收视率、收视行为、节目热度、内容(节目/广告)推荐等内容。对于具备双向信息传输能力的试点,对收视情况进行详细分析,准确了解不同时段下,各频道、各节目的收视率情况。建立用户收视行为模型,分析计算用户的开机、换台、点播、频道类型、节目类型等行为[3]。建立用户兴趣模型,根据用户的收视行为构建用户画像,并计算形成用户聚类[4]。根据内容的特点,建立内容的标签体系,构建用户-内容的兴趣矩阵。研究双向精准匹配的协同过滤个性化推荐算法,面向用户和用户聚类,输出内容的推荐结果,为未来增值业务运营推广,提供科学的数据准备和决策支撑。
8.客户分析组件功能
主要针对卫星直播业务的收看用户进行量化分析,包括当前用户总量分析、用户地域分析、用户在网时间分析、用户退网情况分析、用户变更业务分析等内容。
9.管理分析组件功能
主要针对内部管理情况进行量化分析,包括人员数量分析、项目数量分析、人员承担项目情况分析等内容。
(三)业务与服务统一门户系统
业务与服务统一门户系统,根据门户用户权限配置关系获得相应授权的整合信息,为各类门户角色人员提供定制化的门户界面,实现中心业务支撑域各业务系统的统一接入访问,用户登录一次,即可实现在所有授权业务系统之间“全网漫游”。同时,将内容管理、综合业务办理、综合数据查询等服务进行集成,灵活实现不同系统间的信息交换、共享与业务协同。此外,系统具备良好的扩展能力,可以灵活接入中心业务支撑域新增业务系统或其他安全域业务系统。业务与服务统一门户系统主要功能主要包括4大方面:
1.统一用户管理功能
主要包括组织机构、用户管理、业务角色、权限管理、日志管理等五部分功能。
2.统一认证管理功能
主要包括系统登录认证和单点登录认证两大功能。
3.统一内容管理功能
主要包括站点管理、栏目管理、内容管理、模板管理、流程审批、系统管理等六部分内容。
4.统一接口管理功能
主要包括界面信息同步、用户信息同步、认证信息同步、业务资源信息同步、短信信息同步等五部分功能。
(四)业务与服务总线系统
作为中心业务系统的通信枢纽和信息交换平台,高效、有序地实现各系统之间的互联互通,为跨系统及数据库间的同构及异构数据提供数据抽取、格式转换、内容过滤、内容转换、动态部署、可视化管理监控等灵活的数据交换服务[5]。实现系统间数据共享和接口调用,降低系统间的耦合度,提高信息系统总体架构的灵活性,使中心独立建设的多个信息系统平滑地向基于面向服务的应用架构(SOA)演进,逐步实现卫星直播中心IT信息系统多层次、条线化、松耦合的整体应用架构目标。
四、结束语
通过建设直播卫星用户数据分析平台,对中心现有全部业务系统的用户数据、业务数据及外部互联网舆情数据、用户回传收视行为数据等实现深度整合,突破“信息孤岛”的壁垒,实现卫星直播领域下全域、全集、全程数据高质量治理。同时,通过数理统计、联机分析处理、语义分析等手段,对数据共享平台整合的数据进行挖掘、分析,提供直观的报表和可视化数据,为中心制度决策、科学管理、内容供给、业务发展等提供数据支撑。通过将直播卫星用户数据和收视行为数据的结合,有效掌握了我国农村地区直播卫星节目覆盖情况、用户收视需求及效果反馈,为建立直播卫星公共服务效果评估指标体系,有效评估改进直播卫星公共服务效果和质量提供了技术支撑。
作者单位:万敏 国家广播电视总局广播电视卫星直播管理中心
参 考 文 献
[1] 胡金龙. 异构数据库同步复制技术研究与实现. 长江科学院院报[J]. 2011, 28(6):71-75.
[2] 董永峰. 分布式异构数据库同步集成的研究与应用.计算机应用与软件[J].2012,29(6):122-124.
[3] 万敏. 数据挖掘算法在卫星直播广播电视用户收视行为分析中的应用. 中国新闻技术工作者联合会2016年学术年会论文集[C]. 2016,95-99.
[4] 苑喆. 大数据分析平台及用户收视行为分析的技术研究. 有线电视技术[J]. 2018, 1:33-35.
[5] 郭廣军. 基于ESB的Web服务集成技术.计算机应用与软件[J].2008,25(11):283-285.