钟盈炯 熊立波 郭晓强 胡劲松
(新华社通信技术局,北京 100803)
由于供稿方式和内容形式的多样化,当前互联网供稿已经逐渐成为主流的供稿模式,腾讯、百度、阿里、新浪、网易等头部媒体已经全部接入新华社全媒平台,已有越来越多的用户不满足于仅仅从新华社单向获取稿件的方式,也希望能把他们的内容汇聚到一个更大的汇聚和共享平台上。
在当前的媒体大融合背景下,笔者通过调研分析当前海外各大通讯社和国内今日头条、企鹅号、百家号等内容汇聚平台技术系统现状,结合业务发展需求,以用户为核心,在用户—平台—用户三者之间构建良好互动的生态圈,设计一个第三方媒体内容汇聚、信息共享和运营平台运营方案,并基于微服务架构对该第三方媒体内容交换和运营平台(简称第三方交换平台)进行了技术验证。
数字时代,内容发布(主要指新闻稿件)大概经历如下几个阶段:
第一阶段,所谓前互联网时代。自20世纪80年代初,中国日报引进国外的计算机照排系统起,到了80年代中期,我国首个自主开发的新闻信息系统——新华社中文新闻计算机发稿系统投入运行。在这个阶段,文字、图片、音频、视频等不同形式的新闻信息转化成1 和0 所组成的二进制数字,通讯社的新闻信息从采、编、审、发到存的各个环节都实现了数字化,报社的图文信息从采集、编辑、发排、印刷到发行的整个生产系流程实现了数字化,广播电视台的音频和视频信息从制作、播出、传送、接送到呈现也都实现了数字化。[1]
第二阶段,互联网时代。互联网打破了文字媒介、声音媒介和视觉媒介之间的鸿沟,信息传输也从单向发展为双向传播,信息发布和信息接收的身份也越显模糊,尤其是近两年的自媒体行业的兴起,一部手机就是一个电视台。通讯社以及国字头媒体也从单向发布逐渐走向信息收集,部分媒体机构更是迈出了双向发布运营模式的重要一步。在媒体融合的大背景下,构建一个全媒体时代下的内容共享发布平台,呈现出传统媒体与新兴媒体相互融合并激烈竞争的态势[2],从而带动整个行业的资源整合,对提高资源利用和内容传播都有着重要的作用。
笔者在调研国外通讯社的官方发布平台后,发现路透社和法新社等都和第三方内容提供方有着紧密的业务合作。日本AFLO 图片社、视觉中国等内容提供方通过接入路透社和法新社的后台接口,将相应的稿件传送至系统后台,经整合后统一发布至各自官网对外提供数据服务。
2.1.1 路透社
如图1所示,路透社不再称自己是一家通讯社,而是自我定位为信息提供商[3],其和日本AFLO 图片社、USA TODAY NETWORK 深度合作,发布来自AFLO 等第三方的图片稿件。路透社用户可以根据需要下载AFLO的稿件。
图1 路透社供稿网站
2.1.2 法新社
如图2所示,法新社和视觉中国合作,发布来自视觉中国的图片稿件。
图2 法新社供稿网站
经过笔者调研,今日头条、腾讯企鹅号和百度百家号等国内互联网公司也引入新华社和《人民日报》等央媒以及其媒体进驻,新华社等央媒通过诸如RSS 等接口接入其后台服务。
如图3所示,新华社和《人民日报》等已进驻头条号、腾讯企鹅号和百度百家号。
图3 国内头部新媒体情况
新华全媒新闻服务平台(简称全媒平台)是新华社供稿线路优化调整的重要工程,建成了包括所有新华社文字、图片、图表、视频、新媒体、多媒体、历史资料的全媒体供稿平台,着力提升新兴媒体的供稿能力,整合传统供稿线路资源,从而提升用户使用体验,满足用户需求。[4]
3.2.1 需求分析
依托全媒平台,利用互联网云资源,建立第三方媒体内容交换和运营平台。
第一,实现新闻信息上传。建立统一技术标准和接口,为用户提供文字、图片、音视频等全媒体格式稿件的上传服务。上传的内容可以直接在内容交换平台中展示。
第二,建立新闻信息展示专区。通过该平台,分别为各成员用户建立展示专区,可以分别展示也可以集中展示所有成员的稿件。并支持多语种界面展示。
第三,实现在线下载推送。平台各成员可以通过网页在线下载需要的稿件,也可以通过FTP,RSS,API 等互联网方式自动实时下载所需稿件。
第四,实现在线搜索功能。为成员用户提供基于稿件标题、内容、标签等维度的在线搜索服务,提供以图搜图功能。
第五,实现新闻推荐功能。为成员用户提供基于时间、地域、新闻热度、用户关注程度等维度的新闻推荐功能。
第六,提供用户行为统计分析服务。为成员用户提供稿件被浏览、下载等访问情况的在线统计和分析。
3.2.2 建设方案
第三方交换平台的建设重点在于内容交换,可基于现有全媒平台进行建设,扩展全媒平台功能,通过三大部分的设计,在稿件展示、对外供稿的基础上增加稿件上传模块,同时与采编系统打通,实现内容上传、编审、展示、在线下载及自动化供稿等全套流程,真正实现第三方内容交换。
第一部分是业务流程设计。第三方稿件内容经上传到内容交换平台后,经过属地编辑人员审核签送到总部未定稿库,由总部选取合适的稿件签发至用于第三方内容展示的线路和栏目(如图4所示)。
图4 业务流程设计
第二部分系统架构设计。
图5 第三方内容交换和运营平台架构设计
整体架构设计遵循可靠性、先进性、安全性、开放性、可扩展性和可维护性等六个原则。[5]上述设计基于微服务架构搭建而成,微服务架构是一种面向互联网应用服务的软件开发架构,主要应用于互联网应用服务的服务端软件开发,其由面向服务架构 SOA 发展而来。微服务架构提倡将单体架构应用划分成一组小的服务,服务之间互相协调、互相配合。[6]
在对微服务进行细致拆分基础上,实现服务模块化打包、模块化持续集成、模块化部署。利用 Docker 的技术,实现基础应用及服务的跨平台快速部署和启动。使用 Kubernetes 对 Docker 容器进行统一管理,实现高负载、高可用、弹性扩展。[7]团队在设计和搭建中把安全性考虑在重中之重,避免容器受到从外部发起的针对容器的攻击、容器发起的对宿主机的攻击和容器发起的向其他容器的攻击等三类安全攻击。[8]
第三部分是重要功能设计。包括 稿件上传及入库、稿件审核及发布、稿件交换、下载和推送,以及系统监控。
其中,在稿件上传及入库流程中,第三方用户可通过手动上传或自动上传方式向内容交换平台上传稿件。
a.手动上传
内容交换平台提供手动上传Web 页面,需登录到内容交换平台进入上传页面,填写稿件内容及稿签信息,包括标题、正文、稿件类型、作者、语种、分类、事件发生地、标签以及相关附件等。手动填写的内容提交后写入内容交换平台数据库。
b.自动上传
除手动上传外,内容交换平台采用统一的技术标准和接口,为机构用户提供文字、图片、音视频等全媒体格式稿件的系统对接服务,允许用户向内容交换平台自动推送稿件,或由内容交换平台根据机构用户提供的API接口、RSS 订阅源开发自动抓取程序,通过系统对接将稿件内容自动写入内容交换平台数据库。
平台支持以下对接方式:基于FTP、sFTP 等协议的稿件上传和稿件抓取;基于RSS 协议的自动抓取;基于API 接口的自动抓取;基于Email 的自动抓取。
在稿件审核及发布流程中,稿件上传后平台提供两种发布路径,第一种为稿件经过交换平台后台人工审核后上线发布;第二种为上传的稿件录入采编系统中,编辑人员和签发人对第三方稿件进行编签,签出的稿件入整体稿件成品库,内容交换平台通过接口从成品库获取稿件入库并上线展示。上述两种数据流程可通过系统设置二选一。
图6 稿件上传入库流程
在稿件交换、下载和推送流程中,内容交换平台提供单篇下载和批量下载功能。单篇下载按稿件类型分多种情况,可单独下载图片或高码视频,低码视频。展示页面中提供选稿框,用户可将准备下载的稿件单篇或批量加入选稿框,再到选稿框中批量下载。内容交换平台的推送技术手段包括Email、FTP、API、RSS 接口等,既能将数据实时推送到用户端服务器,又能方便用户通过程序认证后直接抓取。内容交换支持建立租户组,可以实现多个机构之间建立交换组进行小组内部交换,也支持在全部机构之间交换。[9]平台可以根据用户需要的稿件格式进行实时转换后推送给用户。后台在开户时,可定义用户的下载格式和稿件推送方式。
图7 稿件上传下载流程
在稿件同步流程中通过接口获取稿件,并同步到第三方交换平台的稿件库,其中稿件的一些附件信息例如:图片、音视频等文件,存入MongoDB 数据库。
稿件、产品包匹配引擎:该部分提供稿件与产品包的匹配关系计算能力。
产品包订购匹配引擎:该部分通过用户订购关系,获取产品包与具体用户的订购关系,从而匹配出具体的稿件具体使用哪种方式,推送给哪些用户。
在系统监控流程中,第三方交换平台监控基于Prometheus+Granfana 实现,将平台和业务系统涉及的各类信息纳入统一全媒平台运维监控中,对各种不同的数据来源实现统一管理、统一规范、统一处理、统一展现,最终实现运维规范化、自动化、智能化的大运维管理。[10]
根据上述设计思路和整体技术方案,笔者团队基于全媒平台,搭建第三方媒体内容和运营平台,以下为部分重点页的展示效果。
登录页展示内容交换平台的重要统计信息及推荐稿件,如稿件总量、今日上传量,以及平台的功能特点等。用户点击登录按钮可登录系统。
图8 第三方交换平台登录页
内容交换平台用户在登录后,进入网站首页。
首页展示全媒体稿件内容,并且提供网格、列表两种内容展现形式,用户可以依据机构、地区、语种、分类等维度对稿件内容进行筛选与查看,同时支持用户对稿件进行搜索,加入选稿筐,并且在选稿筐对稿件进行批量下载。此外,还提供我的收藏、消息以及帮助中心的入口。
图9 第三方交换平台首页
在首页的稿件列表页或详情页,点击机构名称即可查看该机构的门户展示页。每家机构用户都有自己的门户展示页面供其他用户查看。该页面左侧为机构简介区,右侧为该机构已上线的稿件展示区。
平台为每家用户量身定制不同风格的门户展示页面。
图10 第三方交换平台成员用户个性化页
经过调研国内外第三方内容共享平台,搭建第三方媒体内容交换和运行平台。该平台基于微服务架构设计,采用Docker 部署,初步实现了第三方稿件内容的上传、下载、购买和计费等功能,为后续进一步研究和布局第三方平台打下良好的基础。下一步,笔者所在团队将进一步总结经验,考察前沿技术,以进一步增强系统的运营能力。