殷 茵
江苏省广播电视总台每年都购买大量版权音乐等音频资源,服务于音频生产。此前制作人员只能采用移动硬盘拷贝的方式存储这些资源,无法精准地查找需要的类型音乐素材,同时大量常态化音频生产所使用的专业编辑工具,操作复杂,影响音频生产的效率。随着互联网和融媒体技术的不断发展,对音频资源的分类使用管理、音频生产的方式提出了新的要求。为此江苏省广播电视总台开发设计了音频资源使用管理平台,以实现音频生产互联网化,提高音频生产的效率。
1.UI设计:视觉风格采用扁平化设计;采用响应式设计布局以满足页面对多终端的支持;突出核心搜索功能入口。
2.页面制作:发布端页面采用HTML5制作,兼容主流浏览器;前后端分离,页面调用服务API接口;后台开发采用Vue+Vue-Router框架。
1.基于“多种权限用户”的平台服务,所有用户基于统一的入口对各自业务进行管理,后台用户通过角色控制进行音频内容编辑、内容审核,可满足不同权限下的个性化需求(如图1所示)。
图1 系统架构
2.CMS管理音频文件编目信息并入库。
3.CMS内进行在线音频处理,打水印、分解多码率、转码后入OSS存储。
4.通过Elastic Search实现音频编目检索。
5.C端用户通过CDN网络接入服务网关,通过用户鉴权访问C端服务,通过防盗链签名访问被保护的音频资源。
6.C端服务为无状态服务,采用分布式部署,并使用数据缓存,保证高可用性和抗并发能力。
1.中间件及应用服务全部集群化部署,保证高可用。
2.全站https访问、接口加密、使用WAF设备和网络访问控制等方式实现业务安全性目标。
3.规划和建设系统的监控告警系统以及数据备份系统,进行业务保障和灾难恢复。
4.通过服务版本管理以及批量滚动更新方式实现系统升级(如图2所示)。
图2 网络架构
数据库服务器3台、检索服务器3台、缓存服务器2台、消息服务器2台、代理服务器2台、java应用服务器4台、Netcore应用服务器4台、监控服务器2台、备份服务器1台,对象存储1T。
后台接到上传音频,自动启动后台任务,使用FFmpeg对音频进行解析,获取音频的编码器、帧率、采样率、宽高、像素格式、采样格式、码率、时长、总帧率等信息,并作为音频文件的元数据保存入库。通过FFmpeg插件,将水印声音与原音频进行流混合以生成含水印的音频文件,实现了音频自动加水印的功能。该功能支持水印声音自动适应原视频的时长进行循环播放。
音频展示前端自动生成声纹波形,用于展示音频声音轨迹,相关波形图采用了前端js插件及canvas绘制的方案解决声纹显示,通过wavesurfer.js插件将音频地址通过插件中WebAudio进行下载,解码整个音频文件,再采用MultiCanvas渲染器绘制一个波形线,渲染到页面canvas元素上,通过drawLines绘制波浪线和进度线及其样式,创建时间轴元素将音频的时间渲染到波形线上,从而生成了该音频的波形图码。同时可以快速解析生成音波纹配置大小、颜色、播放速度、音量、暂停/播放、时间轴、光标等交互功能。
采用先进的WebAudio技术及WebAssembly技术,兼容多种计算机平台,拥有和本地软件一致性的体验。跨平台,同时支持windows/mac/linux平台,并且各平台拥有一致体验,保证媒体工作者在不同平台、不同工作环境下的剪辑需求,实现多地合作、异地协作的“云剪辑、云协作、云分发”的功能,能快速地将各端的音频素材在线处理后,便携高效地分发到台里的制播系统,实现“制播云协作”,为“云资源的多平台分发”提供高效便携的云化工具。平台集成在线编辑功能,具有音频编辑及处理能力,无需另外安装编辑软件,能够实现录音、剪辑、电平调整、单轨多轨编辑、音频转码、一键美化、反相检测、降噪、电平标准化,以及AI语音转文字、文字转语音功能。
在线实时剪辑转码,兼具专业化与便携化,能快捷高效地完成音频的常规剪辑操作及在线实时转码;提供专业级的显示界面,并加入了各种智能化提示与操作推荐,让操作更专业更流畅;具备一键人声美化功能,提供特殊效果,包括电话音、机器声、重声,有压缩调整,混响调整,噪声过滤功能;具备反相自动识别,一键处理;具备最终音频自动动态调整,一般在峰值-4dB以下,响度-15dbfs以下;输出格式可调,保存本地或云端,可保存工程文件。
在页面的整体交互上,采用了更简单易用的设计理念,使用了简单易懂的图标。为避免菜单繁多,所有的按钮都在第一层,取消了菜单选择或右键层级菜单。为让按键有清晰的边界,“单轨剪辑”主要分为“编辑剪辑区”“控制区”两个区的按钮,剪辑区的按钮只负责音频的输入输出、波形剪辑、音效处理,而控制区负责音频的播放控制和界面的放大缩小。对于剪辑而言,波形的展示尤为重要,波形采用了准专业级别的展示,不仅展示了波形,而且显示了时间和dB的网格线,并可进行无级缩放,极大地提高了在web上的编辑体验,让非专业和专业用户都可方便地进行操作。
音频资源使用管理平台主要包含音频资源管理和云编辑两大功能。
网站域名:https://audio.jstv.com/home,页面风格简洁实用,首页总目录包含:版权音乐、配音、节目音频、音效、原创音乐,页面还设有全站搜索,登录、注册、滚动宣传页。使用频率最高的版权音乐目录排在最前面,按照主题、情绪、地域、配器风格分类,一目了然(如图3所示)。目前平台已上传版权音乐近万件,包含主题、情绪、地域、配器分类,每个分类有若干小类,音频以wav高保真格式为主;音效近三千件,包含氛围、旋律、人、环境、生活、运动等多个分类;近百人配音音频,按风格及性别进行分类,便于快速挑选配音人声。节目音频、原创音乐板块也在持续丰富完善中。
图3 音频资源使用管理平台页面
所有资源附带音频水印防盗设计,注册用户可实现对音频资源的试听、下载、收藏、笔记备注等功能。音频内容资源经允许后,可实现快速管理与共享;所有用户基于版权保护的前提下,均可以在平台上完成基础性的二次编辑以及试听、下载、分享、收藏、笔记备注等操作,可满足不同权限下的个性化需求,根据工作需求对相关音频资源进行权限管理;音频媒体功能模块的“资源库”可持续扩容与维护(如图4所示)。
图4 音频资源使用管理平台页面
在音频资源使用管理平台上嵌入了云编辑工具,首次实现基于浏览器的在线多功能音频编辑系统,直接点击“编辑”按钮即可一键调用,支持无极缩放,10ms剪辑精度;支持剪切、裁剪、复制、拷贝、删除、一键恢复等常用操作;支持振幅增益控制、选择区静音、淡入淡出调整等;支持热键操作;支持选区播放及跳过选区播放,让试听更方便;支持大部分常用的音频格式;支持多轨合成:可实现4轨音频的编辑,支持音量增益调节,立体声均衡调节,支持实时显示各轨时间戳、db值等(如图5所示)。支持音频去噪、美化处理、音频转码、音频AI、相位检测等功能。可以根据常用的场景设置对应的EQ,提供高级设置功能手动调节。
图5 云编辑界面
另外,该平台创新性地提供了一键美化功能(如图6所示),实现回声、电话声和混响效果。主持人、编辑记者等非专业制作人员也可以完成一些简单的制作任务,让平台的应用更加广泛。
图6 一键美化功能
采用HTML5及Web技术,用于广播电视音频制作高码率素材资源分类汇聚、管理、在线调用、在线音频处理,从音频资源的查找、调用、编辑、美化、合成、管理,实现音频生产全流程的网络化。
在线音频编辑系统基于Web Audio前端音频处理技术,采用WebAssembly技术将核心音频处理算法交叉编译,完全脱离传统的客户端模式,使用浏览器实现在线音频编辑,支持windows/mac/linux/Android平台,在线编辑系统集成单轨、多轨音频编辑、在线录音、音频转码、一键美化、反相检测、降噪、电平标准化,以及AI语音文字互转等功能。
音频资源使用管理平台已上线运行了半年的时间,极大地方便了总台各部门对音频资源的使用及调用,作为荔枝云平台的子功能模块,很好地增强了荔枝云音频板块的功能支撑,为音频生产及业务优化拓展提供有力保障。平台汇聚制作音乐超万件,音效数千件,极大地解决了过去制作音乐的使用管理及更新问题,同时提供了较为精准的音频分类及查找功能,提升音频生产人员的生产效率;完善用户权限及认证管理,在方便内容创作生产同时,规范了制作音乐的保护与管理。音频资源使用管理平台汇聚的音乐、音效及配音等音频资源,同时配合集成的在线音频编辑工具,实现了在一个平台上即可完成音频资源的调用、转换、录音、编辑、美化、合成输出等,简化了日常音频生产的流程,操作简单,高效快捷,为媒体融合下的快速音频生产提供技术支撑,实现了音频生产全流程的网络化。