8K超高清电视在线播放关键技术研究

【摘要】基于MT9950平台开发的8K系统方案设计与关键技术攻关验证。重点针对8K电视平台的超分辨率画质提升算法与应用研究。本文提出的8K-SR算法是基于SRCNN、FSRCNN算法基础模型进行分析，通过将降质图像进行十二等分训练学习，同步平衡还原效果和处理时间，并通过后端的画质优化技术进行图像修正。

【关键词】8K;传输速率;超分辨率算法;在线视频播放

中图分类号：TN929                    文献标识码：A                    DOI：10.12246/j.issn.1673-0348.2021.16.025

1. 技术背景

Futuresource Consulting发布的预测数据，2023年8K电视机的销量将从2019年的20万台以每年130%的复合增长率增长。据Strategy Analytics报告预测：到2025年，全球将有超过2000万家庭拥有8K级别的电视机，由此可见，8K超高清电视前景广阔，具有非常诱人的吸引力。而实现8K超高清在线播放关键技术除了网络带宽升级，另外一个非常重要的方向就是利用AI技术改变片源匮乏的现状。

2. 硬件方案设计

2.1 显示屏的选择

8K电视机分辨率为7680*4320，约有3300万个像素点，是4K电视机的四倍，像素点细腻感很强，准确的说8K在尺寸越大的显示面积上才会更有意义。对于之前的4K产品，50寸以下就没有太大的意义，而在8K产品上，65寸以下就没有太大的意义。目前的10.5/11代液晶面板线，以每块玻璃基板6片单元的方式切割的75英寸产品，是切割效率最高的方式，是目前最容易大量供给的“大尺寸8K”规格，在价格和供应上，75寸8K都具有明显的优势，所以现有8K产品一般采用75+及以上的尺寸。

2.2 平台选择

8K平台基于编解码的超高诉求，对于平台的性能要求很高，本身8K SOC资源并不多，本文采用的是MTK公司在推出了第一款8K SOC，型号为MT9950。我司采用該IC为整个8K平台的主IC，该芯片可支持4K 120Hz以及8K 60Hz的视频输出，具体特点如下：

用于其他国家或地区的外部解调器的传输流输入全球多标准模拟电视解调器。

支持ATSC/DVB-T/DVB-T2/DVB-S/DVB-S2//DVB-S2X/DVB-C/DTMB/ISDB-T解调;

120Hz 4K/30Hz 8K/60Hz 8K直接驱动，MT9950系列可直驱8K 60Hz。同时还支持ME/MC帧速率转换，数据速率由3840x2160p@30Hz至3840x2160p@60Hz或3840x2160p@24Hz至3840x2160p@48Hz。

支持两路HDMI2.1;

多标准视频解码器（含AV1）;

支持多分区local dimming功能;

3. 超分辨率软件处理算法设计

3.1 超分辨率技术介绍

所谓的超分辨率即是通过某种算法将下图里面的输入图像转换成输出图像。通过补充输入图像像素周围的像素点，呈现更完成的细节，换而言之，相当于补充高频内容。本章将详细的介绍各类超分算法，逐一进行解析，并提出具有自主知识产权的超分算法，实现更优的图像画质表现。如图1所示：

从技术的实现层面对超分辨率进行分类，主要可分为如下三大类：

3.1.1 基于插值算法的实现

基于插值方法的原理为先预估多帧图像间的运动趋势，采集在不同的图像采样区间HR图像的像素分布，然后通过类似加权平均计算HR栅格上图像应该呈现的像素，用这类帧间像素预测技术来去掉模糊隐藏的信息并实现较好的噪声控制]。优点是算法高效，适合并行计算，可达到实时的效果。缺点是是获取高频信息能力较弱，SR处理后的图像立体感不强。

3.1.2 基于重建的方法

基于重建的算法是基于低分辨率图像信号能够有效的估算出最初的高分辨率图像的基础上，最终目标复原图像的效果取决于输入低分辨率图像的质量与数量，目标复原图像的分辨率越高，所需的训练集数量随之增加。

3.1.3 基于学习的方法

基于学习的算法今年来异常火爆，该算法中最重要的部分是建立学习模型，目的在于获得先验知识。现有流行的学习算法模型包含：金字塔模型、神经网络模型、主要成分分析模型等。基于学习的算法通过训练样本计算获取先知知识，得到输入与输出图像的转换算法。基于学习算法认为，在经过了反复的学习之后，算法已经完全有能力从低分辨率图像的信息推测到高分辨率图像的信息，在样本图像数量固定的条件下不增加图像数量就可以获得图像的高频部分的信息，相较于重建方法具有更佳的复原效果，在超高清分辨率持续刷新消费显示领域的今天，该算法以其独特的技术优势，在图片和多帧视频分辨率显示质量提升的各种场景得到了广泛的应用。

3.1.4 实现方案

第一步是搭建好自己的图片信息库，收集各种类型的图片。然后选取高质量的图像进行模糊化，让清晰的图像不再清晰，接下来对图像进行等分切割，形成图像分块。本算法将选择将图像分割成12份，12份这个数字是综合考虑PSNR以及SOC运算速度和算力选取的数据，系统整体的处理速度比较快，同时也能满足图像的基本质量需求，整个学习模型的对于系统的负载也相对适中，稳定性和可靠性较高。

第二步是利用切割的图像建立一个高频训练样本集，从中学习到所需的高频信息模型，预测所需信息，从而提升图像分辨率的目的。超分图像处理方法都是采用把图像信息进行切割均分（Patch-based）的方式，图像被分成多个小图像块， 通过一定的卷积计算获取和低分辨率图像块匹配度最高的高分辨率图像块。

第三步是算法的选择与改进。SRCNN是最早的深度学习用来研究超分辨率重建的学习算法。它采用非常简单的网络结构，计算的卷积算法一共只有三层，FSRCNN算法是基于SRCNN的改进型的算法，但是主要做了三个方面的技术提升：一是可以直接将低分辨率原图片直接输入到网络中。二是实现了用更小的卷积核，并调整了原来的映射层，使用了更多的映射层，三是通过映射层共享实现快速模型学习，效率大幅提升。

FSRCNN提升了超级分辨率技术的运算速度，结合当前NPU的超强算力，有机会实现视频超分技术，即8K超高清视频的在线播放技术，为了更好实现图像信息的还原，帧与帧之间的微小差异的信息互补是视频超分辨率算法的另外一个非常重要的途径。

接下来介绍详细的思路：1）简单的说，该模型主要就是把低分辨率图像帧通过一定的预测算法，预测运动画面各帧画面，常规的视频超分辨率技术，大都需要执行这个必不可少的步骤。预测算法的好坏对输出质量其决定性作用。2）即就是在同一坐标系中中，对相邻帧图像进行处理，与当前帧进行图像配准。3）图片3.10重点介绍的超分辨率算法和实现视频图像的超分辨的另外一个方法，将更多帧数的图像进行信息提取并合并。4）通过相邻帧的运动估计，视频图像超分辨算法在单帧图像基础上结合多帧图像来输出目标图像。由于8K的数据量较4K提升有4倍，整个过程将会耗费更多的时间进行计算，对算法来说挑战巨大。超分辨率算法必须模型够小、速度够快，才能够真正具备实用价值，所以本方案算法将朝着这个方向去努力。基于SRCNN演化出来的FSRCNN算法，在运算效率上得到了极大的改善，但是图像的PSNR还是比较高，因此，本方案的算法将基于FSRCNN进行优化。

低速视频：超分辨率算法主要包括两个部分：相邻帧图像之间的运动补偿以及多帧图像的超分辨率重建。其算法的核心在于通过多张低分辨率图像作为输入，然后进行运动补偿，接下来对调整后的每一帧送入卷积神经网络处理。在整个的过程中，本方案可以通过调整卷积网络中滤波器的个数与尺寸来获取不同质量的图像。

非低速视频：通常遇到的视频并非都是低速视频，有时候视频中还会出现大幅度的运动甚至是高速运动，高分辨率重建图像在这一环节将差强人意。面对此种情况，本论文提出全新的思路，在图像处理中引入自适应运动补偿算法，主要目的是减少相邻帧的配准错误的出现，提升重建的效果。自适应运动补偿的公式如下：

（3-1）

其中yt为中心帧，是相邻帧yt-T的输出。r（i，j）是 和yt-T的权重系数，主要用来做多帧图像的权重平衡。其中，r（i，j）定义如下：

（3-2）

k是常数，e（i，j）为运动补偿。e（i，j）的值有时候会偏大，这可能有多种原因，比如图像上的拖尾，或者由于运动过快、像素缺失等，但是这时候计算出来的权重系数会变小，这就是自适应补偿机制的平衡运行机制，能有效降低图像误差运算。

该运动补偿自主算法是基于FSRCNN算法进行改进的，主要通过调整输入图像的切割尺寸和图像的连续帧数找到一种相对学习时间和图像效果均衡的参数，具体图像运算补偿输出公式如下：

（3-3）

w是首层滤波器权重，b是偏置项，k是滤波器的编号，Ny则是第N帧的输入帧。

（3-4）

基于如上描述的算法逻辑，最终形成算法模型。

4. 实验成果验证

4.1 超分辨率质量评价指标

峰值信噪比（PSNR）：用于量化图像质量失真程度。，它是对比原始图像和超分图像质量的差异而来，既可以用于体现所重建的图像对比原图像的失真水平，还可以有效的表现出重建图像的噪声大小。目前该指标已经被广泛应用于评估图像质量。PSNR本身的值越大，表明对应算法重建图像的质量越好。

结构相似度（SSIM）：用于量化输出图像与原始图像的相似度，值越大，差异越小。

4.2 图像超分辨率验证

图像超分辨率验证需要基于测试数据集来对比输出的图像效果，这里，本算法使用行业公认的Set5、Setl4进行验证。如下为三组SRCNN、FSRCNN以及本改進算法超级分辨率效果客观数据对比：

从数据列表里面可以明显地看出，以Set5为数据集时，在因子为2的情况下，自主算法对应的PSNR的值比FSRCNN高0.27，SSIM的值比FSRCNN高0.0012，在因子为3的情况下，自主算法对应的PSNR的值比FSRCNN高2.11，SSIM的值比FSRCNN高0.0009，在因子为4的情况下，自主算法对应的PSNR的值比FSRCNN高1.18，SSIM的值比FSRCNN高0.0032。

从数据列表里面可以明显地看出，以Set14为数据集时，在因子为2的情况下，自主算法对应的PSNR的值比FSRCNN高3.26，SSIM的值比FSRCNN高0.0111，在因子为3的情况下，自主算法对应的PSNR的值比FSRCNN高0.22，SSIM的值比FSRCNN高0.0349在因子为4的情况下，自主算法对应的PSNR的值比FSRCNN高3.33，SSIM的值比FSRCNN高0.0446。

可以明显的看出本论文的超级分辨率自主算法在客观数据上明显优于SRCNN和FSRCNN，对于图像的重建显示部分有明显的提升。同步结合客观数据，对实际的算法做了主观的判断，包括人脸以及动物的超分辨率重建图片。

5. 小结

文本论文介绍了行业流行的多种超分辨率技术，结合现有FSRCNN算法，提出基于学习的自主知识产权超分辨率优化算法，通过图像切割尺寸和图像帧数的优化，最终生成相对合理的8K超分视频库和算法逻辑，并针对图像和视频信号均有进行实际的实验和数据验证，通过主观和客观的方式呈现出与传统超分辨率算法的差异化对比，最终的测试数据以及主观表现都有比较明显的提升，同时该算法有效提升了运算的效率以及图像的还原清晰度。该算法的提出，是对现有8K电视机产品的画质的保障，能在8K资源匮乏的情况下为8K快速产业化推波助力。

参考文献：

[1]桂笑冬.4K/8K超高清电视：现状、发展与趋向——基于日本4K/8K超高清卫星电视播出的观察[J].中国新闻传播研究，2018，（02）：42-59.

[2]肖运虹，王志铭.显示技术（第二版）[M].西安电子科技大学出版社，2018.

[3]刘宁.8K超高清电视发展现状和发展趋势[J].现代电视技术，2018，204（06）：（112-115）+132.

[4]王朝明.新一轮显示技术革命蓄势待发5G+8K将带来哪些变革？[J].电视指南，2019（14）：34-37.

[5]解放.分辨率新贵“8K”知多少[J].家庭影院技术，2019（02）：96-99.

[6]钟鑫.基于超分辨率技术的图像增强技术的应用[M].中国安防，2013.

[7]李程超.视频超分辨率重建系统的研究与实现[D].东南大学，2017.

[8]钟文莉.卷积神经网络在视频超分辨率中的应用研究[D].电子科技大学，2018.

[9]魏妍妍.低照度图像增强与超分辨率重建算法研究[D].西安科技大学，2019.

[9]高英俊，于涛.视频超分辨率算法的研究与实现[D].当代教育实践与教学研究，2015.

作者简介：江润，福建漳州人，毕业于北京大学深圳研究生院，硕士，高级工程师。研究方向：显示技术产业化。