超高清电视终端显示图像画质提升技术研究

陈军 徐遥令 徐小清

摘 要：文章提出超高清电视终端的AI色带平滑技术、AI超级增补技术、AI动态目标降噪技术，能够降低超高清电视终端显示标清或高清视频内容时的色带、物体细节模糊、动态目标拖尾，解决了标清或高清视频内容的色深、清晰度、噪声无法满足超高清电视终端显示要求的矛盾，有效提升了超高清电视终端显示图像画质。该技术已应用于创维超高清电视产品，效果良好，产生了良好效益。

关键词：超高清电视；AI色带平滑；AI超级增补；AI动态目标降噪

*科研项目：广东省科技计划项目——2021年度广东省5G+8K超高清视频显示企业重点实验室

（项目编号：2021B1212050008）

1 引言

4K超高清电视自2011年进入消费市场后得到迅猛发展，至2018年已成为主导产品，同时8K超高清电视也在起步并成为产品升级的必然方向[1]。超高清电视终端解析显示能力达到3840×2160或7680×4320像素[2]，超高清电视终端显示超高清视频内容时的画面质量（画质）好、临场感强，能够带来震撼的视觉体验。然而目前大部分视频源还是标清或高清内容，视频源质量较低，其色深、清晰度、噪声等无法满足超高清显示要求。超高清电视终端与低质视频源之间的突出矛盾，严重制约用户视频体验，不能给广大用户带来美好的视觉享受。近年来人工智能（artificial intelligence， AI）技术发展迅速，AI技术在图像处理领域应用日益广泛，采用AI来提升电视清晰度等技术开始了广泛地研究[3]。

本文開展超高清电视终端显示图像画质提升技术研究，提出超高清电视终端的AI色带平滑技术、AI超级增补技术、AI动态目标降噪技术，能够降低超高清电视终端显示标清或高清视频时的色带和物体细节模糊、动态目标拖尾，避免显示图像的色彩突变和保持色彩过渡平滑，提高人眼感知清晰度和精细重现视频细节，以及去除视频中的噪声并保证图像细节，能够有效提升超高清电视终端显示图像的画质。本文提出的技术已使用于创维超高清电视产品，产生了良好效果。

2 AI色带平滑处理技术

当高色深显示终端显示较低色深数字视频信号时，由于存在色阶差异会产生色带现象。传统的去除色带技术，主要针对原生色深视频图像的色彩丢失情况进行统计分析和2～4倍的色深度补偿，但无法处理大的色深色彩丢失及视频压缩造成的色深损失。超高清电视终端显示色深一般为8～12位，而目前大部分数字视频源还是8位以下色深，即使采用传统去除色带技术，超高清电视显示低位色深视频时也会产生色带现象、甚至严重的色彩失真。

AI色带平滑处理是通过对图像色带特征进行训练并分析出视频图像色阶缺失部分（即色带区域），动态补偿色阶缺失部分图像像素的颜色，使得色带过渡平滑，避免图像颜色突变，从而使得色彩呈现更好。AI色带平滑处理原理框图如图1所示。

AI色带平滑处理原理为：首先采用神经网络激活函数对输入的视频图像进行色带特征分析训练，设定目标函数及目标值，检测出符合目标特征的色带区域并进行标记；然后统计计算色带区域与相邻区域的图像像素的差值并估算细节补偿值，对色带区域的像素按照设定权重函数进行细节补偿、实现像素值调整；最后用抖动算法修正色带区域像素值，实现颜色的平滑处理。

由图1可见，低色深视频图像未进行AI色带平滑处理时，存在明显的色带，背景图像部分尤其明显。在经过AI色带平滑处理处理后，色带明显减轻，背景图像部分的颜色较为平滑，有效避免图像颜色过渡突变、使得图像色彩失真小和过渡平滑，显示图像的画质、尤其是背景图像的色彩呈现明显得到改善。

3 AI超级增补技术

目前超高清分辨率视频资源非常缺乏，主要是标清480像素或高清720/（1 080）像素分辨率视频内容。超高清电视终端一般采用传统图像拉伸和锐度增强算法来进行超分处理，将低分辨率视频转换成超高清分辨率视频图像后进行显示。传统超分算法只能增强低分辨率视频中已有的细节和物体边缘，无法重建低分辨率视频源采样频率以上的频率范围，即传统超分处理前后视频图像的频率范围一致；由于超高清视频图像频率需要远高于标清或高清视频图像的频率时才能显示更加清晰细腻，因此传统超分算法处理后的超高清显示图像将会出现细节模糊和物体边缘锯齿现象。尤其是压缩率较高的网络标清或高清视频，以及存在大量后期制作动画效果的视频，在超高清电视上显示时细节模糊和边沿锯齿更加明显，严重影响了视频图像显示质量，观看者甚至认为超高清电视显示清晰度还不如高清电视。

AI超级增补是基于机器学习的方式，针对低分辨率视频图像中局部范围内的结构特性，进行算法训练和识别2D结构（二维结构），然后在不同画面放大倍率下依据2D结构重塑细节，改善物体结构边缘的精细锐利程度。如图2所示，为AI超级增补（右）与传统方向性插值（左）处理效果对比。

AI超级增补重塑视频源中不存在的人眼视觉细节特征，可改善在大倍率放大时存在的物体边缘锯齿化现象，提高人眼感知清晰度、精细重现视频细节，提升超高清电视显示低分辨率视频图像内容时的画质。

4 AI动态目标降噪技术

在视频图像的获取、转换与传输过程中，受到硬件系统设备自身因素与外界环境的影响，获取的图像信息包含一些随机、离散或孤立的点，即图像噪声。电视显示图像对噪声非常敏感，降噪在电视图像处理中非常重要。电视中一般采用3D-IIR滤波器，通过时域上的迭代来达到平顺低通滤波；然而3D-IIR滤波器的时空域覆盖范围通常较小，当视频中噪声较大并存在运动物体目标时，运动物体周围区域的降噪效果明显下降、如果强制提高降噪强度则会产生严重细节丢失及物体拖尾现象，对超高清图像显示尤其明显。

AI动态目标降噪采用稀疏滤波算法，针对大量视频源中不同的目标个体独立的运动轨迹，进行算法训练，分析对比物体目标在运动过程中与周围其它物体和环境的频谱，分离实际物体与背景噪声，在运动过程中进行频域和时域联合降噪，降低动态噪声、并重构物体细节，解决较大噪声视频降噪问题及避免運动物体产生的细节丢失和拖尾现象。

AI动态目标降噪处理原理为：首先采用稀疏滤波算法对视频进行分析处理，提取出物体边缘特征，并依此将图像拆分为背景图像与运动目标物体，对背景图像与运动目标物体进行时域分析和频域分析；然后分别对背景图像和运动目标物体进行时域降噪，并实时分析视频源中不同目标物体的运动轨迹及其运动过程中的频谱、对运动目标物体边沿进行细节重构，将处理后的背景图像和运动目标物体融合为完整图像；更新图像的噪声水平，进行空域降噪，输出得到最终降噪完毕的图像。

由图3可见，大噪声图像经过AI动态目标降噪处理后，噪声得到明显降低，无物体细节丢失，显示图像的画质明显提升。

5 系统应用

AI色带平滑处理、AI超级增补和AI动态目标降噪技术已经在多个电视产品中进行了应用，涵盖55英寸至86英寸（1英寸=2.54 cm），包括创维超高清电视Q6A、Q51、S81、W81等产品系列，这些产品在播放标清或高清视频内容时，能够较好的平滑色带、提升显示清晰度、降低噪声时运动物体细节无丢失和拖尾，显示时能够呈现良好的图像画质。

6 结语

文章采用AI色带平滑处理技术，深入对视频图像的色带特征进行训练分析和像素补偿，避免图像颜色过渡突变，使得图像色彩失真小和过渡平滑；采用AI超级增补技术，基于机器学习的方式识别视频图像2D结构和重塑细节，增补视频源中不存在的人眼视觉细节特征、改善物体边缘锯齿，提高人眼感知清晰度、精细重现视频细节；以及采用AI动态目标降噪技术，通过稀疏滤波算法来分析视频源中不同目标物体的运动轨迹及其运动过程中的频谱，分离出物体对象和背景噪声、并消除噪声和重构物体对象细节。

文章技术的使用能够降低超高清电视终端在播放低质视频源时显示图像的色彩突变、物体边缘锯齿、运动物体噪声，使得显示图像的色彩过渡平滑、人眼感知清晰度高、细节丰富，有效提升了显示图像的画质。技术已经在创维Q6A、W81等超高清电视产品上得到了大规模使用，效果良好。

参考文献：

[1] 徐遥令.一种8K超高清电视系统设计方案[J].电子产品世界，2018， 25（6）：28-30.

[2] 李超，时大鑫.超高清晰度显示技术[J].现代显示，2010（5）：99-103.

[3] FU B，LI Y，WANG X H，REN Y G. Image super-resolution using TV priori guided convolutional network[J].Pattern Recognition Letters，2019，125（7）：780-784.