关于3D数字信号处理技术的探讨

2017-07-19 12:59
职业技术 2017年6期
关键词:深度图视点信号处理

王 盈

(辽宁轨道交通职业技术学院,沈阳 110000)

关于3D数字信号处理技术的探讨

王 盈

(辽宁轨道交通职业技术学院,沈阳 110000)

伴随信息技术的日新月异,数字信号处理技术已经在人们的生活中得到广泛应用。本文针对数字信号处理技术的发展现状进行了研究,对3D信号传输模式及遇到的问题进行了分析,并提出了解决的办法。

3D技术;数字信号传输处理;探讨

0 引言

目前,3D数字信号处理技术的应用已经相当广泛,其中3D电影应用就是一个有力的说明。3D技术的发展是有目共睹的,3D数字信号处理技术在信号和信息的处理方面有着重要的应用,形成了当前3D视觉效果发展的一个典范,在这一领域发挥着重要的引领作用。例如,3D电影、3D打印以及在医学上利用3D技术对病变部位进行三维立体的重构等,都是应用3D信号处理技术才能完成的。

1 日常生活中的3D技术

1.1 3D技术在电影中的应用

伴随詹姆斯·卡梅隆导演的3D电影《阿凡达》大获成功,3D技术在电影中的应用越来越广泛。近些年来,中国的3D电影逐渐发展。从2011年12月上映的首部国产3D武侠片《龙门飞甲》起,香港导演徐克已经连续导演了多部3D影片,每一部都在国内获得了票房与口碑的双丰收。2014年上映的《智取威虎山》中精心设计的一组“打虎上山”的镜头,凸显了国内3D制作技术的高水平,但与2013年上映的好莱坞3D大片《地心引力》相比,其3D立体技术仍然有所欠缺。经过几年的时间,3D电影撑起了电影市场的半壁江山。在2015年的3D电影《西游记之大圣归来》中,当齐天大圣孙悟空的披风出现时,带给观众的是披风仿佛跃出屏幕飘到脸上的感觉。在动画影片《大鱼海棠》中,一条条大鱼在水中游动,当观众伸出手时,仿佛一条条大鱼在手边游过,视觉效果震撼,这些都是依靠3D技术完成的,3D技术的发展为电影技术的更新提供了强大的科技支撑。

1.2 3D技术在生活中的应用

3D技术除了在电影领域的广泛应用外,还在医学领域有着广泛的应用。图像视频处理及传输一直是医学领域比较前沿的技术。借助原始图像及视频处理技术,能帮助医生更好地处理疾病。目前,许多疾病的诊断主要依靠B超、CT和MR等无创性影像学检查,但由于人体内部结构复杂,加之上述各种影像学检查手段各有优势和不足,常需多种影像学检查方法的综合运用,才能做出较为全面的诊断。而利用3D三维技术对病变部位进行三维立体重构,能较大程度地弥补影像学技术的不足,使医生对病变部位的分析更加全面、准确。

2 3 D视频传输技术

2.1 3D立体视频传输方式

3D图像常见编码传输有4种格式:

(1)色差方式:又称分色立体成像技术,用两个不同视角拍摄的影像,分别以两种不同的颜色印刷在同一幅画面中。用肉眼观看会呈现模糊的重影图像,只有通过对应的红蓝等立体分色眼镜才可以看到立体效果。

(2)基于图像帧兼容模式的立体视频格式:一个图像帧数据里面含有左右帧图像数据,通常有左右格式、上下格式、交错格式3种,分别为(A)、(B)、(C)。

(A)左右格式图像帧

(B)上下格式图像帧

(C)交错格式图像帧

(3)基于图像帧序列模式

图像帧:是一次概念的革新,它打破常规,完全没有 I 帧、P帧、B 帧的概念,也没有 IDR 帧的概念。对于 H.264 中出现的一些概念从大到小排序依次是:序列、图像、片组、片、NALU、宏块、亚宏块、块、像素。

(4)Multi-View Code(MVC)标准中采用的方式即2D图像加景深MAP的模式 :这种模式,景深数据的内容虽然少了,但是数据的分辨率以及像素没有少,在进行图像压缩时,需要的网络带宽和左右两帧单独压缩占用的带宽一样。

2.2 3D视频传输技术面临的挑战

现在从网络上下载一部高清的1080P画质的电影可能就需要1~2G的内存大小,甚至更高达十几个G。而一部高清的3D电影,如果想从网络上下载,或者直接在线观看,对于目前的网速来说都是不太可能的。一部电影不关电脑下载要七八个小时或者一两天,我想很多人会直接放弃的。3D在带给人无与伦比的视觉体验的同时,也因其巨大的信息量为视频的保存和传输带来新的压力。如何在尽量保证视频质量的前提下占用更小的传输带宽是3D视频压缩领域亟待解决的问题;如何让3D视频有较高的分辨率,减少信号的失真,增强滤波效果是信号领域有待解决的问题。为此,需要有与3D视频特点相适应的压缩和编码方法以提高压缩效率,考虑现有压缩标准间的兼容性,同时利用基于特征值和特征向量的多维正弦信号频率估计的失真技术也需要被充分考虑。

2.3 解决方法

2.3.1 独立视点编码

目前的研究主要集中在基于深度信息和深度图特征的ROI压缩,除此之外,还采用新的编码方式,如基于HEVC的3D视频编码3D-HEVC方案。如上图所示,图中所有输入的视频图像和深度图像是同一时刻、不同拍摄位置的场景,这些图像组成一个存取层。在同一个存取层中,首先对独立视点(基准视点)编码,接着是该视点的深度图,再编码其他视点视频图像和深度图。从原理角度,每个视点的图像,包括视频图像和深度图像,均可以利用HEVC编码框架进行编码,输入的所有比特流复合形成3D比特流。

对于独立视点,利用未修正的HEVC编码结构,由于该视点的编码是独立的,不依赖于其他视点,因此其对应的比特流可以单独提取出来形成2D比特流,从而恢复出2D视频。由此可见,3D-HEVC兼容了2D视频的编解码,而其他视点和深度图采用修正的HEVC编码结构。如图中红色箭头表明,可以利用视点间相似信息去除视点间冗余,提高编码性能。

3D-HEVC编码结构是对HEVC的扩展,每个视点纹理及深度图编码主要采用HEVC编码框架,但在其基础上增加了一些新的编码技术,使其更有利于深度图和多视点的编码,能够保证视频的质量。

2.3.2 非独立视点编码技术

3D-HEVC在编码非独立视点时,除了使用独立视点编码所用的所有工具外,还用到了HEVC关于3D扩展的编码技术,使其更有利于多视点的编码。如利用已编码的独立视点的信息来预测当前编码视点的信息,从而降低视点间冗余,提高编码效率。其中涉及的扩展技术主要是视差补偿预测、视点间运动预测和视点间冗余预测。

3 结语

当前,3D技术进入了发展的黄金期,接下来的发展还有待于技术人员在应用中不断探索。但可以预见的是3D数字处理技术将会给人类带来一场前所未有的技术风暴,为人类的生活和社会科技进步带来不可预估的价值。

[1]程佩青.数字信号处理教程[M].清华大学,2001.

[2]陈后金,薛健.数字信号处理[M].北京:高等教育出版社,2004.

[3]唐志伟.数字信号处理技术在电视机中的应用[J].数组技术与应用,2011(7).

(编辑 文新梅)

Discussion on 3D Digital Signal Processing Technology

WANG Ying

(Liaoning Institute of Technology of Profession of Rail Transit in Shenyang, Shenyang 110000, China)

The information technology of our country is in the fast development and changing stage, and some of the digital signal processing technology has been widely used in people’s lives. This article is mainly on the current development of the digital signal processing technology research. The 3D signal transmission mode and the problems are analyzed in the paper, and the ways to solve the problems are put forward.

3D technology; digital signal transmission processing; discussion

2017-04-10

王盈(1977-),女。讲师,工程硕士。研究方向:电工电子技术。

TN911.72

A

1672-0601(2017)06-0121-03

猜你喜欢
深度图视点信号处理
专题征稿启事
——信号处理
一种基于WMF-ACA的深度图像修复算法
MATLAB在数字信号处理中的应用
基于MATLAB的语音信号处理
基于深度图的3D-HEVC鲁棒视频水印算法
一种激光/无线电复合引信信号处理技术
一种基于局部直方图匹配的深度编码滤波算法
环境视点
叠加速度谱在钻孔稀少地区资料解释中的应用
让你每天一元钱,物超所值——《今日视点—2014精萃》序