自由立体显示的自适应图像合成算法*

侯春萍　陈磊　王晓燕　王志远

(天津大学 电子信息工程学院, 天津 300072)

自由立体显示的自适应图像合成算法*

侯春萍陈磊王晓燕王志远

(天津大学 电子信息工程学院, 天津 300072)

摘要：现有的自由立体显示图像合成算法存在合成倾斜角度调整不灵活、合成速度慢、效果差等问题.为此,文中在自由立体显示的双目视差原理基础上,提出了在图像合成过程中对图像排布的倾斜角度进行调整的自适应立体图像合成算法.为减少子像素的判决次数,加快立体图像的合成速度,文中首先提出了一种新的判决准则——首列子像素视点判决准则,然后在图像合成过程中根据已经完成排布的部分图像的倾斜角度对将要排布图像的倾斜角度进行自动调整.仿真结果表明:文中算法能够适用于光栅倾斜角度为任意值的自由立体显示设备,并且能够得到排布更为合理的合成图像.

关键词：立体图像;自适应;合成算法;光栅;自由立体显示

近年来,随着全球立体显示技术的快速发展,立体图像和立体电影的数量快速增加,人们对立体显示技术的要求也越来越高[1].然而目前广泛使用的立体显示大多属于助视立体显示.观看助视立体显示需要佩戴辅助工具，这给人们带来了不便,而自由立体显示技术的出现解决了这一问题[2].

目前,基于光栅的自由立体显示算法[3- 4]大多只能针对光栅倾斜角度为某一固定值的显示设备进行图像合成[5],无法根据立体显示设备的实际参数进行调整,或者调整的范围和精确度有限,并且合成速度慢[6]、效果差[7],无法很好地解决串扰问题[8-9].如宋晓炜等[10]提出的立体图像合成方法不能解决不同光栅倾斜角度的图像合成问题.Jung等[11]提出的算法有了较大的改进,能够在一定范围内调整合成图像的倾斜角度,但倾斜角度的调整范围有限,并且由于采用逐点判决方法而影响图像合成速度.为了解决立体图像合成时普遍存在的合成倾斜角度调整不灵活、合成速度慢、效果差等问题,在立体图像合成及显示原理的基础上,文中提出了一种新的能够适应光栅倾斜角度为任意值的自适应图像合成算法.

1自适应图像合成算法

为了减少子像素的判决次数,加快立体图像的合成速度,文中提出了一种新的判决准则——首列子像素视点判决准则.

1.1　首列子像素视点判决准则

自由立体显示是在双目视差原理基础上实现的[12],现有的图像合成算法通常在按行排布的基础上对子像素逐个判决[13],即完成整行的子像素判决和排布之后再进行下一行的排布.在每行的排布过程中,需要针对每个子像素进行判断,确定其所属的视点.这种排布方式会大大增加子像素排布及图像合成的时间,导致合成速度缓慢,严重影响视频的实时合成和实时播放.

首列子像素视点判决准则是在按行排布的基础上提出的.由于子像素排布在水平方向上的周期与光栅在水平方向上的周期相同,设立体显示的视点数为N,则子像素排布的周期与光栅的周期均为N.因此,当一行子像素的首个子像素所属的视点确定后,其后续的子像素的排列顺序随之确定,即每行子像素的排布情况由首个子像素的所属视点来确定.该首列子像素视点判决准则将逐个子像素判决简化为首列子像素判决,减少了子像素判决的次数,从而加快图像的合成速度.

图像的排布方向需要与光栅的倾斜方向保持一致[14],光栅的倾斜方向分为顺时针(右上到左下)和逆时针(左上到右下)两种.设图像每行的子像素数为m,行数为n,视点数为N,则文中提出的首列子像素视点判决准则为

vi,j=f(vi,1,j)

(1)

式中,i∈[1,n],j∈[1,m],vi,j∈[1,N]为第i行、第j列子像素pi,j所属的视点,vi,1∈[1,N]为第i行的首个子像素所属的视点.式(1)表示vi,j可以由vi,1及j确定,即对任意一个vi,j的判决可以转化为对vi,1的判决,从而将子像素的判决次数由m×n降低为n.

对于逆时针方向的光栅(视点数为N),根据光栅式立体显示的原理,第i行、第j列子像素pi,j所属的视点vi,j为

(2)

其中,mod(a,b)表示a对b取模.由式(2)可以看出,子像素排布的循环周期为N.当vi,1确定(设vi,1=x)时,第i行的子像素排布顺序随之确定,即根据式(2)可以计算得出第i行的排布,结果如图1所示.

图1　第i行子像素逆时针方向排列方式Fig.1　Pattern of sub-pixels in the ith line based on anticlockwise mode

由图1可知,第i行的排布实际上是由首个子像素所属的视点vi,1确定.在图像合成时,只需对每行的首个子像素的视点进行判决,就能够确定整幅图像的子像素排布.

基于顺时针方向光栅的图像合成原理与逆时针方向的基本相同.区别在于,每行的排布需要从右向左进行,即需要判决每行的最后一个子像素所属的视点.对于顺时针方向的光栅(视点数为N),根据光栅式立体显示的原理,第i行、第j列子像素pi,j所属的视点为

(3)

式中:vi,m∈[1,N]为第i行的最后一个子像素pi,m所属的视点;s表示子像素pi,j是第i行从右向左的第s个子像素,其计算公式为

s=m+1-j

(4)

由于已知一行的子像素数为m,可以将从右向左的排布转化为从左向右,从而将判决最后一个子像素所属的视点转化为判决该行第1个子像素所属的视点,得到用vi,1表示vi,m的公式为

(5)

将式(4)和式(5)代入式(3),得到基于顺时针方向光栅的子像素pi,j所属的视点vi,j的计算公式为

(6)

由于m为常数,故子像素pi,j所属的视点vi,j由该行的首个子像素所属的视点vi,1及j决定,第i行的排布由首个子像素所属的视点vi,1确定.因此,可以将判决每行的最后一个子像素所属的视点转化为判决该行第1个子像素所属的视点.

由于式(2)、(6)与式(1)在表示vi,j与vi,1及j的本质关系时是一致的,因而在已知图像每行子像素数为m、行数为n和视点数为N的情况下,第i行、第j列子像素pi,j所属的视点vi,j可以由该行的首个子像素的视点vi,1及j确定.将基于逆时针方向光栅的图像合成与基于顺时针方向光栅的图像合成的方法进行统一,从而证明首列子像素判决准则是成立的.该准则适用于光栅倾斜方向为任意方向的立体图像合成.同时,该准则将子像素判决次数由m×n降低为n,大幅减少了判决子像素的次数,从而加快算法的判决速度,适用于立体图像的快速合成和立体视频的实时合成与播放.

1.2　自适应图像合成算法原理

自适应图像合成算法的核心是在图像合成过程中,根据已经完成排布的部分图像的倾斜角度对将要排布图像的倾斜角度进行自动调整.自适应算法是将前i行已经完成合成的图像的倾斜角度与光栅倾斜角度进行比较,并根据第i行首个子像素所属的视点对第i+1行首个子像素所属的视点进行调整.子像素的排列与光栅的倾斜角度需要保持一致或在误差允许范围内[15],自适应图像合成算法通过对每行的子像素排布顺序进行调整来完成对整幅图像倾斜角度的调整,使其更接近光栅的倾斜角度.

光栅种类无论是狭缝还是棱柱镜,倾斜方向无论是顺时针还是逆时针,光栅的倾斜角度α通常满足α≤arctan(1/3),对于某一确定的自由立体显示设备,α为常数,子像素的宽高比为1∶3.

逆时针方向的倾斜角度调整原理如图2所示,vn表示第1行第1次出现的第n个视点的子像素，n=1，2，…，N；夹角的顶点起始于第1行第1次出现的第n个视点的子像素的左上顶点.将前i行已经完成合成的图像的倾斜角度β与α进行比较:

如果β≤α,那么第i行与第i+1行的关系如图2(a)所示.对β进行调整,使前i+1行的倾斜角度β′大于前i行的β,即β′>β,

(7)

如果β>α,那么第i行与第i+1行的关系如图2(b)所示.对β进行调整,使前i+1行的倾斜角度β′小于前i行的β,即β′<β,

(8)

图2　基于逆时针方向的倾斜角度调整原理Fig.2　Adjustment principle of the inclination angle based on anticlockwise mode

采用图2所示的两种方式对图像排布的倾斜角度进行调整,均会使倾斜角度向光栅倾斜角度的方向变化.由于这种调整是根据前i行已经完成合成的图像的倾斜角度对第i+1行进行调整,故图像的倾斜角度β从小于α的一侧转换到大于α的一侧或从大于α的一侧转换到小于α的一侧.因而,自适应图像合成算法对图像倾斜角度进行的自动调整,会使已完成排布的图像的倾斜角度在光栅倾斜角度α的附近摆动.与未调整的图像倾斜角度相比,调整后的图像倾斜角度更接近α.

由图2(a)可知,图像的倾斜角度由β变大为β′,实现了倾斜角度变大的目的.采用图2(a)的排列方式,并根据立体图像的合成原理,可以得出第i行与第i+1行首个子像素所属视点的关系:

vi+1,1=mod(vi,1+1,N),β≤α

(9)

由图2(b)可知,图像的倾斜角度由β变小为β′,实现了倾斜角度变小的目的.采用图2(b)的排列方式,并根据立体图像的合成原理,可以得出第i行与第i+1行首个子像素所属视点的关系:

vi+1,1=vi,1,β>α

(10)

综上所述,由式(9)和(10)可以得到逆时针方向视点排布的自适应调整公式:

(11)

顺时针方向与逆时针方向的调整方法依据的原理相同,因此,可以得到顺时针方向视点排布的自适应调整公式:

(12)

由于式(11)和(12)在表示vi+1,1与vi,1的本质关系时是一致的,因此可以统一为一个表达式,即

vi+1,1=g(vi,1)

(13)

式(13)反映了vi,1与vi+1,1的关系,即首列中第i行与第i+1行的关系;式(1)反映了vi,1与vi,j的关系,即第i行中第1列与第j列的关系,由式(1)和式(13)可以完成整幅图像的排列.

2试验结果与讨论

试验平台:10 inch基于狭缝光栅的八视点平板显示设备.用于立体图像合成的计算机配置为:CPU i5-3470 3.20 GHz,内存8 GB,操作系统Windows 8.1, Matlab 2014a仿真软件.

将光栅的倾斜角度调整为某一角度,分别采用文献[10-11]中提出的合成算法和文中提出的自适应图像合成算法进行立体图像合成,并对合成的立体图像进行比较、分析.由于文献[10]算法只能针对光栅倾斜角度为某一固定角度的显示设备,故采用arctan 0.222 2作为文献[10]的合成角度.

2.1　立体图像的合成速度比较

分别采用3种算法进行100次图像合成,记录每次的合成时间,得到图像合成时间随合成次数变化的曲线如图3所示.由图可以看出,图像合成次数相同时,文中算法的合成时间比文献[10-11]算法的合成时间都短,这是由于文中算法将现有算法的逐点判决转化为每行首个子像素所属视点的判决,使得子像素判决次数由m×n降低为n,大幅减少了需要判决的子像素数量,显著提高了图像合成的速度.

图3　3种算法的图像合成速度比较Fig.3　Comparison of image combination speed among three 　algorithms

2.2　合成立体图像的效果比较

试验组编号、试验编号及与光栅倾斜角度的对应关系如表1所示.3种算法合成立体图像的效果如图4所示,方框部分的放大图如图5所示.

表1　试验组编号、试验编号及与光栅倾斜角度对应关系Table 1　Mapping relationship of the experimental group number,the experiment number and the angle of parallax barrier

图4　3种算法合成立体图像效果比较Fig.4　Comparison of the stereo image combination effects among three algorithms

从图5可以看出:3种算法合成的图像之间存在明显的观看效果差异,且合成图像在观看时产生的断层数量也存在明显的差异;文献[10]算法合成的图像的观看效果存在明显的缺陷,只有在α=arctan 0.222 2时才能够有较好的观看效果;文献[11]算法能够在光栅倾斜角度为各种角度的情况下做出明显的调整,但在光栅倾斜角度与常用角度之间存在较大偏差时,该算法的调整能力有限,未能完全满足立体观看的需要;文中算法合成的立体图像较文献[10-11]算法更加符合双目视差原理,因而在观看时不会产生断层.可见,文中算法能够在光栅倾斜角度为任意值的情况下进行立体图像合成,并且合成的立体图像在观看时均没有出现断层,完全满足正常的立体观看需要.

图5　图4中方框部分的放大图比较Fig.5　Comparison of the enlarged blocks in Fig.4

2.3　倾斜角变化与图像合成效果比较

在Matlab2014a仿真环境中采用3种算法进行立体图像合成,并记录每行合成后的图像倾斜角度,计算出已完成排布的图像倾斜角度的正切值与光栅倾斜角度正切值之差的绝对值,结果如图6所示.从图可知:在光栅倾斜角度发生变化时文献[10]算法的合成角度无法发生相应的变化,导致最终合成的图像倾斜角度与光栅倾斜角度不匹配,从而无法观看到理想的立体效果;在光栅倾斜角度发生变化时文献[11]算法的合成角度能够在一定范围内逐渐地逼近光栅的实际角度,最终合成的图像倾斜角度能够与光栅的倾斜角度较为接近,使观看者看到比较满意的立体效果,但该算法合成图像的倾斜角度的正切值与实际光栅倾斜角度的正切值之间总是存在差值,将所有差值的绝对值进行统计平均,均值在10-2数量级,此差值是造成在观看合成的立体图像时产生断层的原因.根据双目视差原理,文中算法能够更好地逼近光栅的实际倾斜角度,合成图像的倾斜角度与光栅倾斜角度正切值之差的统计平均值从10-2降低到10-3,更好地满足了双目视差原理,因而在观看立体图像时不会产生任何断层,具有较好的观看效果.

图6　在图像合成过程中光栅倾斜角度变化情况Fig.6　Changes of the inclination angle of parallax barrier during the image combination

2.4　合成立体图像观看效果的主观评价

主观评价是图像合成效果常用的研究方法之一.对3种算法合成的立体图像进行主观评价,以验证文中立体图像合成算法的效果.首先找到20名立体视觉良好的观看者,参考ITU(2002)电视图像质量主观评价推荐准则[16]提出的评分标准和方法对20名评分者进行培训,然后对图4所示的6组立体图像进行评分,记录每个评分等级的人数,结果如表2所示.

表2　评分统计结果

将表2中的统计结果转换成分数,规则如下:非常差(1分)、差(2分)、一般(3分)、好(4分)、非常好(5分),并将总分数除以评价人数,得到平均分数,用柱状图表示,结果如图7所示.由图可以看出:在d组试验中,由于光栅倾斜角度为常用角度,3种算法的观看效果基本相同;文献[10]算法只有在光栅倾斜角度与常用角度相同时(d组),才能够有较好的观看效果,当光栅倾斜角度偏离常用角度时,观看效果也随之降低;文献[11]算法能够对立体图像的倾斜角度做出调整,但调整范围有限,在c和d组的倾斜角度附近能够做出较好的调整,在远离常用角度的情况下,调整结果未能完全满足立体观看的需要;在光栅倾斜角度为任意值的情况下,文中算法合成的立体图像都能够满足正常的立体观看需要.

Table 2　Statistics result of evaluating score

图7　3种算法的平均分比较Fig.7　Comparison of average scores among three algorithms

3结论

为解决立体图像合成时普遍存在的合成倾斜角度调整不灵活、合成速度慢、效果差等问题,文中提出了一种自适应图像合成算法.该算法采用了首列子像素视点判决准则,使其子像素判决次数由传统算法的m×n降低为n,提高了图像的合成速度,故适用于立体图像的快速合成和立体视频的实时合成;在图像合成过程中,该算法根据已经完成排布的部分图像的倾斜角度对将要排布图像的倾斜角度进行自动调整,使图像倾斜角度与光栅倾斜角度的正切值之差的统计平均值从传统算法的10-2降低到10-3,从而使合成的立体图像更好地满足双目视差原理对图像合成的需要.

试验结果表明:文中提出的自适应立体图像合成算法合成图像的效果好;在图像合成过程中,文中算法能根据目标的倾斜角度自动调节图像的合成倾斜角度,故可适用于光栅倾斜角度为任意角度的立体图像合成.

参考文献:

[1]Lee B.Three-dimensional displays,past and present [J]. Physics Today,2013,66(4):36- 41.

[2]Hong J,Kim Y,Choi H J,et al.Three-dimensional display technologies of recent interest:principles,status,and issues [J].Applied Optics,2011,50(34):87-115.

[3]Boev A,Bregovic R,Gotchev A.Methodology for design of antialiasing filters for autostereoscopic displays [J].IET Signal Processing,2011,5(3):333-343.

[4]Hsia C H.Improved depth image-based rendering using an adaptive compensation method on an autostereoscopic 3-D display for a Kinect sensor [J].IEEE Sensors Journal,2014,15(2):994-1002.

[5]Hock S T,Xia Jia-zhi,He Ying,et al.A system for capturing,rendering and multiplexing images on multi-view autostereoscopic display [C]∥Proceedings of 2010 International Conference on Cyberworlds.Singpaore:IEEE,2010:325-330.

[6]Fan Yu-cheng,Kung Yu-ting,Lin Bing-lian.Three-dimensional auto-stereoscopic image recording,mapping and synthesis system for multiview 3D display [J].IEEE Trans-actions on Magnetics,2011,47(3):683- 686.

[7]Kong L,Jin G,Wang T,et al.Parameter design of a para-llax barrier based on the color moiré patterns in autoste-reoscopic display [J].Applied Optics,2011,50(34):153-158.

[8]Woods A J.Crosstalk in stereoscopic displays:a review [J].Journal of Electronic Imaging,2012,21(4):80.

[9]Kim Y,Park G,Jung J H,et al.Color moiré pattern simulation and analysis in three-dimensional integral imaging for finding the moiré-reduced titled angle of a lens array [J].Applied Optics,2009,48(11):2178-2187.

[10]宋晓炜,杨蕾.一种光栅普适的LCD多视点立体图像合成方法 [J].计算机应用,2008,28(1):195-198.

Song Xiao-wei,Yang Lei.General composition method for optical plate based LCD multiview stereo-image [J].Journal of Computer Applications,2008,28(1):195-198.

[11]Jung K,Park J,Choi B U.Interactive auto-stereoscopic display with efficient and flexible interleaving [J].Optical Engineering,2012,51(2):7402.

[12]尚玲.基于双目视差的液晶三维立体显示系统设计与实现 [J].中国西部科技,2014(8):18-19.

Shang Ling.Design of the three-dimension display system based on binocular parallax [J].Science and Technology of West China,2014(8):18-19.

[13]Boev A,Gotchev A,Egiazarian K.Crosstalk measurement methodology for auto-stereoscopic screens [C]∥Procee-dings of 3DTV Conference.Kos Island:IEEE,2007:1- 4.

[14]Lee Y,Ra J B.Image distortion correction for lenticula misalignment in three-dimensional lenticular displays [J].Optical Engineering,2006,45:017007.

[15]Saveljev V V,Son J,Javidi B.Moiré minimization condition in three-dimensional image displays [J].Journal of Display Technology,2005,1(2):347-352.

[16] ITU-R BT 500-11,Methodology for the subjective assessment of the quality of television picture [S].

Self-Adaptive Stereo Image Synthesis Algorithm for Auto-Stereoscopic Display

HouChun-pingChenLeiWangXiao-yanWangZhi-yuan

(School of Electronic Information Engineering, Tianjin University, Tianjin 300072, China)

Abstract:In the existing stereo image synthesis algorithms used in the auto-stereoscopic display, the inclination angle of image synthesis is inflexible, the synthesis process is slow and the effect is poor. Therefore, we propose a novel algorithm named as self-adaptive stereo image synthesis algorithm, which adjusts the inclination angle during the process of image synthesis based on the theory of binocular stereo vision used in the auto-stereoscopic display. In the algorithm, a novel law of judgment named the law of judgment by the first column sub-pixels is proposed and then the inclination angle of the image to be unmapped is adjusted automatically according to the inclination angles of the partial mapped images during the process of image synthesis, so that the judgment number of sub-pixels can be decreased and thus the synthesis of stereo images can be sped up. Simulation results demonstrate that the proposed algorithm is suitable for the auto-stereoscopic display equipment with any inclination angle of parallax barrier and can make the synthesis more reasonable.

Key words:stereo image; self-adaptive; synthesis algorithm; parallax barrier; auto-stereoscopic display

中图分类号：TP751

doi：10.3969/j.issn.1000-565X.2015.09.016

作者简介：侯春萍(1957-),女,教授,博士生导师,主要从事立体显示研究.E-mail: hcp@tju.edu.cn

*基金项目：国家“863”计划项目(2012AA03A301);国家自然科学基金重大研究计划项目(91320201);国家自然科学基金资助项目(61471262);高等学校博士学科点专项科研基金资助项目(20110032110029,20130032110010)

收稿日期：2015- 01- 09

文章编号：1000-565X(2015)09-0100-07

Foundation items： Supported by the National High-Tech R & D Program of China(2012AA03A301),the Major Research Program of the National Natural Science Foundation of China(91320201),the National Natural Science Foundation of China(61471262)and the Specialized Research Fund for the Doctoral Program of Higher Education of China(20110032110029,20130032110010)