立体图像中间视点生成算法

杨嘉琛，安 坤，王 斌

(1. 天津大学电子信息工程学院，天津 300072；

2. 国家海洋技术中心，天津 300112；3. 北京机械工业自动化研究所，北京 100120)

随着立体显示技术的发展，有关立体视觉的研究逐渐升温[1-3]，立体技术已经是多媒体技术的重要内容[4]．中间视点生成是立体技术中的一个关键部分，以往的中间视点生成多用于立体图像编码中的视点估计[5-6]，视点估计后还有残差图像编码，所以对生成的中间视点图像质量要求并不高．但随着近几年显示技术的发展，中间视点图像生成的应用发生了变化．目前国内外一些厂家(如天津三维显示技术有限公司)，利用光栅技术，已经制造出多视点(可以达到9个视点)立体显示屏幕．这些立体显示屏幕运用了空间复用，可以将具有双眼视差的多幅图像同时显示在屏幕上．这样的立体显示系统中，存在 2个主要的问题：首先，当获取立体图像时，多个摄像机在空间上是固定的，观看视点只能从特定的视角来描述三维场景，如果不是从这一特定的角度来观察立体图像对，就会导致场景的不自然表达；其次，随着视点数目增加，摄像机的数量也会大幅度增加，给拍摄工作也带来很大的困难．解决上述问题的关键是需要获得不同于摄像机位置处视点的图像，其解决的方法就是中间视点生成．中间视点生成是根据原始的 2幅图像，生成位于2个参考图像视点所决定直线(基线)上的中间图像．当然，如果有很多幅参考图像，也可通过一系列的插值获得一定范围内任意视点图像．

中间视点生成的方法主要分为2类：基于三维几何模型的中间视点生成与基于图像的中间视点生成．由于基于几何模型的技术有2个主要缺点：高质量的绘制需要高精度三维物体模型，三维建模是一项具有挑战的任务，而对于复杂的景物则几乎不可能完成；计算费时，实时性差，绘制时间取决于物体的复杂性．所以基于图像生成中间视点成为了主要研究方向．

基于图像中间视点生成结果主要取决于视差估计准确性．因此中间视点生成算法主要集中于如何获得精准和稠密的视差矢量场来改善中间视点内插效果，但是精准的视差矢量场需要很大的计算量，这在很多实时性要求较高的应用中并不合适．为此，本文提出的中间视点生成算法使用图像中物体边缘进行特征点提取，然后利用特征点建立 Delaunay三角形网格，并通过网格映射进行视差矢量场快速计算，最后通过内插算法进行中间视点图像生成．

1 基于图像边缘的特征点选取

目前一些研究者使用特征点建立网格[7]，如Delaunay三角网格[8-9]，再通过网格映射的方法来快速计算视差矢量场．但是这些网格算法使用的特征点是图像中那些在各个方向上都具有较大灰度变化率的点，如用以求特征点的Moravec方法[10]．

图1就是使用Moravec方法选取特征点，并建立的Delaunay三角网格．可以看到，三角形的划分并没有把背景和物体完全分开，在物体边缘部分，大多数三角形同时包含物体和背景．物体发生旋转、尺度放缩以及弹性形变等，要受到落在背景里的特征点影响，不能进行更为准确的三角形映射变换．对于背景，虽然划分比较粗糙，但也占用了一部分三角形，这些三角形对于增强图像质量没有意义，只会增加计算量．

图1 Moravec特征点建立的三角形网格Fig.1 Triangular meshes established by Moravec feature Fig.1 points

针对上述问题，本文使用图像中物体边缘进行特征点选取，有如下5个步骤．

(1)用 Canny算法[11]对左眼图 IML进行边缘检测，从而得到边缘图．

(2)用线段逼近曲线方法(基于遗传算法的线段逼近曲线方法)，把边缘图中边缘曲线逼近成边缘线段，如图2所示，其中误差设定为2个像素点，选出线段端点集 T(T1，T2，…，Tn)．

图2 边缘线段Fig.2 Edge lines

(3)使用归一化协方差匹配方法在右眼图 IMR中找到T1的相应匹配点H1．

(4)为了防止误匹配，进行误差检测，在左眼图中也用归一化协方差匹配方法寻找 H1的匹配点 Q1，如果T1与Q1的距离小于设定误差b(本文b值取3，随着 b值增加，算法精度将下降，但速度加快)，则认为T1与 H1匹配；否则，认为 T1与 H1不匹配，并把不匹配点T1从T中去除．不匹配的点有2种可能：一个是产生了遮挡现象，另一个是误匹配现象．

(5)把 T中剩下的点，都进行步骤(3)与步骤(4)的验证，最后得到新的T作为特征点．

图3是使用物体边缘选取特征点，并建立的Delaunay三角网格．可以看到三角形是围绕物体进行划分的，所以进行三角形映射变换时，更能体现物体的旋转、尺度放缩以及弹性形变等．对于变化较小的背景，几乎不会特意选取特征点，划分三角形．由此看见，利用物体边缘提取特征点更适用于三角网格映射变换，也更适合于网格映射方法来快速计算视差矢量场．

图3 边缘特征点建立的三角形网格Fig.3 Triangle meshes established by edge feature points

2 中间视点生成方法

产生中间视点图像，需要根据视差矢量找到原图像对应点在中间视点图像上的坐标位置．虚拟的中间视点放置于左右2个摄像机之间，左右视点间距离设为 1，中间视点到左视点的距离为 a，a为线性内插系数，0＜a＜1．本文中间视点生成有如下5个步骤．

(1)用左眼图 T中的点作为特征点，形成Delaunay三角网格，通过三角形映射计算 IML中全部点的视差矢量．三角形映射是通过 IML中 1个三角形的3个顶点 ( x1,y1) 、(x2,y2) 与 ( x3,y3)，和这3个顶点在IMR中的对应点 ( X1, Y1) 、(X2, Y2) 与 ( X3, Y3)，求出三角形内部全部点的视差矢量．这6个点可以形成方程组

求解方程组可以得出 a、b、c、d、e、f与 6 个参数值．

于是可以把这三角形中的任何一点pL(x ,y) 代入方程，求出其在 IMR中的对应点 p'R(X,Y)，IMR与IML中相应点的矢量差(视差矢量)，即

式中 dLR(x,y) 代表 IML中点(x，y)相对 IMR的视差矢量．计算求出IML中全部点的视差矢量 DLR．

(2)使用步骤(1)的方法，同样求出 IMR中全部点的视差矢量 DRL．

(3)分别用 DLR与 DRL合成中间视点图像．IML与IMR到中间视点IMM的视差矢量为

式中 c值取 4，随着 c值增加，算法精度将下降，但 c值过小所有区域都将变为不可靠，算法不能进行，在误差范围内为可靠区域，否则为不可靠区域．

(5)形成最终的中间视点图像，其公式为

式中 ML(x, y)( MR(x, y))为 I MML(IMMR)中的点．对于可靠区域，左右视点中的点可以相互对应，中间视点图像可以直接通过左右视点图像同时来获得预测．对于不可靠区域，左右视点中的点不能相互对应，这种情况可能是遮挡现象或是误匹配现象引起的，如果再使用左右视点图像同时预测，会导致重影产生．本文方法对于不可靠区域，使用的是视差最大(深度最小)优先考虑．因为如果产生遮挡现象，深度小的必然要遮挡深度大的；如果产生误匹配现象(特征点选取时已经尽可能减少了误匹配)，则也使用深度最小(离观看者近的物体立体感更明显)的视点来预测，避免重影产生．

3 实验结果及分析

本文采用天津大学电子信息工程学院立体视觉实验室的立体图像库．实验使用了 30幅立体图像对，4选出了具有代表性的 5幅立体图像对与生成的中间视点(每个分图中第 1个图为左视点，第 2个图为右视点，第 3个图为生成的中间视点)．本文算法生成的中间视点PSNR平均值为28.7，与文献[12-13]中算法比较，PSNR分别提升了约0.7与1.1．

本文算法合成的中间视点图像质量良好，可以正确地反映原有左右视点内容，并且具有良好的视觉效果．当物体发生位移或形变时，生成的中间视点能够随着物体的变化而发生变化，并且没有重影产生．对于遮挡现象基本可以正确地恢复．通过主观观看新生成中间视点图像与原右视点(或左视点)组成的立体图像对，得出立体感良好的结论．

对于一些少数的误匹配现象，仍存在一些小的失真．例如，图4(e)生成的中间视点，自行车前轮钢圈产生了失真，但总体的视觉效果是可以接受的．

图4 立体图像对与生成中间视点(a＝0.5)Fig.4 Three-dimensional images and intermediate view synthesis(a＝0.5)

4 结 语

本文提出的中间视点合成算法，主要利用物体边缘提取特征点进行视差矢量场生成与线性内插．实验结果表明，生成的中间视图具有可接受的视觉效果，可以用于生成位于2个参考图像视点所决定的直线上的任意中间图像，也可以在具有多幅参考图像时，获得一定范围内任意视点图像．

［1］ 杨嘉琛,侯春萍,雷建军. 基于人眼视觉特征的立体图像质量客观评价方法[J]. 天津大学学报，2009，42(7)：622-627.

Yang Jiachen，Hou Chunping，Lei Jianjun. Objective quality evaluation method of stereo image based on human visual characteristics[J].Journal of Tianjin University，2009，42(7)：622-627(in Chinese).

［2］ 杨嘉琛，侯春萍，徐 然. 基于 Delaunay三角形网格立体图像编码算法的特征点提取[J]. 天津大学学报，2009，42(5)：424-427.

Yang Jiachen，Hou Chunping，Xu Ran. A feature-node selection method based on Delaunay triangular mesh stereo image coding[J].Journal of Tianjin University，2009，42(5)：424-427(in Chinese) .

［3］ 杨嘉琛，侯春萍，沈丽丽. 基于 PSNR 立体图像质量客观评价方法[J]. 天津大学学报，2008，41(12)：1448-1452.

Yang Jiachen，Hou Chunping，Shen Lili. Objective evaluation method for stereo image quality based on PSNR[J].Journal of Tianjin University，2008，41(12)：1448-1452(in Chinese).

［4］ Park Ilkwon，Byun Hyeran. Fast gradient-based mesh generation method for the stereo image representation[C]// 3rd3DTV-Conference：The True Vision-Capture，Transmission and Display of 3D Video．Potsdam，Germany，2009.

［5］ Yao Li，Li Dongxiao，Zhang Ming. MRF-based stereo correspondence and virtual view interpolation[C]// 3rd International Symposium on Intelligent Information Technology Application. Nanchang，China，2009：416-419.

［6］ Liao Zhihong，Xie Xudong，Dai Qionghai. Real-time 3D video synthesis from binocular capture system based on commodity graphic hardware[C]// 3rd3DTV-Conference：The True Vision-Capture，Transmission and Display of3D Video. Potsdam，Germany，2009：1-4.

［7］ Joon H P，Hyun W P. A mesh-based disparity representation method for view interpolation and stereo image compression[J].IEEE Trans on Image Processing，2006，15(4)：1751-1762.

［8］ Ma Yingliang，Saetzler K. A parallelized surface extraction algorithm for large binary image data sets based on an adaptive 3-D delaunay subdivision strategy[J].Visualization and Computer Graphics，2008，14(1)：160-172.

［9］ Valette S，Chassery J-M，Prost R. Generic remeshing of 3D triangular meshes with metric-dependent discrete voronoi diagrams[J].Visualization and Computer Graphics，2008，14(2)：369-381.

［10］ Ohm J，Grueneberg K，Hendriks E. Real time hardware system for stereoscopic videoconferencing with viewpoint adaptation[J].Signal Processing：Image Communication，1998，14(1)：147-171.

［11］ Bao P，Zhang L. Canny edge detection enhancement by sale multiplication[J].IEEE Trans on Pattern Analysis and Machine Intelligence，2005，27(9)：1485-1490.

［12］ Müller K，Smolic A，Dix K，et al. Coding and intermediate view synthesis of multiview video plus depth[C]//2009IEEE International Conference on Image Processing. Cairo，Egypt，2009：741-744.

［13］ 胡志萍，郭明恩，欧宗瑛．一种基于图像轮廓信息的新视点图像生成算法[J]. 大连理工大学学报，2006，46(3)：361-366.

Hu Zhiping，Guo Ming’en，Ou Zongying. An image synthesis algorithm based on new viewpoint using contour edge correspondence information[J].Journal of Dalian University of Technology，2006，46(3)：361-366(in Chinese).