多阵列摄像图像调节的MVC颜色补偿方法

罗桂娥，刘 毅

中南大学 电子科学与技术研究所，长沙 410083

多阵列摄像图像调节的MVC颜色补偿方法

罗桂娥，刘 毅

中南大学 电子科学与技术研究所，长沙 410083

1 引言

随着图像处理技术的飞速发展，多视点视频编码如今有了很广泛的应用，包括自由视点视频、3D电视和视频监控等方面。在国际视频组织下多视点视频编码标准得到了较快的发展，这种标准是对H.264/AVC编码标准的延伸[1]。H.264/AVC编码标准中的时间预测和帧间预测方式也应用于多视点视频编码中以便提高编码效率。然而，在多视点视频编码中，由于各个摄像机的性能参数很难做到完全一致，视点之间存在颜色的误匹配，这会影响在多视点视频编码中的帧间预测。现有的方案一般都是利用直方图匹配的模式或者通过加性补偿模式来进行颜色补偿[2]。直方图匹配模式的一个最大缺点就是不可靠性，尤其是当视点之间有很大的重合部分时；经过补偿后的图像能够在解码过程中获得，所以要获得和原始图像差不多的视觉图像质量也并不需要传输经过颜色补偿后的图像信息。现如今已有了一些方法用来提高编码效率。如参照亮度补偿（IC）方法，可以消除不同视点之间的亮度差异和累加误差。

也有人提出了通过联合使用亮度补和色度补偿来消除采用Y、Cb、Cr通道的误差[3]；Yamamoto等人提出了一种基于RGB空间非线性模型的颜色补偿方法，该方法对每个像素进行两次转换，首先从YUV到RGB模式，然后从RGB到YUV模式，但这样计算复杂度将非常高。上面这些方法都需要在编码端找到最佳的参考图像并且需要传输一些额外的信息到解码端。

然而视点间的差异主要是由于摄像机内部参数不一致引起的。在本文中，提出了一种颜色补偿方法，该方法是在RGB颜色空间上建立颜色补偿模型[4]，并进一步扩展到YCbCr颜色空间。这是因为在摄像机内部采用RGB颜色空间来表示颜色信息，而所使用的H.264/AVC编解码视频标准中只支持YCbCr格式的视频。在时间域上相邻视点间的颜色由于有些细微的变化而产生误匹配，但是基于颜色补偿的信息能够从解码的图像中得到。也就是说，本文所提出的颜色补偿方法不需要传输额外的信息。

2 颜色补偿模块

要记录一个彩色图像，每个摄像机必须要有3个传感器才能捕获每个颜色信息。现在最通用的方法就是用RGB模式来记录每个颜色的信息。因此，每个颜色信息都需要转换成RGB模式。为了不失一般性，本文以两台摄像机为例来探讨颜色不匹配的情况。如图1所示，其中一台摄像机中的视频信息用来编码[5]，称之为编码视频。相应的另一台摄像机作为参照相机，其视频称为参考视频。这里用fcod表示当前编码图像，用fref表示视点间参考图像。假设场景中一点ο在fref中对应的点为p，在fcod中对应的点为q。把p点和q点称为一组对应点（Corresponding points）。

图1 视点间参考图像和当前编码图像的对应点

建立颜色补偿模型的主要目的是在fref基础上构造一个经过补偿处理的视点[6]间参考图像（记为），使得与fcod的相关性大于fref和fcod的相关性，提高视点间相关性的可利用性，从而提高fcod的编码效率。对于图像中任意一个像素点p在参考图像中为p′，其RGB分量可表示为Rp、Gp和Bp，YCbCr分量可分别表示为Yp、Cbp和Crp。假设参考摄像机和编码摄像机的发射系数差异可忽略不计，且两台摄像机的光电转换属性基本相同，这样场景中某一点入射到两个摄像机的光信号是相同的[7]，则输出的数字信号p和q可近似表示为：

其中，视点ο经过转换后得到的模拟RGB信号记为r，g，b。kr，cod，kg，cod和kb，cod与kr，ref，kg，ref和kb，ref分别表示编码摄像机和参考摄像机的RGB通道增益因子，FR(·)、FG(·)和FB(·)分别表示RGB分量的A/D转换的特性函数。

其中，KR、KG和KB分别称为R、G、B分量的颜色补偿因子，则值可以通过式（3）计算得到：

式（2）也可以表示如下的矩阵形式：

已知YCbCr颜色空间与RGB颜色空间的关系为：

经过颜色补偿后的视点间参考图像f′ref中p′的YCbCr值可推导如下：

简洁起见，颜色补偿模式等式（7）可以改写为：

其中，[Φ]是颜色空间转换矩阵，可由KR、KG和KB计算得到。

3 颜色补偿模式的实现

图2给出了一个MVC预测结构的示意图[8]。该预测结构在时间方向上，每个视点采用分层B帧预测结构以有效去除时间冗余。在视点方向上，各视点之间采用帧内预测结构以去除视点间冗余。为了不失一般性，图2中给出了3个视点的MVC参考预测结构示意图，其中V0是基本视点，V1和V2是非基本视点。对于每个视点，各GOP（图像组）的最后一幅图像只采用其他视点同时刻的图像做参考，这些图像称为Anchor图像（如I0、P0）。GOP内其他时刻的图像称为Non-Anchor图像。Anchor图像有利于提高随机访问性能和同步性能。Non-Anchor图像的预测结构由其所在视点决定，P视点的Non-Anchor图像仅采用时间预测，B视点的Non-Anchor图像既可以采用时间预测，也可以采用视点间预测[9]。

图2 3个视点的MVC预测结构示意图

由式（3）可知，如果相关的像素值可得，则可以很容易得到颜色补偿后的参数。但是，要得到这些相关的像素值，其计算复杂度较高。本文所提出的方法计算复杂度较低。在编码过程中每个宏块要找到最好的块匹配其运动估计是一个必不可少的过程。如果相邻视点的图像被选做最佳匹配块的话，则当前宏块和匹配块的像素值可以作为相关的像素值来计算颜色补偿参数。

为了进一步降低复杂度，且根据摄像机RGB通道增益近似恒定或随着时间变化缓慢的特性，本文提出对于一个GOP，仅在其Anchor图像中利用解码恢复块及其最佳匹配块计算KR、KG和KB。Non-Anchor图像使用本GOP内Anchor图像计算得到的颜色补偿因子。图3给出了颜色补偿方法的实现流程图，其具体步骤如下：

第一步：RGB的颜色补偿因子KR、KG和KB初始化。编码视点中第一幅图像时将KR、KG和KB置1。

第二步：Anchor图像视点间参考图像颜色补偿。对于每个GOP，在对Anchor图像编码之前对其视点间参考图像采用式（8）进行颜色补偿。此时Anchor图像的颜色补偿因子采用上一GOP中计算得到的值。如果当前为第一个GOP，颜色补偿因子采用初始值。

第三步：Anchor图像编码。利用补偿后的视点间参考图像对当前Anchor图像进行编码。

第四步：KR、KG和KB的计算和更新。Anchor图像完成编码后，提取其满足对应点选取条件的MB及其最佳匹配块参与KR、KG和KB的计算，计算方法如下：

其中，N表示满足对应点选取条件的像素点数，表示解码恢复块的RGB分量，Rref，Gref，Bref表示参考图像中最佳匹配块的RGB分量。

第五步：Non-Anchor图像的视点间参考图像颜色补偿。对于GOP其他时刻的Non-Anchor图像编码之前，根据第四步中式（9）计算得到的KR、KG和KB对其视点间参考图像进行颜色补偿。

第六步：循环第二步到第五步，直至该视点所有的图像编码结束。

图3 颜色补偿方法流程图

4 实验结果与性能分析

为了验证颜色补偿方法的有效性，在JMVC8.3平台上实现该方法，将它与由国际视频编码标准组织制定的多视点视频编码方案JMVM进行比较。JMVM是在第77次MPEG会议上正式发布的MVC软件参考模型，并将该模型作为后续技术提案的公共测试平台来衡量各技术提案的编码增益。该方法主要是使用分层B帧预测结构独立编码各个视点。本实验使用的测试序列分别为Race1，Ballroom。

首先为了验证经过颜色补偿方法补偿后的视点间参考图像与当前编码图像的相关性加强，图4给出了Reac1与Ballroom序列的当前编码图像、原始视点间参考图像和补偿后视点间参考图像的主观效果。由图4可以看出，补偿后的视点间参考图像和当前编码图像的相似性强于原始视点间参考图像和当前编码图像的相似性。本文提出的颜色补偿方法是将视点间参考图像调节至与当前编码图像一致的状态，当前编码图像可以不作调整。

图4 补偿后视点间参考图像、原始参考图像与当前编码图像主观效果比较

图5 颜色补偿模式方法率失真曲线比较

本实验还将测试序列分别使用颜色补偿模式方法与原有JMVM方法，并对两种方法进行比较，以验证颜色补偿方法对JMVC编码效率的贡献。图5、图6给出了上述测试序列的率失真曲线。本方法对YUV分量都有不同程度的增益，本文用式（10）计算总体的PSNR，并使用Bjontegaard提出的计算平均DPSNR/Dbitrate的方法进行评价，比较结果见表1，表中的值为提出方法得到的结果与JMVM方法得到的结果进行差值而得到的。DPSNR为正值表明所提出方法得到的视频质量有了提高，Dbitrate为负值表明所提出方法编码比特数较JMVM有所减少。

图6 JMVM方法率失真曲线比较

表1 颜色补偿模式方法与JMVM方法率失真性能比较

5 小结

多视点视频是由一组摄像机拍摄得到的视频序列。通常情况下，各个摄像机的性能参数很难做到完全一致，从而引起不同视点的视频图像之间的颜色差异。与单视点视频编码标准不同，在去除时间冗余和帧内冗余的同时，MVC还使用视点间参考图像去除视点间冗余以提高编码效率。然而，视点间参考图像与当前编码图像之间存在颜色差异，降低了MVC视点间预测的效率。因此，需要对视点间参考图像进行调节，提高视点间相关性的可利用性，从而有利于提高编码效率。

本文提出了一种基于颜色空间转换矩阵的MVC颜色补偿方法。该方法在RGB颜色空间上建立颜色补偿模型。考虑到现有视频编码标准只支持YCbCr颜色空间，因此该方法进一步将颜色补偿模型扩展到YCbCr颜色空间。实验结果表明，与原始视点间参考图像相比，经过补偿后的视点间参考图像与当前编码图像更为相似，从而提高了MVC的编码效率。此外，颜色补偿模型参数可以分别从编码端和解码端推导得出，不需要将其写入码流进行传输，节省了传输比特数。

[1]Bjontegaard G.Calculation of average PSNR differences between RD-curves（VCEG-M33）[EB/OL].[2011-10-20].http：// ftp1.itu.ch/av-arch/video-site/0104_Aus/.

[2]Chen Y，Chen J，Cai C.Luminance and chrominance correction for multi-view video using simplified color error model[C]// Proc Picture Coding Symp，Beijing，2006.

[3]姚庆栋，毕厚杰，王兆华.图像编码基础[M].3版.北京：清华大学出版社，2006.

[4]Huo J，Yang H，Chang Y，et al.Weighted prediction for MVC using color compensation（JVT-X055）[EB/OL].[2011-10-20]. http：//ftp3.itu.ch/av-arch/jvt-site/2007_06_Geneva/.

[5]Lee Y，Hur J，Kim D，et al.CE11：illumination compensation（JVT-U052）[EB/OL].[2011-10-20].http：//ftp3.itu.ch/av-arch/ jvt-site/2006_10_Hangzhou/.

[6]Merkle P，Smolic A，Mueller K，et al.Efficient prediction structures for multi-view video coding[J].IEEE Trans on Circuits Syst Video Technol，2007，17（11）：1461-1473.

[7]MPEG Video.Request for amendment 14496-10：2006 Amd.4 multiview video coding[C]//76th MPEG Meeting，2006.

[8]Pandit P，Vetro A，Chen Y.JMVM 4 software（JVT-W208）[EB/OL].[2011-10-20].http：//ftp3.itu.ch/av-arch/jvt-site/2007_ 04_SanJose/.

[9]王琼华.3D显示技术与器件[M].北京：科学出版社，2011.

LUO Gui’e,LIU Yi

Institute of Electronic Science and Technology,Central South University,Changsha 410083,China

Multi-view video is a kind of video sequence taken by a set of cameras.Generally,it is difficult for the performance parameter of each camera to totally agree with each other,which consequently causes color differences among video images of different viewpoints.A new color compensation model is proposed for the Multi-View Video Coding（MVC）,which can efficiently use information of inter-view of mutual independent coding to reduce the color mismatch caused by multi-arrays of camera shooting.This method can establish color compensation model in RGB color space and furthermore can extend it to YCbCr color space to suit for present video code standard.Compared to the previous inter-view reference images,the modified inter-view reference pictures are more similar to the present code image which consequently improves the coding efficiency of MVC.Moreover,the color compensation parameter can be derived in both encoder and decoder,therefore no additional data need to be transmitted to the decoder.The experimental results also show that the proposed method improves the coding efficiency of MVC and obtains a better video quality.

Multi-View Video Coding（MVC）;H.264/AVC;color compensation;diversity of cameras

多视点视频是由一组摄像机拍摄得到的视频序列。通常情况下，各个摄像机的性能参数很难做到完全一致，从而引起不同视点的视频图像之间产生颜色差异。提出了在多视点视频编码中使用一种新的颜色补偿模式，这种模式能够有效利用相互独立编码的帧间视频的信息，从而减少由多阵列摄像而带来的颜色误匹配。该方法在RGB颜色空间上建立颜色补偿模型，并进一步将颜色补偿模型扩展到YCbCr颜色空间以适用现有视频编码标准。与原始视点间参考图像相比，经过补偿后的视点间参考图像与当前编码图像更为相似，从而提高了MVC的编码效率。此外，颜色补偿模型参数可以分别从编码端和解码端推导得出，不需要将其写入码流。实验结果也表明提出的方法能够提高编码的效率和得到更好的视频质量。

多视点视频编码（MVC）；H.264/AVC；颜色补偿；分布式摄像

A

TP391

10.3778/j.issn.1002-8331.1112-0414

LUO Gui’e,LIU Yi.Color compensation for Multi-Video Coding based on diversity of cameras.Computer Engineering and Applications,2013,49（18）：187-190.

罗桂娥（1962—），女，教授，主要研究方向为信息融合技术，数字图像处理，智能仪器开发；刘毅（1984—），男，硕士研究生，主要研究方向为多视点视频编码。E-mail：254096973@qq.com

2011-12-20

2012-03-21

1002-8331（2013）18-0187-04

CNKI出版日期：2012-05-22 http://www.cnki.net/kcms/detail/11.2127.TP.20120522.1108.005.html