基于通用三原色信道的四原色图像颜色表示方法

宇 欣，雷志春，2*

(1. 天津大学 微电子学院，天津 300072；2.鲁尔西应用科学大学 传感与测量研究所，德国 45479)

1 引 言

采用BT.709标准[1]的三原色(即红色(R)，绿色(G)和蓝色(B)，RGB)彩色图像仅能覆盖视觉轨迹的33.24%，在显示端，可以呈现的最大色域覆盖范围甚至更小。许多颜色，特别是具有高饱和度的颜色，不能通过混合R、G和B形成。

视频广播，通信，电子商务等领域对高色彩保真度的要求[2-3]促使了宽色域(WCG)技术的出现。近些年来，为了扩展色域，国内外开展了大量研究工作，主要有以下4个方面：(1)采用“负”值RGB色光，例如IEC 61966-2-4[4]标准通过传输“负”值RGB原色并放宽预留量化层来扩展色域。但是，IEC 61966-2-4需要压缩”负”值颜色信号，压缩会影响信号的保真度，从而会导致颜色重现的误差，特别是对于”负”值红色，因为其绝对幅度比绿色和蓝色的绝对幅度大得多。此外，借助附加量化级别的色域扩展有限，色域覆盖率仅能扩展至37.15%[5]，即相对于BT.709定义的传统色域，采用IEC 61966-2-4后的色域覆盖率只能提高约5%；(2)采用高饱和度的三原色，例如BT.2020标准[6]规定了迄今为止三原色可以实现的最大色域，覆盖99.9%的Pointer色域[7]。由于其对高饱度颜色的要求很高，尽管HDR10、Dolby Vision、HDMI2.0、DisplayPort1.4、H.265/HEVC等标准支持BT.2020，但是到目前为止还没有能够完全满足BT.2020要求的成像技术和显示技术。而且BT.2020的色域仍然限制在RGB三角形区域，无法覆盖人眼全部可视色域。值得一提的是，工业界已经指出了覆盖Pointer色域之外的颜色的必要性，例如霓虹灯、LED灯和激光等人造光源的颜色超出了Pointer色域[8]，甚至也超出了BT.2020 色域[9-10]。另外，通过将量子点技术应用于成像设备[11,12]，可以对纯色进行成像，这些色彩位于Pointer色域之外。因此，尽管当前与WCG相关的标准通常将Pointer色域视为目标色域，但是其不应该是技术发展的最终色域；(3)采用多原色显示器，例如采用多原色滤光片和多原色背光源扩展液晶显示系统的色域范围[13-23]。然而，扩展源端的色域是扩展显示端色域的基础，仅当成像源提供多原色的信息时，才能实现在显示端扩展色域；(4)采用多原色图像传感器：例如CYGM(青色，黄色，绿色，品红色)图像传感器[24]以及RGBE(红色，绿色，蓝色和宝石蓝色)图像传感器[25]。特别是RGBE图像传感器，其滤光阵列中的E原色作为红色的补色，更接近人类视觉系统的特性。

多原色技术可以更有效地覆盖Pointer色域和人眼可视色域，不仅涉及到已有的成像和显示方面的研究，而且还涉及到本文研究的多原色高效传输问题。目前WCG的视频编码标准，例如JPEG XT和HEVC[26-27]，还不能够通过YUV格式的数据量解决兼容传输四原色信号的问题，不仅限制了多原色图像传感器的广泛应用，也限制了多原色显示器的色域扩展范围。为有效传输四原色图像信号，为四原色图像传感器的应用铺平道路，并且使四原色显示器能够接收和正确显示四原色图像信号内容，以达到扩展色域的目的，本文提出一种利用三原色图像的传输带宽，即YUV信号的传输带宽，传输四原色图像信号的方案。

2 传输四原色视频面临的问题

虽然RGBE等四原色图像传感器已被相机开发和使用，但其缺乏用于传输附加E原色的传输方法，仍然不能传输四原色视频图像源到四原色视频显示端。以下，作者将讨论两种传输四原色的方法，两种方法都存在数据量显著增加的问题。由于本文论述的四原色颜色表示方法不限制第四原色，因此后文将用′X′表示第四原色。

2.1 传输四原色的直接方案

图1示出直接传输四原色图像视频的方案。目前通用的R、G、B三原色仍然形成标准的YUV 3 个信号，而X原色信号作为独立信号传输。普通显示器只处理YUV信号，丢弃X图像分量。多原色显示器则能处理YUV和X四个图像信号，达到扩展色域的目的。但是上述直接传输四原色图像的方法将显著增加传输数据量。

图1 传输RGBX视频的直接方案Fig.1 Straight forward scheme for distributing RGBX color image

2.2 将四边形分解为两个三角形

RGB三原色和第四原色X构成四边形，将四边形分解为两个三角形、并且针对一个像素仅传输三原色，与上述直接方案相比，可以显著减少数据量。其中X原色位于直线BG的左侧，如图2所示。

图2 由RGBX四原色构成的色域(RGB为BT.709三原色)Fig.2 Gamut constituted by R, G, B, X (RGB are primaries specified by BT.709)

对于当前的三原色视频系统，由RGB三角形覆盖的复合色光只存在唯一的表达方式。而在四原色的情况下，复合色光的表达方式不唯一，如图2的复合色光C1、C2、C3和C4所示。这些复合色光可以由R、G、B和X混合，但是，R、G、B和X的混合比例不是唯一的，而且如前所述，由四原色表示的色光将对视频传输构成高数据量的挑战。

为了解决上述问题，本文将由R、G、B和X构成的四边形分解为两个三角形RGB和XGB，如图2所示。图2中如C1的色光位于RGB三角形内部，可以由R、G和B三原色计算。这些色光在传统显示器的色域内，可以通过传统的显示设备正确地呈现。因此，传输色光如C1的YUV信号将由R、G和B计算。虽然类似C1的色光也在三角形RGX内，并且可以由R、G和X计算，但它的传输与当前RGB视频系统不兼容。出于同样的原因，图2中的色光C2(位于RGB三角形和RXB三角形内)亦应由R、G和B表示。相反，类似C3的色光不在三角形RGB内，不能用RGB三种原色混合，普通显示设备不能正确地呈现类似C3的色光。但是，色光C3位于XGB三角形内，因此可以使用X、G和B三原色进行混合。为了传输例如C3的复合色光，还必须像RGB情况一样，构建Y、U和V信号，但是，它们的含义与RGB情况的YUV不同。BG线上的复合色光，例如C4，虽然既可以用RGB，也可以用XGB三原色表示，但是在这种情况下，R和X均为0，只有普通三原色中的G和B有助于混合它们，所以不受RGB和XGB的限制。

选择三角形后，需要计算亮度信号Y和两个色差信号U和V以达到传输的目的。为了标识YUV的来源，需要附加标志信息，即标识由RGBX四边形分解的哪个三角形(RGB或XGB)计算而来。原则上，每个像素都需要附加标志信息，以标识构成Y、U和V信号的三原色，如图3所示。

图3 带有标志信息的四原色传输方法Fig.3 Method of transmitting four-primary colors with metadata

图3所示的传输方案比图1所示的直接方案需要的数据量少。因为对于任何像素，只需要1 bit数据来指示YUV数据的来源，即XGB或RGB三原色系统。然而，为每个像素额外传输1 bit数据的也增加了YUV信号总数据量，从而对频带资源带来挑战。例如，要传输一1 920×1 080格式的HDTV图像，需要额外传输1 920×1 080×1 bit标志数据。即使在4∶2∶0下采样时，即960列和540行，也需要960×540×1 bit标识数据来传输每个像素的来源。

由于上述方案与2.1节的方案都存在数据量显著增加的问题，本文开发了一种盲识别方法，即无需传输标志信息来识别YUV数据来源的方法。在下一节中，作者将描述RGB和XGB的不同颜色编码方案，使得解码器盲识别YUV的来源。

3 三原色的编码方案和盲识别方法

为了识别传输的YUV数据来自于RGB还是XGB颜色空间，本文将在XGB和RGB颜色空间中使用不同的YUV编码方案。由于需要下标区别XGB和RGB颜色空间，为了简化，本文的Y、U和V信号与Y、Cb和Cr信号意义相同。因为有RGB和XGB情况，YRGB、URGB和VRGB用于表示RGB情况下的Y、U和V信号。类似地，YXGB、UXGB和VXGB表示XGB情况下的Y、U和V信号。

下面以HDTV为例，分别阐述RGB颜色空间的编码和解码以及XGB颜色空间亮度信号、色差信号的确定和盲识别YUV数据来源的方法。

3.1 RGB颜色空间的编码和解码

RGB颜色空间的编码和解码与通用三原色HDTV色度系统相同。对于RGB情况，根据ITU-R BT.709，HDTV信号的亮度信号和两个色差信号具有如下关系：

(1)

式中，YRGB代表RGB情况下的亮度信号；URGB、VRGB代表RGB情况下的两个色差信号；R0代表红原色信号；G0代表绿原色信号；B0代表蓝原色信号。红、蓝色差信号的压缩系数分别为：kR=0.5/0.7874=0.635，kB=0.5/0.9278=0.539。

YRGB的标称范围是[0, 1]；URGB和VRGB的标称范围为[-0.5, 0.5]，在进行偏置后，它们的标称范围与YRGB信号的标称范围相同。

在数字电视系统中，亮度信号和色差信号也必须通过采样和量化处理。当采用8位量化时，亮度信号被均匀量化为256个量化级。在256个量化级中，上端留20个量化级，下端留16个量化级，作为防止超越动态范围的保护带。量化级0和255用于同步，亮度信号占据220个电平，其中黑色电平处于量化电平16，白色电平处于量化电平235。

根据方程(1)，两个色差信号都是双极性信号，占据225个量化电平，类似于亮度情况，上端留15个量化级，下端留16个量化级。

因此，当在数字视频中应用n比特量化时，RGB和YUV系统可以由方程(2)和(3)表示：

(2)

(3)

由于8位量化广泛用于现有的信号系统，本文将以8位量化为例研究宽色域视频图像表示方法。当n=8时，将方程(3)转换为矩阵形式，RGB和YUV颜色空间数据通过方程(4)和(5)相互转换：

(4)

(5)

由于防止超越动态范围的保护带，彩色信号的量化范围仅有220级，即被压缩219/255=0.8588。因为必须在显示终端重现信号的动态范围，更确切地说显示器处理的RGB数据范围是0～255，所以压缩的彩色信号应该扩展255/219=1.1644[28]。此时，解码方程可表示为：

(6)

式中，R、G和B分别代表重现的量化RGB信号。

3.2 XGB颜色空间的编码和解码

由于迄今为止没有传输XGB三原色图像和视频的标准，因此，XGB情况下发送的YUV信号可以表示为三原色X、B和G的线性组合：

(7)

式中，an，bn，cn(n= 1, 2, 3)分别为彩色信号X0、B0和G0的压缩系数。为了使YXGB、UXGB和VXGB的标称范围在[0,1]内，应满足以下条件：

(8)

(9)

(10)

本文使YXGB仅依赖于X，UXGB仅依赖于B，而VXGB仅依赖于G来提高盲识别的成功率。这里成功率指：如果YUV来自RGB颜色空间，则从YUV数据流中解码出RGB颜色；如果YUV来自XGB颜色空间，则从YUV数据流中解码出XGB颜色。所以方程(7)可以转换为方程(11)：

(11)

因为只存在3个系数，即a1、b2和c3，所以方程(10)简化为方程式(12)：

(12)

3.3 盲识别YUV数据来源的方法

彩色电视采用YUV空间是为了用亮度信号Y解决彩色电视机与黑白电视机的兼容问题，使黑白电视机也能接收彩色电视信号。本文讨论的方法是使四原色彩色电视能够接收和显示四原色视频图像，以扩展色域。RGB视频图像源可以通过本文方法在能够呈现RGB和X原色的宽色域显示器正确显示，然而RGBX视频图像源不能在仅支持RGB的传统显示设备上显示扩展色域。因此本文提出的四原色表示方法与仅支持RGB的传统显示设备没有前向兼容性。由于基于RGB三原色的显示器不能显示X原色，如果普通RGB显示器接收到图像中采用XGB表达的区域，则R分量设置为0。实际上，基于RGB三原色的相机拍摄的超出RGB色域的情况亦是置R为0，因为在这种情况下RGB图像传感器的R单元输出为0。相反，能够呈现RGB和X原色的宽色域显示器，可以重现由RGB混合的色光和由XGB混合的色光，如图4所示。

图4 RGBX四原色视频系统Fig.4 RGBX four-primary video system

图5 YUV信号的形成和YUV信号源的盲识别Fig. 5 Formation of YUV signals and blind identification of YUV signals source

如图5所示，接收端识别YUV信号数据来源的具体过程如下：在接收端，应用RGB解码矩阵从接收的YUV信号解出三原色信号R或X(因为接收信号可能来自R或X，所以它被表示为R/X)、G、B信号。如果R/X、G和B的值都在0～255之间，则复合色光是由RGB三原色混合而成；如果R/X、G和B值中的至少一个小于0或大于255，则复合色光是由XGB三原色混合而成。

有效识别YUV数据源的前提条件是220×220×220组合(如前所述，XGB信号的量化范围为16～235，具有220级)情况下应出现奇异值。XGB情况压缩系数的不同将导致不同的成功识别率，因此压缩系数的选择很关键。计算压缩系数的不同组合及其相应的成功识别率的过程如图6所示。

图6 计算压缩系数方框图Fig.6 Schematic diagram of calculating the compression factors

图6给出了计算压缩系数a1、b2和c3的主要步骤，旨在提高YUV数据源的成功识别率：

(1)将成功识别的数量(成功识别为XGB情况)′amount′初始化为0，并将压缩系数a1、b2和c3初始化为1，即最大值；

(2)在编码端初始化XGB信号的量化值，即方程(9)中的X′、G′和B′；

(3)通过XGB编码矩阵对XGB信号进行编码，以根据方程(11)和(12)获得YUV信号；

(4)通过RGB解码矩阵对YUV信号进行解码，以重现XGB信号；

(5)检查重现的XGB信号是否具有奇异值：如果是，即认为是XGB情况，则′amount′增加1；如果不是，即认为是RGB情况，那么′amount′保持不变；

(6)检查X′，G′和B′是否增加到235：如果是，则计算成功识别率(即amount/2203)，输出a1，b2，c3和相应的成功识别率，设定′amount′为0；如果不是，将X′、G′和B′依次增加1，然后返回步骤(3)；

(7)检查a1、b2和c3是否降低到下限(以保证YUV包含所有XGB信息，a1、b2和c3都不为0)：如果是，则程序结束；如果不是，则设置步长(小值，例如0.1)并依次减小a1、b2和c3的值，然后返回步骤(4)。

4 测试实验与结果分析

4.1 盲识别成功率及压缩系数的确定

选择压缩系数有两个标准：首先成功识别率尽可能高；其次压缩系数尽可能大。根据上述标准，在图6中将下限设置为0.2，并将步长设置为0.1时，所有a1、b2和c3的可能组合的成功识别率由图6中所示的方框图产生。如果第一组的a1、b2和c3之和小于或等于第二组，但第一组的成功识别率小于第二组，则忽略第一组并保存第二组。有意义的结果值列在表1中。

本文采用典型的USC-SIPI图像数据库Miscellaneous标准彩色测试图像在Matlab仿真平台上来验证上述方案的可行性。首先，从测试图像中提取RGB信号。由于目前没有能够输出

表1 不同压缩系数的成功识别率

Tab.1 Successful identification rates vs. different compression factors

序号a1b2c3成功识别率/%10.50.2110020.30.3110030.40.3199.84140.60.2199.67450.70.2197.23160.80.2194.089710.2192.92580.50.4191.50690.70.3190.9911011175.562

RGBX图像的相机，假设测试图像是由XGB信号生成的，即X信号由R信号代替，以达到验证目的。然后通过XGB编码矩阵将提取的XGB信号转换为YUV信号。最后，通过RGB解码矩阵对YUV信号进行解码，并确定重现的XGB信号是否具有奇异值，从而计算成功识别率。

图7 成功识别率Fig.7 Successful identification rates

如表1所示，当根本没有压缩时，即a1=b2=c3=1时，成功识别率仅为75.562%，此时被测试图像的成功识别率较低，如图7所示。因此，未压缩的系数情况不适合于四原色图像数据流中RGB和XGB颜色空间的盲识别。

选择a1=0.5，b2=0.2，c3=1作为最合适的压缩系数后，它们在确保完全识别的前提下的准确度增加到小数点后四位，如RGB情况。最终计算的压缩系数是a1=0.504 5，b2=0.225 4和c3=1.000。将它们代入方程(12)，XGB信号和YUV颜色空间数据可以通过方程(13)和(14)相互转换：

(13)

如上所述，RGB情况下的R、G和B色差信号需要被压缩到一定程度。比较公式(13)与公式(4)，可以得出结论，虽然XGB情况下的X和B信号比RGB情况下的R和B信号压缩得多，但XGB情况下的G信号没有被压缩，这更符合人类视觉特征。

(14)

(15)

其中：X、G和B分别代表重现的量化XGB信号。

在使用由等式(15)获得的矩阵计算之后，测试图像的成功识别率均为100%。

4.2 JPEG编码下的RGB与XGB图像质量评估

由于本文XGB情况下的编码方法压缩了Y、U和V的信号值，但未对其进行去相关，因此除了对成功识别率的评估之外，本节示出RGB与XGB图像经JPEG压缩后解码重构的图像，并计算RGB与XGB图像数据压缩率以评估所提出的编码方法的编码效率。由于目前无法获得X色信号，类似于成功识别率的计算过程，假设测试图像是由XGB信号生成的，用于验证目的。首先，从测试图像中提取RGB信号。然后通过XGB编码矩阵将提取的RGB信号转换为YUV信号。最后，执行JPEG编码与解码并计算压缩率(压缩率=原始图像尺寸/压缩图像尺寸)。压缩率越高，编码效率越高，反之，则说明编码效率较低。RGB格式图像数据压缩率的计算过程同理。

图8示出测试图像分别在RGB和XGB格式下经过JPEG压缩并解码重构的图像。

图8 RGB与XGB格式JPEG图像解码重构结果图Fig.8 Reconstruction results of RGB and XGB format JPEG images

图9 RGB与XGB格式图像压缩率对比图Fig.9 Comparison of compression ratio of RGB and XGB format images

压缩率测试结果如图9所示，XGB格式测试用图像的数据压缩率大于RGB格式，数据压缩率可提升0.07～5.99。结果证明了利用通用三原色信道将四原色彩色图像表示为通用YUV图像格式，进行视频图像传输的可行性。

4.3 10/12 bit位宽结果

根据上述方法计算并验证具有10 bit编码格式的BT.709 RGB原色和具有10/12 bit编码格式的BT.2020 RGB原色的情况，结果列于表2中。当RGB为BT.2020原色时，由R、G、B、X构成的四边形的色域如图10所示。当X位于图10的青色区域内时，RGBX四原色不仅可以完全覆盖、甚至远远超出Pointer色域。

图10 由RGBX四原色构成的色域 (RGB为BT.2020原色)Fig.10 Gamut constituted by R, G, B, X (RGB are primaries specified by BT.2020)

表2 不同位宽下RGBX表示的编解码参数及相关特性Tab.2 Parameters and characteristics of RGBX presentations

续 表

5 结 论

扩展视频源的色域范围是扩展显示器的色域范围的前提。多原色视频传感器和多原色显示器的数据传输需要多原色传输与编码方法。因此，本文提出了一种基于三原色信道传输四原色图像数据的颜色表示方法。为了在三原色通道兼容传输四原色信息，由RGB和X构成的四边形被分解为RGB以及XGB三角形。本文设定了XGB颜色空间的编解码方程，并且在解码端可以盲识别YUV信号来自于RGB还是XGB颜色空间。利用JPEG图像压缩算法测试其YUV序列，相较于RGB三原色系统，数据压缩率可提升0.07～5.99，色域覆盖率远远超过Pointer色域，更加接近人眼可视色域。实验结果证明了本文方法的可行性，因此本文描述的盲识别方案有助于实现四原色视频系统。将来，可以在XGB颜色空间中提出YUV的其他编码方案，例如更加优化的颜色分量去相关方案，以有助于传输四原色图像和视频内容的标准化。