一种与显示设备相关的抗颜色混叠新方法

赵小明赵园美周筱媛②袁胜春

①(西安电子科技大学技术物理学院 西安 710071)②(西安科技大学计算机科学与技术学院 西安 710054)

1 引言

显示技术是信息产业所包含技术中的最关键部分之一，是信息系统与人交互的桥梁与纽带。它的发展与变革提高了人们的生活质量，促进了其它行业的发展。21世纪以来，各种平板显示设备的应用(小到手机、数码相机，大到户外显示屏等)在社会生活中随处可见。平板显示器与依靠电子束轰击荧光屏发光的 CRT显示器不同，它只有固定的分辨率，因为它们的物理像素由三基色(红、绿、蓝)亚像素按某种排布，整齐紧密地固化在显示面板上。因此平板显示器的画面质量、生产成本、制造工艺与物理像素的规模紧密相关。

对显示质量的持续追求是显示行业研究的永恒课题。同等条件下，基于人眼空间混色效应的亚像素采样技术以颜色混叠为代价有效提高了画面的显示质量，原因是人眼对色度的敏感程度远低于对亮度的敏感程度[1]；同时，亚像素采样技术可以使高分辨率画面清晰显示于低分辨率设备上。尽管如此，有效消除或减弱颜色混叠仍然是亚像素采样技术亟待解决的关键问题。

目前众多文献[218]-的做法是在寻址之前对图像进行低通预处理，滤除图像中的高频信息达到减弱或消除颜色混叠的目的。其中已出现了4种从不同角度设计滤波器的方法：一是以文献[2,3]为代表的基于心理学实验在频率域定义一个颜色误差度量，并在最小化误差度量的基础上构造 5-tap滤波器；二是以文献[4,5]为代表的针对 LCD 显示器亚像素RGB-trio排布的滤波器，其主要应用于灰度图像的字体显示。较强的针对性限制了这两种方法的推广；三是文献[6]中提出的多相位滤波器。该方法在消除颜色错误的同时对高频子图像清晰度的影响较大；四是文献[7,8]中提出的用最小化最大错误方向法构造的低通滤波器。另外文献[9]基于人眼视觉特性从寻址后的图像出发，提出一种多尺度的颜色误差度量方法；文献[10]在颜色误差定位与量化的前提下提出一种自适应滤波法。后两种方法虽然实现了在保持清晰度的同时弱化了颜色错误，但其存在计算量大的问题。

亚像素排布的多样性(如常见的 RGB-trio排布，RGB-mosaic排布，RGB-delta排布等)是平板显示器的另一大特点。分析与研究表明颜色混叠除了与显示系统的采样率有关外，还与三基色亚像素的排布密切相关。鉴于此，依据显示设备亚像素排布各基色不同的Nyquist频率限制，本文提出了与设备相关的抗颜色混叠法。该方法与已有文献方法的最大不同在于对原始图像各基色施加不同的抗颜色混叠滤波运算，以达到保持更多图像细节并减弱甚至消除颜色错误的目的，同时，算法简单易于实现。

本文首先简要介绍亚像素采样技术，其对显示的贡献以及所产生的负面问题颜色混叠现象。其次指出颜色混叠现象出现的原因，并在频域内通过倒晶格理论揭示各基色Nyquist频率限制与亚像素排布的关系，以及它们对颜色混叠的影响。然后阐述与设备相关的颜色混叠抑制算法。最后通过仿真实验及理论分析说明该方法的有效性。

2 亚像素采样

亚像素采样技术泛指在显示过程中以各基色亚像素作为寻址、采样及重构的基本处理单元。由于空间位置分离的亚像素彼此紧密交错排列，在适当的观看距离下，并列排放在一起的不同颜色亚像素就会发生空间色彩混合，形成全彩色图像。显然，这种技术提高了亮度分量的显示密度，从而有效改善了设备的显示质量。

图1显示了4种常见的亚像素排布。图2以图1(c)所示的RGBR-mosaic排布为例，说明全像素采样与亚像素采样的不同。设大小为2M×2N的原始图像，在低分辨率(M×N)设备上以全像素采样方式显示时，需要在水平、垂直方向上各进行压缩2倍的下采样，即从原始图像每4个像素中抽取1个像素，寻址对应到设备的物理像素。而亚像素采样从原始图像中相邻的4个像素分别获得相应的R,G,B分量映射到一个物理像素上。

需要说明的是，尽管不同平板显示器的发光体形状各不相同，但在足够的视距条件下亚像素形状可以忽略不计。为便于描述，文中图示选择不同的亚像素形状。

图3为大写字母V分别以全像素采样和亚像素采样在 RGBR-mosaic排布上显示的仿真结果。可以看到，在相同的物理像素密度下，与全像素采样相比，亚像素采样使得显示图像边缘的轮廓更加清晰，锯齿状边界得到明显缓解，但是图像的局部区域(如“V”的上边缘)出现了一定的颜色错误。

3 亚像素采样的颜色混叠

3.1 颜色混叠出现的原因

若忽略颜色，从图2可以看出，亚像素采样一方面显著提高了系统的采样率；另一方面，只保留了原始图像中每个像素的一个颜色分量。这种颜色上的欠采样使得亚像素采样系统的采样混叠表现为背离于原始图像的颜色错误。因此颜色欠采样是亚像素采样系统中混叠突出表现在颜色上的根本原因。

图1 4种常见的亚像素排布结构

图2 全像素采样与亚像素采样的对比

图3 RGBR-mosaic排布全像素采样与颜色欠采样仿真结果

以颜色分量的缺失换取亮度分辨率的提升是非常值得的：(1)由于图像数据本身的相关性，某一点处缺失的颜色分量可以通过相邻点得到弥补；(2)亚像素采样较全像素采样拥有更高的采样率及各点上更小的显示面积，显示图像更加细腻清晰；(3)由于人眼有限的分辨率及空间色彩混合现象使得人眼亮度分辨率远大于色度分辨率，因此亚像素采样产生的颜色混叠较全像素采样的亮度混叠对人眼的视觉影响小；(4)任何采样系统都会出现混叠现象，在采样前应用适当的抗混叠滤波器可以消除或减弱混叠现象。

文献[9]从仿真实验和频谱分析进一步说明了颜色混叠还与设备的亚像素排布息息相关。事实上，亚像素排布各方向的Nyquist频率限制在2维平面上形成了一定的区域，这些区域刻画了某种排布各方向颜色混叠出现的“时刻”。下面就通过频域分析以及倒晶格理论揭示各基色Nyquist频率限制与亚像素排布的关系，从而提出与设备相关的抗颜色混叠法。

3.2 亚像素排布的2维Nyquist频率限制图

以图1(a)中RGB-trio排布为例。设原始图像为矢量，其分量分别用,表示，则有

对于排布中某一基色如 R，其水平方向采样间隔为3a，垂直方向采样间隔为b。若将每个灯点看作一个冲击采样，则采样函数可表示为

其傅里叶变换RFs为

对图1中的4种排布，将某一基色R/G/B的空间2维排布看成2维点阵晶格，由式(6)倒晶格基矢的基本性质并忽略系数2π可以得到其倒晶格空间2维排布，如图4所示。其中图4(a) RGB-trio，图4(b)RGB-mosaic，图4(d)RGB-delta 3种排布的R/G/B三基色的2维点阵晶格相同，故各自的2维倒晶格排布只有一种；而图4(c)RGBR-mosaic排布的R基色和G/B基色的2维点阵晶格不同，故有2种倒晶格排布。

图4 不同排布中R(G)基色的倒晶格空间2维排布

倒晶格空间中的每个黑色圆点表示一个cRF复制所在的位置点。黑色圆点的周期规律是采样后 R分量图像sRF中cRF复制的周期规律。图中的阴影区域就是2维Nyquist频率限制图，刻画了不发生颜色混叠的频率范围，其边界线由相邻cRF复制所在位置点的中分线(即相邻黑色圆点的中分线)围绕而成。将Nyquist频率限制区域按照黑色圆点的位置进行周期性的重复，将不重叠地铺满整个2维频域空间。可见，Nyquist限制区域限定了不发生采样混叠情况下可以显示的源图像频谱信息的最大面积。

当源图像R分量频谱分布cRF超过Nyquist频率限制区域时就会发生R分量上的颜色欠采样，其边界附近的相邻cRF就会互相交叠，使得cRF信息损失，发生颜色混叠；当源图像R分量频域分布cRF在 Nyquist限制区域范围内时，相邻cRF有一定的间隔，cRF完整性得以保留，源图像信息不会损失。对于G,B分量，同样的分析过程略。

4 与设备相关的抗颜色混叠法

4.1 基本思想

从上节得出，当源图像某一基色频域分布cRF,或cBF超过相应基色 Nyquist限制区域时，就会发生颜色混叠。故针对不同的R,G,B基色排布，需要对cRF,cGF及cBF各自使用不同的低通滤波器滤除其超过Nyquist限制区域的高频成分，从而有效达到抑制颜色混叠的目的。

以RGB-mosaic排布的R分量为例，沿图4(b)中45°剖面方向将2维频域转为1维进行分析。抑制颜色混叠的方法如图5所示。图中的垂直虚线画出了Nyquist限制区域在45°方向的界限。当原始图像R分量的频谱分布cRF未超出RGB-mosaic排布的红色Nyquist频域限制时，没有混叠发生，如图5(a)和图5(b)所示。相反当R分量的频谱分布超出相应的Nyquist频域限制时，显示图像R分量上发生混叠导致产生颜色错误，如图5(c)和图5(d)所示。若对R分量原始图像施加一截止频率接近于Nyquist限制频率的低通滤波，滤除可能发生混叠的高频成分，便可消除该分量上的颜色错误。

根据图4所示的Nyquist频域限制图可以设计出施加于原始图像各颜色分量上的低通滤波器。如根据图4(a)，适合RGB-trio排布R分量滤波器水平方向的截止频率应该明显低于垂直方向的截止频率。对RGB-trio排布，根据图4(d)，适合R分量的滤波器在六边形的 6个顶点方向上截止频率较高，在6条边的法线方向上的截止频率较低。

由于各基色的2维Nyquist频率限制图随着亚像素排布的不同而不同，因此文中将这种方法称为与设备相关的抗颜色混叠法。

4.2 算法过程

对于任一显示面板，根据其三基色亚像素排布，进行与设备相关的抗颜色混叠法的基本处理过程如下：

(1)根据亚像素排布各基色的2维Nyquist频率限制图，确定施加于各基色的低通滤波器，该滤波器各方向的截止频率应该小于并接近相应的Nyquist限制频率；

(2)对各分量原始图像进行低通滤波运算，得到滤波预处理后的图像Fh，其各基色分量子图像为

在空间域时，滤波运算采用各基色子图像与相应的滤波模板做卷积的方法进行。如R分量子图像。

(3)对图像fh应用亚像素采样。以RGB-mosaic排布为例，对于R分量，采样后图像为

(4)将各基色滤波采样后的亚像素值映射到物理设备上重构显示。

5 仿真实验与结果分析

以图1中的4种排布仿真显示波带片图像，并设各种排布亚像素的水平、垂直间距相等(a=b)。由于篇幅的限制，图6给出了RGB-delta排布下的仿真结果。其中图 6(a)为直接进行全像素采样的显示图像，混叠现象比较严重；图 6(b)为对源图像低通滤波后再进行全像素采样的显示结果，混叠现象得到缓解，但图像的清晰程度明显下降；图 6(c)为亚像素采样后的显示图像，较全像素采样时的显示效果清晰细腻，但有明显的颜色错误；图 6(d)为对源图像应用 5-tap滤波消除颜色错误后的亚像素采样显示结果；图 6(e)为使用本文滤波方法后进行亚像素采样的结果。对比看到，本文方法相比于其它抗混叠方法的显示结果拥有更高的清晰度，尤其在图像高频处可清晰分辨的圆环更多。

图4的2维Nyquist频率限制图反映了各种排布在各个方向上发生颜色混叠的不同特征。如RGB-trio排布各基色在水平方向，RGB-delta排布各基色在°方向上的Nyquist限制区域较其它方向窄，意味着这些方向更易发生颜色混叠，相应低通滤波器的截止频率也较低。图6(c)显示了这两种排布下颜色混叠发生的区域，其位置与分析结果完全吻合。

图5 抑制颜色混叠方法说明

图6 5种不同情况下波带片图像的显示结果

由人眼结构及人眼的视敏特性知道，人对物像的感知是从亮度和色度两方面进行的。因此在后续的结果分析中，使用亮度与色度分离的颜色空间(如YUV颜色空间)更加符合人眼的主观感受。鉴于人眼对图像的亮度信息更加敏感，所以文中在计算各种采样方法显示图像的质量时，采用在无明显感知颜色错误的前提下重点考查亮度上各种方法对显示结果的贡献。

波带片图像经 5-tap滤波和本文的与设备相关法滤波处理后亚像素采样的显示结果中均无明显的颜色错误(如图 6所示)。在这个前提下，由于直接进行亚像素采样显示的图像具有最高亮度分辨率，因此以它作为参考计算其它4种方法的显示图像在YUV空间亮度分量Y上的PSNR，以此反映各种采样方法显示图像的清晰度。PSNR的计算见式(9)。

表1列出了图1中4种不同排布上各种采样方法显示波带片图像的PSNR值。明显看到，本文方法的PSNR值较其它3种采样方法大。相比于5-tap滤波后亚像素采样的显示结果，本文方法将各种排布下显示图像的平均亮度PSNR提高了近26%。这说明本文提出的与设备相关的抗混叠滤波法对平板显示器的各种排布均能在有效抑制颜色混叠的同时，保持图像的更多细节。

图 7和图 8分别给出了 RGB-trio排布以及RGB-delta排布下不同采样方式的处理结果。不同显示方法重构效果的区别要在图像的细节处观察，如图7中花纹的清晰度，图8中树枝的细小枝丫等细节。可以看出，全像素采样重建后的图像混叠最为严重；低通滤波后全像素采样的重构图像较模糊；亚像素采样重构后的图像颜色混叠明显；经 5-tap滤波及与设备相关滤波处理的亚像素采样重构的图像均无可见颜色混叠，但后者处理的显示结果更清晰。

通过对多幅图像在不同排布方式下采用不同采样方法进行重建，通过计算得出，相比于 5-tap滤波后亚像素采样显示的结果，本文方法可将显示图像的平均亮度PSNR提高约30%。以上实验表明本文提出的与设备相关的抗混叠滤波法，在常见排布上对亚像素采样显示的大多数图像上，均能在有效抑制颜色混叠的同时，保持更多图像的细节。

表1 YUV空间下4种采样方法重构波带片图像的PSNR对比

图7 RGB-trio排布5种采样方法重建后的图像对比

图8 RGB-delta排布5种采样方法重建后的图像对比

6 结论

本文针对亚像素采样中的颜色问题，提出了一种与设备相关的抗颜色混叠滤波方法。该方法的关键在于，采样前根据设备亚像素排布各基色的2维Nyquist频率限制图设计不同的低通滤波器，对原始图像的R,G,B分量分别进行预处理，并使各基色低通滤波器的截止频率截面形状小于且接近相应的Nyquist限制区域的形状。相比于其它抗颜色混叠法，该方法除有效减弱由亚像素采样带来的颜色混叠，更多保持图像的细节外，同时，该算法实现简单，易于实际应用。

[1] Medjeldi T, Horé A, and Ziou D. Enhancement of the quality of images through complex mosaic configurations[C].International Conference on Image Analysis and Recognition,Halifax, Canada, 2009, 5627: 43-53.

[2] Platt J C. Optimal filtering for patterned displays[J]. IEEE Signal Process Letter, 2000, 7(7): 179-181.

[3] Betrisey C, Blinn J F, Dresevic B, et al.. Displaced filtering for patterned displays[J]. SID Symposium Digest of Technical Papers, 2000, 31(1): 296-299.

[4] Gibson S. Subpixel font rendering[OL]. http://www.grc.com/cleartype.htm, 2013.

[5] Microsoft Corporation. Font hinting[OL]. http://www.microsoft.com/typography/TrueTypeHintingIntro.mspx,2011.

[6] Klompenhouwer M A and Haan G. Subpixel image scaling for color matrix displays[J]. Journal of the Society for Information Display, 2003, 11(1): 99-108.

[7] Fang L and Au O C. Subpixel-based image down-sampling with min-max directional error for stripe display[J]. IEEE Journal of Selected Topics in Signal Processing, 2011, 5(2):240-251.

[8] Fang L, Au O C, Tang K, et al.. Novel 2-D MMSE subpixelbased image down-sampling[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2012, 22(5):740-753.

[9] 赵小明, 张建奇, 邵晓鹏, 等. 彩色矩阵显示器亚像素采样混色错误的分析与评价[J]. 光电子激光, 2012, 23(5): 891-896.Zhao Xiao-ming, Zhang Jian-qi, Shao Xiao-peng, et al..Analysis and evaluation of color aliasing for subpixel sampling in color matrix display[J]. Jouranl of Optoelectronics Laser, 2012, 23(5): 891-896.

[10] 赵小明, 邵晓鹏, 张建奇, 等. 基于多尺度区域混色的 RGB欠采样图像颜色错误评价[J]. 电子与信息学报, 2012, 34(9):2071-2077.Zhao Xiao-ming, Shao Xiao-peng, Zhang Jian-qi, et al..Objective assessment of the colorerrors in RGB undersampled images based on color blending of multi-scale region[J]. Journal of Electronics ＆amp; Information Technology,2012, 34(9): 2071-2077.

[11] Kim Jun-seong and Kim Chang-su. A filter design algorithm for subpixel rendering on matrix displays[C]. European Signal Processing Conference, Poznan, Poland, 2007: 1487-1491.

[12] Lin Chen-wei and Chao M C T. A novel pixel design for AM-OLED displays using nanocrystalline silicon TFTs[J].IEEE Transactions on Very Large Scale Integration (VLSI)Systems, 2011, 19(6): 939-952.

[13] Kang Suk-ju, Kim Seong-gyun, Oh Eui-yeol, et al..Luminance-difference-based adaptive subpixel rendering algorithm for matrix displays[C]. IEEE International Conference on Consumer Electronics, Santander, Spain, 2012:727-728.

[14] 王瑞光, 陈宇, 金福寿, 等. 基于主观感觉理论的LED图像显示质量的简易测定评估方法[J]. 发光学报, 2011, 22(3):303-308.Wang Rui-guang, Chen Yu, Jin Fu-shou, et al.. Simplified measuring and evaluating method of imagequality of LED visual display based on subjective perception theory[J].Chinese Journal of Luminescence, 2011, 22(3): 303-308.

[15] Fang L, Au O C, Yang Y, et al.. A new adaptive subpixelbased downsampling scheme using edge detection[C]. IEEE International Symposium on Circuits and Systems, Taipei,2009: 3194-3197.

[16] Elliott C H B, Han S, Im M H, et al.. Co-optimization of color AMLCD subpixel architecture and rendering algorithms[J].Society for Information Display, 2002, 13(3): 172-175.

[17] Kang Suk-ju. Color difference-based subpixel rendering for matrix displays[J]. Journal of Display Technology, 2013, 9(6):319-323.

[18] Hara Zen-ichiro, Terazaki Nobuo, Shiramatsu Naoki, et al..Picture quality of different pixel arrangements for large-sized matrix displays[J]. Electronics and Communications in Japan,1994, 77(7): 105-120.