邱聚能,李 辉,闫乐乐,梁 平
(1.电子科技大学 航空航天学院,四川 成都 611731;2.成都出入境检验检疫局,四川 成都 610041)
LCD显示屏是一种典型的保持型显示器。在LCD上显示运动的图像时,会产生视觉伪象[1],比如动态伪轮廓、大面积闪烁、运动模糊等[2]。随着材料技术的进步和生产工艺的日益完善,液晶显示器向大尺寸、轻薄化等方向发展[3],LCD逐渐进入主流应用,人们对LCD的显示质量要求也越来越高。运动模糊度是LCD显示质量的重要指标,研究LCD运动模糊度是LCD质量监督检验的重要工作,对促进液晶显示行业发展有着重要意义。
运动模糊的产生是显示器件工作模式与人眼视觉特性共同作用的结果。对于LCD运动模糊的检测,最常用的方法是人的主观评判,即通过人眼观察和对比,判断LCD显示屏模糊程度。传统的人眼检测方法存在很多不足:易受外界干扰,检测者易疲劳,成本高,效率低等。因此LCD运动模糊程度的评价标准较为模糊,如何测试和评价显示屏模糊程度成为国际和国内显示技术标准[4-5]制定中的重要工作。为此,国内外学者对LCD的运动模糊现象开展了大量的研究,提出了一些方法,如日本工作组提出的基于移动相机的BEW(Blur Edge Width)检测[6]及 MPRT(Moving Picture Response Time)检测[7]和国内东南大学提出的基于动态调制函数(MTF)的运动模糊检测检测[8]。东南大学的工作取得了较好的成果,其主要研究灰阶变化,对正弦光栅的信号曲线进行积分。但是当其设定的运动速度较大时,需要积分的序列也较为复杂,算法复杂度较高。为了简化检测方法,降低检测成本,本文提出通过检测LCD运动图像的清晰度,以此来表征显示器的运动模糊程度。
人眼判断LCD显示屏运动模糊的依据是图像在LCD上运动时是否有拖尾、图片细节是否保留完整等,而通过图像采集,可以获取LCD上的图像信息。采集到的图像越模糊,拖尾越严重,图片细节保留越少,则说明LCD显示屏运动模糊程度越大,据此特性和关系,可以通过检测运动图像的质量来表征LCD运动模糊度。
采用图像处理的手段,使用高清摄像头分别采集LCD显示器上的静止和运动图像,通过图像质量评价算法计算,得到运动图像的清晰度,以此作为判断LCD显示器运动模糊程度的指标。整个检测过程分为采集图像、图像预处理、图像清晰度评价等3个大的步骤,具体流程图如图1所示。
图1 检测流程图Fig.1 Test flow chart
2.2.1 图像源的产生和获取
在LCD显示屏上产生运动的图像源有两种方法,其一是通过FLASH制作软件制作一个图片运动的动画,这个动画需要有以下功能:(1)可以切换图片;(2)可以控制图片运动速度;(3)窗口大小与屏幕自适应。用FLASH制作的动画可以达到产生运动图像源的要求,但是由于在FLASH编辑中,速率是以帧频来控制的,当图像运动速度较大时,会出现块状非匀速移动,采集时易出现不必要的闪烁,所以本文采用的是第二种方法——基于VB平台的界面编程。界面图如图2所示,程序可以插入不同的彩色图片,以每秒移动的像素点来控制图像运动的速度,可以做到窗口自适应并且能随时暂停和启动。
图2 图像源界面Fig.2 Interface of image source
测试图像的选取应当遵循以下原则:
①测试图像来源尽量选择有国际权威的标准图像库,例如LIVE、TID、CSIQ等常用数据库;
②尽量选择边缘细节比较多的测试图像,这样可以最大限度地提取到测试图像的运动拖尾模糊,保证后期评价算法处理后得到准确结果;
③选择合适大小测试图像,以适应不同尺寸的LCD运动模糊检测。
如图2所示,本文选用的是TID2008标准库中的“Building”。
2.2.2 图像采集
整个图像采集系统的基本要求就是能有效采集到运动图像的模糊信息。采用跟踪CCD的测量方法对运动控制系统的精度要求高,技术复杂,价格昂贵。本文采用直接测量的方法,固定采集装置和待测显示屏,通过定时器控制拍摄时间,采集装置如图3所示。在暗室中使用高清摄像头按照表1设定的采集环境的照度、温度、湿度以及高清摄像头采集图像的角度分别采集LCD显示器上的静止和运动图像,将图像传入计算机。按照国际半导体设备与材料组织(SEMI)中关于LCD量化标准对于测试条件中测量距离的要求以及实际的实验测试,对于15in(1in=2.54cm)的屏幕,采集距离d为500mm,按照相似三角形原理,实际的采集图像距离计算公式为d=(500÷15)×Size,式中Size为实际的屏幕尺寸,且单位以英寸计算。测试时,按照SEMI标准固定装置位置,将高清摄像头的光圈、调焦都设为手动,快门设置为高速增强3 600Hz,也就是曝光时间约为0.28ms。曝光频率远大于显示屏刷新频率60Hz,且保证了是刷新频率60Hz的整数倍,并通过定时软件,使摄像头每次采集的运动图像都在待测屏的几何中心,以解决摄像头与图像源的同步问题。对整个待测屏进行图像采集,得到的图片如图4所示。
表1 检测环境参数表Tab.1 Testing environment parameters
图3 图像采集装置Fig.3 Image acquisition device
图4 初始图像Fig.4 Original image
2.2.3 图像预处理
高清摄像头采集到的图像尺寸较大,并且存在一些随机噪声,需要进行图像的预处理工作。首先对采集到的图像进行切割和下采样,提取出检测需要的有效区域。接着使用模板尺寸为11 pixel×11pixel,σ为1.5的高斯平滑滤波器对图像进行滤波处理。预处理的目的是减少清晰度算法的计算量以及随机噪声对检测结果的影响,其效果如图5所示。
图5 图像预处理效果图Fig.5 Result of image cropping
为了减少滤波及切割中的系统误差以及操作误差,本文采取对同一速度下的图片重复采样截取后进行像素级平均。经验表明,平均图像数量越大,噪声的影响越小[9]。
2.2.4 计算图像清晰度
Wang等人[10]认为人类视觉系统(HVS)能高度自适应地提取场景中的结构信息,可以通过比较模糊图像和原图像之间结构信息的差异程度来判断一副模糊图像的清晰度。基于以上假设,提出了基于结构相似度的图像质量评价方法(SSIM)。SSIM 算法的评价结果比均方误差(MSE)和峰值信噪比(PSNR)的计算结果更吻合人眼的视觉效果,对静态图像的评价也取得了较好的效果。但在LCD的运动图像显示性能的检测中,运动图像的边缘失真(如拖尾,丢失等)更能反应LCD的运动模糊程度,检测LCD时,人们对边缘纹理的失真也更加敏感。SSIM算法采用了取平均值的方式,对图像的不同区域给予相同的权重,对LCD的运动模糊图像检测结果不够准确。为了把图像质量更好地应用在LCD运动模糊检测中,本文提出了一种改进的结构相似度算法—基于区域对比度的结构相似度算法(Regional Contrast Structural Similarity,RCSSIM)。
RCSSIM算法针对LCD的运动图像显示性能检测,在SSIM算法的基础上,着重检测图像的边缘轮廓及图像上灰度对比度大的区域。
2.3.1 结构相似度
Zhou Wang等提出的SSIM包括亮度、对比度和结构相似性3个组成部分,其数学模型[12]为:
在使用SSIM评价图像清晰度时,使用一个N×N的窗口在两幅图像逐像素移动,形成M个分块子图像,按照式(1)计算每一个分块图像的SSIM值,然后按照式(5)对整幅图像进行评分。
X,Y分别为原始图像和模糊图像。
2.3.2 区域对比度
从人眼视觉系统角度出发,一个像素点与其区域内所包含的视觉信息量的大小与该点所处的环境背景有关,在背景较亮时,图像区域灰度变化引起的视觉模糊不易被察觉。参照信号处理中信噪比的定义,把每一个分块窗口的区域内,最大灰度值与最小灰度值之差与最大灰度值的商定义为该分块区域的区域对比度。
式中,con (x ,y ) 是区域对比度,fr(x ,y ) 为窗口区域每一像素的灰度值,显然0≤con (x ,y ) ≤1。
2.3.3 RCSSIM 算法
对于LCD显示屏上的运动图像,区域对比度不高的区域,称为平坦区域,人眼对这类区域上的模糊并不敏感,而区域对比度高的区域,即边缘区域,人眼对这类区域的模糊相对较为敏感。
基于这个原理,对SSIM分块图像得到的分值进行加权。通过求出每个子图像的区域对比度函数,结合公式(1),得到分块子图像的
区域对比度越大的子图像权值越大,在评价整张图像时占的比重也更大。最后进行归一化,得到整张图像清晰度评价值:
RCSSIM值和MSSIM值都是0~1的数值,只有当待测图像和原图像一模一样时RCSSIM值达到1。RCSSIM (X,Y)越大,说明图像质量越好。
本文对LIVE数据库里的779张图片进行了算法仿真,对比数据库里的主观评分(DMOS),得到SSIM算法以及RCSSIM算法主观感知相关曲线图如图6和图7。其中DMOS值越小,代表图像质量越好。
图6 SSIM算法主观感知相关曲线Fig.6 Subjective perception related curve of SSIM
图7 RCSSIM算法主观感知相关曲线Fig.7 Subjective perception related curve of RCSSIM
从两张图可以看出,RCSSIM算法的散点比SSIM算法密集,与人眼主观感知的相关性更好。
为了能更好地比较两种算法的性能,本文选用了3个常用的客观常量作为评价指标:均方根误差(RMSE)、斯皮尔曼等级相关系数(SROCC)、肯德尔等级相关系数(KROCC)。RMSE代表主观感知相关曲线图上散点的均方根误差,RMSE越小,算法性能越好。而SROCC和KROCC两个指标用来表征主观感知相关曲线的单调性,它们的绝对值越接近于1,算法性能越好。试验结果如表2所示。
表2 SSIM和RCSSIM算法性能比较Tab.2 Comparison of algorithm performance between SSIM and RCSSIM
从3个指标都可以看出,RCSSIM算法性能全方面优于SSIM算法,与人眼的主观评分更为一致。
验证算法的有效性之后,使用型号为BenQ G2220HD的显示器作为待测显示器按照2.1节的检测流程,进行检测方法的验证。经过采集以及预处理后的静止图像和运动图像如图8所示,从图中可以看出检测系统能有效地捕捉到运动图像的模糊细节。
图8 静止图像和运动模糊图像Fig.8 Static image and motion blurred image
根据LCD显示特性和人眼主观感知结果,图像运动速度越大,图像运动模糊程度越明显。本文采集了不同速度下的运动模糊图像,验证检测指标与主观感知的一致性,其RCSSIM值如表3所示,并拟合得到图像运动速度与RCSSIM值的相关曲线。
表3 不同速度下图像的RCSSIM值Tab.3 RCSSIM values of blurred images under different speed
图9 RCSSIM下降曲线Fig.9 Decline curve of RCSSIM
表3的结果与预期相符:运动图像速度与RCSSIM值负相关,检测指标和人的主观感知相符。从图9的拟合曲线可以看出,当速度提高到一定的数值时,运动图像的RCSSIM值趋于平缓,所以实际检测中的速度不宜过大。
本文将图像质量评价(IQA)应用到LCD显示屏的模糊检测中,提出用运动图像的RCSSIM值作为LCD运动模糊的评价参数。主要讨论了基于IQA的运动模糊检测方法的检测流程、实现及算法。通过对LIVE数据库里的标准模糊图片进行算法仿真,比较RCSSIM算法与SSIM算法的性能,验证了RCSSIM值更适合作为检测LCD运动模糊的指标。在明确检测指标的基础上按设计流程进行了实际测量和仿真,证明了检测方法的可行性以及检测指标的可靠性。从实验结果可以推测,在LCD运动图像显示性能的检测中,不同型号的显示器应该有一个最佳的检测速度(区间),由于试验环境和器材的局限性,本文并没有对此进行深入的研究。
[1] 张宇宁.平板显示器件视觉赝象研究[D].南京:东南大学,2008.Zhang Y N.Research of flat panel displays’visual artefacts[D].Nanjing:Southeast University,2008.
[2] 钟翊炜,邓少芝,刘志军,等.基于极点聚焦全极点滤波器减小LCD运动模糊的方法[J].液晶与显示,2009,24(5):729-734.Zhong Y W,Deng S Z,Liu Z J,Method for LCD motion blur reduction by using focusing all-pole filter[J].Chinese Journal of Liquid Crystals and Displays,2009,24(5):729-734.
[3] 卢小鹏,李辉,刘云杰,等.一种基于Chan-Vese模型的TFT-LCD Mura缺陷快速分割算法[J].液晶与显示,2014,29(1):146-151.Lu X P,Li H,Liu Y J.An algorithm for fast TFT-LCD mura defect image segmentation based on Chan-Vese model[J].Chinese Journal of Liquid Crystals and Displays,2014,29(1):146-151.
[4] IEC TC 110 61747-3Document.Motion artifacts measurement of active matrix liquid crystal display modules[S].Standard in development.
[5] VESA FPDM Update.Video electronics standards association,flat panel display measurement standard[S].Version 2.0,2005.
[6] Oka K,Kitagishi K,Enami Y,Parameters of motion picture blurring measured by using apursuit Camera[C].Proceedings of IDW’04,2004:1579-1582
[7] Someya J,Igarashi Y,A review of MPRT measurement method for evaluating motion blur of LCDs[C].Proceedings of IDW ’04,2004:1571-1574
[8] 赵登峰.基于动态调制传递函数的LCD运动模糊研究[D].南京:东南大学,2010.Zhao D F.Research of LCD motion blur based on dynamic modulation transfer function[D].Nanjing:Southeast U-niversity,2010.
[9] 张昱,张健.基于多项式曲面拟合的 TFT-LCD斑痕缺陷自动检测技术[J].光电工程,2006,33(10):108-114.Zhang Y,Zhang J.Automatic blemish inspection for TFT-LCD based on polynomial surface fitting[J].Opto-Electronic Engineering,2006,33(10):108-114.
[10] Wang Z,Bovik A C,Lu L.Why is image quality assessment so difficult[C].IEEE International Conference A-coustics,Speech,and Signal Processing,Orlando,2002:3313-3316.
[11] Wang Z,Bovik A C,Sheikh H R.Image quality assessment,from error visibility to structural similarity [J].IEEE Transactions on Image Processing,2004,13(4):600-612.