应用于VA-LCD Mura补偿的图像预处理算法

金羽锋，肖裔新，符采灵

(1.北京大学 微电子学与固体电子学，广东 深圳 518055;2.TCL华星光电技术有限公司，广东 深圳 518132)

1 引 言

随着液晶显示器生产世代的提升，其产能有了相当大的提高，随之而来的是显示器尺寸越来越大。随着尺寸的增大，液晶面板在生产制造过程中出现Mura的几率大幅增加。Mura指的是显示器生产中出现的亮度不均匀现象，它会带来显示器品质的下降。Mura的成因多种多样，如生产工艺的不稳定带来液晶盒厚度不均，生产环境中的灰尘，背光源不均匀等都会导致Mura的形成[1]。Mura的改善，可以提升液晶面板工艺的稳定性，也可以通过图像处理技术对Mura进行补偿。本文的研究方向为通过图像处理技术进行Mura缺陷的补偿。

Mura补偿技术的图像处理可以分成3个步骤：第一步由相机采集面板的亮度后，进行图像的预处理，从而获取像素级的亮度矩阵；第二步采用多个灰阶的亮度矩阵预测出灰阶与亮度的关系曲线，通过输入灰阶的调整使所有像素的亮度达成一致，此时即获得Mura的补偿数据；第三步针对Mura的补偿数据进行格式调整，烧录至Flash中，由面板的时序控制芯片读取补偿值进行实时图像数据补偿。

本文研究的重点为上述第一步的图像预处理算法。此算法涉及到图像降噪、相机平面场校正、镜头畸变校正以及VA-LCD视角校正。根据过去的研究，图像降噪可采用多次曝光平均或平滑滤波器处理。平面场校正可依赖标准光源建立校正模型。在镜头畸变校正方面，梁亮等人[2-5]提出了基于网格图像的几何畸变修正法，针对镜头的非线性畸变提出了一种双线性插值模型，其模型参数可直接推导计算，但其存在网格图像交点的精度不足问题。Huang等人[6-8]提出一种采用圆形图案进行快速校正的方法，此种图案对于参考校正点的提取更加精准，可实现对多种畸变程度进行实时匹配，但其参数需要迭代收敛才可获取。在VA-LCD视角校正方面，在面板尺寸越来越大的情况下，视角问题带来的采集亮度不精准问题越来越明显，此问题需要根据设备的搭建环境以及面板的特性进行具体分析。本文针对面板Mura补偿在现代工业的实际应用，采用圆形点阵图作为标定图案，根据标定点坐标的局部稳定性特征快速估计圆心点坐标，并结合可快速求解的双线性关系模型，实现图像的实时自适应校正，大幅降低计算复杂度。同时大量测量了面板的视角-亮度特性数据，采用4次多项式建立稳定模型，从而进行全局视角校正，提升面板的9点均一性规格，实现VA-LCD的局部Mura的消除以及9点均一性的提升。

2 图像预处理整体方案

整体图像预处理流程如图1所示。

图1 图像预处理的流程步骤Fig.1 Process steps of image preprocessing

Step1：CCD相机存在固定模式噪声(Time-invariant)和时变噪声(Time-variant)，使相机的某一帧存在特定的空间模式，同时不同帧之间也存在差异。本文采用多次曝光求和的方式获取图像，消除相机的时变噪声，如公式(1)所示：

(1)

其中Ci为相机采集的二维图像,Cave为消除时变噪声后的二维图像。同时进行小范围的空间均值滤波，消除相机的固定模式噪声，如公式(2)所示：

(2)

其中K(m,n)为均值滤波核函数，Cdenoise为消除固定模式噪声后的二维图像。

Step2：由于相机与镜头组合后，对于不同角度进入的同等亮度光源存在一定程度的衰减。由于此亮度衰减主要由相机和镜头产生，在实际生产中，相机及镜头为固定设备，因此可以预先建立一个模型进行亮度校正。为了获得准确的校正模型，通常需要一个稳定的标准光源，其精度同样影响模型的准确度。郭汉洲等人[9]提出一种用于CCD相机标定的LED点光源，针对CCD的标定可以快速自适应，同时精度也较高。本文采用了某光学设备供应商的常规标准平面光源进行拍摄，根据与中心点亮度的比例建立平面场校正的模型，需要注意的是不同亮度的校正模型存在偏差，因此需要根据实际拍摄的亮度进行模型建立，具体计算如公式(3)所示：

(3)

其中Cstandard为相机拍摄标准光源获得的二维图像，Rff(i,j)为用于校正的系数矩阵。通过将降噪后的图像与此系数矩阵进行点乘计算，即可完成相机所有CCD的逐点校正，具体计算如公式(4)所示：

Cff(i,j)=Cdenoise(i,j)·Rff(i,j)，

(4)

经过上述计算后即获得平面场校正后的二维图像Cff。

Step3：通常的畸变校正包括3种：镜头径向畸变、切向畸变和薄棱镜畸变。在工业应用中，相机对面板的拍摄具有定焦距、同平面的特点，可对畸变校正模型进行简化，但简化后的模型参数由于工业生产中的片间误差而不具有通用性，因此畸变参数需要实时获取。本文采用特定圆形点阵图案进行标定，采用简易的双线性关系建立模型，能够高效地实现图像的校正。

ML=f(Cff,c1,c2,c3,c4,c5,c6,c7,c8)，

(5)

其中c1,c2,c3,c4,c5,c6,c7,c8为畸变校正参数。

Step4：由于VA-LCD显示器正视角的亮度和侧视角的亮度不同，但显示器的规格标准则是采用正视角对屏幕各个区域进行量测后计算均一性，因此相机采集面板亮度时，中心和边缘存在角度差，从而导致后续的步骤(补偿值计算)出现偏差，需要建立视角-亮度的模型，然后对像素级的亮度矩阵进一步校正。

Mview=MLRpanel_view，

(6)

其中Rpanel_view为通过视角-亮度模型获得的矩阵，Mview为视角校正后的二维图像。

3 畸变校正及VA-LCD视角特性

3.1 基于点阵标定的畸变校正算法

相机标定法的常用图案是棋盘格，其特征点为网格交点，常用Harris等角点检测算法[10]进行识别。此方法需要搜寻和遍历图像，计算速度不佳。另一种常用图案是圆形点阵图，其特征点为圆心点，此方法早期采用半手工辅助标定方式，之后Yu等人[11-14]提出了基于圆形点阵图的自动标定方法，对点阵图进行了特定排列，但该方法为了适应各种角度的校正，计算仍有一定复杂性。本文针对Mura消除的应用，采用常规的矩阵排列点阵图作为标定图案，圆点数量为m×n，如图2所示。

图2 圆形点阵标定图Fig.2 Circle pattern for camera calibration

由于相机与显示器的位置相对固定，且为同一平面，因此依据标定图中任意的4个圆形点，采用双线性关系建立模型。

(7)

其中：x1、y1、x2、y2、x3、y3、x4、y4，为理想圆心点，u1、v1、u2、v2、u3、v3、u4、v4为相机采集到的圆心点。

本文的圆心点获取方法采用质心公式，对图像以圆形点为中心粗略分割，形成局部矩形单元。由于相机存在暗态噪声，需要针对此区域进行降噪，结合圆形白点的高对比特性，选用自适应阈值降噪方法：

Tdark_level=TE-region+Tstd-region，

(8)

(9)

其中：TE-region为区域均值，Tstd-region为区域方差。然后针对此区域通过质心公式计算出圆心(u,v)，如此即可获得所有m×n个(u,v)。

随后根据公式(7)，通过8个等式求解出8个未知数c1、c2、c3、c4、c5、c6、c7、c8，然后将此畸变参数应用于相机拍摄的灰阶画面进行像素亮度提取；

(10)

其中：xLoc、yLoc为畸变前坐标，uLoc、uLoc为畸变后的坐标；通常计算得到的uLoc、uLoc为非整数，无法直接寻址获得亮度值，因此需要周边亮度值插值获取。

本文的畸变校正方法相比于其他方法，在运算模型上大幅简化，同时准确性满足工业需求。

3.2 VA-LCD视角特性

LCD显示器的亮度控制主要通过改变液晶的偏转角度来达成。而当液晶成垂直偏转时，人眼观测显示器的位置则与液晶偏转角度产生了一定联系，因此显示器呈现的亮度与人眼观看时的角度存在一定的联系。IPS-LCD显示器由于液晶偏转方向与显示平面平行，因此受到人观测角度的影响较弱；但VA-LCD由于其偏转方向与显示平面垂直，此时人的观测位置不同会带来液晶偏转角度的相对变化，因此在本文的技术应用中需要特别分析。工业应用中由于可靠性及成本的考量，通常采用单相机方案，此时相机采集面板亮度时，针对面板的不同区域就会产生不同观测角度，如图3所示。

图3 相机与显示器不同位置的视角关系Fig.3 View-angle relationship between camera and display

根据显示器的亮度均一性标准，针对面板不同位置皆以(θ=0)为量测条件，因此需要对相机采集数据进行视角校正。此校正依据及方法与面板特性强相关，本文采用一款VA-LCD产品的数据进行实验。其视角与亮度的特性如图4所示：在中低灰阶时，随着视角增大，亮度小幅增大；在中高灰阶时，随着视角增大，亮度大幅减小。

图4 VA-LCD不同灰阶下亮度与视角的关系Fig.4 Relationship between brightness and view-angle of VA-LCD under different greyscale

根据同产品大量数据分析，在相同灰阶下视角-亮度曲线非常稳定，只有小幅度波动，因此可以对其建立稳定模型，但不同灰阶的视角特性不同，需要根据实际工程应用的需求单独建模。在模型建立中如果直接采用实际量测数据，由于误差的存在以及数据本身的离散型，会存在一定的隐患。因此为了提升算法的稳定性，本文采集大量数据进行了分析，最终采用4次多项式进行曲线的拟合。由于此模型没有实时性需求，可通过Matlab工具箱的曲线拟合工具完成：

Lraw=a1θ4+a2θ3+a3θ2+a4θ1+a5，

(11)

其中：θ为光源与相机的法向夹角，a1、a2、a3、a4、a5为多项式拟合获得系数；对Lraw亮度以θ=0时为基准进行归一化，即可求得相对于θ=0的亮度系数：

LRatio=b1θ4+b2θ3+b3θ2+b4θ1+b5，

(12)

其中:θ为光源与相机的法向夹角，b1、b2、b3、b4、b5为多项式拟合获得系数。视角为θ的某一像素点的校正公式为：

LCalibration=Lθ/Rpanel_view，

(13)

其中Lθ特指待校正点的亮度值。本文在相机定位中，将显示器中心与相机中心对齐，此时以显示器中心像素为原点，即可计算出其他像素点坐标的θ角度，然后根据上述校正公式，即可完成视角校正。

表1为某一大尺寸LCD面板在64灰阶及96灰阶下，不同视角的亮度特点。

表1 不同灰阶下，不同视角的亮度拟合示例Tab.1 Brightness fitting examples of different viewing angles under different gray scales

本文的视角校正方法，相比于其他文献的方法，在大尺寸的全局均一性上有独特的优势。

4 测量实验与结果

本文的算法效果实验，以最终Mura消除效果评价，完整的Mura消除流程如图5所示。

图5 Mura消除步骤Fig.5 Mura compensation scheme

结合本文的图像预处理算法及步骤二和步骤三的操作流程，本文算法的不同阶段的输出图像如图6所示。

图6 算法效果Fig.6 Results of algorithm

面板Mura程度的评定包含主观指标和客观指标。主观指标由经过专业培训的人员对Mura进行视觉量化，采用JND(Just noticeable difference)作为量化值。JND越小代表Mura越不可见，此评价手段对局部小范围亮度不均比的评价十分准确，但对面板全局比较平滑的亮度变化不敏感。针对图6中的效果进行主观评判后，结果如表2所示。

表2 JND评价结果Tab.2 Result of JND

从表2中可以看到，Mura消除后，JND达到1.8，即人眼几乎无法察觉，达到了产品的最高等规格要求。

客观指标是通过对面板9个不同的位置进行亮度测量，按照规定的公式计算均一性。此评价手段对局部亮度不均的评价存在较大的偏差，主要由于其固定的测量位置所致，但其可以准确评估全局亮度的均匀性。图7所示为本文采用的9点位置标准，测量设备为柯尼卡美能达的色彩分析仪CA310。

图7 面板9点均一性测量点Fig.7 Panel 9 point uniformity measurement point

规定的均一性计算公式如下：

(14)

针对图6中的效果进行客观评价，结果如表3所示。

表3 面内9点亮度及均一性结果Tab.3 Results of panel 9 point uniformity

从表3可以看到，通过对视角亮度进行校正后，面板整体的均匀性从53.4%提升至82.9%，大大提升了面板的品质等级。

5 结 论

本文根据现代工业在VA-LCD生产中的条件及要求，提出了一种快速自适应标定的图像预处理算法。介绍了图像预处理的整体流程及相关原理，提出了特定场景下的相机标定图案及其计算模型，同时针对VA-LCD存在的视角影响，提出了视角校正的方法模型。最后结合补偿值计算及芯片实时补偿，在实际产品中进行了应用，从主观和客观两种评价方式对最终结果进行了评定：其中JND从2.7提升至1.8，9点均一性从53.4%提升至82.9%，算法模型大幅降低了复杂度，且在自适应校正上具有良好的鲁棒性。满足产品最高等规格要求，算法复杂性的降低对工厂效率提升有着重要意义。