基于颜色空间的彩色图像颜色评价

张 欣，乔继红，张慧妍，张 雁，张 鑫，许继平

（1.联想集团 神奇工场通讯技术有限公司，北京 100089；2.北京工商大学 计算机与人工智能学院，北京 100048；3.北京工商大学 中国轻工业工业互联网与大数据重点实验室，北京 100048）

1 引 言

随着手机行业突飞猛进的兴起，其已成为人们生活、工作中很重要的一部分。由于手机的便携性以及相机硬件模组的完备性，越来越多的用户使用手机拍照和记录。孟利等［1］将手机相机用于公安勘查现场采集照片；夏莎莎等［2］基于手机相机获取冬小麦拔节期冠层图像进行精准施肥研究，并基于此研究成果进行手机APP 开发；管昉立等［3］基于智能手机与机器视觉技术相结合，探索立木胸径测试方法，其相对误差小于2.50%，精度较高。手机相机拍摄得到的图像效果已成为评价手机质量的一项重要指标，如色彩、曝光、清晰度、噪声等，这些也是用户购买手机的部分参考依据。手机图像的呈现是摄像头软硬件综合调校的结果，用户看到的也是这个最终结果，如何评判画质的优劣成为手机成像的一个重要研究课题。

客观评测和主观评测是目前数字图像领域比较经典的两种评测方法。客观评测主要依赖于拍摄专业图卡并使用专业仪器分析给出的评价，例 如DXOMARK、Image Engineering 和Imatest公司都有独立的实验系统和评价体系，但其只能模拟少部分真实场景，所以还需要大量实景拍摄的主观评测。主观评测是拍摄用户真实使用场景并借助人眼给出喜好评价，但这个评测不仅花费时间较长，评测者还需要经过专业培训，且人为判断时添加主观色彩因素，会导致评价结果差异性较大。目前，专门针对图像白平衡质量评价的算法相对较少，众多科学研究集中在颜色评价。

文献［4-5］主要从图像的色调、彩度和明度通道出发，构建图像全参考质量评估方法。文献［6-8］从RGB（Red，Green，Blue）3个分量统计分布出发，构建图像质量评价体系。文献［9］等从色调、饱和度、对角、球面角4 个维度出发构建自然场景统计模型。Li等［10］提出基于稀疏表示的彩色图像质量评价方法。文献［11］提出基于全局与局部统计特征的色域映射图像无参考质量评价方法。Jens Preiss 等［12］使用彩色图像差异作为目标函数改善色域映射的算法，解决视觉伪像问题也同步改进了彩色图像差异，提高彩色图像的预测精度。Dogancan Temel 等［13］提出基于多尺度和多通道误差表示的频谱理解的图像质量评价算法，该类方法解决了大多数研究中使用灰度图像而忽略颜色信息的关键信息，使图像预测精度得到有效提高。文献［14］提出基于自然场景统计的色域映射图像无参考质量评价算法。文献［15］重点研究Lab（Luminance，a，b）色彩空间中a 通道和b通道的信息熵特征，通过建立支持向量机（Support Vector Machine，SVM）进行回归训练。PerSIM（Perceptual SIMilarity）［16］和FSIMc（Feature SIMilarity extend to Color）［17］通过在颜色通道中计算逐像素的保真度用来提升对彩色图像评价的性能。Gupta 等［18］基于YIQ（Luminance，In-phase，Quadrature-phase）色彩空间提出无参考图像质量评价方法。

上述算法对RGB 色域空间、Lab 色域空间和YIQ 色域空间等进行了深入的研究，在图像颜色评价方面取得了一定的进展，但是缺乏对图像白平衡表现的研究，无法很好地模拟人眼视觉感知特性，其评价性能和实用性还需要进一步的提升。自动评测相机图像质量也已经成为众多手机厂商研究的课题，结合专业测试图卡与主观评测对手机拍照图像质量做出评价是研究的大趋势。大量的科研学者提供了研究思路。蔡俊等［19］采用尺度不变特征变换（SIFT）经典算法并搭配PyQt 工具设计出识别率高达95%以上的道路标识牌识别系统。韩彬等［20］采用改进传统Canny 与透射变换相结合，有效解决了印刷品图像中的畸变现象，为自动化提取实景图像中Colorchecker 标准二十四色卡的位置提供了有效思路。高佳南等［21］采用最小二乘法优化组合赋权模型评价矿井环境舒适度，与实际考察结果基本相符。苟廷佳等［22］将TOPSIS 法应用于生态文明建设评价中。受上述算法的启发，本文提出一种相机成像质量色彩和白平衡自动评测方法。

CIQA 算法的核心在于基于SIFT 与透射变换相结合提取手机相机成像图像中的Colorchecker标准二十四色卡区域，替代手动使用Imatest3.7 Image Sensor 专业软件（美国IMATEST LLC）提取二十四色卡区域的步骤，大幅缩短了分析时间。本文从图像白平衡表现和色彩还原表现两方面考虑，结合RGB、Lab和HSV（Hue，Saturation，Value）颜色空间给出8 个模拟人眼视觉感知特性的指标用于评价图像，并构建离差率最小二乘法获取各指标分配权重值，最后基于改进主客观赋权的TOPSIS 算法对手机相机画质色彩表现效果进行排序。

2 本文方法

2.1 色卡介绍

本文采用X-rite 公司ColorChecker 标准二十四色卡［23］作为测试样本，如图1 所示。标准色卡是经科学配置的24个自然色，彩色和灰度色块。按照从左到右、从上到下的顺序，分别标记为1～24。这些色块可在各种光源下与其代表的自然物体的色彩相匹配，每个色块的光线反射与其相应的真实物体一样，因此可以用于色彩还原和白平衡测试。

图1 ColorChecker 标准二十四色卡Fig.1 ColorChecker standard twenty-four color cards

其24 个颜色对应的基于sRGB 色域的标准RGB 值和基于CIE L*a*b*的L*a*b*值见表1。通过建立相机拍摄色卡的色度值与标准色卡的色度值之间的关系，得出现有相机的色彩与白平衡还原效果表现。

表1 ColorChecker 标准二十四色卡的RGB 值和L*a*b*值Tab.1 RGB value and L*a*b* value of the ColorChecker standard twenty-four color cards

2.2 实景图像色卡提取方法

SIFT 即尺度不变特征变换［24］，计算核心为在尺度空间中寻找众多特征点，广泛应用于图像处理领域，可以在一定程度上有效降低标准色卡因拍摄角度、距离以及光照因素对识别结果的干扰。

关键的特征点群通过构造DoG（Difference of Gaussian）尺度空间获取，采用高斯函数G（x，y，σ）与原图像做卷积运算实现尺度变换；采用FLANN（Fast library for approximate nearest neighbors）计算欧式距离来找寻与实例点的最邻近的特征点；采用RANSAC（Random sample consensus）在多重数据中去除干扰数据，利用置信值高的数据点求取数据模型。

在实际拍摄Colorchecker 标准二十四色卡时，往往因为图像分辨率、拍摄距离远近、色卡摆放位置等原因，识别分割后的色卡图像会产生不同程度的形变，此时引入透射变换算法［25］来精准提取标准二十四色卡中24 个色块的位置。

2.3 色彩还原与白平衡指标原理

2.3.1 色彩还原指标

色彩还原指标参考基于CIE L*a*b*色域第1～18 个色块色度值计算，主要分为色彩饱和度（Mean_chroma）、a*b*两通道差值（Delta_ab_mean）、L*a*b*三通道差值（Delta_E_mean）和色彩偏向角度（Delta_h）。

Mean_chroma 的计算模型［26］如式（1）所示，该值表示色彩饱和度，其值在一定范围内会有更好的视觉体验：

其中：ai_means和bi_means是相机拍摄色卡被计算色块色彩分量的平均值，ai_ideal和bi_ideal是标准色卡被计算色块色彩分量的理论值。

Delta_ab_mean 的计算模型［26］如式（2）所示，该值从色彩分量出发，不考虑亮度分量，值越大，说明色块之间的差异越大，该值在CIE2000 中重新定义了色差计算方法，使其在CIE L*a*b*色域中，色差计算值与人眼评估更加接近：

其中：SCi和SHi是彩度和色相差权重参数，RT是椭圆旋转调整因子，G是动态调整因子，KC=KH=1，其他参数意义同式（1）。

Delta_E_mean 的计算模型［26］如式（9）所示，该值可以数字化表示不同颜色之间的差别，值越大，说明颜色之间的差异越大：

其中：Li_means是相机拍摄色卡被计算色块亮度分量的平均值，Li_ideal是标准色卡被计算色块亮度分量的理论值，SLi是亮度权重参数，KL=1，其他参数意义同式（2）。

色彩偏向角度指标参考基于CIE HSV 色域中的色相角Hue，第1～18 个色块色调计算模型如式（12）所示：

其中：Ri_means、Gi_means、Bi_means是相机拍摄色卡被计算色块基于RGB 色域的值，Hi_deal是对应标准色卡被计算色块色彩偏向角的理论值。

2.3.2 白平衡指标

白平衡还原指标参考基于CIE HSV 色域中的饱和度Saturation。色卡第20～23 个色块的饱和度分别记为S20、S21、S22、S23，该值会修正人眼观察图像时光照颜色对物体造成的色差［27］。

Si的计算模型［28］如式（13）～（16）所示：

其他参数意义同式（12）。

ColorChecker 标准二十四色卡中24 个色块的角点坐标D、E、F、G是固定的。将目标色卡的24 个色块的4 个顶点坐标预先设定好，将基于SIFT 分割后的色卡做透视变换成矩形找到24 个色块的顶点坐标，再反透射变换到原始拍摄图像，找到实际拍摄色卡的色块顶点坐标，用于计算各指标值。

以本文实验数据绘制流程图如图2 所示。其中将相机拍摄带有ColorChecker 标准二十四色卡的图像（色卡占整张图像的百分比根据拍摄环境确定）作为实景图像，在正常光照下拍摄Color-Checker 标准二十四色卡的图像（色卡占整张图像接近100%）作为目标图像。

图2 算法总体结构图Fig.2 Overall structure of the algorithm

3 构建离差率最小二乘法模型获取主客观融合权重

在图像综合评价中，颜色还原、颜色饱和度和白平衡等值的重要程度不一样。相机领域内的画质专家给予的主观权重分配比例也主要是依靠自身的经验值，不同的画质专家对某些图像问题的描述有可能出现分歧。但专家的决策具有重要的参考价值，所以我们配合测试数据提供客观信息，计算所得出的多指标权重会更加具有客观性和合理性。

3.1 专家评分法

通过与相机领域内资深产品、画质调试和画质测试工程师共同评估Mean_chroma、Delta_ab_mean、Delta_E_mean、S20、S21、S22、S23、Delta_h 8 个指标的相对重要程度给出评分，评价标准采用0～9 分制，0 分说明该评价指标在画质整体评价中占比最低，9 分则说明该评价指标占比最高。随着分数的递增，该指标的重要程度也随之增加，计算每一个指标的平均得分来确定该指标的权重w1j，从而获得指标综合值为：

其中：m为指标总数，i为测试图像编号，j为测试图像指标编号，xij为第i号测试图像第j个指标。

3.2 熵权法

熵权法从数据本身存在的客观性出发，通过指标数据计算得出的信息熵E（j）与该指标的数据集提供的信息量成反比，对评价所起的贡献作用越强，其权重理应也越大。

首先处理指标数据，得到标准矩阵，并计算其信息熵：

进而得出第j个指标权重的公式为：

其余参数意义同式（17）。

3.3 构建离差率最小二乘法

本文在经典最小二乘法的基础上进行改进，多指标组合权重通过搭建离差率最小二乘法模型获得。在推导过程中给出矩阵解可直接对数据进行处理得出有效结果。各指标权重构成权重矢量为Wm1=（w1，…，wm）T，定义离差率的模型如式（21）：

以上模型在构建时要求index1i不为0，经验证本文数据皆不为0，故可以构建。离差率最小二乘法的核心在于合理结合画质专家给出的建议和测试数据提供的数据信息，使最终确定的多指标组合权重值有效结合主客观信息。

按照式（22）构建离差率最小二乘法模型：

按照式（23）构造Lagrange 函数：

按照式（24）分别对m+1 个变量进行求解偏导：

求解过程较为繁杂，此处以矩阵的形式表示：

按照式（26）得出指标分配权重：

4 构建离差率最小二乘法模型获取主客观融合权重

假设将本文中涉及到的手机型号作为方案表示，选取相机画质色彩效果好的手机型号寻找最优方案解。智能手机成像质量颜色效果综合评价步骤如下：

Step1：不同指标往往具有不同的数量级与量纲，为了消除指标间的差异性，规范化处理测试数据如式（27），

式中：i=1，…，g；j=1，…，h。C1，C2，…，Cg对应的是方案；F1，F2，…，Fh对应的是指标。

Step2：构建方案-指标集矩阵如下：

Step3：Huang 等人提出TOPSIS 法［29］，通常取矩阵T中每列元素的最大值组成正理想方案解，每列元素的最小值组成负理想方案解。针对本文中的数据分析，指标值越小表示越接近最优解，指标值越大表示越偏离最优解，正负理想方案解针对本文需要重新定义。

Step4：本文将在计算距离时融入在第4 节中计算出的多指标权重分配值Wm1，既充分考虑画质专家对指标重要程度的评价信息，也补充了不同环境下手机画质色彩的客观信息。

Step5：根据正负理想方案值计算相对指标ui，该值越大代表方案Ci更具有代表性。

5 应用实例分析

5.1 样本来源

选取10 台来自不同手机厂商的手机，分别用C1，C2，…，C10表示。真实场景中放置ColorChecker标准二十四色卡，采样过程中测试人员手持手机拍摄，同一场景尽量确保不同相机取景视场角一致，图3 和图4 为10 台手机在同一场景下拍摄的图像。从缩略图可以看出，同一场景下不同手机获取到的图片的白平衡和色彩明显不一致，色卡占整张图像的百分比根据拍摄环境确定。图5 为C3手机在部分场景下采集到的图片，图6 为C10手机在部分场景下采集到的图片。

图3 同一场景不同手机采集图像1Fig.3 Images 1 collected by different mobile phones in the same scene

图4 同一场景不同手机采集图像2Fig.4 Images 2 collected by different mobile phones in the same scene

图5 C3手机部分场景采集图像Fig.5 Images collected by C3 mobile phone in the different scenes

图6 C10手机部分场景采集图像Fig.6 Images collected by C3 mobile phone in the different scenes

此次共拍摄76 个场景，合计760 组数据。在拍摄过程中，由于人为和环境变化等不可控因素，ColorChecker 标准二十四色卡的位置可能存在不同程度的变形。以上图像都作为本次实验的原图像。在室内正常光下，用C3手机拍摄标准二十四色卡的图像作为目标图像，标准二十四色卡占整张图像接近100%。

5.2 获取原图像色卡位置并计算对应指标值

采用SIFT 算法，对原图像与目标图像进行特征检测，获得图像特征点集，去除误差匹配点，获取最佳匹配结果。对原图像中的色卡参照目标图像做透视变换裁切，确定24 个色块的位置后反透视变换确定原图像色卡中24 个色块的位置。

由于有些照片是在逆光场景、低光场景和对焦模糊的场景下采集，导致特征点寻找不足或者不准确，色卡识别错误或者提取出来的24 个色块会超过对应色块的边界。这部分图像采用人工方式逆时针在原图像上点击二十四色卡的4 个角点D、E、F、G，继续采用透视变换采集24 个色块的坐标，并计算对应的指标值。

参照对应的指标原理，计算实景图像中二十四色卡 第1～18 个色块 的Mean_chroma、Delta_ab_mean、Delta_E_mean，第20～23 个灰阶块的S20、S21、S22、S23，第1～18 个 色块的Delta_h 共8 项指标（用F1，F2，…，F8表示）。为了对比说明该算法的可行性和高效性，同时让一位测试人员手动使用Imatest3.7 Image Sensor 专 业软件分 析原图像色卡的指标值，部分指标测试数据如表2所示。

表2 本次实验部分指标数据Tab.2 Part of the index data of this experiment

在此次实验过程中，统计了通过CIQA 自动提取698 张、人工提取62 张图像色卡获取指标的时间，以及测试人员用Imatest3.7 Image Sensor专业软件分析使用的时间。使用CIQA 自动化成功率是91.84%，完成760 张照片分析的时间缩短为使用Imatest3.7 专业软件的1/4（表3），这两项数据表明自动化明显提高了计算效率并节省了人力。

表3 CIQA 与Imatest3.7 对比说明Tab.3 Comparison description of the algorithm and Imatest3.7

由于在框选色块的过程中，框的大小和位置对于CIQA 与Imatest3.7 分析不能保证完全一致，本文使用相关系数指标R说明两者算法计算数值之间的一致性，相关系数皆大于0.9（表4），说明一致性趋势较好。

表4 相关系数Tab.4 Correlation coefficient

5.3 获取多指标权重

随机选择20 个场景，共计200 组数据用于分析各指标权重，依照画质专家在评测中的先验知识给出指标主观权重分配w1，通过熵权法分析得出指标客观权重分配w2，简单加权平均求取w3=（w1+w2）/2，最后建立离差率最小二乘法模型计算8 个指标的权重值w4，计算结果如表5 所示。

表5 主客观指标权重值Tab.5 Weight value of subjective and objective indicators

5.4 手机相机画质色彩效果排序

经过与画质专家的商讨，F2，F3，…，F8指标越小表示画质效果越好，F1指标越接近100%表示画质效果越好，所以F1指标数据在前期预处理时，采用delta=|F1-100|表示。对于剩余560 组数据，针对不同的机型分别取平均值并归一化处理数据，数据见表6。

表6 各指标平均值（量纲不同）Tab.6 Normalized index data（different dimensions）

采用第4节中对应公式计算相应方案解和加权距离值，对手机方案进行排序，结果见表7。由计算结果可知，相机图像画质色彩和白平衡效果由高到低依次是：C1>C9>C2>C4>C7>C5>C3>C6>C8>C10。

表7 正、负理想解以及各手机画质效果排序Tab.7 Positive and negative ideal solutions and ranking of image quality effects of mobile phones

CIQA 中的F1指标可根据实际需求调整，理论上越接近100%表示画质效果越好。但在手机厂商实际研发过程中，为更符合人眼对场景色彩饱和度高的要求，我们更新目标值为120%，且当F1≥120 时，delta=0，认为效果已满足要求。当F1<120 时，delta=|F1-120|越 小，效果表现越好，其结果见表7 中对比方案2。该结果给出的排名为C2>C1>C9，虽然整体排名略有差异，但是对于选择最佳方案具有一致性的参考价值，且与市场上对手机的评价基本保持一致。如图7 所示，C2手机整体色彩饱和度较高，图片中书本颜色与图片拍摄者实地观察到的颜色相一致，C10手机整体颜色较为暗淡，排名处于最后，C6则处于中间效果。

图7 用于实验分析的图像Fig.7 Images used for analysis

为了进一步证实该方法的可用性，选择目前研究领域中比较经典的2 种评价方法。采用由观测人员给出主观评价分数的评价方法［30］和基于CIE DE2000 公式和印刷行业视觉验证标准提出的评价方法［31］。

基于观测人员给出主观评价分数的评价方法［30］关键在于：评价图像色彩饱和度、图像单色的色彩还原准确性、肤色的准确性和美观性。采用0～9 分评分规则，主要规定得分在7 分以上认为是好，6～7 分为较好，4～6 分为一般，4 分以下为差。在测试中，50 名女性和50 名男性共100 名年龄分布在20～40 岁的志愿者参与评分，对C1～C1010 台手机拍摄的图片给出分数，汇总评价结果，去除2%明显错误的主观评分［31］。观测条件在具有正常照明条件的实验室环境中进行，分辨率为2 560×1 440 的LCD 显示器用于显示图像。

基于CIE DE2000 公式和印刷行业视觉验证标准提出的评价方法［32］关键在于：采用NBS 单元的思想，将DE2000 采用特定公式转换为符合主观感知的客观分数。

上述两种方法给出的排序结果列于表8 中，可以看出，虽然3 种方法最终得到的排序略有不同，排序前3 位是一致的，对于选出最佳的方案并无太大影响。这就意味着本文选取的指标和改进的TOPSIS 方法具有优良的评价可靠性，本算法的判决结果与人眼的主观感知高度一致。

表8 主客观评测的对比Tab.8 Comparison of subjective and objective evaluation

6 结 论

本文提出基于SIFT 与透射变换相结合提取手机相机成像图像中的色卡区域的方法。相较于使用Imatest3.7 专业软件分析替代完全手工分析，自动化率为91.84%，大幅缩短了分析时间。在计算色彩与白平衡还原指标时，构建离差率最小二乘法获取各指标分配权重值，最后基于改进主客观赋权的TOPSIS 算法对手机相机画质色彩效果进行排序。经对比，算法有效性得到了验证。

当然文中也存在不足之处。（1）后续应该增加图像采集环境，多涉及如夜景、光照色温混合等场景；（2）在某些恶劣天气、低照明、图像形变严重等复杂场景下的图像识别暂未涉及；（3）相机画质的评价还涉及噪声、细节还原等指标，可从多维度角度对相机画质做出综合评价；（4）采集不同照度下的目标图像，合并最优特征点，提高自动化率等。后续还需要进一步深入学习与研究。