基于图像分割的局部色盲矫正方法①

何志良, 詹佩真, 李嘉樱, 蔡家荣, 曾晓铭, 张昕



基于图像分割的局部色盲矫正方法①

何志良, 詹佩真, 李嘉樱, 蔡家荣, 曾晓铭, 张昕

(华南农业大学数学与信息学院, 广州 510642)

为提高红绿色盲患者对色彩的分辨能力, 提出一种基于图像分割的局部色盲矫正方法. 首先研究了色盲图像的仿真方法, 然后结合K-means和系统聚类算法对原图像进行分割, 并计算各个区域在色盲图像下LAB颜色空间中的欧氏距离作为颜色相似性的度量, 确定红绿色盲难以分辨的颜色区域, 最后将该区域替换成亮度一致且颜色区分度大的颜色, 从而实现色盲图像矫正的目的. 基于Matlab平台对算法进行验证, 结果表明: 该方法能够改善红绿色盲患者对颜色的分辨能力, 同时在减少对颜色的认知偏差方面优于已有的方法.

色盲仿真; 局部矫正; K-means聚类; 颜色相似性; 亮度因子

1　概述

色盲是由于人体视网膜锥细胞的缺失或者变异, 造成人类颜色辨认障碍的视觉缺陷. 色盲按照临床表现可分为全色盲和二色盲(红色盲、绿色盲、蓝色盲等), 而二色盲又在色盲中占绝大部分比例. 研究表明, 仅红绿色盲在亚洲人的发病率就达到5%[1], 截至2015年末我国大陆人口为13.75亿[2], 现有色盲人数就已经达到六千万. 生活中, 设计人员在设计产品的时候, 难以获取色盲人群的视觉体验, 造成了产品在色盲人群中不友善的用户体验, 使得色盲人群不能有效的工作和学习.

使用图像处理方法进行色盲矫正, 从操作的可行性, 对人体的无害性、安全性上看, 具有很高的价值. 目前, 在色盲图像仿真上, 研究者主要根据色盲患者视觉的三通道建立了图像的色盲模型[3-5]. 而在色盲矫正方面, Si Di等[6]基于多滤光片的颜色滤波器对不同波段的可见光进行捕获, 从而设计出一款特殊的光学透镜对色盲患者的视觉认知进行矫正. Noriaki Suetake[7]等基于C-O效应对图像的亮度进行修正, 从而通过突出图像的对比度来达到色盲矫正的效果. 但该方法对亮度的修正参数需人为确定. Karl Rasche[3]通过对原始图像和矫正图像建立目标函数并求极小值, 对图像进行矫正. 但是极小值不只一个, 当图像颜色较多时, 运算时间将大大增加. Enrico等[4]根据不同的色盲特性设计出四种不同的色度变换模型并植入到可穿戴式设备中, 模型根据不同场景对图像的色度进行变换来提高色盲者的辨色能力. 鲍吉斌等[8]在HSI颜色空间对H分量进行旋转实现了色盲图像矫正, 该方法在提高红色与绿色的分辨度的同时却降低其它颜色的辨识度. 该课题组还提出了SOM神经网络算法[9]和几何变换映射[10]进行图像矫正. 以上方法均对图像进行了全局矫正, 整幅图像的颜色发生了变化. 这种矫正后的图像颜色与色盲患者原先的颜色认知产生较大的冲突, 不利于色盲患者适应. 因此, 本文提出了一种局部矫正方法, 即保留图像中的大部分信息, 仅对辨识度较低的区域进行矫正.

本文从数字图像处理角度对红绿色盲(以下研究方法针对红绿色盲)与非色盲人群的颜色辨识能力进行研究分析, 首先通过建立色盲空间转换矩阵进行二色盲视觉的仿真. 其次, 为了实现图像的局部矫正, 本文使用了结合改进的K-means方法和系统聚类方法进行图像分割, 这种方法保证了每个分割区域在正常辨色视觉中差异足够大. 然后使用色盲转换矩阵对图像进行转换, 判断每个分割区域在色盲视觉中颜色特征的相似性, 区域间的相似性越大, 说明其越难区分. 最后, 通过结合区域面积和亮度因子两个因素, 对图像中难以区分的区域实现局部矫正. 实验结果表明, 此种方式实现的色盲矫正能够达到好的效果并具有实用性.

2　实现方法

2.1 色盲仿真模型

正常人的视网膜上有三种视锥细胞, 分别为L、M、S锥细胞, 它们构成人眼的LMS空间. 视觉系统将人眼吸收到的RGB像素值通过转换变成视锥细胞的吸收信号. 这个从RGB空间转换到LMS空间的过程, 通过变换矩阵U实现, 转换过程如下:

色盲或者色弱是因为三种视锥细胞吸收特性的变异引起的.

对于红色盲, 当RGB空间转换成LMS空间时, 相当于RGB立方体空间的颜色沿L轴方向映射到R=G的颜色面上.

映射表达式如下, 其中T为色盲的投影变换矩阵.

由于色盲视觉沿着L轴方向的颜色都被投射到一点上, 红色与绿色在这个方向上, 所以红色和绿色不能被区分. 同样道理, 沿着M轴投影到R=G面和沿着S轴投射到B=G分别是绿色盲和蓝色盲的颜色面.

LMS是人眼内部的感知空间, 不便于直观的观察, 所以再将其换回RGB空间, 得到如下式子的红绿色仿真模型.

通过上式计算得到, 红色色盲简化模型:

绿色色盲简化模型:

为了使正常色觉人群获得色盲患者的视觉体验, 可以通过图1的步骤实现.

图1 色盲仿真流程图

2.2 色盲图像矫正

2.2.1基于加权K-means与系统聚类结合的图像分割

要实现色盲空间图像的局部矫正, 可以先对色盲图像进行聚类, 然后对图像的每一个区域进行分析, 继而找出需要矫正的区域. 由于不确定图片最终的分类数目, 本文首先使用一种改进K-means算法将图像分成足够多类, 然后用系统聚类算法, 逐步合并K-means得到的个聚类中心.

1) K-均值聚类算法(K-means). 传统的K-means[11,12]会计算所有样本点到聚类中心的距离. 由于数字图像的特性, 在图像处理问题中, 样本集往往存在大量相同的数据. 当计算了一个样本与聚类中心距离的时候, 没有必要对相同的样本点重复计算, 只要乘上该样本对应的权重即可. 因此, 本文提出了一种基于加权和的K-means聚类算法. 算法过程如下:

该算法的目标误差函数即可表示为式(1):

然后根据传统的K-means算法的过程进行迭代, 并在更新聚类中心时, 用式(2)进行代替.

为了降低光照影响同时保留颜色特征, 本文使用Lab颜色空间的分量和分量作为图像分割的特征. 即样本x={a,b}, 其中a,b表示像素分量和分量的值. 表1是使用传统K-means算法和加权和K-means算法对不同大小图组处理的平均时间, 其中每个图组包含10张大小相同的图像.

表1 不同K-means处理时间对比

实验表明, 加权和K-means聚类算法, 在图像分割的处理效率上, 比传统K-means明显更快.

2) 系统聚类算法(Hierarchical Cluster). 系统聚类算法[13]首先把所有样本单独看作一类, 然后根据度量距离对样本逐步合并从而达到聚类的效果. 本文通过改进该方法对K-means的聚类结果进行合并.

具体实现步骤介绍如下:

Step1: 给定收敛阈值<0, 输入K-means得到的个聚类中心作为系统聚类的初始重心;

Step2: 计算不同重心两两之间的欧氏距离, 找出最小的距离. 若<, 转向Step3, 否则, 算法停止.

Step3: 找出最小值对应的两个类别G和G合并为新类, 并根据公式(3)计算新的重心.

3) 图像分割效果图. 以自然图进行图像分割实验, 分别得到图3、图4所示K-means和系统聚类后的结果. 自然原图如图2所示.

图2 自然图像原图

图3 K-means聚类的分割效果

图4所示为K-means聚类后图像分割结果, 由于聚类数目较大, 部分颜色相似的目标, 比如绿色的草地和山丘, 被分到了不同类别. 图5所示, 系统聚类将相似的区域进行合并, 确保了各个分割区域的差异足够大.

图4 系统聚类后的分割效果

2.2.2矫正图像的颜色替换

1) 相似性判断. 图像聚类之后被分成若干区域. 通过判断区域间的颜色相似性, 可以找出色盲人群难以辨别的颜色区域.

Lab颜色空间是一种基于生理特征的均匀的颜色系统. Lab色彩模式色域宽阔, 人类肉眼所能感知到的色彩都能通过Lab模型表现出来, 这使得Lab颜色空间更加适合人类视觉系统的颜色相似性[14-16]度量.

以每个分割区域的颜色聚类中心代表该区域的颜色, 通过两两计算区域间的颜色相似性, 得到一个相似性度量矩阵. 矩阵元素(,)表示区域和区域在LAB颜色空间的欧氏距离, 即:

(,)值越小表明两种颜色相似性越高, 即越难区分. 最后, 给定阈值, 当(,)<时, 以区域包含的像素点代表区域的面积, 通过比较两个区域包含的像素点数目, 确定出包含像素点少的区域即为需要替换颜色的区域.

2) 多因子选择的颜色替换. 假设矫正区域原来的颜色为A, 用于替换的颜色为B, 为了有效地替换[17]和得到对色盲者更友好的颜色, B颜色满足以下条件:

第一, B颜色必须与图像中其他区域的颜色不相似. 即B颜色与其他区域颜色的距离d都必须大于阈值. 这样可以保证色盲人群能够区分出该区域.

第二, B颜色与原A颜色的亮度一致. 本文使用YUV颜色空间的Y分量判断颜色亮度, 将Y分量划分为多个亮度等级, 选用与A亮度等级一致的B颜色进行替换.

3　系统实现与测试

本文基于Matlab平台, 开发色盲矫正系统, 色盲矫正实现的过程如图5.

图5 矫正算法流程图

针对红色盲、绿色盲这两种二色盲情况, 选用了10张红绿色盲测试图、10张红绿为主色调的自然图像, 分别对色盲测试图以及自然图像进行了色盲仿真和矫正测试, 并把测试结果与基于H分量旋转120度以及基于图像几何变换映射的矫正方法[8,10]得到的图像进行对比.

(a) 原始图像 (b) 色盲仿真图像

(c)局部色盲矫正图(d)旋转H分量色盲(e)几何映射矫正图

图6 测试结果图一

图7 测试结果图二

图6(a)、图7(a)为色盲测试原始图像. 图6(b)、图7(b)为红二色盲的仿真图像, 可以看到红二色盲对图6中的数字“6”识别度较低, 完全无法辨别图7中的红花. 图6(c)、图7(c)是在本文方法得到的色盲矫正图像, 可以看出色盲患者能够准确识别矫正后图像中的数字“6”, 准确识别了自然图像中的红花, 矫正后的图像保留了大部分的原图像信息. 图6(d)、图7(d)为采用旋转H分量法得到的色盲矫正图像, 图6(e)、图7(e)为采用图像几何映射得到的色盲矫正图, 两者虽然达到让色盲患者辨别图像基本信息的目的, 但是都是在一定程度上改变了整体图像的颜色, 不利于色盲患者对真实颜色的认知.

4　结语

本文提出了一种基于图像分割和多因子选择颜色替换的色盲局部矫正方法, 首先将原图分割成多个区域, 然后对每个区域进行比较, 从而实现了色盲图像的局部矫正. 实验表明, 该方法对图像的颜色信息改变较少, 在保留了图像大部分信息的情况下针对性地实现了图像矫正的目的, 有效地降低色盲人群对于真实颜色的认知偏差.

然而, 由于该方法的实现使用了K-means算法对图像进行分割, 当图像较大时, 算法的速度较慢. 因此, 接下来的主要工作是选取更快的图像分割方法进行研究.

1 Birch J. Worldwide prevalence of red-green color deficiency. Journal of the Optical Society of America, 2012, 29(3): 313–320.

2 国家统计局.2015年国民经济和社会发展统计公报. 2016-02-29.

3 Rasche K. Detail preserving reproduction of color images for monochromats and dichromats. IEEE Computer Graphics and Applications, 2005, 25(3): 22–30.

4 Tanuwidjaja E, Huynh D, Koaet K, Nguyen C, Shao C, Torbett P. Chroma: A wearable augmented-reality solution for color blindness. 2014 ACM International Joint Conference on Pervasive and Ubiquitous Computing. UbiComp’14. New York. ACM. 2014. 799–810.

5 Brettel H, Vienot F, Mollon JD. Computerized simulation of color appearance for dichromats. JOSA A, 1997, 14(10): 2647–2655.

6 Di S, Jin J, Tang G, Chen X, Du R. The fabrication of a multi-spectral lens array and its application in assisting color blindness. International Journal of Optomechatronics, 2016, 10(1): 14–23.

7 Suetake N, Tanaka G, Hashii H, Uchino E. Simple lightness modification for color vision impaired based on Craik-O’Brien effect. Journal of the Franklin Institute, 2012, 349(6): 2093–2017.

8 鲍吉斌,汪源源,马煜,顾晓东.基于H分量旋转的色盲矫正方法.生物医学工程学进展,2008,29(3):125–130.

9 Ma Y, Gu X, Wang Y. Color discrimination enhancement for dichromats using self-organizing color transformation. Information Sciences, 2009, 179(6): 830–843.

10 王恩,马煜,汪源源.基于图像几何变换映射的色盲矫正方法.生物医学工程学进展,2011,32(2):63–67.

11 毛韶阳,林肯立.优化K-means初始聚类中心研究.计算机工程与应用,2007,43(22):179–181.

12 张靖,段富.优化初始聚类中心的改进K-means算法.计算机工程与设计,2013,34(5):1691–1694.

13 Martiana E, Rosyid N, Asgusetia U. Document search enginee based on automatic clustering. Telkmnika, 2010, 8(1): 41–48.

14 杨振亚,王勇,杨振东,王成道.RGB颜色空间的矢量-角度距离色差公式.计算机工程与应用,2010,46(6):154–156.

15 盾绍坤,魏海平,孙明柱.RGB颜色空间新的色差公式.科学技术与工程,2011,11(8):1833–1836.

16 杨康叶,邬春学.基于RGB模型颜色相似性的彩色图像分割.计算机系统应用,2013,22(3):128–131.

17 Tanuwidjaja E, Huynh D, Koaet K, Nguyen C, Shao C, Torbett P. Chroma: A wearable augmented-reality solution for color blindness. Brush AJ, eds. UbiComp ’14 Proc. of the 2014 ACM International Joint Conference on Pervasive & Ubiquitous Computing. NewYork. ACM. 2014. 799–810.

18 Wachtler T, Dohrmann UR. Modeling color percepts of dichromats. Vision Research, 2004, 44(24): 2843–2855.

Partial Rectification Method of Color Blindness Based on Image-Segmentation

HE Zhi-Liang, ZHAN Pei-Zhen, LI Jia-Ying, CAI Jia-Rong, ZENG Xiao-Ming, ZHANG Xin

(College of Mathematics and Informatics, South China Agriculture University, Guangzhou 510642, China)

In order to improve red-green color blindness’ ability of distinguishing colors, this paper introduces a partial rectification of color blindness based on image-segmentation. An emulation method of color blindness is studied first; then the original image is segmented by K-means cluster algorithm and Hierarchical cluster algorithm. Then, it calculates Euclidean distances of each region in LAB Color Space as the metric of color similarity, and confirms which color regions are hard to distinguish by red-green colorblindness. Finally, the region is replaced by other color with the same brightness and a higher degree of differentiation. With the test of the algorithm on Matlab platform, the result shows that this method can improve color blindness’ ability to distinguish colors and it performs better than other existing methods in reducing cognitive deviation of color.

achromate simulation; local rectification; K-means clustering; color similarity; brightness factor

2015年广东省创新创业基金(201510564287)

2016-07-02;

2016-08-29

[10.15888/j.cnki.csa.005691]