石 龙,罗 山
(攀枝花学院智能制造学院,四川 攀枝花 617000)
从发生原因来看,色盲分为先天性色盲和后天性色盲两类,先天性色盲具有遗传性,从色觉缺陷程度分类,分为全色盲和半色盲[1]。在半色盲患者中,红绿色盲最为常见。色盲人不仅在日常生活中有很多不便,也不能正确识别信号灯颜色状态等信息,从而导致红绿色盲患者在通过路口时易发生交通事故,存在着巨大的交通安全隐患。学者不断提出一些方法和技术手段以改善色盲患者的困境,薛惠文[2]提出一种基于数字图像处理为辨色障碍人群设计的智能导航手环,朱宇明[3]提出基于图像处理的色盲辅助驾驶系统,王恩等[4]提出一种嵌入式色盲图像处理系统。针对现有技术存在一定的不足,本文提出一种基于图像处理的嵌入式色盲导视系统,以高效的嵌入式处理器和图像处理算法为核心,实现实时地色盲导视,提高了系统的实时性和可行性。
图像采集采用市面上的微型摄像头并配备ARM处理器,数字摄像头可直接对影像捕捉并压缩传输,所以本系统采用数字摄像头来实时采集图像并将图像信息传送到嵌入式系统处理器,处理器对图片进行处理。当所采集图像不能识别到红绿灯时,系统会发出指令,使采集模块重新采集。此外,图像采集时摄像头应满足实时性,高清晰度,图像传输速率快等条件。
摄像头在采集图像时会受到自然环境的天气、光照强度等因素影响,实际所得到的图像所展示的信息特征会不明显且会有各种噪声信息,如高斯噪声、椒盐噪声、胡椒噪声等,使得实际图像的质量和效果都变差。因此需要对采集到的图像进行去除噪声处理和增强处理。
图像去噪方法主要有两种:空间域法和变换域法。空域图像去噪主要是处理像素的灰度值,一般分为线性和非线性两种,均值滤波是线性滤波,该方法对去噪图像进行卷积处理时会导致图像模糊。这里采用非线性中值滤波对椒盐噪声有良好的滤除效果,在降噪的同时还能保护图像边缘不会被模糊[5]。
数学形态学的基本原理是利用集合的方法使图像数据简化,利用已知的结构元素在原图像中不停的移动,对目标图像进行形状和结构等方面的分析和处理。腐蚀、膨胀、开运算和闭运算是数学形态学的四种基本运算,主要用于对图像进行滤除噪声、特征提取、边缘检测等。本例基于二值图像的形态学处理,相关公式如下[6],其中A为二值图像,B为结构元素。
1) 腐蚀运算AΘB=∩{A-b|b∈B}
2) 膨胀运算A⊕B=∪{A+b|b∈B}
3) 开运算AοB=(AΘB)⊕B
4) 闭运算A·B=(A⊕B)ΘB
经处理后的图像中仍含有一些干扰项,需要从一幅图像中定位出信号灯的位置,才能对信号灯进行后续转换颜色等操作。信号灯的主要特点是整体布局颜色较深,形状特征固定且较为明显,分为横向和纵向两种。一般对信号灯以上特征进行阈值分割来实现信号灯的定位。
利用原图像的R、G、B三个分量值求颜色方差s,结合已知的方差阈值T对图像进行分割操作,将分割后的图像与信号灯的外部边框长宽比和圆度进行比较,对提取的候选区域进行筛选,对信号灯的边缘进行检测,确定出红绿灯的位置。其方差阈值分割公式[7]为:
(1)
(2)
(3)
式中,s为方差;T为方差阈值;Bi为分割后图像的像素值。
红绿信号灯的定位效果如图1所示。
图1 红灯和绿灯定位效果
由于HSV色彩空间受照明度的影响不大,同时H、S、V三个分量相互独立,有利于设置各颜色的分割阈值,所以把已经定位的信号灯图像转换到HSV颜色空间。图像经归一化处理后,由信号灯红、绿色对应的参数阈值范围进行信号灯颜色状态判别。信号灯三种颜色的阈值范围见表1[8]。
表1 HSV颜色特征参数阈值分布
由表1可以知,系统根据色相、饱和度、明度三个参数值所在的范围判断信号灯的颜色状态,颜色信息判断结果见图2。
图2 信号灯颜色状态判断
红绿色盲障碍颜色见表2。
由表2可知,需将信号灯颜色转换成红绿色盲人能够辨别的颜色。本文把信号灯红色转化为蓝色、绿色转化为蓝紫色,以便红绿色盲能清晰的识别信号灯颜色状态。在RGB颜色空间中提取出红色和绿色的直方图,根据已知范围定义出蓝色的RGB各分量值和蓝紫色的RGB各分量值,从而实现信号灯红色转换为蓝色、绿色转换为蓝紫色,原图和转换后的图如图3所示。
图3 信号灯颜色转换
微型耳机搭载连接到眼镜框架上,将耳机和以眼镜为载体色盲导视系统相连接。经过系统对信号灯图像进行预处理去噪、定位、颜色识别与转换操作之后,红绿色盲患者基本能看到处理后色盲可视的信号灯色,再通过耳机将信号灯状态信息传输给佩戴该色盲导视辅助眼镜的患者,以语音播报的形式对佩戴者进行相应的提醒。在音量控制方面,由于不同的佩戴人群对音量的大小有着不同的要求,在连接位置可通过滑动装置控制电流的大小进而控制声音的大小,避免出现听力不便者听不见,听觉灵敏者觉得声音太大的情况。同时通过与图像显示集成的技术相结合,在视觉和听觉上能同时接受到前方红绿灯的情况。
本系统由图像信息采集、图像信息处理、信号灯定位、信号灯颜色判断与转换、语音与显示五个模块组成。其工作流程如图4所示。
图4 系统工作流程
本系统由眼镜、微型摄像头、嵌入式处理器、语音提示和显示成像屏五个部分构成。图像采集模块采用摄像头来对红绿灯情况进行采集,其中摄像头应具备防水、体积轻小、实时性高、像素高、价格便宜的特点。图像处理与识别模块采用嵌入式处理器和MATILAB程序进行处理与控制。显示和语音提示模块主要考虑价格低廉、传输速度快和体积小等要求。其中嵌入式处理器的选择尤为关键,应满足成本低、体积小、功能齐、运算效率高、低功耗、实时性等特点,以便系统能够及时准确地处理信息。常见的处理器如表3所示。
表3 常见处理器对比[10]
本系统拟采用ARM处理器,其成本低、使用范围较广、功耗低、体积小,满足设计要求。图像处理采用MATLAB软件进行图像去噪、定位、颜色转换等操作,然后反馈给处理器,进行后续的显示成像和语音提醒功能的指令下达。显示和语音提醒模块,显示采用LCD显示屏,语音提示采用科大讯飞语音,其包含多种语言,声音柔和贴切。
系统概念模型如图5所示。图像采集和处理模块位于眼镜右框前段,语音提示模块设置在眼镜右边框后靠近人体耳朵的位置,便于使用者听见。
图5 系统概念模型
为改善色盲患者、特别是红绿色盲患者的视觉能力,设计了一种基于图像处理与ARM处理器的嵌入式色盲导视系统。系统以眼镜为载体,主要包括图像采集、图像处理与识别、显示和语音提示模块。具有结构简单、识别度高、成本低廉、体积小等特点,特别是能很好地帮助红绿色盲人安全快速地通过红绿灯交叉路口。但因结构简单,算法性能不高,对于复杂场景不能有效地对红绿灯进行识别,还需进一步改进和完善。