基于FPGA的光照不均水果图像增强方法研究

栗文静，梁 颖，周瑞云

（合肥城市学院 机械与电气工程学院，安徽 合肥 230601）

随着光学传感技术和图像处理技术的发展，及机器视觉、智慧农业、物联网技术的应用；图像处理技术可应用于自动采摘、水果分级、无损检测等方面[1]；由于图像拍摄受到光照条件和天气等因素及由于光线遮挡造成光照不均的影响，采集的水果图像可能出现局部区域对比度不足，由于光线不均，会造成背光侧、向光侧灰度值偏差过高，造成背光侧图像信息提取的偏差[2-3]。另外由于有些水果表面光滑、纹理致密，图像上可能出现局部反光和高光现象破坏图像信息。有些水果的生物特性会因自然光照的变化导致图像颜色特征值的变化，以上都会造成特征提取、图像分割、目标识别的误差[4-5]，因此，研究光照不均图像的有效增强方法，削弱光照条件的影响，具有重要意义。传统伽马校正对于光照均匀的图像能取得较好的补偿效果，但对于光照不均图像易出现边界不清晰的现象，且伽马校正为全局处理，不可根据图像的不同亮度区域自适应调节。基于此，对伽马校正算法进行了改进，验证结果表明了方法的有效性。

1 伽马校正

1.1 伽马校正理论

人眼感知光源亮度信息是通过三种视锥细胞进行的，但视锥细胞并非线性感光，即如果均匀提高光的能量，人眼感知的光强并非均匀提高；另外，相机或显示屏也存在非线性反应的现象，像素的亮度跟输入的图像电压并不是成线性关系，而是幂指数关系。由以下公式表示：

其中，γ为伽马校正值，通常A取1。这就导致人眼感知的图像或显示器显示的图像与摄像设备捕获的实际图像不一致，为了补偿此差异，只需要进行上述非线性变换的逆变换即可实现校正，具体算法可通过对RGB每一个色彩空间进行伽马校正来解决。

采用不同的伽马校正值可以取得不同的效果，γ取不同值时的伽马曲线如图1所示。γ小于1时，伽马校正可以提升图像的亮度，γ大于1时则降低图像的亮度，因此伽马校正也常可用于调整图像对比度，达到图像增强的功能。

1.2 改进的伽马校正

由以上可知，伽马补偿的校正值不可根据图像对比度自适应调节，对于光照不均匀的图像，在明亮部位和高光的处理效果欠佳，导致信噪比和动态范围降低。对此很多研究改进了伽马算法，提出了非线性伽马校正，通过建立γ校正值和像素值间的关系，实现γ值依据不同像素值自适应校正[6]。分段伽马校正，即按照灰度级范围划分成若干区域，在不同区域采用不同的伽马校正值，但易造成区域边界模糊。根据光照反射模型，图像亮度由光照分量和反射分量共同决定，提取光照分量[7]，使光照分量参与γ值的产生，从而实现针对图像本身不同亮度局域自适应地增强图像，为达到更好的增强效果，在此基础上提出了多尺度高斯函数分离光照分量的方法[8-9]，算法复杂、计算量大。

本设计对伽马校正进行了改进：依据图像对比度和亮度有关，和色度、饱和度无关的特点；而图像亮度和灰度直接相关，因此可采用在HSV颜色空间下分离出亮度分量V，对整幅图像像素的不同亮度级进行直方图统计[10-11]。用函数表示如下：

其中，k为图像中的k级亮度值；nk为第k级亮度值的像素个数。

之后，用每个nk除以像素总个数N，得到每一亮度级的概率统计：

其中，∑p(k)=1

利用p（k）调整伽马校正值γ，改进的伽马函数如下：

式中，o（x，y）为伽马校正后输出图像的亮度分量，I（x，y）为原始输入图像的每个像素灰度值，γ为伽马校正值，其中包含了图像不同亮度级分量的概率。

2 图像增强流程

基于以上改进方法，光照不均情况下的图像增强[12-13]流程如图2所示，首先对原始图像进行RGB至HSV的色彩空间转换，提取亮度分量V，之后对亮度分量V进行直方图统计，利用不同亮度统计概率参与实现亮度分量的伽马校正V’，之后V’再和之前的H、S分量合成完整的校正图像，最后再进行一次色彩空间逆变换，转回RGB色彩空间。

图2 图像增强流程

2.1 色彩空间转换

HSV颜色模型反映了人类视觉系统观察彩色的方式，H代表色度，S代表饱和度，V代表亮度，其反映了图像的亮度和灰度。因图像呈现出的光照不均现象反映了图像亮度值的不均衡[14]；基于此，设计把采集的原始图像从RGB颜色空间转换HSV颜色空间，分离出V亮度分量。图像增强处理后，还需要完成HSV转RGB色彩空间。

2.2 自适应校正值的产生

在HSV色彩空间，保持H、S分量不变，只对提取的图像亮度分量V的每个灰度级进行灰度直方图统计[15]，灰度级数为256，计算每个灰度级的像素占整个图像像素总数的概率[16]。此比值参与伽马校正的校正值γ的产生，如公式（4）所示。

2.3 伽马函数实现图像增强

利用上述产生的伽马校正值对亮度分量V进行伽马校正，实现根据原始图像亮度自适应的图像增强；之后再将各分量合并形成新的图像，把HSV颜色空间模型的图像转换回RGB色彩空间[17]。

3 图像增强实现

3.1 FPGA的优势

FPGA是一种可编程逻辑器件，具有丰富的逻辑存储资源，处理速度快，动态配置灵活而应用广泛；因其并行性、可编程性和高集成性的特点，在图像数据实时处理领域有着独特优势，能够大大提高图像处理速度。目前，基于FPGA的数字图像处理技术在图像压缩、拼接、分割、融合及视频影像的实时处理、高速计算等方面有较大发展，特别是在对实时性要求较高的应用领域[18]。

3.2 基于FPGA的图像增强平台

利用FPGA平台实现基于伽马校正的图像增强处理[19]。发挥FPGA在图像处理方面的优势，系统总体框如图3所示。FPGA芯片为Xilinx Artix-7系列，系统时钟为50MHz，图像传感器采用CMOS OV5640，软件平台为vivado2019.1，图像处理结果通过VGA显示。

FPGA对图像传感器寄存器进行初始化配置，CMOS传感器即持续输出图像数据流，采集的数据先存入DDR3进行缓存，DDR3控制器通过例化IP核实现。为便于提取图像亮度分量，需要进行RGB转HSV色彩空间的转换，随后对图像进行V分量的Gamma校正处理，降低外界干扰因素尤其是光线影响，提高图像质量[20]，使整幅图像亮度均匀，最后再从HSV转回RGB色彩空间，处理后的图像通过VGA模块显示。

4 实验与分析

为验证算法效果，先进行仿真测试，选取光照不均条件下的水果图片利用matlabR2022a软件读取图像像素数据文件后，在vivado 2019.1平台采用改进算法进行图像增强仿真，并将处理后的仿真数据文件导出，由matlab软件进行图像显示，并绘制了校正前后的直方图，便于对比校正前后效果，结果如图4所示。

仿真结果表明，针对因树叶、树枝、果梗等遮挡出现阴影，引起图像光照不均的情况，利用本方法进行增强处理，从处理前、后的图像效果对比可知：经过校正处理的图像高亮区域和阴影区域有明显的改善，高亮区域的亮度有所降低，阴影区域亮度有明显提升（如图4a、4b葡萄、无花果图像增强前后效果）；从处理前后的直方图表明经本方法处理后直方图分布也更均衡。

之后使用FPGA系统平台，通过CMOS OV5640采集有阴影及高光情况下的苹果、橙子图像，采用改进的伽马校正方法进行增强处理，OV5640的分辨率设置为640*480，帧率为45fps。采用改进校正方法与普通伽马校正方法进行对比分析。图像增强前后效果如图5、6所示。

图5 阴影和高光的苹果图像增强结果

图6 阴影和高光的橙子图像增强结果

实测结果表明，由于光照不均造成水果表面出现反光、高光、阴影的水果图像利用本方法进行增强处理后，从处理前后的图像效果（如图5c、6c苹果、橙子阴影增强图像）可知，经校正后苹果、橙子阴影区域亮度明显提升，阴影范围缩小，细节更清新，与普通伽马校正效果（如图5b，6b）对比，改进算法有更好的改善效果。高光图像的处理结果表明：表面反光区域的亮度有所降低（如图5f、6f苹果、橙子高光增强图像），整体图片亮度更均衡。与普通伽马校正效果（如图5e、6e）对比可知，高光和其他区域都得到一定改善，整体亮度更均衡。本研究可为水果分级、无损检测、自动采摘的目标定位等领域的应用打下图像前期处理基础。

5 结语

针对光照不均影响下的水果图像质量不佳，影响特征值提取的情况，改进了伽马校正算法，先完成RGB到HSV色彩空间的转换，再提取亮度分量，并利用亮度分量占整幅图像像素的比值参与伽马校正值的生成，实现伽马校正处理，使算法可依据不同像素亮度针对性地自适应增强图像。系统采用FPGA平台实现，利用其并行处理特性提高算法处理速度。实验结果表明此方法有效地均衡了图像亮度，可应用于光照不均情况下的水果图像增强处理。