一种基于视觉系统的宽动态处理方法

刘晓华，付秀华，田野，黄盛锋，舒伟平

（1.长春理工大学 光电工程学院，长春 130022；2.广东光阵光电科技有限公司，广东东莞 523660）

随着摄像机技术和视频监控技术的不断发展，人们发现在某些自然场景下拍摄一幅高质量的图像依然不是一件容易的事情。这是因为自然光线的动态范围很大，并且场景中会同时存在高亮度与低亮度的景物。当使用摄像机对同时包括高、低亮度的区域进行取景时，输出图像在高亮区域由于曝光过度成为一片白色，而在阴暗区域因曝光不足成为一片黑色，从而导致该场景的细节信息无法被准确记录。造成这种现象的原因在于普通摄像机的成像缺陷，也就是通常所讲的动态范围不足。因此宽动态技术应运而生，专门用来扩大相机的动态范围，让摄像机在非常强烈的对比下依然能够看到影像的各种细节信息。由于宽动态技术能够有效的提高摄像机拍摄功能，提高自然场景的成像质量，在视频监控、遥感测量、军事侦察等方面有广泛的应用[1-3]。

为了解决这个问题，国内外的研究人员提出了大量关于宽动态的解决方法。目前基于软件的宽动态处理方式，主要包括三种模式：色调映射法、多曝光图像直接融合法和单幅图像扩展法。

色调映射法的主要思想是将多曝光图像序列通过辐照图重建合成一张高动态范围图像，再经过色调映射的方法将其压缩成8bit的格式。Mann等人在1995年第一次提出用多张不同曝光度的图像来合成图像，并用幂指数函数来模拟光照响应曲线的方法[4]。多曝光图像直接融合法的主要思想是针对某一场景，在很短时间内用不同曝光量得到一组低动态范围图像，再使用一定的融合算法将这组低动态范围图像融合成一幅宽动态范围图像[5]。色调映射法和多曝光融合法均需要用普通相机对同一场景以不同的曝光方式采集多次数据，然后进行处理，算法大都比较复杂，实时性无法得到满足。

单幅图像扩展法不需要对场景进行多次拍摄，主要通过拉伸单幅图像对比度的方式使得整幅图像质量提高，获得更丰富的细节信息，实现宽动态的目的。其中基于直方图变换的增强技术是一种比较简单的算法，但也存在明显不足，为此许多学者提出了大量改进的直方图均衡化方法[6-8]。这些方法对范围比较窄的直方图有比较好的效果，但也增加了不少噪声。对比度增强也是一种常用的方法，Hyun等人提出的全局对比度增强方法，通过将原图像直方图调整为均匀分布来增强图像的对比度，但这种方法不考虑局部细节信息，导致某些信息模糊或丢失[9]。Celik等人使用像素的领域信息来提高图像对比度，虽然效果不错但计算复杂度较高[10]。Jobson等人采用多种不同的单尺度Retinex来提高图像质量，但整个过程中参数设定复杂，而且通过多尺度卷积进行计算，使得运算复杂度较高[11]。

在这些宽动态方法中，单幅图像直接扩展法不需要增加硬件设备，主要通过后期软件处理的方式来扩展图像的动态范围，因此应用范围更广，越来越受到消费者的喜爱。但这类方法也存在一些缺点：复杂度低的方法往往只对某些特点场景图像有效；复杂度高的方法适应范围较广，但实现步骤较多、计算复杂，无法做到实时处理。

针对现有宽动态方法的不足，提出一种基于视觉系统的宽动态处理方法。此方法只使用当前场景的一帧图像信息，根据人眼视觉系统特点制定一个两层宽动态处理机制：第一部分用经典压缩公式Naka-Rushton方程表示入射光信号；第二部分通过像素邻域信息对光信号进行调节，使之更好的符合人眼视觉系统的特点。

1 基于视觉系统的宽动态处理方法

1.1 颜色空间变换

首先对指定场景拍摄一副图像，得到该场景的RGB颜色空间图像。众所周知，自然界中任何一种色光都可由R、G、B三基色按不同的比例相加混合而成，当三基色分量都为0时混合为黑色光；当三基色分量都为255时混合为白色光。RGB颜色空间采用物理三基色表示，适合彩色显象管工作，然而这种表示方法并不符合人眼的视觉特点。为了更符合视觉系统的特点，首先将图像从RGB颜色空间变换到YUV颜色空间，变换公式如下：

在YUV颜色空间，亮度信息Y和两个色度信息U、V是完全分离的，所以这种颜色表示方法更符合人眼的视觉特性。

1.2 基于视觉系统的宽动态方法

人眼视觉系统（Human Visual System，简称HVS）主要由视网膜组成，包含三个功能层：感光层、外网层、内网层。感光层主要负责光信号的转换、传递、压缩处理。这里本方法将需处理的光信号分为两部分：入射光信号、外网层基于邻域反馈的光信号。

第一部分入射光信号用经典压缩公式Naka-Rushton方程表示：

其中,x是输入变量，y是输出结果，a是环境因子是一个大于0的正数。

公式2的曲线示意图如图1所示，图中显示了环境因子a取不同值时的曲线，可以得出一个规律：在输入变量x属于[ ]0,1区间时，a越小，y提升越大；a越大，y提升越小。

图1 Naka-Rushton方程曲线示意图

第二部分外网层基于邻域反馈的光信号，其中的反馈是对第一部分起调节作用，这是由于人眼在暗的地方进入亮的地方有个适应过程，或者在亮的地方进入暗的地方也有个适应过程，整个过程就是一个逐渐反馈适应的过程。用公式（3）来表示这个过程：

公式3的曲线示意图如图2所示，图中显示了环境因子a取不同值时的曲线，也可以得出一个规律：在输入x属于[ ]0,1区间时，a越小，y提升越小；a越大，y提升越大。这个变化规律和公式2的变化规律正好相反，起到一个反向调节平衡的作用，正好符合人眼的视觉特性。

图2 外网层基于邻域反馈的方程曲线示意图

综合公式2和公式3可以得到一个模拟的两层视觉系统，也即提出的最终宽动态变换公式：

从图3可以看出，通过对a进行不同的取值，输出y与输入x形成由多簇类伽马曲线组合的非线性关系。在输入变量x属于[ ]0,1区间时，a越小，y提升越大；a越大，y提升越小。

图3 宽动态变换方程曲线示意图

环境因子a的取值直接决定了输出结果，也决定了宽动态图像的视觉效果。为了减少一些奇点的干扰，通过像素的领域信息来计算环境因子，而且为了符合人眼视觉特性，并结合采用YUV颜色空间的亮度分量信息Y，公式如下：

其中，G是一个7×7的高斯模板，是亮度信息Y的均值，∗表示卷积运算。

每个像素的环境因子都是通过亮度分享信息Y和高斯模板的卷积得到，说明在计算当前点时不光考虑了本像素的信息，而且考虑了该像素周边的领域信息，这样做有三个好处：一是在暗区域部分，能够还原信息；二是在亮区域部分，能够部分抑制强光，减少光晕的影响；三是针对中间区域进行有效拉伸，从而获得更大的动态范围。

1.3 算法的具体步骤

综上，一种基于人眼视觉系统特点的宽动态方法具体步骤如下：

（1）将图像从RGB颜色空间变换到YUV颜色空间；

（2）通过公式5使用亮度分量信息Y的像素领域信息计算每个像素的环境因子；

（3）把每个像素在RGB颜色空间的三个分量(R,G,B)依次当做输入变量x，用公式4计算新的输出结果y，然后组合成新的图像 (R′,G′,B′)。

2 实验结果和分析

为了验证基于人眼视觉系统特点的宽动态方法的有效性，选择在一台处理器为3.20GHz的Intel（R）Core（TM）i5-4460 CPU、内存4GB、32位操作系统，在VS2005平台上进行宽动态对比实验。

文献[6]提出的直方图均衡化（简称HE）、文献[11]提出的多尺度Retinex（简称MSR）都是比较经典的宽动态方法，这里用它们做对比，论证基于视觉系统的宽动态处理方法的有效性。

首先比较算法的时间效率，选择了图像大小分别为360×300、760×500、1024×768的三组数据集进行实验，统计所需时间，如表1所示。

表1 各种算法的处理时间对比（单位：秒）

从表1可以看到，直方图均衡化方法所需时间最短，这是因为该方法处理过程最简单。基于视觉系统的宽动态处理方法比直方图均衡化方法稍微长一点，基本属于一个量级，能够用于实时处理。而多尺度Retinex方法则明显需要更长的时间，无法做到实时处理。

接下来选择两种有代表性的场景来对比各种算法的宽动态效果。图4是白天的场景，图5是夜晚的场景。从实验结果可以看到，直方图均衡方法虽然提高了图像的亮度，但降低了饱和度，且细节部分没有得到很好的改善。多尺度Retinex方法在一定程度上增加了某些局部的对比度，但图像的全局对比度没有得到提高，且也存在细节部分不完善的特点。而基于视觉系统的宽动态处理方法图像对比度明显得到改善，细节信息得到还原，有效的扩展了图像的动态范围，同其他两种方法相比拥有更好的视觉效果。

图4 白天场景下各种宽动态方法的对比

图5 夜晚场景下各种宽动态方法的对比

3 结论

根据人眼视觉系统特点制定一个两层宽动态处理机制，解决现有宽动态方法的不足。此方法不需要对场景进行多次拍摄，仅使用当前场景的一帧图像信息就能获得宽动态图像。实验结果表明，处理后的图像在颜色、亮度、对比度等方面均更符合人眼视觉特性，有效的改善了宽动态图像的整体视觉效果，且算法复杂度低，能够做到实时处理。