基于模拟多曝光融合的低照度行人动作图像增强处理设计

徐 沛，沙长涛

(中国电子技术标准化研究院，北京 100040)

0 引言

视频监控行业自2004年启动以来，促进了全国平安城市和科技强劲示范城市的建设与发展。随着多机联网、统一指挥以及分布式管理的辅助，视频监控逐渐实现了数字化的发展[1]。在这样的发展背景下，相关应用领域对于视频监控中图像的清晰度提出了更高的要求。但是，在夜间、阴影等光线较差的地方，会严重地影响到图像的质量，从而导致图像的亮度不均匀、对比度较差、色彩较深，很难实现对视频图像中行人动作的精准捕捉，对图像在视觉呈现上造成严重负面影响，并造成后续计算机视觉处理各项任务时的难度进一步增加[2]。

针对上述问题，相关领域研究人员开展了深入的探究。目前，解决低照度问题的方法主要有直方图均衡处理、Retinex 原理和深度学习等方法。但现有方法计算过程较为复杂，且容易造成过度增强或偏色等问题产生，不仅难以为计算机视觉处理提供帮助，可能还会进一步增加任务难度，进而无法完成各项任务[3]。

模拟多曝光融合技术利用图像处理技术，将同一场景中不同曝光程度的图像融合，从而获得更高质量的图像。基于这一技术的应用优势，本文设计了一种新的低照度行人动作图像增强处理方法。

1 过曝光与中等曝光行人动作图像生成

将提升图像的可视化质量作为处理目标，为实现对其增强处理，需要生成具有多个不同曝光程度的图像，并利用模拟多曝光融合技术实现融合。为了保证融合的有效性，首先要用图像的质量信息熵来衡量低照度行人动作图像[4]。利用这一指标，在像素亮度不足时，增强其曝光度。未达到曝光条件的像素灰度值集合可用下述公式表示：

其中，V(x)表示原始图像的亮度分量；τ表示可实现对曝光度区分的灰度阈值，Q 表示存在曝光度不足问题的灰度集合。在此基础上，得出曝光度无法满足处理要求的像素点信息熵：

其中，E(Q)表示曝光不满足要求的像素点的信息熵；p1表示在集合Q当中每个灰度等级出现的概率。再结合熵值最大化理论，得出低照度行人动作图像最佳曝光率。在获得最佳曝光率的基础上，采用映射方法，对低光照下的图像进行虚曝光，从而获得了相应的成分[5]。把经过以上处理的成分和未改变的成分合并成一个新的图像，再返回RGB 颜色空间，把这个图像当作过曝光的图像。基于上述论述内容，将过曝光图像通过亮度映射函数映射，并得到中等曝光图像。

2 基于模拟多曝光融合的行人动作图像多尺度融合

采用模拟多曝光融合技术，对上述生成图像融合处理。低照度、中等曝光、过曝光三种行人动作图像的融合过程可表示为：

其中，(x,y)表示融合框架表达函数；Yl表示l 层的高斯金字塔系数；Ll表示l 层的拉普拉斯金字塔系数；表示归一化权重；Ek表示行人动作图像，当k为1时，Ek表示低照度行人动作图像；当k 为2 时，Ek表示中等曝光行人动作图像；当k 为3 时，Ek表示过曝光行人动作图像。

根据上述融合过程，对三种图像实施融合处理。在融合的过程中过曝光图像能够展示出更多有效图像信息；低亮度图像对曝光不良区域的增强效果[6]。针对不同的亮度图像，还需要对其亮度权重合理设置，同时为得到合理光照分量，将图像转换到HSV 彩色空间，以此获得亮度分量，完成对行人动作图像的多尺度融合[7]。

3 多尺度融合图像光照分量增强

在完成对图像的多尺度融合后，为进一步改善影像品质，降低光照等因素对影像的影响，以获得更精确的图像信息，还需要对多尺度融合后图像的光照分量增强处理[8]。将原始图像的光照分量设置为O(x,y)，分三份输出光照分量，其中输出一O1(x,y)为原始分量；输出二O2(x,y)为Gamma 校正后的分量；输出三O3(x,y)为CLAHE 校正分量。将三组分量细化特征加权融合，再得到融合后的光照分量。在这一过程中，基于Gamma算法具有很好的边缘保持性能，实现对图像噪声的抑制[9]。再通过CLAHE 算法在滤波平滑处理的过程中，将亮度分解与反射分量相乘，达到增强分量的目的[10]。

4 图像去噪与细节增强处理

在完成对多尺度融合图像光照分量增强处理后，为了提高图像质量，对图像中的噪声过滤，并对细节部分做增强处理[11]。由于光照环境和成像技术等因素的影响，造成了行人动作图像当中存在着较多的噪声[12]。图像反射成分是通过将图像的亮度除以图像的光照成分而获得的，其中包含了图像中的大部分原始细节特征及图像中的噪音[13]。一般的低照度行人动作图像在经过上述增强之后，都会出现细节缺失的情况[14]。为了更好地突出图像的细节，消除噪声，结合形态学理论，去噪和提高图像细节[15]。针对反射分量的去噪，可用下述公式表示其形态学操作：

其中，Rdenoise表示反射分量去噪函数；R 表示存在噪声的反射分量；T 表示直线型结构元素。在完成上述操作后，为了进一步增强图像细节，选择一个规格为5×5 的结构元素图像，利用该图像对经过上述处理的图像做膨胀、腐蚀、开和闭的运算操作，以此达到增强图像中细节结构的目的，从而使图像能够展示出更多信息。

5 处理效果实验对比分析

为验证基于模拟多曝光融合的低照度行人动作图像增强处理方法的应用可行性，将该方法作为实验组，将传统的基于Retinex理论的处理方法和基于深度学习的处理方法分别作为对照A组和对照B组。利用三种处理方法对相同的低照度行人动作图像增强处理。实验中所选择的低照度行人动作图像为某小区监控摄像头拍摄到的图像画面。

获取到的图像均为在夜晚以及在阴影部分拍摄的内容，充分符合低照度特性。将获取到的5 幅低照度行人动作图像分别编号：JPG-#1、JPG-#2、JPG-#3、JPG-#4 和JPG-#5。严格按照三种处理方法的实施步骤，完成对图像的处理。为实现对三种处理方法客观评价，选择将处理后图像的亮度失真作为评价指标，该指标可通过下述公式计算得出：

其中，LOE表示处理后图像的亮度失真系数；m表示低照度行人动作图像中的像素个数；RD(x)表示原始低照度行人动作图像与增强后图像的相对阶差分。在式⑸中，RD(x)又可通过下述公式计算得出：

其中，∅表示异或操作；(L(x)表示某一像素x 在原始图像中的最大取值；L(y)表示某一像素y 在原始图像中的最大取值；L′(x)表示某一像素x 在处理后图像中的最大取值；L′(y)表示某一像素y 在处理后图像中的最大取值；U 表示返回数值，若存在x的取值大于或等于y，则返回值U 为0。根据式⑹，计算得出三组处理方法处理后图像的亮度失真系数LOE。对图像增强效果而言，LOE 的数值越小，则说明其亮度自然性保持越好，亮度失真率越低；反之同理。

以上论述，得出三种处理方法的亮度失真结果，如表1所示。

表1 三种处理方法图像处理效果对比表

由表1 中的数据可以看出，实验组针对五幅图像增强处理后，其图像失真系数均控制在300～330以内，而对照A 组的图像失真系数在400～700 范围内波动，对照B 组的图像失真系数均超过1100。从得出的实验结果对比得出，实验组增强处理方法的亮度失真系数最低，说明图像在经过实验组方法处理后亮度自然性保持良好，亮度失真率得到有效控制。

为了进一步对三种处理方法处理后图像的清晰程度对比，选择将平均梯度作为评价指标，利用这一指标反映原始图像在增强后的清晰度变化。平均梯度的计算公式为：

其中，G(x,y)表示经过增强处理后图像的平均梯度；I 表示像素值；(i，j)表示像素点坐标。平均梯度G(x,y)越高，说明图像越清晰；反之同理。

根据式⑺，以上述五幅行人动作图像的其中一幅为例，将三种增强处理方法处理后图像的平均梯度与原始图像对比，并得到如图1所示的实验结果。

图1 三种增强处理方法处理效果对比图

从图1 所示的柱状图可以看出，三种处理方法比较后，实验组和对照A 组处理方法的平均梯度与原图相比均得到一定提高，而对照B 组处理方法与原图相比平均梯度反而下降，同时实验组在四组数据中的平均梯度值大。因此，通过上述实验进一步证明，实验组处理方法可有效提高图像清晰度。因此，综合上述得出的实验结果证明，本文提出的基于模拟多曝光融合的处理方法不仅能够使处理后的图像保持良好的亮度自然性，同时提升图像清晰度，以此实现对图像视觉效果的综合优化。

6 结束语

本文引入了一种新的融合技术，通过模拟多曝光融合对低照度行人动作图像进行增强处理。在本研究中：

⑴通过生成过曝光与中等曝光图像来提高图像可视化质量；

⑵通过模拟多曝光融合可以实现图像的多尺度融合处理，增强图像光照分量可以使图像保持良好的自然性亮度；

⑶通过过滤图像噪声可以提高图像质量，有效降低失真率。

新方法可以使低照度行人动作图像保持良好的自然性亮度和清晰度，失真率也得到了有效控制，并通过实验的方式验证了该方法的可行性以及应用优势。

在实际应用中，通过本文处理方法的合理使用可以提高行人动作图像在视觉上的展示效果，并提高图像的利用价值，从而更好地为计算机视觉任务服务。在接下来的研究中，将考虑从提高处理效率的角度进一步对该方法优化。