视频图像增强关键技术研究

张棋+吴亚娟

摘要：随着社会的飞速发展，采集保存视频/图像已经成为人类日常生活的一部分。视频图像的质量高低，对人类识别图像对象起着非常重要的作用。为了改善图像的视觉效果，有目的地强调图像的某些特征，增加图像的可读性与可识别性，提出采取融合增强术来提高视频图像的对比度与清晰度，提高图像增强质量。

关键词：图像增强；空间域增强；频率域增强；自增强

中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2014）19-4556-02

Research on Video Image Enhancement Technology

ZHANG Qi， WU Ya-juan

（Computer School of China West Normal University， Nanchong 637009， China）

Abstract：With the rapid development of society，capturing and saving the videos/images has become a part of humans daily life. The quality of the videos/images has played a very important role during humans recognition of the image object. To improve the visual appearance of the video， emphasize on some characteristics of the image purposefully and increase the readability and the identifiably of the image， we have taken a series of mathematical methods and transformed technologies so as to improve the contrast， and the resolution of the videos/images and improve its quality.

Key words： image enhancement； spatial-based domain enhancement； frequency-based domain enhancement； self-enhancement

随着现代社会的飞速发展，各种各样的数码产品如照相机、摄影机等图像/视频采集工具在人类日常生活工作中占据了越来越重要的地位，并且在视频监控、交通检测、卫星监控等方面也起着举足轻重的作用。众所周知，视频图像的质量高低，在一定程度上依赖于硬件设备的好坏，使用通用的视频设备所采集的图像大多数时候清晰度是远远不够的，另外，天气因素也会对采集的图像产生影响。基于这些原因，视频（图像）增强技术具有很强的实用价值。

视频增强是输入低质量视频（图像），经过一系列数学方法和变换技术以提高视频（图像）的对比度与清晰度，改善视频（图像）质量，并产生高质量视频（图像）输出的过程。增强图像的目的是改善图像的视觉效果，针对给定图像的应用场合，有目的地强调图像的整体或局部的某些特性，将原本模糊不清晰的图像变得清晰，或者强调某些感兴趣的特征，将图像中不同对象之间的特征差异明显化，抑制不感兴趣的特征，从而改善图像质量的同时丰富图像信息，加强图像的可读取性与可识别性，以满足不同分析的不同需要。

1 图像增强所面临的问题

图像增强方法是通过一定手段对原图像附加一些信息或者变换数据，有选择性的突出图像中感兴趣的特征或者抑制图像中不感兴趣的特征，以使图像与视觉响应特性相匹配。在图像增强的过程中，并不对图像降质的原因进行分析，而直接对对象进行处理，处理后的图像不一定逼近原始图像。因此，尽管图像增强已经应用于多个领域，在低质量图像上实施增强方法仍然着面临一系列问题。

1） 由于原始图像的低对比度，一般情况下，我们无法从暗背景中清晰地提取到移动对象。同时，如果移动对象的色调与背景色调相似，则许多基于色调的方法将达不到预期的效果。

2） 基于相机传感器对光线的高灵敏度（即高感光度），图像的信噪比通常很低。使用高感光度相机传感器可以在数码照片中产生明显的噪声痕迹。

3） 承载视频信号的信息是一个退化的目标版本信息或者代表三维连续空间的原始的视频信号。这些退化信息是可以作为采集过程的结果，或者速率和格式转换的过程信息处理。

4） 环境信息通常会影响人类对所发生事情的感知与理解方式。因此，在光线黯淡的情况下，由于缺乏背景环境，在夜间视频中处理移动的树，烟雾，雨，或者人们的动作等是很困难的。

5） 帧间的连贯性也必须被保持，即是说，移动对象区域作为连续图像中的权重应被平稳的改变。

6） 即使局部方差很小，低质量图像中的某一像素也可能会变得很重要，例如在一辆正在移动的汽车的头灯与尾灯之间的区域。

7） 使用品质低劣的视频设备，或者采集图像人员缺乏专业知识也会影响图像质量。

2 图像增强传统方法

在图像处理过程中，主要有两类传统的增强图像技术：频率域法和空间域法。空间域法引用图像本身，这类图像处理方法直接对图像像素进行操作。频率域处理技术基于修改通过转换获得的图像的空间频谱。基于这两类基础方法的不同组合的图像增强技术也经常被使用，并且在两种区域里使用同样的增强技术也可得到一致的结果。图像处理过程中，尽管提出了一些图像增强的方法，但是迄今为止，并没有一个关于图像增强算法的统一的规范化的标准。目前可用的增强技术依然是基于存在的视频图像增强方法，即空间域法与频率域法。endprint

1） 空域法

基于空间域的图像增强技术直接对像素进行操作，对图像的灰度进行处理。其主要优点是概念简单易于理解，并且可进行实时操作，同时其计算的时间复杂度较低。但是，另一方面，此类算法缺乏健壮性，无法提供一些细微的需求。

基于空间域的算法可分为点运算算法和邻域去噪算法。点运算算法包括扩展对比度的灰度变换、直方图变换等，其目的是扩大图像动态范围，使图像成像均匀。邻域增强算法可分为图像噪声消除的平滑法和增强边缘的锐化法两类。平滑法可以用于消除噪声却容易引起边缘的模糊，常用算法有均值滤波、中值滤波等。锐化法主要突出物体边缘轮廓，便于识别图像目标，常用算法有梯度法、算子、统计差值法等。空间域法中具有代表性的算法有局部平均值法和中值滤波法，通常 用于去除或减弱噪声。空间域法可定义如下：

[g（x，y）=T[f（x，y）]] （1）

其中，g（x，y）是处理后的图像，f（x，y）是输入的原始图像，T是转换函数，表示对输入图像f（x，y）所进行的操作。

2） 频率域法

基于频率域的算法通常是在图像的某种变换域内对图像的变换系数值进行某种操作，是一种间接增强的算法。频率域法是应用多种变换技术如傅里叶变换，用数字滤波的方法修改图像频谱再进行反变换，从而得到增强图像。

变换域视频增强是一个用于描述关于数学函数的分析或者关于频率信号的技术，并且其直接对图像的变换系数进行操作，例如傅里叶变换，离散小波变换，离散余弦变换。变换域视频增强的基本思想是对变换系数进行操作以达到视频增强的目的。其主要优点包括：计算复杂度较低；易于对图像频谱进行观察与操作；对特殊转换域属性具有简单适应性。当然，它也有一定的限制，不能很好的实时增强图像的各个部分，难以将图像增强进程自动化都是它的缺点。

3 基于融合的图像增强

传统的空间域和频率域视频增强方法仅增强需要增强的视频本身。在采集图像的过程中，一些原始的低质量图像会丢失部分图像信息，在这种情况下，我们并不能使丢失的图像亮度增强。由此我们可对需要增强的图像嵌入一些易获得的高质量外部信息，弥补部分丢失的信息，从而产生一些优质的视频增强效果，以达到增强图像的目的。

1） 帧间亮度融合：基于帧间融合的增强是在低质量视频中融合不同时期视频的亮度信息，这种方法主要是提取高质量背景信息并嵌入到低质量视频中。如何融合高质量多背景信息到低质量视频信息中，是不可忽视的问题，迄今已有许多方法被提出。

2） 场景融合：基于上下文的融合是指插入来自同一场景的高质量信息。例如，克服亮度区域以及模糊细节，增强低能见度视频，通过融合多图像信息增强图像特征。基于上下文的图像增强有许多方法，旨在检测，识别，追踪对象等，被多方应用如监测、军事方面的图像视频处理。基于融合上下文视频增强的主要思想是提取并融合由定点照相机在不同亮度下采集的有意义的视频序列信息。视频增强算法是通过图像融合自动合并同一场景在不同间隔时间内的图像。原始低质量视频中所有重要的信息与在同一视角的高质量背景图像中的信息相结合。融合后的图像包括对人类视觉效果和机器感觉更有用的综合场景描述。主要算法包括Retinex理论，高斯混合模型，融合法等。

基于上下文的视频增强算法提取并维持在增强图像中背景图像的有意义信息。图像融合是现有或将有的监测系统的不可分割的一部分。增强低质量视频的过程存在许多普遍的问题：由于传感器噪声或者低亮度，获得的低质量视频存在大量噪声；另外，高亮或者暗区域的场景信息也无法被观察者清晰的观察到。

一般情况下，我们可以使用通过记录在连续图像中场景或者摄像机的参数的改变将多个图像信息结合为一个的分类方法。通过一个基于多分辨率融合的方法可结合感兴趣区域，例如基于位移不变的离散小波变换、加权组合、优化方法。但是这种方法依然有许多限制：在夜间视频中，定义高亮度为感兴趣区域是不合理的；基于运动的估计背景模型以及移动的目标分割需要在场景更替时设定不同的阀值；源图像的一个对象部分清晰部分模糊时，模糊的部分被当做融合图像不可或缺的片段。基于上下文的增强方法通常采用Retinex理论分离反射图像与亮度图像，针对视频增强的行为检测则采用高斯混合模型，但是，使用高斯混合模型会产生图像分割的问题。

依赖非线性增强的自适应完整邻域方法，通过提高在光线极暗或者不均匀情况下采集的数字图像的可视化质量。这种方法可以减少中间产物例如通过计算亮度的自适应动态范围压缩的混淆与重影以及关于中间色调频率组件的增强。

4 分析与结论

图像增强是发展至今，虽然取得了很多成果，但仍然存在很多问题，例如存在的估计的伪背景信息、色调移动、相机移动等问题

（下转第4564页）

（上接第4557页）

对图像增强的影响都是不可忽视的。融合图像（或者帧信息）的关键问题之一是保证有更好的再现图像以及色彩分配。某些时候，部分监控设备也会因为亮度不足缺乏周围背景环境而难以理解该低质量图像，当然，目前也已经出现许多处理这类问题的技术。

不论是采集图像的硬件设备，采集图像的时间间隔，采集图像时的周围环境亮度，抑或是天气等都是会影响所采集图像的质量，在采集过程中，有很多不可抗力因素是我们无法避免的，因此，图像增强技术的存在为我们更好的清晰的识别所采集图像是很有必要的。

如今，图像增强技术已经逐步融入人类社会生产生活的各个方面，如航空航天领域，生物医学领域，工业生产领域，公共安全领域等。人类生活已经与其息息相关，在未来将会得到更大的发展，更好地服务于人类社会。

参考文献：

[1] Agaian S S， Blair S， Panetta K A. Transform coefficient histogram-based image enhancement algorithms using contrast entropy， IEEE Trans. Image Processing， 2007，16， （3）：741-758.endprint

[2] Yunbo Rao， Leiting Chen. A Survey of Video Enhancement Techniques[J]. Journal of Information Hiding and Multimedia Signal Processing，20123（1）：71-99.

[3] Sen， D. Automatic Exact Histogram Specification for Contrast Enhancement and Visual System Based Quantitative Evaluation. [J]. IEEE Transactions on Image Processing， 2011，20（5）： 1211-1220.

[4] Liu P L， Jia K B， Research and Optimization of Low-Complexity Motion Estimation Method Basedon Visual Perception， Journal of Information Hiding and Multimedia Signal Processing， 2011，2（3）： 217-226.

[5] Li J， Tao Y， Quan P，et al， Combining scene model and fusion for night video enhancement，Journal of Electronics， 2009，26（1）：88-93.

[6] Bennett E P，McMillan L， Video enhancement using per-pixel virtual exposures， ACM Trans.Graphics， 2005，24（3）：845-852.

[7] Stark J A， Adaptive image contrast enhancement using generalizations of histogram equalization， IEEE Trans. Image Processing， 2000，9（5）：889-896.

[8] Lee C， Kim C S， Gradient domain tone mapping of high dynamic range videos， Proc. of IEEE International Conference on Image Processing， 2007（ 3）：461-464.

[9] Heo Y S， Lee K M， Lee S U， et al. Ghost-free high dynamic range imaging，Proc. of Asian Conference on Computer Visio， Lecture Notes in Computer Science， 2011： 486-500.endprint

[2] Yunbo Rao， Leiting Chen. A Survey of Video Enhancement Techniques[J]. Journal of Information Hiding and Multimedia Signal Processing，20123（1）：71-99.

[3] Sen， D. Automatic Exact Histogram Specification for Contrast Enhancement and Visual System Based Quantitative Evaluation. [J]. IEEE Transactions on Image Processing， 2011，20（5）： 1211-1220.

[4] Liu P L， Jia K B， Research and Optimization of Low-Complexity Motion Estimation Method Basedon Visual Perception， Journal of Information Hiding and Multimedia Signal Processing， 2011，2（3）： 217-226.

[5] Li J， Tao Y， Quan P，et al， Combining scene model and fusion for night video enhancement，Journal of Electronics， 2009，26（1）：88-93.

[6] Bennett E P，McMillan L， Video enhancement using per-pixel virtual exposures， ACM Trans.Graphics， 2005，24（3）：845-852.

[7] Stark J A， Adaptive image contrast enhancement using generalizations of histogram equalization， IEEE Trans. Image Processing， 2000，9（5）：889-896.

[8] Lee C， Kim C S， Gradient domain tone mapping of high dynamic range videos， Proc. of IEEE International Conference on Image Processing， 2007（ 3）：461-464.

[9] Heo Y S， Lee K M， Lee S U， et al. Ghost-free high dynamic range imaging，Proc. of Asian Conference on Computer Visio， Lecture Notes in Computer Science， 2011： 486-500.endprint

[2] Yunbo Rao， Leiting Chen. A Survey of Video Enhancement Techniques[J]. Journal of Information Hiding and Multimedia Signal Processing，20123（1）：71-99.

[3] Sen， D. Automatic Exact Histogram Specification for Contrast Enhancement and Visual System Based Quantitative Evaluation. [J]. IEEE Transactions on Image Processing， 2011，20（5）： 1211-1220.

[4] Liu P L， Jia K B， Research and Optimization of Low-Complexity Motion Estimation Method Basedon Visual Perception， Journal of Information Hiding and Multimedia Signal Processing， 2011，2（3）： 217-226.

[5] Li J， Tao Y， Quan P，et al， Combining scene model and fusion for night video enhancement，Journal of Electronics， 2009，26（1）：88-93.

[6] Bennett E P，McMillan L， Video enhancement using per-pixel virtual exposures， ACM Trans.Graphics， 2005，24（3）：845-852.

[7] Stark J A， Adaptive image contrast enhancement using generalizations of histogram equalization， IEEE Trans. Image Processing， 2000，9（5）：889-896.

[8] Lee C， Kim C S， Gradient domain tone mapping of high dynamic range videos， Proc. of IEEE International Conference on Image Processing， 2007（ 3）：461-464.

[9] Heo Y S， Lee K M， Lee S U， et al. Ghost-free high dynamic range imaging，Proc. of Asian Conference on Computer Visio， Lecture Notes in Computer Science， 2011： 486-500.endprint