摄像机图像处理技术原理及应用

□　文/陶艳

摄像机图像处理技术原理及应用

□文/陶艳

随着视频技术的飞速发展，视频监控从早期的模拟时代步入了数字高清时代，清晰、真实的高质量图像效果的重要性不言而喻。作为视频监控的“眼睛”，监控摄像机用图像传感器（sensor）将自然界中的光信号先转换成数字信号，并在芯片上对采集到的原始数字信号做一系列图像处理，再通过图像编码、传输、解码最终给用户显示出来。其中对sensor输出的原始信号进行处理获得真实、清晰的图像过程一般称作图像处理技术（ISP）。监控摄像机流程如下图1如示：

▲图1 摄像机系统流程图

对于安防监控的核心价值来说，图像首先要能看得见，其次要能看得清，最后要看得舒服。图像处理技术（ISP）在此过程中承担着重要的角色。本文主要讲述了图像处理技术的通用流程和各模块的应用说明，以及目前图像处理技术面临的挑战和发展。

图像处理技术原理概述

图像传感器（sensor）每个感光单元称为一个像素，像素值的大小表示感应到的光照强度大小，只有强度信息没有颜色信息。为了表征颜色，每个像素前加一个颜色滤镜（color filter）形成颜色滤镜阵列（CFA），只允许单一颜色的光通过，图2列举了CMOS图像传感器的结构示意图。这样就能不仅表征强度且能表征颜色了。目前我们用到的主流CMOS或CCD基本采用拜尔模式（bayer Pattern）。经过这样的图像传感器输出的图像呈现出马赛克的形式，所以必须经过图像处理算法来得到接近我们人眼感官的图像。

▲图2. CMOS的结构说明

从sensor获取的bayer数据我们一般会经过Rawdata域的处理、RGB域的处理、YUV余的处理，最终显示，如图3。

▲图3 ISP系统图

▲图4 ISP流程图说明

其中，RAW域模块一般包括黑电平（BLC）模块、去坏点校正模块（DPC）、raw域的2D降噪（2DNR）、绿通道校正模块、数据统计以及白平衡模块等；RGB域的处理主要包括：CFA插值模块、CCM颜色校正模块、gamma校正等；YUV域主要包括：RGB2YUV转换、锐化、3D降噪、YUV444到YUV422转换等。具体流程如图4所示：

从流程图上可以看到，ISP的各模块环环相扣，各自对图像起着重要作用，影响着图像的颜色、清晰度、对比度和动态范围，且有些模块也会相互影响。比如黑电平不对，不仅影响着图像的对比度，而且会造成白平衡不对。边缘增强会增加图像的锐度，但过强又会带来噪声。每个模块要发挥自己最大的能力，同时又要减小对相关其他模块的负面影响。

自动曝光（AE）

顾名思义，自动曝光就是由相机代替人的手动操作，自动对所拍摄物体进行曝光，从而获得具有一定亮度的图像。这个过程最终要达到的目标是使得曝光的图像具有一个理想的视觉亮度。

图像显示的亮度(即电信号的强度)是与图像传感器接收到的光的总能量成正比的。虽然入射光的能量不变，但是被接收的光能量却是可以由相机系统调节的。当接收到的光能量增加时图像亮度增加，当其减小时图像亮度也减小，当其完全不被接收时图像就几乎一片漆黑了。因此，在自动曝光过程中，相机通过自动调节光的进入的能量大小(光圈大小)、光到达的时间长度(曝光时间)以及其它相关参数（增益），保证图像传感器所接收到的光的能量处于一个合适的水平，通过转换得到具有一定强度的电信号。

通过调节光圈和曝光时间就能调节摄像机接收到的光能量大小。通过调节增益对所得到的信号进行放大。三者综合作用改变最终图像的亮度。光圈越大，亮度越高，但同时景深会受影响。增益一定时，曝光时间越长，亮度越高。增益加大能提高亮度，但同时可能会带来噪声。

▲图5 曝光不同的差异

▲图6 增益带来噪声增大

▲图7 不同色温的影响

自动白平衡（AWB）

自然界的光源是有色温的，人眼和大脑对色温有一定的生理和心理自适应性，所以看到的颜色受色温偏移的影响较小。但是摄像机的sensor没有这种能力，如果不经过白平衡处理，会和人眼看到的颜色有较大的偏差。在图像处理中，只有作准了白平衡，其他颜色才能作准。白平衡算法一般有Grey World、Max white path、Grey-Edge等方法。

坏点校正

传感器由于生产工艺的限制，在出厂前可能会有一些坏的像素点，在成像时会留下离散的、比较突兀(过暗或者过亮)的像素点。在ISP模块里需对其进行坏点校正。坏点校正分为静态去坏点和动态去坏点。静态去坏点主要采用LUT查找表的方式，需要根据不同sensor在无光环境下检测缺陷点的具体位置，然后用查找表的方法来实现，实现起来相对麻烦。所以通用的做法是采用动态检测的方法。简单来说就是将当前像素与周围若干个像素点进行灰度值的比较，如果该像素点的灰度值比周围的像素大或者小很多，认为是坏点，那么就用周围和其像素值灰度值接近的值来代替。进行校正时，在消除坏点的同时，也会在一定程度上对图像有模糊作用降低清晰度。

黑电平校正模块

理论上来说，将镜头光圈关死，sensor的输出应该为0，但由于暗电流的影响，sensor实际输出不为0，所以我们需要将其减掉一个值校正为0，这个值就是黑电平。黑电平是否减对，对白平衡模块很重要，同时也影响着图像的对比度。

▲图8 黑电平对图像的影响

raw域降噪

在信号采集过程中，由于暗电流、温度、硬件的影响，sensor本身会带着噪声输出，ISP各部分的处理也可能带来噪声。噪声会让人感觉图像模糊不清楚，干扰物体的轮廓，对后续图像压缩、编码以及图像信息的识别都带来干扰。降噪主要思想是将信号通过低通滤波器，将高频成分滤掉。Raw域降噪是利用帧内相邻像素进行滤波处理。简单的raw域降噪是对每个点进行相邻像素的加权平均，复杂一些会提前检测该点是否为噪点，是噪点就会取平均，不是噪点就会原样输出，再复杂一些的会考虑该点为噪点的概率，从而计算不同的加权权重等。

插值模块

由于sensor经过CFA后输出的是每一像素点只是R、G、B一种颜色分量的马赛克图像，必须补全每一像素点遗失的颜色信息，这样才能得到一幅全彩影像。利用每一像素及其邻近像素已知的颜色信息做数学运算来估测遗失颜色信息过程及方法即为CFA插值，也称color interpolation或demosaicing，如图9所示。常见的插值算法包括：双线性插值、最近邻插值、色比恒定插值、色差恒定插值、边缘导向插值、Hamilton插值等。插值的好坏直接反映至重建全彩影像中，进而影响图像的后续处理及最终效果。插值主要对图像的清晰度和图像的边缘细节有很大的影响。同时由于颜色采样导致插值算法在某些地方很容易计算错误会导致伪色（假色、zipper效应等），有时也会引入噪声。

▲图9 插值模块示意图

▲图10 插值模块对图像的影响

▲图11 插值模块带来的假色

颜色校正

由于人眼的三色感应系统对光谱的响应情况和sensor的光谱响应有较大的差异，摄像机经过插值模块后必须进行颜色校正。目前一般的做法是在几个不同色温的标准光源下对着24色卡进行标定，生成不同色温下相应的3×3的颜色矩阵，其他中间色温可以通过这几个标准色温的颜色矩阵插值得到。

▲图12 颜色校正模块对图像的影响

Gamma校正

Gamma校正最初是用来校正CRT显示器电路的非线性响应的。摄像机系统中使用Gamma校正来使相机的线性采集适合人眼的生理特性。Gamma的调整影响图像的对比度、亮度、颜色。

▲图13 Gamma校正对图像的影响

边缘增强

该模块增强图像边缘部分细节，它主要是一种补偿轮廓、突出边缘信息以使图像更为清晰的处理方法。它的目标实质上是要增强图像中的高频成分。它与降噪滤波是一个相对的处理过程。若图像未做边缘增强时，人眼看上去像边缘部分不够锐利，但是同时该模块如果做的太强会对整体图像引入新的噪声，如图14所示：

▲图14 边缘增强对图像效果的影响

图像处理技术的挑战

随着近年来人们对安防领域的重视和安防产品的普及，安防监控的图像质量也得到了很快的发展，同时客户对图像质量也提出越来越高的要求，主要体现在低照度和宽动态两方面。低照度和宽动态技术的发展正逐步的实现摄像机看得见、看得清、看得舒服的目标。

首先，在很多场景，如夜深人静或是路灯昏暗，或是在乡村监控项目中，由于自然光光照不足，传统摄像机有些会转黑白，有些则通过加大增益提高亮度，这些都会带来一些负面影响如颜色信息丢失或是噪声增大，对图像质量有较大影响。图像处理技术面临着如何在提高亮度保证图像细节信息的同时又能减少噪声，此时就需要使用3D降噪技术。

二维降噪为只考虑单帧图像的空间信息，3D降噪为视频流信息，增加了时域上的信息。通常的噪声为随机噪声，二维空间上的特性为孤立的点，时域上的特性为闪烁的点，即并非每一帧都存在，根据该时域特性，针对视频帧序列，进行运动估计，运动区域去噪强度弱，静止区域噪声抑制强度大。

▲图15 3D降噪对图像效果的影响

其次，因为sensor的动态范围是有限的，而实际场景中的动态范围远大于sensor的动态范围，所以当监控摄像机安装在道路监控、大厅出入口、银行柜台等场景下，如果是传统摄像机就有由于动态范围不足导致亮处过曝或是暗处过暗的问题，此时摄像机中的宽动态技术显得尤为重要了。

目前主流的宽动态技术以多次曝光合成为主。以2次曝光为例，Sensor利用长曝光获得暗处的信息，短曝光获得亮处的信息，然后将2次曝光信息合成输出。ISP收到这个数据后项进行宽动态数据解压缩，将sensor输出的压缩数据解压缩为原始的线性数据，然后经过动态范围压缩模块，将原始的线性数据通过映射曲线，映射到12bit范围内，并获得对应的压缩系数。最后经过灰度重映射模块，数据通过压缩系数映射到最终的12bit范围内。这样获得的图像能同时看到亮处细节和暗处细节，得到比较好的动态范围和对比度。

▲图16 宽动态对图像效果的影响

结语

在监控摄像机的发展历程中，图像处理技术发挥着举足轻重的作用，每一次图像效果的提升，与图像处理各模块的算法密切相关，从而推动了视频监控的发展。未来随着传感器的发展和图像处理算法的不断优化和完善，特别是3D降噪和宽动态算法的优化，视频监控将为我们提供更可见、更清晰的图像效果，为数据分析提供优质的视频源。

作者单位：浙江大华技术股份有限公司