王小钊,宋 宝
(华中科技大学国家数控系统工程技术研究中心,湖北武汉 430072)
自动曝光是指摄像机自动进行光圈、曝光时间、信号增益的调节,从而获取视频图像最优亮度的过程[1]。摄像机拍摄时,往往要求恰到好处的曝光。曝光过高或者过低会引起视频图像偏亮或者偏暗。
自动曝光包括光强测定、调节算法部分。光强测定是获取摄像机所摄景物光照强度的过程[1],对高清网络摄像机而言,主要通过分析图像数据完成环境光强的测定。调节算法部分主要是通过场景亮度与理想亮度计算出曝光时间、信号增益的输出[1]。常用的有直接设置法[2]、逐次逼近法[3]、神经网络[4]、基于图像样本自学习的自动曝光算法[5]。
本文主要是研究基于TMS320DM368的网络摄像机的自动曝光控制算法。TMS320DM368是基于达芬奇(Da-Vinci)技术的系列产品,达芬奇技术是一种专门针对数字视频应用(如网络摄像机)的解决方案[6]。
本文设计的自动曝光系统包含:镜头、CMOS图像传感器以及TMS320DM368控制器。含有图像信号的光线经镜头照射在CMOS感光元件上,经过一定时间的曝光,转换成电信号,经模拟增益器放大,然后A/D转换后输出到处理器TMS320DM368的H3A硬件模块中。H3A处理的数据经过亮度评价函数获取场景光强,进而完成光强测定,将评价亮度与理想亮度输入控制器计算出曝光时间、信号增益。自动曝光系统如图1所示。
图1 网络摄像机自动曝光系统
因为图像数据量大,计算一般需要借助硬件协处理器来完成,TMS320DM368中H3A模块式专门用于自动曝光(AE)、自动白平衡(AWB)、自动聚焦(AF)的硬件协处理器[7]。对自动曝光而言图像数据在H3A中完成对数据的分块采集、饱和检查、像素累加工作,对自动曝光来说,在H3A中完成的主要工作为分块采集和像素的累加。
光强测定时亮度评价函数设计与H3A模块输出数据密切相关、调节算法的设计与自动曝光的性能密切相关,亮度评价函数的设计与调节算法的设计为自动曝光算法的关键技术。
H3A中完成对数据的分块采集、像素累加工作,H3A将图像数据分为16×12块来采集,AE/AWB像素累加器分别对每块像素的RGB值分别累加得到一个16×12×3的矩阵A16×12×3。其中,矩阵中Aij1为第ij模块的R(红色)分量累加值,矩阵中Aij2为第ij模块的G(绿色)分量累加值,矩阵中Aij3为第ij模块的B(蓝色)分量累加值,矩阵A16×12×3即为 H3A 模块的输出。
用户对不同区域亮度关心程度不同,为了更贴近用户感受,因此对图像亮度进行加权平均,按照人们对不同区域关心程度设置权重矩阵W16×12,W16×12权重按照图2设置。
图2 亮度计算权重设置
估计场景亮度将H3A转换为亮度,在按照权重加权平均
式中:Yp为估算场景亮度;矩阵A为H3A输出数据;W为权重矩阵。
调节算法是根据景亮度与理想亮度计算出曝光时间、信号增益的输出,考虑到TMS320DM368计算能力与稳定性要求,选取PID控制算法。
由自动曝光系统可得图像亮度Yp与镜头通光量F、曝光时间T、增益系数A的函数关系为
式中:K为比例系数,由自动曝光系统可知曝光时间T与增益系数G均为系统可控量。通光量F与光圈大小以及场景光照有关系。考虑到成本因素网络摄像机一般采用定光圈镜头,通光量F仅跟场景光照有关。
假设可控量为V,V与曝光时间T与增益系数G为
将图像亮度函数简化为
为保证系统线性
则控制系统设计为:ln(Y)为作为输出,PID控制器的输出量为U=lnV,将lnF作为系统的干扰构建控制系统如图3所示。
图3 自动曝光系统图
由式(5)可得G(S)=1,系统中输入量为lnYE,YE为自动曝光系统希望达到的希望亮度,按照中间亮度法故取YE=128。同时为了防止自动曝光系统频繁调节,影响人眼体验取YL=118,YH=138,当评价亮度YL<Y<YH,时曝光系统将不进行曝光调节。
因为曝光时间、增益系数限制较多,函数关系较为复杂,故采用查表法查出曝光时间T与增益系数G。
本文采用OV9712图像传感器,其COMS图像传感器,增益系数调节范围为1~31[8]。根据COMS图像传感器特性,为保证在灯光下没有条纹与闪烁现象的产生,视频采样帧率fv,曝光时间T,与交流电频率f,需要满足式(6)、(7),根据PID控制器设计时取输出U=lnV,并由式(3)可以得出,PID控制器输出为U时,曝光时间与增益系数需满足要求为
式中:m,n为自然数,f=50 Hz,一般情况下取n=4,即fv=25 Hz,但是当在低照情况(小于10 lx)下,由式(8)得T<40 ms,所得图像噪点很多,可取n=8将采样率降低为12.5 Hz曝光时间加长至80 ms。强光情况(大于2 000 lx,普通灯光照度大约为500 lx)时,此时若曝光时间为10 ms会产生过曝光。强光多为室外情况,因此可以不必满足式(6)、式(7)将曝光时间设置为小于10 ms。故可以先确定曝光时间表,计算曝光增益系数表,如图4所示。
将本文设计的自动曝光算法在基于TMS320DM368的网络摄像机上实现,并对该网络摄像机曝光性能测试。
摄像机安装福光130万,1/3 in(1 in=2.54 cm),0409手动光圈,手动变焦高清摄像机镜头进行测试。拍摄时光强为9 mm。
图4 曝光时间—增益系数表
测试结果为:图5照度为1 lx(低照)时摄像机获得图像、图6为照度为10 000 lx(强光)下摄像机获得图像、图7为照度由10 lx变到10 000 lx以及由10 000 lx变到10 lx的两种情况下的图像评价亮度变化曲线。
图5 照度为1 lx下的图像
图6 照度为10 000 lx下图像
图7 照度变化时亮度变化曲线
由以上实验结结果图5和图6可得该曝光算法拥有比较大的适应范围,可以适应照度由1 lx变道10 000 lx下的光照情况。由图7亮度曲线可得该曝光算法拥有比较好的动态特性,当照度由10 lx变为10 000 lx情况下,在第40次采样(约为1.75 s)图像亮度即达到要求并保持稳定,当10 000 lx到10 lx情况下也是接近40次采样即可达到稳定状态。
本文设计了用于基于TMS320DM368的网络摄像机的自动曝光控制算法,算法充分利用了TMS320DM368提供的硬件模块,其可以适应由1 lx到10 000 lx下的光照状况,拥有较好的动态性能,由低照到强光其反应时间约为1.75 s,
而且其算法简单,稳定,满足网络摄像机的使用需求。
:
[1]郑德裕.EK200全自动单反相机硬件实现技术研究[D].南京:南京理工大学,2006.
[2]TETSUYA K,HIROAKI S,NARIHIRO M.A new automatic exposure system for digital still cameras[J].IEEE Trans.Consumer Electronics,1998,44(1):86-87.
[3]CHO M,LEE S,BYUNG D.The fast auto exposure algorithm based on the numerical analysis[C]//Proc.SPIE Conference on Sensors,Cameras,and Applications for Digital Photography.San Jose,California:SPIE Press,1999:403-404.
[4]梁佳毅,洪志良.适用于大动态范围场景的自动曝光控制算法[J].光电工程,2008,35(5):89-91.
[5]KEHTARMAVAZ N,OH H,SHIDATE I,et al.A new approach to auto white balancing and auto exposure for digital still cameras[C]//Proc.SPIE 4669,Sensors and Camera Systems for Scientific,Industrial,and Digital Photography Applications III. [S.l.]:SPIE Press,2002:389-390.
[6]Texas Instrument.TMS320DM365 digital medio system-on-chip(DMSoC)[EB/OL].[2013-04-02].http://focus.ti.com/docs/prod/folder/print/tms320dm368.html.
[7]Texas Instrument.TMS320DM365 digital medio system-on-chip(DMSoC)Video processing frontEnd(VPFE)user’s guide[EB/OL].[2013-04-02]. http://focus.ti.com/docs/prod/folder/print/tms320dm368.html.
[8]OmniVision.OV9712 datasheet[EB/OL].[2013-04-02].http://wenku.baidu.com/view/dea39b6b561252d380eb6e4e.html.