李长春,程国民,曹永刚
(1. 91245部队,辽宁 葫芦岛 125001;2. 中国科学院长春光学精密机械与物理研究所,吉林 长春 130033)
能够清晰成像是成像观测设备的关键性能,是后续分析处理的首要前提。在实际使用过程中,往往由于观测距离发生变化或光学系统的不当调整,而导致采集的图像处于离焦状态,影响成像质量。因此,成像设备中一般需要增设调焦系统及相应的处理算法,以实现设备的自动调焦。目前常用的自动调焦方法主要有两种:测距法和图像法。测距法一般是根据测距设备的物距反馈信息进行光学系统调整,该种方法虽然简单,但是往往由于测量误差或测量环境的干扰而导致无法准确对焦[1]。图像法则是通过评估图像序列的离焦程度而进行光学系统的自动调整[2]。由于基于图像的自动调焦方法直接以图像信息作为反馈,结构简单,无需其他辅助测量设备,因此该方法渐已得到广泛应用。
基于图像的自动调焦方法又分为离焦深度法(Depth from defocusing, DFD)和对焦深度法(Depth from focusing, DFF)[3]。其中,对焦深度法由于具有相对较高的准焦精度,在基于图像的自动调焦中应用较多。因此,基于自动调焦领域展开的研究,多围绕着与其相关的清晰度评价函数设计[4-6]、搜索策略优化以及调焦窗口选择[7-10]等领域。然而,该类方法在实验验证过程中,往往需要结合具体硬件结构的相应调整,来获得预期的实验结果。在实际研究或调试过程中,此种硬件依赖存在如下弊端:一是在算法研究过程中,会因硬件条件限制(如光学系统、调焦结构、调焦驱动无法满足实验要求)或观测条件限制,而无法还原出实际调焦状态;二是因难以预测实验效果,而无法预先对调焦系统的设计提供较为贴切的设计指标。鉴于上述问题,本文提出了一种自动调焦性能评估与仿真方法,并结合该方法研制了一套评估仿真系统。该系统可以根据预设的光电参数,生成不同离焦程度的图像,以实现对调焦过程的多项评估与仿真,有效的摆脱了硬件结构的限制,并可以根据模拟结果为调焦系统的设计提供一定的参考依据。
由几何光学的高斯公式(式(1))可知,当观测目标与探测器靶面位置相对于光学系统满足共轭关系时,探测器所处的位置为准焦位置v,该位置处采集的图像为清晰的准焦图像。与准焦位置v偏离越远,则离焦量越大,采集的图像越模糊,如图1所示。
(1)
图1 光学成像系统示意图Fig.1 Schematic diagram of the optical imaging system
对于点源目标,非准焦位置处所成的像将退化为一个圆斑。那么,图像的离焦过程,可以理解为清晰图像与点扩散函数的卷积,如式(2)所示。
g(x,y)=f(x,y)*h(x,y),
(2)
其中f(x,y)为处于准焦位置时清晰图像的空间分布函数,h(x,y)为成像系统空间点扩散函数PSF,g(x,y)为处于离焦位置时的空间分布函数。
理想情况下,点扩散函数h(x,y)的表达式如式(3)所示。
(3)
其中,R为弥散斑半径对应的像素数(以下简称为弥散斑半径),表征其模糊程度。
由几何光学原理可知,弥散斑半径R的表达式为:
(4)
其中,D为孔径光阑直径,vx为探测器位置,v为准焦位置(即像距),s为像元尺寸。
仿真过程中,假定观测目标与设备之间的距离为u(即物距),焦距为f,那么由式(1)可以计算出准焦位置v,设此处对应的清晰图像为f(x,y)。将v带入式(4),可得到探测器处于vx时对应的弥散斑半径R。将R代入式(3),可得到空间点扩散函数h(x,y)。将h(x,y)带入式(2),即可模拟出探测器处于vx时的离焦图像g(x,y)。
基于图像的自动调焦过程是通过设定不同的探测器位置实现图像准焦面的检索。而在具体实现过程中,探测器位置一般是由驱动电机编码器的码值cx来表征。由式(4)可知,要获得探测器指定位置处离焦图像,需要首先由码值cx计算处实际位置vx,二者的计算关系如式(5)所示。
(5)
其中,cR为编码器调整范围最大值,DR为驱动电机调整范围的实际距离最大值(该调整范围是以光学系统焦点为起点、沿光轴至焦点以外指定长度范围内)。
自动调焦效果的优劣,除了调焦算法本身的影响,调焦电机的驱动性能也是一项关键因素。其中最为直接的影响因素是调焦电机的调整速度及响应能力。调整速度即电机由当前位置调整至设定位置的调整时间。响应能力则是电机启动及停止过程的响应速度,该项指标由电机的多项性能决定,本系统暂由启动/停止时间ts整体表征。因此,自动调焦过程的仿真中,应引入调焦电机的调整、响应耗时,以更好的逼近真实效果。本系统中,调焦电机由位置vx1,调整至位置vx2所用时间Δt如式(6)所示:
(6)
其中,cx1为位置1码值,cx2为位置2码值,Ttotal为电机走完整个行程的调整耗时,ts为电机单次启动或停止耗时。
如前文所述,基于图像的自动对焦法的研究主要分为3个方向:清晰度评价函数的设计,搜索策略的制定与优化,以及调焦窗口的选取方法。针对上述3个研究领域,研制了如下自动调焦评估与仿真系统(以下简称评估仿真系统),如图2所示。
图2 自动调焦评估仿真系统Fig.2 Auto-focus evaluation and simulation system
该系统通过输入指定的光电参数,实现自动调焦过程的相关评估与仿真。归纳起来,主要实现如下3个功能。
理想的清晰度评价函数,应具备良好的单峰性、无偏性、高灵敏度及良好的实时性。评估仿真系统对于清晰度评价函数的性能评价,则是针对上述4个特性进行统计。具体实现过程如下:
首先,按照第2节所述方法,生成一组包含准焦位置的等间隔模糊图像序列;其次,按照指定的清晰度评价函数,依次对生成的图像序列进行清晰度值计算,并将得到的各清晰度评价值进行归一化处理,以便于与其他清晰度评价函数进行性能比较;最后,将归一化后的清晰度评价值数组绘制成评价曲线并进行性能分析。
对于单峰性的评价主要是查看生成的由离焦到准焦、再到离焦的图像序列对应的清晰度评价曲线是否具有单峰形式,如图3所示。无偏性的评价则是查看清晰度峰值位置是否对应实际的准焦位置附近(景深范围内)。灵敏度的评价则是统计清晰度评价值大于峰值有效值的曲线宽度δw。实时性评价则是统计清晰度评价函数的单帧图像计算时间。
图3 理想清晰度评价函数曲线Fig.3 Ideal definition evaluation function curve
搜索策略仿真的基本原理是,根据输入的光电参数(图2)、评价函数以及探测器靶面的初始位置,按照预设的搜索路径模拟调整电机位置(按照设定的光电参数,进行电机速度、位置的仿真),并按照指定的电机位置计算该位置对应的离焦图像、清晰度评价值、并实时显示。最终,按照设定的搜索策略和清晰度评价值模拟完成整个自动调焦过程。
搜索策略的仿真一方面可以直观反馈设定的搜索策略对应的整个调焦过程的视觉效果,为调焦策略的优化、清晰度评价值的评价效果提供调整依据。另一方面通过输入不同的光、机参数模拟执行自动调焦过程,根据模拟过程反馈的超调量、调整时间、调焦效果,进一步为调焦系统的设计提供一定的技术参考。
调焦窗口选取的性能评估,是通过选定不同的调焦区域进行模拟调焦效果验证。即通过评估该区域内的清晰度评价曲线以及调焦效果,对调焦窗口的选取提供反馈指导。
为了验证评估仿真系统对于清晰度评价曲线性能的评估功能,假定图4中目标相对于成像设备的物距为0.5 km,成像设备焦距设为1 000 mm,通光孔径设为400 mm,像元尺寸设为10 μm,调焦范围设为焦点以外0~5 mm,调焦电机码值调节范围为0~1 024。
图4 准焦位置图像Fig.4 Image at focal position
由式(1)可以计算出,目标准焦位置为1 002 mm处,对应的位置码值为409,即该位置对应的图像为图4(分辨率为256×256的8位灰度图像)。按照第3.1节所述方法,分别对4种典型的清晰度评价函数(能量梯度函数、Brenner函数、Robert函数、方差函数)进行性能评价,评价曲线及评价结果分别如图5、表1所示。从该组图表可知,评估仿真系统能够对指定清晰度评价函数进行较为全面的定性及定量评价。
图5 典型清晰度评价函数归一化曲线Fig.5 Normalization curve of classical definition evaluation functions
Tab.1 Evaluation values of definition evaluation function performance
评价函数峰值位置曲线峰宽算法耗时/ms 能量梯度401350.059Brenner401350.046Robert401350.067方差4011570.084
4.2.1 搜索策略制定
为了验证自动调焦准焦位置搜索策略的仿真功能,首先需要制定搜索策略。简单起见,本实验采用如下搜索策略,整个搜索过程如图6所示。
图6 搜索路径示意图Fig.6 Sketch map of search path
(1)首先将调焦电机按照设定的速度调整至起调整起始端;
(2)将电机按照设定步长依次向终点端步进,同时计算电机每个设定位置处对应的离焦图像并计算该图像的清晰度评价值;
(3)重复步骤(2),直至电机到达调整端点;
(4)统计电机各步进位置的清晰度评价值峰值,找到峰值位置对应的电机码值PP;
(5)调整电机至PP位置,并显示出该位置对应的图像;
(6)单次调焦结束。
4.2.2 光电参数设定
搜索策略制定后,即可通过手动输入各光电参数,进行自动调焦过程仿真,以验证不同参数下的调焦效果。本实验中设定的调焦参数如表2所示。
表2 光电参数设定值Tab.2 Optical machine parameter setting values
4.2.3 评估结果
利用4.2.1节与4.2.2节中制定的搜索策略与设定参数,进行自动调焦效果验证。自动调焦执行前电机不同起始位置设定值条件下,单次调焦耗时及最终调整位置如表3所示。
表3 不同电机起始位置条件下调焦评估结果Tab.3 Evaluation results at different initial positions
从表3可知,在现有的参数条件下,按照4.2.1节制定的搜索策略,理想情况下单次调焦最大耗时不大于2 s,最终调整位置码值为250。部分电机搜索位置对应图像如图7所示。
图7 电机设定位置对应的图像序列Fig.7 Images at different motor setting position
针对大多数自动调焦算法研究无法摆脱对调焦结构的依赖问题,以及在调焦光机结构设计之前无法初步预知自动调焦效果的问题,本文提出了基于图像自动对焦的仿真与评估方法,并实现了具有相应功能的仿真评估系统。该系统通过对清晰度评价函数性能、搜索策略、调焦效果等功能的定性及定量评估,可以更为简便直观的为相关自动调焦研究提供评估信息。通过人工设定各光电参数的方式对调焦过程进行反复仿真验证,可以为调焦系统光机结构的设计提供设计参考。因此,本文方法的提出可以在一定程度上为自动调焦算法研究的验证提供技术保障。