基于梯度能量函数的调焦窗口构建方法

郭敬滨，冯华杰，王 龙，彭勤建，李醒飞



基于梯度能量函数的调焦窗口构建方法

郭敬滨1，冯华杰1，王 龙2，彭勤建3，李醒飞1

（1.天津大学精密测试技术及仪器国家重点实验室，天津 300072；2.中环天仪（天津）气象仪器有限公司，天津 300038；3.海司航保部，天津 300042）

光电跟踪取证系统对运动目标进行跟踪拍摄时需要进行变焦和调焦，目标姿态和位置改变而产生调焦窗口偏离是导致传统自动调焦方法失效的主要原因。针对该问题，提出了一种针对跟踪目标动态建立调焦窗口的方法。该方法利用梯度能量评价函数提取目标特征，通过相关性处理和边界扩展建立调焦窗口，能克服调焦窗口偏离的缺陷。实验结果证明，对704×576像元不同离焦状态的图像都可以在20ms内根据目标的位置和大小，构建准确有效的调焦窗口，满足光电跟踪取证系统对运动目标进行实时自动调焦的特殊要求。

光电跟踪；动态调焦；梯度能量评价函数；调焦窗口构建；特征提取

0 引言

光电跟踪取证设备是海上、边防搜索跟踪、执法取证的重要设备，主要用于对水面、空中、边境开阔地的运动目标进行跟踪和拍摄。为对各种目标进行自动跟踪和拍摄，保持目标在视场中成像稳定、清晰，摄像系统需要在跟踪过程中对尺寸和位置变化的目标进行自动调焦，以获得有价值的图像同时避免因图像清晰度变化而丢失目标。目前，无论是海上、高原边境使用的光电跟踪取证系统大多都不具备这样的功能，需要人工辅助调节。因此，需要针对光电跟踪取证系统的动态目标设计快速、精准的调焦算法。基于数字图像的自动调焦过程包括3个步骤：目标区域选择、图像清晰度评价和极点搜索。目标区域选择作为整个调焦过程的第1步，直接影响光电跟踪取证系统对运动目标实时调焦的准确性。应针对画面中的目标划分出位置准确、大小合适的有效区域作为后续调焦过程的处理对象，以避免跟踪过程中目标偏离调焦窗口导致调焦失败和图像模糊[1]。

光电跟踪取证系统一般都采用大孔径的长焦电动变焦镜头拍摄远处运动的目标，图像景深小，捕获的通常都是离焦的图像。通常都是比较简单的天空背景，部分场景存在一定程度的自然景物干扰。

目前研究应用的区域选择算法主要有中央区域选择法、多区域选择法、黄金分割法、非均匀采样法、数字图像一阶矩选择法和结合视觉感知的窗口构建方法等[2-4]。前面4种方法都是根据经验划分出位置和尺寸固定的区域作为调焦窗口的静态构建方法，不适用于调焦过程中目标尺寸和位置不确定的场合。后面2种是根据目标的状态动态建立调焦窗口的方法。文献[3]提出的数字图像一阶矩选择法根据图像灰度或边缘的一阶矩定位调焦窗口，不能区分前后景。文献[4]提出的基于视觉注意机制的动态调焦窗口构建法，模拟生物视觉过程，提取图像特征最突出的区域建立调焦窗口，使窗口具有尺寸和位置上的自适应性。但该方法提取图像特征的过程涉及金字塔化分层、多尺度滤波器和扩大感受野等复杂的过程，运算量大，在靶场背景下光测设备对720×576的目标图像构建调焦窗口需要130ms，对运动目标有滞后。

本文针对现有区域选择算法存在的缺陷，结合光电跟踪取证系统使用场景的特点，设计了一种新的快速提取图像特征突出区域的方法，实现了20ms内完成调焦窗口构建和清晰度评价。

1 特征提取原理

1.1 梯度能量函数分析方法

首先，采用目前应用较广的梯度能量清晰度评价函数[5]分析摄像系统在调焦过程中目标区域和背景区域的评价函数值的差异，如下式：

(,)＝[(＋1,)－(,)]2＋[(,＋1)－(,)]2(1)

式中：(,)为坐标(,)点的评价函数值；(,)为坐标(,)点的灰度值。

梯度能量评价函数通过计算相邻的2个像素灰度梯度平方值，获取图像的边缘和细节信息，忽略非相邻像素之间的相关性，式中的平方运算改变了梯度值对评价函数的影响，增强大梯度值在评价结果中的作用，同时减弱小梯度值的作用，有利于减少动态调焦窗口变化引起的评价函数波动[6-7]。

区域的评价函数值即其中像素的梯度能量函数累加和，容易受噪声的影响。为抑制噪声的干扰，设计每个像素的评价值的噪声阈值[8-9]，如式(2)所示，只有当像素的评价值大于噪声阈值才会保留：

式中：为噪声阈值。

实验1使用光电跟踪取证系统拍摄远处的通信基站从深度离焦到正焦再到离焦的视频图像。视频图像分辨率为704×576，帧率为25Hz。等间隔提取其中的40帧画面，在图像中选出6个大小为40×40的不同特征的子区域，目标区域A、B和背景区域C、D、E、F，如图1所示。

图1 不同区域窗口

图2显示图1中6个子区域的评价函数曲线。目标区域A、B在整个调焦过程中表现出比背景区域C、D、E、F更强的规律性，并且函数值表现出与背景区域的显著差异。图2显示，背景D区域在调焦过程中能量梯度函数有一段时间的值在目标区域之上，并且与目标区域有相近的增长率。

图2 不同区域的梯度能量评价函数曲线

表1显示图像序列中6个不同区域能量函数的总和以及与目标A区域的百分比。A、B目标区域能量偏差小于5%，背景区域只有D能达目标区域的50%以上，其他背景区域能量水平都低40%。因此根据区域的梯度能量评价函数可以区分图像特征突出的区域，作为图像特征提取的方法，并且可同时完成对目标区域图像清晰度的评价。但作为特征提取算法还需要进一步的改进。

1.2 特征提取

根据1.1节的处理方法，进一步设计如下的特征

表1 不同区域的能量梯度函数和

提取方法。将图像分割为大小为×的子区域；按式(3)计算子区域的梯度能量函数值，获得图像的特征图F：

式中：(,)为特征图中坐标点(,)的点的值；、分别为子区域的高度和宽度。

对图1按上述方法进行处理，得到图3的特征图。经过预处理的图像增强了大部分的目标特征，同时对原图像进行了抽样，使得后续处理的单元更少，耗时更短。对特征图进行阈值分割可分离目标及背景区域。

图3 特征图

Fig.3 Feature map

2 调焦窗口的构建

光电跟踪取证系统中调焦窗口的构建就是要在系统对目标进行跟踪拍摄过程中实时地构建一个包含目标主要细节的有限范围。根据第1节的特征提取方法，调焦窗口的构建流程如图4所示。

为增强特征图中能量集中的区域，分离相关性较低的点，对特征图按行进行归一化处理并采用阈值进行二值化，分割目标和背景区域[10]。按公式(4)对每一行进行归一化，得特征图¢：

式中：Fmax和Fmin分别为第行的最大、最小值。为了便于处理和显示，归一化范围取[0,255]。

对特征图¢进行二值化是为了分离相关性较低的点，并保留足够多的有效点用于区域扩展，阈值由公式(5)获得：

式中：K为灰度的分级数；n0为特征图F¢非0点的个数；N为理想的有效点数。

按公式(6)对特征图¢进行处理，得到二值化的特征图″：

二值化的特征图²是一系列在特征突出区域集中的点，需要选用合适的方法将聚集的点扩展为矩形窗口。采用“十”字模板对特征图²进行扩展。即当无效点的“十”字范围内存在的有效点多于1个时，该无效点变为有效点，进行多次迭代处理，最终使得集中的点连接到一起，形成矩形区域[4]。

一般由于图像深度离焦或者存在多个目标，以及背景和噪声的影响，区域扩展后存在多个矩形区域。以矩形区域与画面中心的距离和面积作为权重，选取权重最大的区域作为调焦窗口，最后通过坐标映射到原图像中定位调焦窗口[9]，如下式：

W＝1＋2(7)

式中：W为矩形区域权值；为矩形区域中心与画面中心的距离；为矩形区域的面积；1、2为比例系数。

3 实验结果与分析

为了验证算法的可用性，模拟使用场景，使用光电跟踪取证系统采集电动长焦镜头调焦过程的视频，对视频提取的图像进行调焦窗口的构建实验。对3个不同的场景进行实验，并与采用Sobel边缘检测算法[11]的数字图像一阶矩方法进行对比。

本文采用10×10大小的子区域，特征图的大小为57×70，噪声阈值选择16。

第1组实验如图5所示，通信塔图像为大视场小目标的场景，背景景物较多，目标较小。背景干扰比光电跟踪取证系统常用的场景大，可进一步验证算法的普遍性，并作为算法扩展应用场景的参考。

图5(a)、5(b)显示，离焦状态下的图像背景与目标区别不明显，但本方法建立的调焦窗口仍比较准确地包含了通信塔的主体；图5(c)、5(d)显示，数字图像一阶矩方法建立的调焦窗口不能区分背景特征和目标特征，主要是因为边缘检测图像的细节分布较为均匀，如图5(e)；图5(f)显示，通过本方法获得的特征图同样包含了大量的背景细节，但增强了特征突出的区域，经过二值化分离后背景区域仍存在较多的有效特征点，但都分布得比较离散，经过边界扩展后仅保留了目标区域。

第2组实验如图6所示，模拟光电跟踪取证系统拍摄天空中飞行器的场景。简单的天空背景前有2个位置不同的飞机模型。由于2个目标距离摄像系统的距离不同，因此正焦位置也不同[8]，正确的调焦，需要分离2个目标区域，选取权值最大的区域作为首要目标区域，建立调焦窗口，进行后续的调焦操作。对于深度离焦的画面图6(a)，通过本方法处理后获得2个特征点相对聚集的区域，如图6(e)所示。通过进一步二值化和边界扩展，连接相对集中的特征点，选取权值最大的区域构建如图6(g)所示的调焦窗口；图6(a)、(b)显示，本方法对离焦和正焦图像建立的调焦窗口准确包含首要目标的主体区域；图6(c)、(d)显示，数字要目标的主体区域；图6(c)、(d)显示，数字图像一阶矩方法建立的调焦窗口偏离目标区域，这主要是由于场景存在2个目标。实验证明本方法可以区分不同的特征显著区域，根据需求建立针对不同目标的调焦窗口。

第3组实验如图7所示，场景模拟光电跟踪取证系统拍摄天空中运动的飞行器的场景。

实验中的目标模型在调焦的过程中从画面的右侧移动到左侧。实验中为了能更好的对比，数字图像一阶矩方法的调焦窗口选择比目标区域稍大的240×240固定窗口。

图7(a)～(d)是从深度离焦到正焦变化的图像，实线窗口为本方法构建的调焦窗口，虚线窗口是由一阶矩方法构建的调焦窗口。图7(a)～(d)显示，2种方法在整个过程中都可以确定目标的位置，选中目标的主体区域。

实验证明对于简单背景中单个运动目标，2种方法都可以有效地定位目标的位置，选中目标主体区域。本方法还能够根据目标的大小和姿态调整窗口的大小和形状，比一阶矩方法具有更强的适应性。

清晰度评价函数曲线可用于判断对焦算法对图像清晰度评价的准确性。为了验证本方法和一阶矩方法对运动目标构建的调焦窗口的有效性，对电动变焦镜头变焦过程的视频图像，每隔10帧，使用以上两种算法建立调焦窗口，计算图像的梯度能量函数值，绘制曲线图，如图8所示。

(a)、(b)本方法对离焦、正焦图像建立的调焦窗口；(c)、(d)一阶矩方法对离焦、正焦图像建立的调焦窗口；(e)离焦图像边缘图；(f)~(h)文方法对离焦图像提取的特征图、二值化特征图和边界扩展获得的调焦窗口

(a)、(b)本方法对离焦、正焦图像建立的调焦窗口；(c)、(d)一阶矩方法对离焦、正焦图像建立的调焦窗口；(e)～(g)本方法对离焦图像提取的特征图、二值化特征图和边界扩展获得的调焦窗口

(a)～(d)本方法和一阶矩方法对运动目标建立的调焦窗口；(e)～(g)本方法对离焦图像提取的特征图、二值化特征图和边界扩展获得的调焦窗口

图8 本方法和一阶矩方法的评价函数曲线

图8显示，通过2种方法建立的调焦窗口获得的评价函数曲线都具有很好的单峰性和无偏性，有利于后续极点搜索算法的执行[6]。

算法的实时性是本方法提出的一个主要目的。为了验证本方法的实时性，在光电跟踪取证系统控制台上的使用本方法和一阶矩方法对序列图像进行处理，分析耗时。光电跟踪取证系统为了保证系统的可靠性和集成化，控制计算机采用无风扇、低功耗的小型特种计算机，参数如下：处理器：Intel Atom N450 1.66GHz；内存：DDRII 667 SDRAM 1GB。

在光电跟踪取证系统控制台上对空中运动目标的704×576图像进行调焦窗口的构建实验。图9给出了2种方法的耗时对比图，一阶矩方法平均耗时＞158ms，本方法平均耗时为20ms，远比一阶矩方法的耗时少，只有视频图像一帧画面更新时间的1/2。

图9 本方法和一阶矩方法耗时对比

对于远处低空高速运动的物体，以拍摄到的目标的长宽至少占画面的1/8，认为跟踪拍摄效果良好。光电跟踪取证系统伺服系统的最大角速度为50°/s；最大角加速度为90°/s2；平稳跟踪最小角速度变化为0.2°/s。当电动变焦镜头调整到750mm焦距时，由式(9)可得水平视场角只有0.49°，小的跟踪偏差虽然不影响目标的拍摄，但会让目标偏离上一帧构建的调焦窗口。以最小的角速度变化0.2°/s，相邻两帧画面中目标偏离原位置的面积就超过10%，因此需要对每一帧图像构建调焦窗口。即光电跟踪取证系统的调焦算法需要在一帧画面时间间隔为40ms内得出评价结果，并且留有足够的余量用于目标跟踪算法和控制算法的运行。

式中：为CCD的宽度，摄像系统CCD宽度为6.4mm；为水平视场角；ƒ为镜头焦距。

实验分析和统计结果显示，在系统平台上只有本方法能在40ms内完成调焦窗口的构建，并且留有较大的时间余量。

4 结论

针对光电跟踪取证系统对运动目标进行调焦控制的实时性需求，设计了一种新的提取图像特征突出区域的方法，完成快速构建调焦窗口的功能。该方法利用梯度能量评价函数计算的每个小区域的评价值，经过少量的数据分析就可以建立有效的调焦窗口。通过实验证明，实验场景中该方法能够在整个调焦过程中对离焦、正焦的图像构建出位置准确、大小合适的调焦窗口，适应性强、耗时短。该方法在光电跟踪取证系统平台上运行速度较快，构建一次调焦窗口的平均耗时只要20ms，满足光电跟踪取证系统对调焦的实时性要求，对实现跟踪拍摄功能的自动化和提高摄像质量具有直接的工程应用价值。

[1] 朱孔凤, 姜威, 高赞, 等. 自动聚焦系统中聚焦窗口的选择及参量的确定[J]. 光学技术, 2006, 16(6): 836-840.

Zhu Kongfeng, Jiang Wei, Gao Zan, et al. Focusing window choice and parameters determination in automatic focusing system[J]., 2006, 16(6): 836-840.

[2] 朱孔凤, 姜威, 王端芳, 等. 用高斯非均匀采样解决自动聚焦中的误判[J]. 光学技术, 2005, 31(6): 910-912.

Zhu Kongfeng, Jiang Wei, Wang Duanfang, et al. Using Gaussian unequally spaced sampling to make automatic focusing result correct[J]., 2005, 31(6): 910-912.

[3] 张乐, 姜威, 高赞. 数字图像一阶矩的自动聚焦区域选择算法[J]. 光学技术, 2008, 34(2): 163-165.

Zhang Le, Jiang Wei, Gao Zan. Automatic focusing region selection algorithm based on first order of digital image[J]., 2008, 34(2): 163-165．

[4] 刘雪超, 吴志勇, 黄德天, 等. 结合视觉感知的调焦窗口构建[J]. 中国激光, 2014, 41(1): 191-198.

Liu Xuechao, Wu Zhiyong, Huang Detian, et al. Designing of focus window combined with visual perception[J]., 2014, 41(1): 191-198.

[5] 陈芳, 张存继, 韩延祥, 等. 简单图像的快速聚焦[J]. 光学精密工程, 2014, 22(1): 220-227.

Chen Fang, Zhang Cunji, Han Yanxiang, et al. Fast focus on simple images[J]., 2014, 22(1): 220-227.

[6] 刘雪超. 基于数字图像处理的自动调焦技术研究[D]. 长春: 中国科学院研究生院长春光学精密机械与物理研究所, 2014.

Liu Xuechao. Study on auto-focusing based on digital image processing technology[D]. Changchun：Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, 2014.

[7] 周贤, 姜威. 基于图像边缘能量的自动聚焦算法[J]. 光学技术, 2006, 32(2): 910-912.

Zhou Xian, Jiang Wei. Auto-focus algorithm based on image edge energy[J]., 2006, 32(2): 910-912.

[8] Chiu Li-cheng, Fuh Chiou-shann. An efficient auto focus method for digital still camera based on focus value curve prediction model[J]., 2010, 26(4): 1261-1272 .

[9] 梁敏华, 吴志勇, 陈涛. 采用最大灰度梯度法实现经纬仪自动调焦控制[J]. 光学精密工程, 2009, 17(12): 3016-3021.

Liang Minhua, Wu Zhiyong, Chen Tao. Autofocusing adjustment of theodolites by largest the gradient method[J]., 2009, 17(12): 3016-3021.

[10] 张龙, 乔铁柱. 一种红外图像的二值化分割算法研究[J]. 红外技术, 2014, 36(8): 649-651.

Zhang Long, Qiao Tiezhu. An binary segmentation algorithm for infrared image[J]., 2014, 36(8): 649-651.

[11] 夏清, 胡振琪, 许立江, 等. 一种改进Sobel算子的热红外影像边缘检测方法[J]. 红外技术, 2015, 37(6): 462-466.

Xia Qing, Hu Zhenqi, Xu Lijiang, et al. A modified edge extraction algorithm of infrared thermal image based on Sobel operator[J]., 2015, 37(6): 462-466.

Design of Focusing Window Based on Energy Function of Gradient

GUO Jingbin1，FENG Huajie1，WANG Long2，PENG Qinjian3，LI Xingfei1

(1.,,300072,；2.(),300072,；3.,300042,)

Zoom and focus are required when photoelectric tracking system is used to track moving targets. The deviation of focusing window caused by the change of target posture and position is the main reason that leads to the failure of automatical focusing. In light of this, a method to establish dynamic focusing window for target is proposed. We used gradient energy evaluation function to extract target features and then establish focusing window by correlation treatment method and boundary expansion, which can overcome the defects of original method. The experiment results show that the new method can establish effective focusing window for 704×576 pixels images during 20ms. The results demonstrate that this method can meet the need of real-time operation.

photoelectric tracking，dynamic focusing，gradient energy evaluation function，focusing window establishment，feature extraction

TP391.4

A

1001-8891(2016)03-0197-06

2015-09-19；

2015-10-29.

郭敬滨（1959-），男，河北保定人，工学硕士，副教授，主要从事精密测试技术及仪器、图像处理的研究。E-mail：guojingbin@tju.edu.cn。