基于HVS算子的自适应清晰度自动调焦评价函数

李洪宇，杨 帆，谭文斌，李 珂，常洪伟



基于HVS算子的自适应清晰度自动调焦评价函数

李洪宇1，杨 帆1，谭文斌2，李 珂3，常洪伟1

（1.山东科技大学 机械电子工程学院，山东 青岛 266590；2.天津商业大学 机械工程学院，天津 300134；3.天津大学 精密测试技术与仪器国家重点实验室，天津 300072）

传统梯度类自动调焦评价函数对不同清晰度的序列图像不能兼顾灵敏度高和可调焦范围广两种特性，因此提出了基于人类视觉系统（HVS）算子的自适应清晰度自动调焦评价函数。检测图像各方向上的边缘，计算轻微离焦图像函数值；当图像深度离焦时，划分子区域降低采样率后进行清晰度评价。仿真实验表明本文提出的评价函数，轻微离焦位置灵敏度高，对深度离焦区域图像加均值为0，方差为0.001,0.005,0.01的高斯噪声后函数曲线几乎不变，深度离焦区域内可调焦范围大。该评价函数具有灵敏度高、可调焦范围大、抗噪性能良好等特性，更适合粗精结合的搜索算法使用。

自动调焦；评价函数；人类视觉系统算子；清晰度；子区域

0 引言

随着现代电子技术与控制技术的发展，自动调焦技术在光测设备中得到广泛应用。基于图像处理的调焦方法，系统结构相对简单，对环境适应性高，已成为目前自动调焦方法研究的主流方向。

在基于图像处理的自动调焦中，聚焦窗口的构建，清晰度评价函数，聚焦位置搜索是其重要内容，三者相互关联依次递进，清晰度评价函数是整个闭环搜索的关键。由于场景的随机性、成像系统的成像质量、噪声干扰等问题，目前并没有一种通用的评价函数能够适用于所有场合[1]。目前常用的评价函数有梯度类函数、变换域函数，信息学函数以及统计学函数[2-3]，其中梯度类评价函数方法简单，计算量小，实时性好，满足光测设备对实时性和准确性的要求，应用较为广泛[4-5]。许多学者进行了相关研究，并给出实验结果。文献[6]计算边缘像素任意可能方向梯度，采用最大梯度作为系统的评价判据以提高灵敏度；文献[7]以局部方差作阈值区分边缘非边缘像素，以新的标准差作全局阈值消弱噪声和背景影响，对处理后的图像进行梯度评价以扩大可调焦范围；文献[8]通过前景和背景的平均灰度值得出阈值，计算图像跨度来评价图像清晰度，评价函数灵敏度高；文献[9]将像素梯度与像素邻域相关性结合起来对图像进行评价，降低背景干扰。

分析以上研究发现，传统梯度类函数及其改进算法，大多突出了评价函数的某一特性，而不能兼顾灵敏度和可调焦范围。本文针对此问题，提出了基于HVS算子的自适应清晰度自动调焦评价函数，有效地解决了这个矛盾。

1 传统灰度梯度评价函数

图像清晰度评价函数是对图像清晰度的一个数学描述，为聚焦位置的搜索提供依据。在自动调焦生成的序列图像中，图像的离焦量越小，图像像素的灰度梯度越大，清晰度评价函数值也就越大。常用的灰度梯度函数[10-11]表达式如下，式中：为图像的评价函数值；(,)为坐标(,)点的灰度值。

1）Roberts函数

计算对角方向的梯度。

2）Brenner函数

计算水平方向的梯度。

3）Tenengrad函数

式中：I,I为Sobel梯度算子与像素灰度的卷积；为阈值。

计算水平、垂直方向的梯度。

4）灰度差分绝对值和函数（SMD）

计算水平、垂直方向的梯度。

5）梯度能量函数（EOG）

计算水平、垂直方向的梯度。

这些评价函数在一定的情况下都具有比较好的调焦效果和实时性，但这些评价函数较少考虑成像场景的随机性和图像不同位置梯度方向的多样性，仅仅计算了图像中某些方向的灰度梯度，造成聚焦位置目标边缘细节的丢失，评价函数的灵敏度降低。

2 HVS加权梯度算子及自适应清晰度评价策略

2.1 HVS加权的梯度算子

目前，人们研究发现[12-13]人类视觉系统（HVS）的一系列特性，其中视觉多通道特性是指视觉系统类似于一组带通滤波器，对不同方向、不同颜色、不同频率的刺激有着不同的敏感度。对水平方向和垂直方向的刺激最敏感，往对角线方向的敏感性逐渐减弱，对对角线方向的刺激最不敏感。在计算图像清晰度评价值时，不仅要考虑图像各个像素点梯度方向的多样性，还要对水平方向、垂直方向、对角线方向有所侧重。因此，对水平方向和垂直方向赋予较大的权值，对对角线方向赋予较小的权值，得到各个方向的权值为＝0.4、＝0.4、＝0.2。

为了使评价函数既客观准确，又符合人眼的视觉感知特性，提出了一种HVS加权的梯度算子，其模板如下：

该算子可以检测图像各方向上的边缘，避免丢失细节，综合考虑人眼对各方向刺激的敏感度，对计算水平和垂直方向的梯度赋予较大的权值，对计算对角方向的梯度赋予较小的权值，可以实现微小模糊度图像的质量评价，在轻微离焦区域对图像质量变化有更好的灵敏度。

基于HVS算子的灰度梯度函数表达式如下：

2.2 自适应清晰度的评价策略

灰度梯度类评价函数都是处理图像相邻像素或单个像素之间的关系，在深度离焦区域，图像模糊量较大，相邻像素之间的差异被弱化，由此计算的评价函数值非常接近，难以判断聚焦搜索方向。此时，噪声的存在会严重影响函数评价值，评价曲线出现大量局部极值，导致系统自动调焦失败。

针对这些问题，本文将系统成像的清晰度分为轻微离焦和深度离焦两种，提出了自适应清晰度的评价策略。执行聚焦位置搜索算法后获得连续几帧图像的评价值，当算法判断清晰度为轻微离焦时，直接应用HVS加权的梯度算子评价函数，当算法判断清晰度为深度离焦时，启动划分子区域降低采样频率的评价函数。

对自动调焦系统构建的×聚焦窗口[14]，划分成若干个×的子区域，并计算每一个子区域的平均灰度值，作为该区域的特征值。用公式表示为：

3 仿真实验结果及分析

为了验证本文提出的评价函数轻微离焦区域的灵敏度和深度离焦区域的可调焦范围、抗噪性，设计了模拟轻微离焦区域和深度离焦区域的仿真实验，并与文中所提传统梯度类函数比较。光测设备自动调焦系统的分辨率和目标尺寸不同，构建的聚焦窗口大小不同。课题组设备的视频图像分辨率为704pixel×576pixel，理想的聚焦窗口占视频画面的1/8到3/8，可以保证聚焦窗口能够包含较多的目标特征，又保证有足够的视场，降低由于跟踪偏差导致目标直接越出画面的几率。本文用256pixel×256pixel的cameraman图模拟已经构建的调焦窗口，人物作为跟踪目标，实验发现，划分的子区域大小为10pixel×10pixel时能取得良好的评价效果。

3.1 轻微离焦区域函数的灵敏度分析

依次用＝1.0, 1.1, 1.2, …, 2.9的模糊半径对cameraman原图向两侧进行圆盘模糊，从而得到编号从10:50，清晰度从轻微离焦-清晰-轻微离焦的41张序列图像，以此模拟聚焦搜索过程中轻微离焦区域，序列图片如图1所示。

对cameraman轻微离焦序列图用上述5种传统梯度类算法及本文算法进行清晰度评价，将计算的函数值进行数据归一化处理，结果如图2所示。

通过比较发现，对轻微离焦区域获得的高清晰度序列图像，各种算法均能准确判断最清晰图像，即获得焦点的准确位置，其中，Brenner函数、EOG函数和本文函数拥有更好的灵敏度。分析发现，Brenner函数和EOG函数，均是通过计算梯度的平方，提高灵敏度，获得较大梯度幅值，削弱小梯度幅值，同时放大了梯度的随机波动，增加了计算量。本文算法充分考虑像素八邻域方向梯度并加权，在未进行平方运算的情况下，具有良好的灵敏度。

图1 轻微离焦序列图像

Fig.1 Sequence of images with slight blurred

图2 轻微离焦序列图像评价函数值

3.2 深度离焦区域函数的可调焦范围分析

依次用＝3, 5, …, 43的模糊半径对cameraman原图向两侧进行圆盘模糊，从而得到编号从10:50，清晰度从深度离焦-清晰-深度离焦的41张序列图像，以此模拟聚焦搜索过程中深度离焦区域，序列图片如图3所示。

对cameraman深度离焦序列图用上述5种传统梯度类算法及本文算法进行清晰度评价，将计算的函数值进行数据归一化处理，结果如图4所示。

通过比较发现，对深度离焦区域获得的低清晰度序列图像，各算法仍能准确判断最清晰的图像，获得焦点的准确位置，但是传统梯度类评价函数在深度离焦区域，评价函数曲线过于平坦，函数值大小接近，后续聚焦位置搜索算法无法确定调焦方向，评价函数可调焦范围小。本文算法将子区域的灰度平均值作整个子区域的像素灰度值，增强各个新像素之间的灰度差异，评价函数曲线在整个深度离焦范围内具有良好的陡峭度，可调焦范围大。

图3 深度离焦序列图像

Fig.3 Sequence of blurred images

图4 深度离焦序列图像评价函数值

3.3 深度离焦区域函数的抗噪性分析

依次用＝3, 5, …, 43的模糊半径对cameraman原图向两侧进行圆盘模糊，从而得到编号从10:50，清晰度从深度离焦-清晰-深度离焦的41张序列图像，并对此序列加入均值为0，方差为0.01的高斯噪声，以此模拟聚焦搜索过程中深度离焦的区域受噪声干扰的情况，序列图片如图5所示。

对cameraman深度离焦加噪声序列图用上述5种传统梯度类算法及本文算法进行清晰度评价，将计算的函数值进行数据归一化处理，结果如图6所示。

由图6可以发现，对深度离焦区域获得的低清晰度序列图像，传统梯度类评价函数受噪声干扰，评价曲线出现大量波动，已不能准确判断最清晰图像，无法确定真实的焦点位置，后续聚焦位置搜索算法易陷入局部极值。本文算法的函数曲线在整个深度离焦范围内仍具有良好的陡峭度，可调焦范围大。

保持其他参数不变，只改变所加高斯噪声的方差，进行方差为0.005和0.001的两次实验，结果如图7，图8所示。

图5 深度离焦加方差0.01高斯噪声序列图像

图6 深度离焦加方差0.01高斯噪声序列图像评价函数值

图7 深度离焦加方差0.005高斯噪声序列图像评价函数值

图8 深度离焦加方差0.001高斯噪声序列图像评价函数值

比较图4～8可以发现，在深度离焦区域，轻微噪声对传统梯度类评价函数曲线的影响很大，本文提出的划分子区域降低采样率的评价函数，对方差0.001、0.005、0.01的高斯噪声，几乎不受影响，体现了优秀的抗噪能力。

4 结论

本文提出的基于HVS算子的自适应清晰度自动调焦评价函数，根据系统视频图像的清晰度，轻微离焦时直接应用HVS加权的梯度算子评价函数，以较少的运算量获得评价函数较高的灵敏度，深度离焦时,将图像划分成若干子区域采样再进行清晰度评价，扩大图像序列的可调焦范围，提高评价函数的抗噪性能，后期搭配粗精结合的聚焦位置搜索算法，更适合在嵌入式实时光测平台进行自动调焦控制。

[1] 潘雪娟, 朱尤攀, 潘超, 等. 基于梯度计算的自动聚焦图像清晰度评价函数仿真分析[J]. 红外技术, 2016, 38(11): 960-968.

Pan Xuejuan, Zhu Youpan, Pan Chao, et al. Simulation Analysis of Auto Focusing Sharpness Evaluation Function for Images Based on Gradient Operator[J]., 2016, 38(11): 960-968.

[2] 赵辉, 鲍歌堂, 陶卫. 图像测量中自动调焦函数的实验研究与分析[J]. 光学精密工程, 2004, 12(5): 531-536.

Zhao Hui, Bao Getang, Tao Wei. Experimental research and analysis of automatic focusing function for imaging measurement[J]., 2004, 12(5): 531-536.

[3] 邱胜根, 周杰, 刘旭, 等. 阵列像素器件投影显示系统中自动对焦评价函数研究[J]. 光学学报, 2004, 24(4): 460-464.

Qiu Shenggen, Zhou Jie, Liu Xu, et al. Research of Sharpness Evaluation Function in Array Pixel Device Projection Displays Auto-Focusing System[J].a, 2004, 24(4): 464-469.

[4] 高赞, 姜威, 朱孔凤, 等. 基于边缘梯度的自动聚焦算法[J]. 系统工程与电子技术, 2007, 29(3): 495-498.

Gao Zan, Jiang Wei, Zhu Kongfeng, et al. Auto-focusing algorithm based on the gradient of edge[J]., 2007, 29(3): 495-498.

[5] 朱孔凤, 姜威, 王端芳, 等. 一种新的图像清晰度评价函数[J]. 红外与激光工程, 2005, 34(4): 464-468.

Zhu Kongfeng, Jiang Wei, Wang Duanfang, et al. New kind of clarity evaluation function of image[J]., 2005, 34(4): 464-468.

[6] 梁敏华, 吴志勇, 陈涛. 采用最大灰度梯度法实现经纬仪自动调焦控制[J]. 光学精密工程, 2009, 17(12): 3016-3021.

Liang Minhua, Wu Zhiyong, Chen Tao. Auto-focusing adjustment of theodolites by largest the gradient method[J]., 2009, 17(12): 3016-3021.

[7] 莫春红, 刘波, 丁璐, 等. 一种梯度阈值自动调焦算法[J]. 红外与激光工程, 2014, 43(1): 323-327.

Mo Chunhong, Liu Bo, Ding Lu, et al. A gradient threshold auto-focus algorithm[J]., 2014, 43(1): 323-327.

[8] 陈芳, 张存继, 韩延祥, 等. 简单图像的快速聚焦[J]. 光学精密工程, 2014, 22(1): 220-227.

Chen Fang, Zhang Cunji, Han Yanxiang, et al. Fast Focus on Simple Images[J]., 2014, 22(1): 220-227.

[9] 朱倩, 姜威, 贲晛烨, 等. 梯度与相关性结合的自动聚焦算法[J]. 光学技术, 2016, 42(4): 329-332.

Zhu Qian, Jiang Wei, Ben Xianye, et al. Auto-focusing algorithm based on gradient and correlation[J]., 2016, 42(4): 329-332.

[10] 高赞, 姜威, 朱孔凤, 等. 基于Roberts梯度的自动聚焦算法[J]. 红外与激光工程, 2006, 35(1): 117-121.

Gao Zan, Jiang Wei, Zhu Kongfeng, et al. Auto focusing algorithm based on Roberts gradient[J]., 2006, 35(1): 117-121.

[11] 高赞, 姜威, 朱孔凤. 基于最大梯度和阈值的自动聚焦算法[J]. 电子测量与仪器学报, 2007, 21(5): 49-54.

Gao Zan, Jiang Wei, Zhu Kongfeng. Auto-focusing Algorithm Based on Most Gradient and Threshold[J]., 2007, 21(5): 49-54.

[12] Eskicioglu A M, Fisher P S. Image quality measures and their performance[J]., 1995, 43(12): 2959-2965.

[13] Wade N., Swanston M..:[M]. 2nd edition, London: Psychology Press, 2001.

[14] 郭敬滨, 冯华杰, 王龙, 等. 基于梯度能量函数的调焦窗口构建方法[J]. 红外技术, 2016, 38(3): 197-202.

Guo Jingbin, Feng Huajie, Wang Long, et al. Designing of focusing window base on energy function of gradient[J]., 2016, 38(3): 197-202.

A Self-adaptive Clarity Auto Focus Evaluation Function Based on HVS Operator

LI Hongyu1，YANG Fan1，TAN Wenbin2，LI Ke3，CHANG Hongwei1

(1.,,266590,; 2.,,300134,; 3.,,300072,

The traditional gradient auto-focusing evaluation function can not take into account the high sensitivity and the wide focus range for different clarity sequences. Therefore, a self-adaptive clarity auto-focusing evaluation function based on human visual system (HVS) operator is proposed. Detecting the edge of each direction of the image, calculating the value of the minor defocused image; when the image is depth defocused, the sub-region reduces the sampling rate and then performs the sharpness evaluation. The simulation results show that, the function sensitivity in the mild defocusing position is high, the function curve is almost invariant in the depth defocus region after the Gaussian noise which mean value is 0, the variance is 0.001, 0.005, 0.01 is added to the image, the wide depth defocus region can be focused. The evaluation function has the characteristics of high sensitivity, large focus range, good anti-noise performance and more suitable for the rough-precise searching algorithm.

auto-focusing，evaluation function，human visual system operator，clarity，sub-region

TP391.4

A

1001-8891(2017)07-0632-06

2017-01-07；

2017-04-21.

李洪宇（1975-），男，山东泰安人，工学博士，副教授，主要从事精密测量技术及仪器、图像处理的研究。E-mail：skdlhy@163.com.

精密测试技术及仪器国家重点实验室开放基金（PIL1407）。