基于视线追踪的卫星观测图像分割技术

冯少康 王慧中 孙广金

摘要：基于卫星观测图像的数据应用往往需要通过目标识别提取来获取有用数据。而图像分割是目标提取的前提，传统的图像分割技术主要是通过各类目标检测算法，获取目标区域并完成分割。本文提出了一种基于视线追踪的图像分割方法，通过分析视觉关注度提取目标图像并完成分割，再使用目标检测算法直接分析真正包含目标的图像。这种利用人的直觉配合算法处理的方式，可有效减少无效分析，降低算法运算量，提高目标识别分析效率。

关键词：图像分割;视线追踪;视觉关注度;目标识别

中图分类号：TP391.41 文献标识码：A 文章编号：1007-9416（2020）08-0048-03

0 引言

卫星图像中的目标识别与分析已成为空间信息应用领域的热门研究方向之一。在民用领域，基于高分卫星图像的地表环境监测技术已服务于生态环境保护、城乡建设规划等。在军用领域，基于卫星图像分析的态势感知、目标识别等相关研究工作也已深入开展。

随着研究工作的开展，科研人员们发现：即使选用改进的目标检测算法，初步分割后的图像也存在一定程度的“虚警”现象，即有些图像当中并不存在目标，或者是仅存在疑似目标。提高算法复杂度、进行更细致的分析运算，或者借助人工辅助操作对图像进行二次筛选，均可以提高图像分割的可靠性。然而，這两种方式在时效性方面尚不能满足应用需求，在目标识别提取效率方面有待提高。

本文提出了一种基于视觉关注度的图像分割方案，通过检测视线特点、分析视觉关注度实现目标识别，完成卫星观测图像分割。

1 视线追踪技术简介

视线关注区域识别及视觉关注度分析，需要借助视线追踪技术获取视线落点及落点移动轨迹。按照测量手段的不同，视线追踪方法分为电学测量法和光学测量法。电学测量法有眼电图法、电磁感应法等，光学测量法有角膜反射法、瞳孔-角膜反射向量法、虹膜-巩膜边缘法和接触镜法等[1]。

瞳孔-角膜反射向量法是一种被广泛使用的光学测量法，该方法无须直接接触人眼，因而能让被试人员更加自然地参与到视线采集追踪实验情境中[2]。

人眼在视线移动的过程中，眼球内部瞳孔与角膜的相对位置会发生变化，这种相对位置的变化信息往往代表了一定的角度信息，而这种角度变化则与视线变化存在一定的映射关系[3]。光学测量方法的基本原理是通过光学手段获得这些相对位置变化信息，根据一定的空间映射模型，对不同平面上参考点的几何特征进行分析，计算出人眼的视线方向或落点。

2 基于视线追踪的图像分割系统方案

2.1 系统组成及工作原理

本文给出了一种基于视线追踪技术的观测图像分割系统方案，系统组成入图1所示。

该系统主要由一台计算机及显示器、和视线追踪装置组成。在显示器屏幕四周布设4个近红外点光源，负责射眼球并在虹膜上形成点状光斑（普尔钦斑）。视线追踪装置位于计算机显示器前下方，该装置由高清CCD相机、数据分析模块及接口电路组成，负责采集人眼图像并上传视线追踪数据。

运行于计算机上的分析软件能够对卫星观测图像进行动态显示，接收视线捕捉装置上传数据，估算视线落点坐标值，分析视觉关注度，根据分析结果进行图像分割。

2.2 视线追踪实现过程

本方案采用瞳孔-角膜反射法估算视线落点完成视线追踪。近红外点光源照射眼球后虹膜区域膜外表面会形成如图2所示的光点，这种光点叫做普尔钦斑。

当视线移动时，瞳孔与普尔钦斑的相对位置是变化的，分析他们之间的位置关系能够获取视线方向并估计视线落点[4]。视线捕捉装置拍摄到眼部图像后，先通过自适应增强（AdaBoost）检测[5]提取虹膜区域图像，再根据像素点亮度提取普尔钦斑位置，最后用最小二乘椭圆拟合法算法获取瞳孔位置[6]。

在得到了普尔钦斑位置、瞳孔位置等图像信息后，在虹膜区域和显示器平面所组成的几何空间中，利用交比（Cross-ratio）不变性能够计算出视线落点。交比不变性的定义是：平面上的四条直线相交于一点，从一条直线上某点出发的截线与其他三条直线相交，截点之间的交比值是相等的[7]。

视线追踪装置捕获的眼部图像中，普尔钦斑的点位置和瞳孔中心点位置的几何关系如图3所示。

图3中A1，A2，A3，A4四个点代表普尔钦斑，Z1是四边形对角线的交点， G代表瞳孔在图像中的位置。Ai（i=1，2，3，4）点的坐标为Ai=（XiA，YiA）（i=1，2，3，4），Bi（i=1，2，3，4）点的坐标为Bi=（XiB，YiB）（i=1，2，3，4）。

相机捕获的图像平面中A1A2的交比值等于公式：

同理，该图像平面中A2A3的交比值等于公式：

在人眼所观察的显示器图像平面上，普尔钦斑的点位置和瞳孔中心点位置的几何关系如图4所示。

如图4所示，C1（m，0）、C2（m，0）、C3（0，n）、C4（m，n）分别代表4个点光源，m和n的数值是已知的确定值。Z2为显示器对角线的交叉点，E（Xe，Ye）代表视线在屏幕上的落点。D1、D2、D3、D4四个点的坐标值分别为（m/2，0）、（Xe，0）、（m，Ye）、（m，n/2）。

可以计算出显示器图像平面中C1C2的交比值等于公式：

同理，该图像平面中C2C3的交比值等于公式：

根据交比不变性原理，可以得到等式：

以上两个等式的表达式展开后如下：

上述等式中，等号左侧的 （XiA，YiA）（i=1，2，3，4）和 （XiB，YiB）（i=1，2，3，4）两种坐标值由视线捕捉装置测量得到，由此可以最终计算出人眼在屏幕上的注视点坐标E（Xe，Ye）的值。

2.3 视觉关注区域分析

在连续拍摄眼眼部图像的过程中，人眼会不自觉的眨眼或微动。因此，即使观察者努力保持注视方向不变，视线捕捉装置上传的视线追踪数据是不断跳变的。如图5所示，图中圆形位置代表观察者实际的注视位置，符号“+”代表视线落点的估计位置，设备测量到的视线估计值会在注视位置附近不停跳变。

由于本系统内部每20ms会更新一次视线落点坐标，因此软件会对1s时间段内的视线落点坐标值取算术平均，此平均值代表视觉关注区域中心点坐标。

人眼在软件的图像显示区域内发现了目标，视线落点会随目标一起沿Y轴方向移动。若视觉关注区域中心点坐标变化趋势与目标移动方向一致，可判定图像中出现了疑似目标。接下来，如果视线落点跟随某目标移动并保持一定时间，可判定视线所在区域存在目标。视觉关注区域若存在目标则符合图像分割条件，软件会记录该区域图像信息，并截图保存。

3 结语

本文提出了一种基于视觉关注度的卫星观测图像分割方案，该方案通过视线追踪技术估算视线落点，根据视线移动规律分析视觉关注度，获取目标所在区完成图像分割。相比于使用算法对卫星观测图像所有区域进行逐一分析的方式，该方法能够借助人的直觉，更快速的发现目标并提取相关图像信息。通过减少无效操作降低算法的运算量，对卫星观测图像中的目标实现快速识别和提取。

参考文献

[1] 曾浩然.穿戴式视线追踪系统时空显著性和滤波算法的研究[D].沈阳：辽宁大学，2015.

[2] 刘涛，李闽威.眼动追踪技术的基本原理及其在偵查辨认中的应用前景[J].净月学刊，2014（10）：44-48.

[3] 金纯.视线追踪系统中注视点估计方法研究[J].自动化仪表，2016（5）：32-35.

[4] 张闯.一种新的基于瞳孔-角膜反射技术的视线追踪方法[J].计算机学报，2010（7）：580-591.

[5] Jean-Michel Boucheix，Richard K.Lowe.An Eye Tracking Comparison of External Pointing Cues and Internalcontinuous Cues in Learning with Complex Animations[J].Leaming and Instruction，2010（20）：123-135.

[6] 金瑞铭.视线追踪技术在网页关注点提取中的应用研究[D].西安：西安工业大学，2016.

[7] 兰善伟.基于瞳孔角膜反射视线追踪技术的研究[D].哈尔滨：哈尔滨工业大学，2014.