视线驱动的云台跟踪技术

王建中　王洪枫　刘弘扬　张晟

摘  要： 人在回路的遥操作是未来相当长时期内无人武器云台的主要操控方式。针对无人武器云台手动遥操作控制方法存在的负担重、效率低等问题，提出一种视线驱动跟踪方法，通过检测眼球运动来追踪人眼视线，捕获操控人员对特定目标的注视信息，建立操控人员眼动与无人武器云台目标跟踪的随动关系，实现“看哪打哪”。给出了眼动检测、视线估计、无人武器云台运动映射模型及随动跟踪瞄准等的实现方法和流程，并进行了相关试验验证。结果表明，该方法可使无人武器云台的目标跟踪瞄准操控摆脱对肢体的需求，用视线操作代替传统的手动操作，可有效减轻手动操控负担，提高操控及时性、准确性和人机交互效率，将成为无人武器的重要操控方式。

关键词： 无人武器; 云台跟踪; 视线驱动; 眼动检测; 随动跟踪; 实验验证

中图分类号： TN820.4?34; TP23                  文献标识码： A                      文章编号： 1004?373X（2020）24?0166?04

Sight driven pan?tilt tracking technology

WANG Jianzhong， WANG Hongfeng， LIU Hongyang， ZHANG Sheng

（School of Mechatronical Engineering， Beijing Institute of Technology， Beijing 100081， China）

Abstract： The teleoperation of man in the loop is the main operation mode of unmanned weapon platform for a long time in the future. In allusion to the problems of heavy burden and low efficiency existing in the manual remote operation control method of unmanned weapon cradle head， a sight driven pan?tilt tacking method is proposed. In this method， the sight of the human eyes is tracked by detecting the eye movement to capture the information of the operator′s gaze at a specific target， and the follow?up relationship between the operator′s eye movement and the target tracking of the unmanned weapon is established， so as to realize the “hit where you see it”. The realization methods and processes such as eye movement detection， gaze estimation， motion mapping model of unmanned weapon pan?tilt， and follow?up tracking and sighting are given， and the relevant experimental verification are carried out. The results show that the method can make the target tracking and sighting of the unmanned weapon platform get rid of the remand of body， and replace traditional manual operation with sight operation， which can effectively reduce the burden of manual control， improve the timeliness and accuracy of the operation and the efficiency of the human?computer interaction. It will be an important means of control for unmanned weapons.

Keywords： unmanned weapon; pan?tilt tracking; sight driven; eye movement detection; follow?up tracking; experimental verification

0  引  言

人机分离而形成的无人武器是未来武器装备发展的重要方向，目标跟踪瞄准是其关键技术之一。由于相关技术发展阶段的限制，实现目标跟踪瞄准的无人武器云台的操控在未来相当长时期内仍将是人在回路的遥操作模式。战场环境和敌方目标复杂多变且十分危险，无人武器操控人员承受巨大的心理和生理压力，导致武器云台手动遥操作控制方法操控负担重、效率低，目标跟踪瞄准的及时性和准确性大打折扣[1]。

本文提出一种穿戴式人机融合的视线驱动跟踪方法，将头戴显示及眼动追踪装置、操控人员和无人武器云台紧密耦合，通过检测眼球运动来追踪人眼视线，捕获无人武器操控人员对头戴显示场景中敌方目标的注视信息，建立操控人员眼动与无人武器云台目标跟踪瞄准的随动关系，在此基础上控制无人武器云台追随操控人员的视线进行目标搜索、跟踪及瞄准，实现“看哪打哪”[2?4]。该方法可使无人武器云台的目标跟踪瞄准操控摆脱对肢体的需求，用视线操作代替传统的手动操作，可有效减轻手动操控负担，提高操控及时性、准确性和人机交互效率，将成为无人武器的重要操控方式。该技术在社会安防和监控等领域也有重要的应用价值。

[βe=γx2-arctanlscreen-2xssin γxlscreen1+cos γx+2xs1-cos γx]                    （12）

同理可得注视点与无人武器云台俯仰角关系：

[?e=γy2-arctanwscreen-2yssin γywscreen1+cos γy+2ys1-cos γy]                 （13）

式中：[γy]为武器瞄准摄像机俯仰方向视场角;[ys]为注视点在俯仰方向上的坐标;[wscreen]为武器瞄准摄像机图像在显示屏俯仰方向实际显示所占用的像素长度。

3  无人武器云台随动跟踪试验

在头戴显示中设定图5所示9个黑色十字目标点，眼睛摄像机采集依次注视目标点时的实时眼部图像，检测定位出对应的9个瞳孔中心，如表1和图6所示，由式（3）求解出对应的9个注视点，如图5蓝色十字和表2所示。

无人武器云台的随动跟踪瞄准由方位和俯仰运动实现，按照式（12）、式（13）获得无人武器云台随注视点的跟踪瞄准如图5中的红色十字和图7所示。

视线操控无人武器云台跟踪瞄准人员目标的试验场景如图8所示，云台上的激光笔投射在人员目标身上的红点验证了良好的跟踪瞄准效果。

4  结  语

本文提出一种视线驱动的云台跟蹤操控方法，给出瞳孔中心检测与定位、视线估计、无人武器云台方位和俯仰运动与注视点和瞳孔中心的映射模型以及无人武器云台随动跟踪等实现方法和流程，建立操控人员眼动与无人武器云台目标跟踪的随动映射控制关系，并进行设定目标点和实际人员目标的视线操控跟踪瞄准试验验证。结果表明，该方法用视线操作代替传统的手动操作，可有效减轻手动操控负担，提高操控及时性、准确性和人机交互效率，对无人武器装备的发展具有重要意义，在安防监控等领域也有重要的应用价值。

参考文献

[1] CHASE M S， GUNNESS K A， MORRIS L J， et al. Emerging Trends in China's Development of Unmanned Systems [R]. Santa Monica： RAND Cooperation， 2015： 5?14.

[2] 张达磊.基于视线跟踪的人机交互系统设计[D].杭州：浙江工业大学，2016.

[3] 马卫华.人机交互系统的实时人眼跟踪技术研究[J].现代电子技术，2019，42（13）：65?68.

[4] BISWAS Langdon. Multimodal intelligent eye?gaze tracking system [J]. International journal of human?computer interaction， 2015， 31（4）： 277?294.

[5] WANG Jianzhong， ZHANG Guangyue， SHI Jiadong， et al. 2D gaze estimation based on pupil?glint vector using an artificial neural network [J]. Applied sciences， 2016， 6（6）： 174.

[6] 胡艳红，魏江.红外图像中瞳孔定位算法[J].电子设计工程，2019，27（1）：189?193.

[7] 张慧敏，罗珮允，隋建峰.基于图像处理的瞳孔大小检测算法研究[J].半导体光电，2017，38（1）：136?141.

[8] 顾可可，付威威，董月芳，等.基于改进轮廓跟踪的瞳孔快速检测[J].红外技术，2017，39（6）：574?578.

[9] WANG Jianzhong， ZHANG Guangyue， SHI Jiadong. Pupil and glint detection using wearable camera sensor and near?infrared led array [J]. Sensors， 2015， 15（12）： 30126?30141.

[10] 王建中，张广月，王虹.人眼检测的混合加权特征方法[J].北京理工大学学报，2019，39（8）：819?824.

[11] CHENG Hong， LIU Yaqi， FU Wenhao， et al. Gazing point dependent eye gaze estimation [J]. Pattern recognition， 2017， 71： 36?44.

作者简介：王建中（1963—），男，湖北人，博士，教授，研究方向为智能无人技术。

王洪枫（1994—），男，山东人，博士研究生，研究方向为智能无人技术。

刘弘扬（1994—），男，黑龙江人，硕士研究生，研究方向为智能无人技术。

张  晟（1995—），男，吉林人，硕士研究生，研究方向为智能无人技术。