直升机光电吊舱自动跟踪技术在输电线路巡检中的应用

金明磊 王鹏程 雷建胜

摘   要：传统的有人直升机对架空输电线路进行巡检时，对搭载检测设备的吊舱或者云台必须手动进行控制以使待检测目标一直处于视角范围内，这需要巡视人员对视频进行高度集中的观察。为了减轻巡线员的负担，提出了一种光电吊舱自动跟踪方法。该方法选取Struck算法并利用Haar特征描述运动目标，跟踪过程中，搜索上一帧目标区域的邻近位置，利用Structured Output SVM对待选区域进行二元分类，取得分最高的候选区域作为当前运动目标跟踪的结果。实验结果表明，算法的平均偏移率（视场角）为1.6%，目标丢失率为14%，能够对杆塔、绝缘子、均压环等输电线路关键部位进行实时跟踪。

关键词：直升机;输电线路;巡视光电吊舱;自动跟踪;Struck;SVM;

中图分类号：TP273+.5                                         文献标识码：A

Automatic Tracking Technology of Helicopter Patrol Photoelectric

Pod in Inspection of Overhead Transmission Line

JIN Ming-lei1?，WANG Peng-cheng2，LEI Jian-sheng1

（1. Tianjin Aerospace Zhongwei Data System Technology Co.，Ltd.，Tianjin 300301，China;

2. School of Electronic and Information Engineering，Tianjin University，Tianjin 300072，China）

Abstract：When a traditional helicopter is used to inspect an overhead transmission line，the pod or cradle head equipped with testing equipment must be manually controlled so that the target to be tested is always within the range of vision，which requires highly concentrated observation of video by the inspectors. In order to reduce the burden on the lineman，an automatic tracking method for the photoelectric pod is proposed. It selects Struck algorithm and uses Haar features to describe moving targets. In the tracking process，it searches the adjacent location of the target region of the previous frame，and uses structured output SVM to deal with the selected regions for binary classification，the candidate region with the highest score is obtained as the result of tracking the current moving target. The experimental results show that the average deviation rate （field Angle） of the algorithm is 1.6%，and the target loss rate is 14%，which can track the key parts of transmission line，such as tower，insulator and equalizing ring，in real time.

Key words：helicopter;transmission line;patrol photoelectric pod;automatic tracking;Struck;SVM;

傳统的有人直升机在对架空输电线路进行巡检的过程中，都需要手动控制搭载检测设备的云台或者吊舱使待检目标始终处于视角范围内，因此，巡线员必须高度集中观察视频[1-2]。光电吊舱自动跟踪技术能够减轻巡线员的负担，通过跟踪结果的位置反馈，自动调整吊舱姿态，使被关注的目标始终处于视野中央。

2013年BenchMark通过大量实验比较了SCM、TLD、ALSA、LSK、SCM、STC、CT、Struck等算法[3]，当物体运动过快时，Struck、TLD等大密度采样的算法效果更好，而随机搜索的算法SCM、ASLA等由于粒子数的限制跟踪不稳定;在遮挡情况下，结构学习和稀疏表示的方法使得Struck，TLD，LSK，ALSA等算法更有效[4];在尺度缩放情况下，Struck和采用仿射运动模型的ALSA、SCM算法的适应性更好。Struck算法在综合性能上比其他算法更为优越，因此，选取Struck算法进行运动目标跟踪[5]。

1   算法思路或研究路径

Struck算法主要包括运动模型、特征提取、观测模型和模型更新四部分[6]，具体研究思路如图1所示：根据上一帧或初始运动目标的位置，在当前图像帧中通过运动模型估计目标的候选区域，提取候选区域的Raw、Haar、直方图等特征，输入观测模型Structured Output SVM，判断候选区域是否属于运动目标[7]。

2   研究方法

2.1   运动模型

假设上一帧目标所在区域中心为（x0，y0），候选区域中心点的获取方法如下图所示，以（x0，y0）为圆心，R为半径，所有处于该圆内的整数坐标点都可以作为候选区域的中心点。候选区域的大小始终与初始目标相同。

该运动模型在上一帧目标周围的360度范围内进行候选区域的提取，更好地适应目标在各个方向的运动。候选区域获取示例图如图2所示。

2.2   特征提取

特征提取是将原始目标区域图像转换为一组具有明显物理意义、统计意义或核的特征[8]。一般，杆塔在巡线视频帧中占据较大面积，且与周围环境灰度差异较大，可以直接对杆塔区域进行缩小提取Raw特征或者采用直方图特征进行跟踪[9]。绝缘子的伞裙是均匀间隔分布，具有规律矩形特点，且与周围环境灰度差异较大，可以采用Haar特征或直方图特征进行跟踪[10]。

因此，本算法提取Raw、Haar、直方图等三个特征，特征可以单独被使用，或者联合使用。

（1）Raw特征。将图像转换到灰度空间中，并缩放固定的大小（如16*16），直接采用原始的像素值作为特征。

（2）Haar特征。如图3所示，a、b、c、d、e、f每个特征都是由白色填充区域像素值之和与黑色填充区域像素之和的差值计算得到。其中a、b属于边缘特征，c、d属于线特征，e属于对角特征，f属于点特征。

（3）直方图特征。如图4所示，分别统计a、b、c、d几个图形中各个区域的直方图，并将所有区域的直方图联合起来作为该目标的直方图特征。普通PC机上，采用直方图特征或者联合两个特征，帧率都处于10帧以下，无法满足实时性要求，因此，选择的特征应当为Haar特征或者Raw特征，而Raw特征在目标描述上不如Haar特征，因此，在实际操作过程中，可以只选取Haar特征作为特征提取的方法。

2.3   观测模型

观测模型即判定候选区域是否属于运动目标。本算法采用structured output SVM对每个候选区域进行分类，输出每个候选区域属于运动目标的概率（得分），取概率（得分）最大者作为当前帧的跟踪结果。假设pt-1表示上一帧的目标位置，一个样本对可以表示为（x，y），其中y表示的是目标的变换，学习预测函数f：X→Y可以直接估计帧间的变换。即

其中F表示的是分类函数F：X×Y→R，度量的是（x，y）的匹配性，匹配度高，得分越高。将F（x，y）的格式限制为

其中，?（x，y）表示的是联合映射，可以通过一系列的训练样本对采用最小化凸目标函数进行学习。

2.4   模型更新

2.4.1   样本获取

在极坐标平面内选取样本，如图5所示。样本坐标即样本区域的中心点与当前目标中心点（x0，y0）的偏移量（dx，dy），通过（r sin θ，r cos θ）来获取。其中r的取值范围为（0，R），θ的取值范围为[π/16，31π/16]或者[0，30π/16]。

2.4.2   在線更新

函数的最优化采用标准的对偶拉格朗日法，可以转化为：

i > 0时，y+ = yi，y-可以根据y- = arg gi（y）得到。跟踪过程中，增加yi作为正的支持向量，进而根据当前学习器的状态结合损失函数寻找最重要的样本称为负的支持向量。当然，如果SMO步骤并未调整β yi

i，也就不会增加支持向量。

（2）Process Old

对于一个已经存在的随机选择的支持模式xi，y+ = arg gi（y），但是固定的搜索路径需要满足β y

i≤δ（y，yi）C，意味着最大化只会包含已经存在的支持向量。对于Process New，y- = arg gi（y）。在跟踪过程中，这种相关性会重新访问已经得到的支持向量，并且可能会加入新的负的支持向量。同时调整相关的置信度。当然，新样本的选择也要考虑当前学习器的状态和损失函数。

（3）Optimize

处理随机选择的已经存在的支持模式xi，但是只调整已经存在支持向量的置信度。

具体的执行流程是：给定一个训练样本对（xi，yi），采用一个Process New过程，和nR个ReProcess过程（1个Process Old过程和nO个最优化过程的集合）在实际的跟踪过程中，维持一个支持向量集S，对于每一个（xi，y）∈S，存储其置信度β y

i和梯度gi（y），两者都在SMO步骤进行调整，如果调整后的β y

i变为0，那么相关的支持向量将会被移除。

上述的步骤可能会使得支持向量无限制地增长，所需的存储空间和计算时间也会随着支持向量的数量线性增加，因此必须控制支持向量的个数在一定范围内，即引入一个budget。维护budget的过程中，通常选择对权重w影响最小的支持向量进行移除，可以用‖w‖2进行衡量。由于最优化过程中的SMO步骤，必须确保β y

i = 0。一般在一個支持向量模式里面，只有一个正的支持向量，因此只考虑移除负的支持向量。如果一个支持模式只有两个支持向量，那么他们两个就必须都被移除。

移除一个负的支持向量（xr，y），支持向量的权重变化为

因此，每次通过最小化?||？w||?^2来移除支持向量。

3   试验分析

本算法在Visual Studio 2010平台基于OpenCV2.4.6的C++语言进行开发，实验平台为Inter（R） Core（TM） i7-4790CPU @3.60GHz，RAM4GB。选取了运动目标跟踪的标准数据集中的44个图像序列测试了运动目标跟踪算法。这些数据包括位置突变、抖动、光照变化、遮挡、形状变化、焦距变化等多种在运动目标跟踪过程中容易对跟踪效果产生较大影响的情况。同时测试了该算法对绝缘子、杆塔等线路目标的跟踪效果。

在测试过程中，如果跟踪得到的目标框与实际的运动目标框的重叠度大于50%，或者两者的中心的距离小于25个像素时，则认为该帧跟踪正确，测试集中基于Struck的运动目标跟踪结果如表1所示。

，上述数据集为摄像机在定焦镜头下拍摄的视频/图像序列，即视场角不变，则平均偏移率指标可等同于视场角指标。

下面各图展示了利用Struck算法在位置突变、抖动、光照变化、遮挡、形状变化、焦距变化等多种情况下的跟踪结果，绿色的框表示跟踪得到的目标边界框，而红色的框表示实际的运动目标边界框，可以看出该算法能够较好的适应光照变化、部分遮挡、目标的形变及抖动等多种情况，如图6至图9所示。平均的跟踪帧速是25帧，即目标跟踪时平均单帧处理时间为40 ms，跟踪到的帧数占总测试帧数的86%，即丢失率为14%，而跟踪结果的中心位置与实际目标中心位置的像素差平均值是9个像素，平均偏移率（视场角）为1.6%，满足跟踪要求。

在相同样本集的情况下，试验同时测试了STC，CT，ACA算法，并与stuck算法进行比较。试验测试结果如表2所示。

STC算法能够适应光照变化和简单尺度变化，但在剧烈抖动和部分遮挡情况下，目标容易丢失[11];CT算法计算简单，速度快，但由于提取的特征和观测模型简单，正确跟踪率较低[12];ACA算法适用于目标与背景颜色相似的情况，但无法克服目标遮挡、角度变化等情况。Struck算法正确跟踪率较高，跟踪偏移率小，更适用于线路目标的跟踪[13]。

基于Struck算法的架空输电线路原件目标的跟踪结果如图10至图12所示，可以看出对杆塔、绝缘子、金具等线路元件，该算法都取得了较好的效果，满足基本的跟踪要求。

使用该算法，存在的不足主要有：当目标消失在视野内一段时间重新出现时，目标容易丢失，如图13所示。对于焦距变化来说，对平缓的变焦使用效果较好，但是由于目标跟踪的结果框是固定的，并不能随着大小变化而进行缩放，如图14所示。

可以选取本地视频、图像序列或者当前摄像头采集的实时视频进行运动目标跟踪[14]，初始跟踪框可以手动选取或从本地文件读入。在跟踪过程中可以通过键盘按键暂停或者重新选取运动目标[15]。

5   结 论

直升机巡视光电吊舱自动跟踪算法主要选取Struck算法，并开发了其原型软件。该算法采用Haar特征来描述运动目标，在跟踪过程中，搜索上一帧目标区域的邻近位置，利用Structured Output SVM对待选区域进行二元分类，取得分最高的候选区域作为当前运动目标跟踪的结果。在支持向量的更新过程中，样本的标记依据样本区域与目标区域的重叠度来进行。为了保持算法的高效性，在跟踪过程中始终维持一个支持向量budget防止支持向量的无限制增长。

实验测试结果表明Struck运动目标跟踪算法的平均偏移率（视场角）为1.6%，标清视频的单帧处理时间为40 ms，目标丢失率为14%，能够对杆塔、绝缘子、均压环等输电线路关键部位进行实时跟踪，适用于目标形变（视角变换）、光照变化、部分遮挡、抖动等多种复杂情况。

参考文献

[1]    李文魁，王俊璞，金志华，等. 直升机机载光电吊舱的发展现状及对策[J]. 中国惯性技术学报，2004，12（5）：75-80.

[2]    吉书鹏，丁晓青. 机载光电吊舱传感器图像融合技术研究[J].北京：清华大学电子工程，2002.

[3]    周克虎，周进，雷涛，等. 基于Struck算法的遮挡目标跟踪[J].半导体充电，2017，38（4）：585-591.

[4]    SAM H，AMIR S，PHILIP H S T. Struck：structured output

tracking with kernels[C]// MA USA：Proceeding of the 28th International Conference on Machine Learning，2011.

[5]    SMEULDERSA W M，CHU D M，CUCCHIARA R，et al. Visual tracking：an experimental survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，7（7）：1442-1468.

[6]    NAIMA A，ALI K，DAOUD B.Multiple target tracking using track before defect algorithm[C]// International Conference on Electrical Engineering and Automation，2017：692-695.

[7]   SUPSUKBAWORN T，LIN C E. Attitude stabilization in unmanned vertical takingoff/landing aircraft[C]// Industrial Electronics Society，IECON，2014-40th Annual Conference of the IEEE，2017：71-76.

[8]    CAO J，ZHAO T，WANG J，et al. Excavation equipment classification based on improved MFCC features and ELM[J]. Neurocomputing，2017，261：231-251.

[9]    MAHYARL M Y，CHANBARI M. Robust estimation of camera motion parameters[C]// Eletrical Engineering（ICEE），2014 22nd Iranian Conference，2014：850-855.

[10]  李俊. 基于FPGA电子稳像技术的研究[D]. 武汉：武汉理工大学，2012.

[11]  谢月飞，蔡晓东，林景亮，等. 基于曲线拟合的视频稳像方法[J]. 计算机工程，2014，40（4）：151-153.

[12]  秦晓敏. 智能视频监控中目标跟踪的研究与实现[J]. 电子设计工程. 2011，19（5）：40-42.

[13]  KALAL Z，MIKOLAJCZYK K，MATAS J. Tracking-learning-dection[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence，2012，34（7）：1409-1422.

[14]  吉淑嬌，朱明，雷艳敏，等. 基于改进运动矢量估计法的视频稳像[J]. 光学精密工程，2015，5（23）：1458-1465.

[15]  朱志玲. 智能视频监控中行人跟踪技术研究[D]. 北京：北京交通大学，2014.