图像处理技术在输电线路直升机智能巡检中的应用

陈舫明，杜雅慧，陈弘

（1.绍兴电力局，浙江绍兴321000；2.浙江捷尚视觉科技有限公司，杭州310000）

图像处理技术在输电线路直升机智能巡检中的应用

陈舫明1，杜雅慧2，陈弘1

（1.绍兴电力局，浙江绍兴321000；2.浙江捷尚视觉科技有限公司，杭州310000）

在能够获得同样巡检效果的前提下，如何减少直升机在空中的巡检时间，绍兴电力局在其研制的直升机智能巡检系统中做了有益的尝试。将巡检方式由目测发现缺陷，拍摄和记录缺陷位置的图像，改由“巡检装置”快速记录线路全程图像，事后分析图像，寻找线路部件缺陷新的巡检方式。这种巡检方式将会遇到处理海量图像文件的技术瓶颈，对这一技术现状进行了探讨，并提出了可能解决的技术方案。

输电线路；直升机巡检；图像；处理；技术

0 引言

常规的输电线路直升机巡检是目测和仪器自动检测相结合，巡检杆塔、导地线、绝缘子及其金具等部件运行状态。巡检线路设备是否有以下状况：导地线断股、毛刺、间隔棒倾斜、脱落；防震锤脱落或滑移，地线放电间隙变化；连接金具接点过热、异常电晕；绝缘子自爆，倾斜；金具锈蚀、螺丝松动和销钉类缺失等。巡检方式：由目测发现缺陷，拍摄和记录缺陷位置的图像，平均航巡速度大约在5～10 km/h，巡检效率不高。

直升机智能巡检技术提出：在获得同样巡检效果的前提条件下，研究如何有效减少空中飞行时间，使其航巡速度保持在20～25 km/h左右，巡检效率提高一倍多。由此，设计了一种能够由“巡检装置”快速记录线路、杆塔全程图像，事后分析处理图像、寻找线路部件缺陷的巡检方式。这种巡检方式实际上已经将巡检员在空中实时发现线路部件缺陷的责任，移交给了地面上通过图像处理寻找线路部件缺陷的数据分析员。因此，需要1套高质量图像采集处理系统，其图像处理能力成为发现线路部件缺陷的关键技术。

在图像处理技术领域中，利用图像算法理论智能诊断线路部件缺陷的技术目前尚不成熟，但图像预处理技术和图像智能检索技术能有效提高直升机巡检图像处理的实用化水平。通过分析图像预处理技术和图像智能检索技术的研究现状，对图像预处理技术进行了重点剖析，探索研制基于直升机巡检采集的红外图像、紫外图像、可见光图像，智能检索线路部件缺陷的应用系统能便捷查询巡检图像数据，快速发现线路部件缺陷，并对线路部件缺陷图像进行规范管理。

1 图像预处理技术

直升机巡检采集到的图像由于受到天气、运动、振动和直升机悬停等原因造成图像模糊和重复。图像处理的具体流程如图1所示。

图1 图像预处理流程

1.1 图像照度调整

照度主要分低照度和高照度2种情况，照度不理想的主要原因是图像亮度分布范围窄和分布位置偏。为扩大直方图分布范围，设全图亮度均值为ave，当前像素原值为A，范围增强百分比为k，则当前像素调整后值A′计算方法为：

式中：k的范围为±100%，k越大，图像直方图的分布越广，图像对比度越强。

为调整直方图的分布位置，设原像素亮度值为B，亮度增量为d，则调整后亮度值B′的计算公式为：

式中：e的范围为±127，e为正时直方图向右移动，反之则向左移动。

对于多通道图像，照度调整的算法同上，但需要对多个通道分别进行计算，以使各通道保持平衡。

1.2 去除雾雨背景

采用了基于自动白平衡的方法对雾雨图像进行处理。这种算法的优点是速度较快，而且没有交互参数，是一种全自动的方法。具体处理方法如下：首先，对输入图像的色彩模式（RGB）3个通道分别进行处理；降低每一个通道的直方图两端一定比例的像素，然后提高中间区域的像素，从而得到结果图像。降低边界颜色像素的目的是避免不常出现的颜色，影响拉伸直方图的最大、最小值。通过这样的处理，可以快速有效地去除图像中的雾雨背景。

1.3 图像模糊度判断

航拍过程中所拍摄的输电线塔图像模糊主要是全局模糊造成，为此提出一种快速的模糊检测算法，具体步骤如下：

（1）背景过滤。由于航拍图像的背景一般较模糊，而输电线路图像的清晰与否只取决于前景（输电线路）部分，因此在计算模糊度时需要过滤图像的背景部分。通过计算图像的局部极值点，可以获取图像的前景区域。

（2）二次模糊。对原始图像利用不同宽度的高斯模糊核进行二次模糊，根据极值点处的像素在各种模糊核处理下的变化规律，计算图像清晰度的初始值。

（3）拟合优化。为了使清晰程度值能更好地体现人眼视觉效果，预先标注一系列不同模糊程度的航拍图像，根据人眼感觉逐一评分。步骤（2）中得到的清晰度初始值和人眼视觉效果评分做一次非线性拟合，即得到优化后的模糊评分值。

（4）分类输出。模糊评分值与预先设定的模糊度阈值进行比较，即得到模糊分类结果。

1.4 重复图像判断与拼接

提出了图像序列的重复度判断算法与图像序列的拼接算法。重复度判断算法对输入的多帧图像进行处理，在保留某一场景中一帧图像的同时，剔除序列中同一场景的冗余图像。图像序列的拼接算法对同一场景多张局部图像进行处理，将其拼接成该场景的全景图，重复图像判断和图像拼接的算法流程如图2所示。

图2 图像重复度判断与拼接流程

1.4.1 特征检测

图像的特征检测主要是指图像的特征点提取，目前比较常用的角点包括Harris角点，Fast角点，Sift角点以及Surf角点等。Sift角点及Surf角点是近几年提出的比较好的特征提取方法，具有其他方法所不具备的尺度不变性，但算法复杂度较高，不适用于高分辨率的输电线路图像。在此采用了比较快速的Harris角点提取方法，以达到图像快速拼接的目的。

1.4.2 图像配准

采用了基于Harris角点特征的图像配准方法，假设要拼接的2幅图像内容是静止的，基于Harris角点图像配准的步骤如下：

（1）计算2幅图像Harris角点的相关性矩阵，根据相关性矩阵确定2幅图像匹配的Harris角点的点对。

（2）根据匹配的点对，计算最优的透视变换矩阵，并且利用Ransac技术消除误匹配的点。

1.4.3 图像重复度判断

当图像内容重复度过高时，可只用其中1幅代表，参与后续处理。

1.4.4 图像拼接

在此采用了加权平均的方法，对重叠区域的图像进行平均。不同于直接平均方法，该算法在重叠区域根据各个像素与图像中心的距离计算其加权系数，距离图像中心较近的像素获得较高的权值，而对边缘区域像素赋予较低的权值。通过这种方式可以实现图像内容的平滑过渡，有效地消除图像中的拼接痕迹。

2 图像处理技术的应用

以绍兴电力局航拍真实图像为例，验证上述方法的有效性，图像分辨率为3 008×2 000 ppi。

2.1 照度调整试验

从图3低照度调整比较的结果可以看到，对于一般程度的低照度图像，使用本文介绍的方法可以有效地进行优化。

图3 低照度调整比较

2.2 去除雨雾背景

输电线路图像基于白平衡的去雾比较结果见图4，从中可以看出采用的算法能够有效去除测试图像中的薄雾干扰，得到比较好的图像效果。

2.3 图像模糊度判断

图4 图像去雾结果比较

选择模糊程度不同的航拍输电线路图像共40幅，测试志愿者3名。首先请志愿者根据图像的清晰程度为图像打分，分值为0～100，分数越高表示图像越清晰。定义小于50分为“模糊”，大于50分为“清晰”。将人工打分与算法所得分数进行比对，结果如表1所示。

表1 人工打分与算法的比较

表1人工标记与算法结果对比可以看到，算法得到的结果与人眼的判断高度一致，以50分为界的分类结果可以较好地反应真实需求。

为进一步验证模糊度与结果分数的一致性，人为向输电线路图像分别添加不同程度的高斯噪声，测试结果如表2所示，结果进一步验证了算法的有效性。

表2 后添加模糊与算法结果

2.4 重复度判断

将试验图像进行不同程度的平移和旋转，对结果图像与原始图像进行比较，得到重复度分数见表3。

从表3结果可以看到，前3幅图像与原图差别较小，此时均方差很小，面积比较大，可以视为内容与原图重复较大；后面的图像移动较多，此时虽然面积比很大，但均方差也很大，说明与原图内容差异比较显著。可见利用均方差和面积比综合判断图像的重复与否是可行的。

图5 3幅图像拼接后的效果

表3 试验图像与原图进行重复度判断比较分

2.5 拼接试验

图5给出了图像拼接的试验结果，从中可以看到算法对于输入的3幅图像，可以有效地进行拼接，并且产生的结果图像没有明显的拼接缝。

3 海量图像的智能检索技术

海量的图像数据通过图像预处理后，能有效地减少重复、模糊图像的数量，但仍然会有数量可观的图像需要处理，具体处理方式如下：

（1）缩略图检索全图方式。针对巡检的可见光图像，即首先将巡检存储的可见光图像采用快速缩小方法，缩小16倍，将分辨率4 872×3 248 ppi缩小为1 218×8 12 ppi。在副屏或屏幕右下角显示缩小后的图片。通过鼠标指向缩略图中杆塔设备的关键部位，在主屏内显示相应放大或原始分辩率的设备细节。实现快速扫描显示杆塔区域，使人眼能快速发现线路存在的缺陷。

（2）导线跟踪播放技术。在导线图像拼接或不拼接的基础上，仅播放导地线类巡检图像时，同时跟踪导线快速播放显示。

（3）杆塔自动按功能区扫描检索。在分类仅播放杆塔类巡检图像时，通过缩略图鼠标引导局部放大，实现扫描杆塔部件区域。或用鼠标选取杆塔任意区域（关键部件中心区域），扫描显示杆塔部件。

（4）快速地交互缺陷标注工具。当发现缺陷部件时，可以使用图形与文字工具，针对缺陷部件画出不同方向的矩形框，并标注文字信息。

（5）XML结构语言管理线路与部件缺陷。为设计可见光图像线路分析软件，采用XML扩展标记语言来管理记录巡检的图像数据与缺陷分析的结果，采用XML树状结构存储语言，能实现便捷的智能搜索管理。

（6）巡检资料历史查询。将所有巡检分析检索的缺陷进行汇总管理。建立以线路部件为主的XML结构，在每次生成这个XML结构时，将每次巡检缺陷信息链接到这个结构中，进行查询、汇总、统计。

4 结语

输电线路直升机巡检已经成为输电线路巡检的重要方式，智能巡检将成为输电线路直升机巡检技术的发展方向。因此，图像处理技术作为输电线路直升机（无人机）智能巡检技术的组成部分，其实用化水平也必将越来越受到关注。在当前图像智能诊断线路部件缺陷技术尚不成熟的条件下，图像预处理技术和图像智能检索技术相信将成为当前图像处理技术中的研究热点。

[1]仝卫国，苑津莎，李宝树.图像处理技术在直升机巡检输电线路中的应用综述[J].电网技术，2010，34（12）∶204-208.

（本文编辑：陆莹）

Application of Image Processing Technology in Intelligent Patrol Inspection of Transmission Lines by Helicopter

CHEN Fang-ming1，DU Ya-hui2，CHEN Hong1
（1.Shaoxing Electric Power Bureau，Shaoxing Zhejiang 321000，China；2.Zhejiang iCare Vision Technology Co.，Ltd，Hangzhou 310000，China）

In order to reduce the time of helicopter patrol and achieve the same effect，Shaoxing Electric Power Bureau has made great efforts in the implementation of the intelligent patrol system of self-developed intelligent helicopter.The patrol method of visually identifying faults，taking photographs and recording the fault positions is replaced with that of fast recording of line omnidirectional images by"patrol device",postanalysis of images，locating of circuit part defects.The method has the technical bottleneck of processing a large number of images and this paper discusses the technical situation and presents the possible technical scheme.

transmission line；helicopter patrol；image；processing；technology

TM755

：B

：1007-1881（2012）09-0063-04

2012-01-02

陈舫明（1962-），男，浙江绍兴人，高级工程师，从事输电线路直升机智能巡检技术工作。