无人机输电线路巡检照片号牌文字识别方法

摘 要：针对无人机巡检拍摄的高像素电力杆塔照片中杆塔号牌文字识别成功率低的问题，提出了一种改进连接文本区域网络（Ｃｏｎｎｅｃｔｉｏｎｉｓｔ Ｔｅｘｔ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ，ＣＴＰＮ） 算法。利用二维重叠滑动切割方法对输入图像进行切割，将主干网络Ｖｇｇ１６ 改为ＭｏｂｉｌｅｎｅｔＶ２ 对切割后图片进行卷积处理，同时在其中加入深度适配网络（Ｄｅｅｐ Ａｄａｐｔａｔｉｏｎ Ｎｅｔｗｏｒｋ，ＤＡＮ）的注意力机制得到特征图；将卷积得到的特征图转化成序列输入至双向长短期记忆神经（Ｂｉ-ｄｉｒｅｃｔｉｏｎａｌ Ｌｏｎｇ Ｓｈｏｒｔ-ＴｅｒｍＭｅｍｏｒｙ，Ｂｉ-ＬＳＴＭ） 网络学习序列特征，并通过全连接层得到建议框；加入重映射方法将建议框映射回原图，筛选整合映射到原图的建议框后，得到号牌文本框。将得到的文本框内的图像截取输入到卷积循环神经网络（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＣＲＮＮ） 进行文字识别。实验结果表明，当切割框为４５６ ｐｉｘｅｌ×２５６ ｐｉｘｅｌ、横向重叠率为９％ 、纵向重叠率为８％ 时，识别精度可以达到８７％ 。

关键词：深度学习；高像素；场景文字识别；小目标

中图分类号：ＴＰ３９１． ４ 文献标志码：Ａ 开放科学（资源服务）标识码（ＯＳＩＤ）：

文章编号：１００３－３１０６（２０２４）０６－１５６０－０９

０ 引言

随着无人机在输电线路运行检修中的普及应用，巡检过程中无人机会拍摄大量照片，再由人工识别出照片中电力杆塔缺陷并明确电力杆塔的位置，到现场对缺陷部分进行检修。无人机巡检照片中杆塔号牌具有电力杆塔的线路名称以及属于该线路第几座塔的文字信息，如果能通过场景文字识别方法对杆塔号牌中的文字进行自动识别获取信息，则可以大幅减轻人工负担。无人机因安全原因无法靠近电力杆塔进行拍摄，因此无人机拍摄的高像素照片中号牌区域只占原图的１％ 左右，如何高效地提取电力杆塔照片中号牌的文字信息就成为了亟待解决的问题。

传统的场景文字识别方法可以分为３ 种：第一种方法基于纹理对文字进行识别［１－３］，将文字当作特殊纹理，利用其纹理特征进行处理，通过对图像中的区域进行穷举以确定纹理特征。基于纹理的文字识别方法存在特征构造方法较简单、检测精度较低、且计算量大的缺点。第二种方法基于成分对文本进行识别。以笔划宽度变换（Ｓｔｒｏｋｅ Ｗｉｄｔｈ Ｔｒａｎｓｆｏｒｍ，ＳＷＴ）［４］为例，以联通组件为基础进行文字识别，能够更快速地找到文字所在的区域。然而，由于场景中存在图片的仿射变换以及文字断连等因素，使该方法的鲁棒性较低。第三种方法融合了前２ 种方法的文字识别方法［５－６］，首先通过联通组件找到文字所在区域，再利用纹理方法辅助识别文字，但该方法在复杂背景情况下文字识别成功率仍然较低［７］。

随着深度学习的迅速发展，场景文字识别模型将识别文字的过程分为２ 步：第一步文本检测；第二步文本识别。目标检测方法是文本检测参考的方向之一，例如，基于Ｆａｓｔｅｒ Ｒ-ＣＮＮ［８］模型的连接文本区域网络（Ｃｏｎｎｅｃｔｉｏｎｉｓｔ Ｔｅｘｔ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ，ＣＴＰＮ）［９］模型。ＣＴＰＮ 模型通过卷积神经网络（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＣＮＮ）与循环神经网络（ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＲＮＮ）的结合对图像特征进行提取，其中ＣＮＮ 模型选用Ｖｇｇ１６ 作为图像空间特征的提取的网络，ＲＮＮ 则使用双向长短期记忆（Ｂｉ-ｄｉｒｅｃｔｉｏｎａｌ Ｌｏｎｇ Ｓｈｏｒｔ-Ｔｅｒｍ Ｍｅｍｏｒｙ，Ｂｉ-ＬＳＴＭ）［１０］对图像序列特征进行提取，将提取的图像特征输入至ＣＴＣ［１１］计算出预测序列与目标序列之间的条件概率。Ｄｅｅｐｔｅｘｔ［１２］、Ｒ２ＣＮＮ［１３］等模型都是基于ＦａｓｔｅｒＲ-ＣＮＮ 的场景文字识别。在该方法的启发下选用ＣＴＰＮ 的架构对号牌文字进行识别，能够将文本识别和文本检测分成２ 步，完成对号牌文字的识别。

在复杂图像背景中检测小目标是图像分析处理领域的一个重要研究方向，小目标广泛存在于远距离拍摄的航空航天影像或视频监控中，利用计算机对捕获的高质量图像数据进行有效分析和处理，识别出不同类别的目标并标注其所在的位置。目前专门针对小目标检测的算法研究较少，现有的小目标检测算法一般是在通用目标检测方法的基础之上通过加深网络的层数，设计能够提取到更丰富特征的主干网络［１４－１５］、复杂化特征融合过程［１６－１７］来增强模型对多尺度目标的鲁棒性。电力杆塔照片中号牌文字同样属于小目标，识别方法可参考现有的小目标检测方法。

高像素图片若不经过尺寸调整将原图输入至网络会导致模型运行速度过慢，因而现有的深度学习模型先将输入图片尺寸调整到一定尺寸，例如２２４ ｐｉｘｅｌ×２２４ ｐｉｘｅｌ。调整后的图片像素丢失过多，会导致小目标特征不明显，从而使网络无法识别高像素图片中的小目标。针对这一问题，提出了一种二维重叠的滑动切割方法并改进ＣＴＰＮ，用于对高像素图片中小目标号牌文字识别，二维重叠的滑动切割方法能够提高找到号牌图像中小目标文字的成功率；针对切割后图片存在特征不明显的情况则通过多尺度特征融合，增加号牌特征深度，提高模型对号牌文本检测精度；对应切割方法提出建议框的重映射方法用于文本框生成。

１ 基于ＣＴＰＮ 的电力杆塔号牌文字识别方法

图１ 为电力杆塔号牌文字识别方法的流程，其中主要包括三部分：图像切割、改进ＣＴＰＮ、ＣＲＮＮ 网络。首先，将输入图像进行二维重叠切割；其次，将切割后的图像依次输入至改进ＣＴＰＮ 网络得到文本框；最后，截取文本框中的图像，并将该图像输入至ＣＲＮＮ 网络对其文字内容进行识别。

１． １ 二维重叠的滑动切割模块

图片调整示例如图２ 所示，将无人机拍摄图片调整至５４４ ｐｉｘｅｌ×５４４ ｐｉｘｅｌ 大小后截取号牌得到的结果，大图为原图样例，小图为对应的大图中截取出的号牌图片。

为了解决上述问题，提出二维重叠的滑动切割方法。原始图像的分辨率为５ ４７２ ｐｉｘｅｌ×３ ０７８ ｐｉｘｅｌ，遵循一定命名规范将一张图片裁成一组图片用以输入至特征提取网络。截取出来的每张图片的命名规范为Ｉｍａｇｅ［ｈｅｉｇｈｔ ｗｉｄｔｈ ｒｏｗ ｃｏｌｕｍｎ］，表示记录下切割窗口左上角点的横纵坐标。其中，ｈｅｉｇｈｔ、ｗｉｄｔｈ 表示纵坐标，ｒｏｗ、ｃｏｌｕｍｎ 表示横坐标。在图像切割过程中需要保证文字的完整性，因此切割过程中加入横向重叠率和纵向重叠率参数，以解决文字被截断的问题。在同一行的图像切割过程中，下一个窗口的切割范围与上一个窗口存在横向重叠。在新的一行切割过程中，该行的切割窗口与上一行的切割窗口有纵向重叠。

将图片输入后，程序自动读取图像的总高度为Ｈ，总宽度为Ｗ。对图像进行切割时，每行的切割高度为ｈ，每列的切割宽度为ｗ。每一行的切割数量为ｎｒ，每列的切割数量为ｎｃ。横向重叠率为ｒｒ，纵向重叠率为ｒｃ，ｆｌｏｏｒ（）为向下取整。

式中：ｘｓ、ｙｓ 为左上角的横纵坐标，ｉ、ｊ 为第ｉ 行和第ｊ列的切割区域，ｘｅ、ｙｅ 为右下角的横纵坐标。

最终切割得到区域坐标可表示为：

（ｘｓ ，ｙｓ ，ｘｅ ，ｙｅ ）。（７）

切割示例如图４ 所示，展示了切割过程中小图与大图的对应关系。

１． ２ 多尺度特征融合模块

原始的ＣＴＰＮ 以Ｖｇｇ１６ 为主干网络对输入图像进行特征提取，该网络对图像特征的利用率不高，并且号牌文字特征信息较少，导致特征随卷积加深逐渐稀疏。改进ＣＴＰＮ 将主干网络换为ＭｏｂｉｌｅｎｅｔＶ２，该网络使用倒残差结构加强了网络各层之间的联系，且此网络是轻量级网络，能够有效减少运行时间。

针对号牌图像不清晰的图片识别成功率不高，但号牌图片前景与背景区别大，在改进的ＣＴＰＮ 的卷积层加入深度适配网络（Ｄｅｅｐ ＡｄａｐｔａｔｉｏｎＮｅｔｗｏｒｋ，ＤＡＮ）中的结构，用以聚焦关键区域。ＤＡＮ中引入了２ 个注意力机制：一个是空间注意力机制，用于选择图像中的关键区域；另一个是通道注意力机制，用于选择关键通道。图５ 展示了图像特征提取流程［１８］。

由于文字的连续性，既需要学习图像的空间特征，也需要学习序列特征，因此在通过卷积得到特征图后引入Ｂｉ-ＬＳＴＭ 神经网络。ＣＮＮ 用于学习感受野内的空间信息，Ｂｉ-ＬＳＴＭ 则用于学习序列特征。通过卷积获得一个Ｎ×Ｃ×Ｈ×Ｗ 的特征图，对该特征图通过３ ×３ 滑动窗口提取特征向量，得到一个Ｎ×９Ｃ×Ｈ×Ｗ 的特征向量。将特征向量输入到Ｂｉ-ＬＳＴＭ得到Ｎ ×５１２ ×Ｈ ×Ｗ 的序列。序列特征提取如图６所示。

融合了“空间＋序列”特征后，将特征输入到全连接层，并将输出接入类似区域建议网络的网络结构。由于在最后会输出文本框，因此需要生成建议框对文字的位置进行预测。与二阶段目标检测类似，改进ＣＴＰＮ 通过欧几里得回归检测推荐框（ａｎｃｈｏｒ），以得到文字的边界框。网络在获取了ａｎｃｈｏｒ的基础上，使用激活函数（ｓｏｆｔｍａｘ）来判断ａｎｃｈｏｒ 中是否包含文本。另一个分支则通过边界框回归修正包含文本的ａｎｃｈｏｒ 的中心ｙ 坐标和高度。

式中：ｃａｙ、ｈａ 分别为ａｎｃｈｏｒ 的ｙ 坐标中心和高度，ｃｙ和ｈ 分别为预测出的ｙ 坐标中心和高度。ｋ 个边框调整参数，用来精修文本行的２ 个端点，表示每个建议框的水平平移量。

ｏ ＝ ｘｓｉｄｅ － ｃａｘ／ｗａ ， （９）

式中：ｘｓｉｄｅ 为预测出的距离ａｎｃｈｏｒ 水平坐标最近的坐标，ｃａｘ为ａｎｃｈｏｒ 的ｘ 坐标中心，ｗａ 为ａｎｃｈｏｒ 的宽度。

１． ３ 二维重叠切割重映射模块

通过特征提取和ａｎｃｈｏｒ 边界框的预测，网络可以得到若干个预测框，拼接预测框能够得到完整的文本预测框。由于最初图片经二维重叠的滑动切割后输入网络，因此需要对得到的预测框做重映射，将预测框映射回到原图的位置。预测框坐标加上图片输入时保存的左上角横纵坐标即为映射至原图的方法，其计算如下：

［ｃｏｘ，ｃｏｙ］ ＝ ［ｃａｘ，ｃａｙ］＋ ［ｒｃｘ，ｈｃｙ］， （１０）

式中：ｃｏｘ表示ａｎｃｈｏｒ 在原图的ｙ 坐标，ｃｏｙ表示ａｎｃｈｏｒ在原图的ｘ 坐标，ｃａｙ表示原图切片后ａｎｃｈｏｒ 的ｙ 坐标，ｃａｘ表示原图切片后ａｎｃｈｏｒ 的ｘ 坐标，ｒｃｘ表示原图切片后图片左上角ｙ 坐标，ｈｃｙ表示原图切片后左上角ｘ 坐标。

由于图片切割时为有重叠的切割，且原图中存在一定预测框重叠，因此可通过非极大抑制（ＮｏｎＭａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ，ＮＭＳ）方法对预测框通过激活函数得到的数值进行筛选。选取第一个框为候选框，沿正方向寻找候选框与剩余推荐框之间水平距离小于５０ 的推荐框并保留与候选框横向重叠率大于０． ５ 的推荐框，同时选取水平距离小于５０ 的推荐框中最右边的推荐框作为候选框，相同的方法沿反方向再进行一次查找，将结果拼接得到连续文本的完整文本框作为最后结果输出。重映射示例如图７所示。

训练时需要通过损失函数对训练的结果进行评估，该损失函数由两部分组成，２ 个分支对应两部分的损失函数。

第一部分是逻辑回归损失用于监督学习推荐框中是否包含文本，此处使用交叉熵函数；第二部分是边界框的回归，此处使用平滑的平均绝对值误差函数（ｓｍｏｏｔｈ Ｌ１）。

１． ４ 基于ＣＲＮＮ 的文本识别模块

早期的深度学习光学字符识别（ＯｐｔｉｃａｌＣｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ，ＯＣＲ）通过单独切割字母并进行多类标的分类任务以识别文本，而ＣＲＮＮ 则使用端到端深度学习进行文本识别，将文本转化为序列并输入到深度学习网络中，通过ＣＮＮ 和ＲＮＮ 对输入图像进行特征学习，解决了不同图像尺度和文本长度出现的识别问题［１９］。

改进ＣＴＰＮ 可以得到图像中的文本框，再提取出该位置中的文本图像输入到ＣＲＮＮ。ＣＲＮＮ 的第一层是ＣＮＮ，用卷积网络从图像中提取图像特征。该卷积层共有４ 个最大池化层，最后２ 个池化层的窗口尺寸由２×２ 改为１×２，以适应文本图像大多为宽度较长的矩形的长度。通过卷积网络得出的图像特征序列不能直接输入至ＲＮＮ 中，需要对图像特征序列进行提取出单列的向量，每个特征向量在特征图上按列从左到右生成。ＣＲＮＮ 中的ＲＮＮ 同样使用Ｂｉ-ＬＳＴＭ，将提取出来的特征向量输入至ＲＮＮ中。ＲＮＮ 最后输出每个字符的ｓｏｆｔｍａｘ 概率分布。然后将该向量输入至转录层连接主义时间分类（Ｃｏｎｎｅｃｔｉｏｎａｌ Ｔｅｍｐｏｒａｌ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ，ＣＴＣ ），使用ＣＴＣ 解码以归纳字符的连接特性，解码则是基于最大似然的损失函数。

２ 实验

２． １ 数据集

训练文本检测部分的数据集已具备多条线路的电力杆塔号牌的图片，由于该数据集为自行通过无人机拍摄的数据集，因此训练网络前需要对图片中线路名称、塔号和警示语的中文进行标注。

数据集标注采用ＩＣＤＡＲ２０１７ 的标注方式，存储至ｔｘｔ 文件中，每行向量化文本表示图片中文字的标注框４ 个点的坐标，左上角为原点记录横纵坐标并以顺时针将各个点排列记录，同时包含图片的文字内容和其所用的语言，其结构如图８ 所示，为多座塔的号牌信息标注。

由于电力杆塔巡检环境恶劣，且存在人员操作不规范等原因会对图像的文字识别产生影响，例如图片过曝、号牌掉落和文字不清楚等情况，因此需要对图像进行图像增强工作。同时对本身没有拍摄到号牌的图片进行剔除，经过剔除后对图像进行图像增强工作，能够一定程度丰富数据集。

数据增强示例如图９ 可示，颜色扰动方法如图９（ａ）所示，即对图片的亮度、对比度、饱和度调整扩增数据，这一方法是模拟环境光线变化对号牌识别产生的影响。翻转方法如图９（ｂ）所示，即对已有图片水平翻转和垂直翻转，由于号牌摆挂方式不是固定不变的，因此加入翻转方法。添加噪声如图９（ｃ）所示，其中添加噪声会选择添加黑色噪点或者白色噪点。

数据集中共有１ ３８８ 张图片，其大小均为５ ４７２ ｐｉｘｅｌ×３ ０７８ ｐｉｘｅｌ，按如下划分：训练集１ １１０ 张，测试集１３９ 张，验证集１３９ 张，对训练集以及测试集进行数据增强之后的数据集总数可以达到３ ８８６ 张。

训练文本识别部分时则在使用号牌文字的标注信息的同时加入公开数据集ＩＣＤＡＲ２０１７，共１２ ２６３ 张图像，其中８ ０３４ 张作为训练集，４ ２２９ 张作为测试集。使用四边形框标注文本行，ＩＣＤＡＲ２０１７ 数据集绝大多数是相机拍的自然场景，一些是屏幕截图，包含了大多数场景，如室外街道、室内场景和手机截图等。

２． ２ 评价指标

改进ＣＴＰＮ 中计算损失的方法为：

第一部分使用交叉熵损失函数用以判断ａｎｃｈｏｒ 中是否含有文本，第二部分为ｓｍｏｏｔｈ Ｌ１ 函数用以判断边界框的回归。在判断精度时可以借鉴目标检测中的查准率／ 精度（Ｐｒｅｃｉｓｉｏｎ）计算方法，Ｐｒｅｃｉｓｉｏｎ ＝ＴＰ ／ （ＴＰ＋ＦＰ），其中ＴＰ 表示判断为正的样本数量，ＦＰ 表示为负样本误判为正样本的数量。同时目标检测中还有查全率（Ｒｅｃａｌｌ）作为评价指标，Ｒｅｃａｌｌ ＝ＴＰ ／ （ＴＰ＋ＦＮ），其中ＦＮ 表示正样本误判成负样本的数量。

２． ３ 实验设置

实验环境配置如下：Ｉｎｔｅｌ （Ｒ） Ｃｏｒｅ （ＴＭ） ｉ７１１８００Ｈ 处理器，１６ ＧＢ 内存，ｎＶＩＤＩＡ３０６０ 显卡，操作系统为Ｗｉｎｄｏｗｓ １０，开发语言为Ｐｙｔｈｏｎ３． ８． ８，开发工具ＰｙＣｈａｒｍ，网络的初始参数采用随机初始化，表１ 为训练时超参数的选择。

２． ４ 二维重叠切割参数实验

图像切割方法中窗口大小作为重要参数，对图像的文本检测会产生影响，切割窗口过大会在输入网络后导致像素丢失过多，特征不明显，切割窗口过小会导致特征被切割造成学习特征错误，故需通过实验确定切割窗口大小。最终经过实验得到窗口大小为４５６ ｐｉｘｅｌ×２５６ ｐｉｘｅｌ，横向重叠率为９％ ，纵向重叠率为８％ 时能够达到所需效果。

在设定窗口大小的实验中，每组的横向重叠率以及纵向重叠率都为０％ ，并且主干网络选用Ｖｇｇ１６。在使用杆塔号牌数据集时，窗口大小的参数选定为原图的长宽为基础按比例选择。分析精度折线如图１０ 所示，具有预训练参数的条件下，不同窗口大小的切割图片在训练过程中精度总体呈上升趋势，图中窗口大小１ ３６８ ｐｉｘｅｌ×７６９ ｐｉｘｅｌ 为精度最低的折线，窗口大小４５６ ｐｉｘｅｌ×２５６ ｐｉｘｅｌ 为精度最高的折线。

窗口大小评价参数如表２ 所示。可以看出，窗口大小４５６ ｐｉｘｅｌ×２５６ ｐｉｘｅｌ 时识别精度最高，并且精度接近正常图片输入时ＣＴＰＮ 所达到的精度。

图像切割过程中，在窗口大小固定为４５６ ｐｉｘｅｌ×２５６ ｐｉｘｅｌ 的情况下为确保特征的完整性，用二维重叠的滑动切割方法可以保证切割后文字特征完整性，有利于后续特征提取。实验中，窗口大小宽度为上一个实验结果的４５６ ｐｉｘｅｌ，横向重叠率为号牌中文字宽度与窗口大小宽度的比例，则最小比例为６％ ，后续以１％ 为步长做实验。

横向重叠率实验如图１１ 所示。在具有预训练参数，固定窗口大小为４５６ ｐｉｘｅｌ×２５６ ｐｉｘｅｌ，且纵向重叠率为０％ 的条件下，横向重叠率参数改变，精度伴随训练轮数的增加平稳上升，横向重叠率越高精度越高，但其精度较窗口大小对精度的影响较小。

横向重叠率评价参数如表３ 所示。当横向重叠率为９％ 时可以得到最佳精度及召回率，横向重叠率高能提高识别的精度，但横向重叠率小可以提高训练速度。

纵向重叠率最小为号牌中文字的高度与窗口大小的高度的比例，实验中，窗口的高为２５６ ｐｉｘｅｌ，纵向重叠率最小取５％ ，后续以１％ 为步长做实验。纵向重叠率实验如图１２ 所示，在具有预训练参数，固定窗口大小为４５６ ｐｉｘｅｌ×２５６ ｐｉｘｅｌ 且横向重叠率为９％ 的条件下，纵向重叠率参数变化，精度伴随训练轮数的增加平稳上升。纵向重叠率越高精度越高，但其精度较窗口大小对精度的影响同样较小。

纵向重叠率评价参数如表４ 所示，当纵向重叠率为８％ 时，识别精度以及召回率效果最佳，纵向重叠率高同样能提高识别的精度。

２． ５ 对比实验

主干网络实验如图１３ 所示，使用不同的主干网络训练过程中，随着训练轮数的增加，精度基本呈稳步上升的趋势，主干网络选用ＭｏｂｉｌｅｎｅｔＶ２＋ＤＡＮ 可以达到最佳的效果，同时该网络具有轻量化的特点。

主干网络如表５ 所示，在添加切割窗口的情况下，分别调用不同的主干网络搭配。经实验发现，加入多尺度融合的网络可以提高识别精度。

将不同场景文本识别模型不加切割方法进行训练，与切割加改进ＣＴＰＮ 模型进行对比。切割参数为上述实验的结果，窗口大小４５６ ｐｉｘｅｌ×２５６ ｐｉｘｅｌ，横向重叠率为９％ ，纵向重叠率为８％ 。实验时输入图像大小皆为５ ４７２ ｐｉｘｅｌ×３ ０７８ ｐｉｘｅｌ，对比实验如图１４ 所示。训练过程中精度基本呈稳步上升趋势，但从精度折线图上能够明显看出，在加入二维重叠的滑动切割方法后精度显著提高。同时对比其他现有深度学习场景文字识别模型，二维重叠的滑动切割方法能够提高小目标文本检测精度。

对比实验如表６ 所示，可以看出加入二维重叠的滑动切割方法后，损失、精度以及召回率有效提高。

聚焦效果如图１５ 所示，通过二维重叠的滑动切割方法同时改进ＣＴＰＮ 主干网络，加上二维重叠的重映射方法，能够对号牌文字进行有效识别。

３ 结束语

传统的场景文字识别方法和基于深度学习的场景文字识别方法都难以识别无人机巡检拍摄的电力杆塔照片中高像素、小目标号牌文字。为解决此问题，提出二维重叠滑动切割的改进ＣＴＰＮ 算法。通过实验确定切割的窗口大小以及切割时的横向以及纵向重叠率，确保切割时较大保留文字的完整性同时提高文本检的精度。加入建议框的重映射方法，以达到在原图上完整框出文本框的目的。将主干网络改为ＭｏｂｉｌｅｎｅｔＶ２＋ＤＡＮ 的多尺度融合结构，最终能够达到８７％ 的精度。虽然在文本检测方面取得了一定成果，但在文本识别方面还有提升空间，下一个阶段将着重研究优化ＣＲＮＮ，提高文本识别精度。

参考文献

［１］ ＺＨＯＮＧ Ｙ，ＫＡＲＵ Ｋ，ＪＡＩＮ Ａ Ｋ． Ｌｏｃａｔｉｎｇ Ｔｅｘｔ ｉｎＣｏｍｐｌｅｘ Ｃｏｌｏｒ Ｉｍａｇｅｓ ［Ｊ］． Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，１９９５，２８（１０）：１５２３－１５３５．

［２］ ＫＩＭ Ｋ Ｉ，ＪＵＮＧ Ｋ，ＫＩＭ Ｊ Ｈ． Ｔｅｘｔｕｒｅｂａｓｅｄ Ａｐｐｒｏａｃｈ ｆｏｒＴｅｘｔ Ｄｅｔｅｃｔｉｏｎ ｉｎ Ｉｍａｇｅｓ Ｕｓｉｎｇ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓａｎｄ Ｃｏｎｔｉｎｕｏｕｓｌｙ Ａｄａｐｔｉｖｅ Ｍｅａｎ Ｓｈｉｆｔ Ａｌｇｏｒｉｔｈｍ ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２００３，２５（１２）：１６３１－１６３９．

［３］ ＬＹＵ Ｍ Ｒ，ＳＯＮＧ Ｊ Ｑ，ＣＡＩ Ｍ． Ａ Ｃｏｍｐｒｅｈｅｎｓｉｖｅ Ｍｅｔｈｏｄｆｏｒ Ｍｕｌｔｉｌｉｎｇｕａｌ Ｖｉｄｅｏ Ｔｅｘｔ Ｄｅｔｅｃｔｉｏｎ，Ｌｏｃａｌｉｚａｔｉｏｎ，ａｎｄＥｘｔｒａｃｔｉｏｎ ［Ｊ ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄＳｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，２００５，１５（２）：２４３－２５５．

［４］ ＥＰＳＨＴＥＩＮ Ｂ，ＯＦＥＫ Ｅ，ＷＥＸＬＥＲ Ｙ． Ｄｅｔｅｃｔｉｎｇ Ｔｅｘｔ ｉｎＮａｔｕｒａｌ Ｓｃｅｎｅｓ ｗｉｔｈ Ｓｔｒｏｋｅ Ｗｉｄｔｈ Ｔｒａｎｓｆｏｒｍ［Ｃ］∥２０１０ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｓａｎ Ｆｒａｎｃｉｓｃｏ：ＩＥＥＥ，２０１０：２９６３－２９７０．

［５］ ＬＩＵ Ｙ，ＧＯＴＯ Ｓ，ＩＫＥＮＡＧＡ Ｔ Ｉ，ｅｔ ａｌ． Ａ ＣｏｎｔｏｕｒｂａｓｅｄＲｏｂｕｓｔ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｔｅｘｔ Ｄｅｔｅｃｔｉｏｎ ｉｎ Ｃｏｌｏｒ Ｉｍａｇｅｓ ［Ｊ］．ＩＥＩＣＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｓｙｓｔｅｍｓ，２００６，８９（３）：１２２１－１２３０．

［６］ ＰＡＮ Ｙ Ｆ，ＨＯＵ Ｘ，ＬＩＵ Ｃ Ｌ． Ａ Ｈｙｂｒｉｄ Ａｐｐｒｏａｃｈ ｔｏ Ｄｅｔｅｃｔａｎｄ Ｌｏｃａｌｉｚｅ Ｔｅｘｔｓ ｉｎ Ｎａｔｕｒａｌ Ｓｃｅｎｅ Ｉｍａｇｅｓ ［Ｊ］． ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２０１０，２０（３）：８００－１３．

［７］ 于君娜，单子力，李方方，等． 多源图像融合技术在无人机中的应用［Ｊ］． 无线电工程，２０１９，４９（７）：５８１－５８６．

［８］ ＧＩＲＳＨＩＣＫ Ｒ Ｇ． Ｆａｓｔ ＲＣＮＮ ［Ｃ］∥２０１５ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． Ｓａｎｔｉａｇｏ：ＩＥＥＥ，２０１５：１４４０－１４４８．

［９］ ＴＩＡＮ Ｚ，ＨＵＡＮＧ Ｗ Ｌ，ＨＥ Ｔ，ｅｔ ａｌ． Ｄｅｔｅｃｔｉｎｇ Ｔｅｘｔ ｉｎ ＮａｔｕｒａｌＩｍａｇｅ ｗｉｔｈ Ｃｏｎｎｅｃｔｉｏｎｉｓｔ Ｔｅｘｔ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ ［Ｃ］∥１４ｔｈ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ． Ａｍｓｔｅｒｄａｍ：ＡＣＭ，２０１６：５６－７２．

［１０］ ＯＬＡＨ Ｃ． Ｕｎｄｅｒｓｔａｎｄｉｎｇ ＬＳＴＭ Ｎｅｔｗｏｒｋｓ ［ＥＢ ／ ＯＬ ］．［２０２３ － ０７ － ０５］． ｈｔｔｐ：∥ ｃｏｌａｈ． ｇｉｔｈｕｂ． ｉｏ ／ ｐｏｓｔｓ ／ ２０１５ －０８－ＵｎｄｅｒｓｔａｎｄｉｎｇＬＳＴＭｓ ／ ．

［１１］ ＰＡＴＥＲＬＩＮＩＢＲＥＣＨＯＴ Ｐ，ＢＥＮＡＬＩ Ｎ Ｌ． ＣｉｒｃｕｌａｔｉｎｇＴｕｍｏｒ Ｃｅｌｌｓ （ＣＴＣ）Ｄｅｔｅｃｔｉｏｎ：Ｃｌｉｎｉｃａｌ Ｉｍｐａｃｔ ａｎｄ ＦｕｔｕｒｅＤｉｒｅｃｔｉｏｎｓ［Ｊ］． Ｃａｎｃｅｒ Ｌｅｔｔｅｒｓ，２００７，２５３（２）：１８０－２０４．

［１２］ ＢＵＴＡ Ｍ，ＮＥＵＭＡＮＮ Ｌ，ＭＡＴＡＳ Ｊ． Ｄｅｅｐ Ｔｅｘｔｓｐｏｔｔｅｒ：Ａｎ ＥｎｄｔｏＥｎｄ Ｔｒａｉｎａｂｌｅ Ｓｃｅｎｅ Ｔｅｘｔ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄＲｅｃｏｇｎｉｔｉｏｎ Ｆｒａｍｅｗｏｒｋ ［Ｃ］∥ ２０１７ ＩＥＥＥ ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． Ｖｅｎｉｃｅ：ＩＥＥＥ，２０１７：２２２３－２２３１．

［１３］ ＪＩＡＮＧ Ｙ Ｙ，ＺＨＵ Ｘ Ｙ，ＷＡＮＧ Ｘ Ｂ，ｅｔ ａｌ． Ｒ２ＣＮＮ：Ｒｏｔａｔｉｏｎａｌ Ｒｅｇｉｏｎ ＣＮＮ ｆｏｒ Ｏｒｉｅｎｔａｔｉｏｎ Ｒｏｂｕｓｔ Ｓｃｅｎｅ Ｔｅｘｔ Ｄｅｔｅｃｔｉｏｎ［ＥＢ／ ＯＬ］． （２０１７－０６－２９）［２０２３－０７－０１］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ １７０６． ０９５７９．

［１４］ ＨＥ Ｋ Ｍ，ＺＨＡＮＧ Ｘ Ｙ，ＲＥＮ Ｓ Ｑ，ｅｔ ａｌ． Ｄｅｅｐ ＲｅｓｉｄｕａｌＬｅａｒｎｉｎｇ ｆｏｒ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ ［Ｃ］∥２０１６ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． ＬａｓＶｅｇａｓ：ＩＥＥＥ，２０１６：７７０－７７８．

［１５］ ＨＵＡＮＧ Ｇ，ＬＩＵ Ｚ，ＶＡＮ ＤＥＲ ＭＡＡＴＥＮ Ｌ，ｅｔ ａｌ． ＤｅｎｓｅｌｙＣｏｎｎｅｃｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ［Ｃ］∥２０１７ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．Ｈｏｎｏｌｕｌｕ：ＩＥＥＥ，２０１７：２２６１－２２６９．

［１６］ ＬＩＮ Ｔ Ｙ，ＤＯＬＬＲ Ｐ，ＧＩＲＳＨＩＣＫ Ｒ，ｅｔ ａｌ． ＦｅａｔｕｒｅＰｙｒａｍｉｄ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ［Ｃ］∥２０１７ ＩＥＥＥＣｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．Ｈｏｎｏｌｕｌｕ：ＩＥＥＥ，２０１７：９３６－９４４．

［１７］ ＦＵ Ｃ Ｙ，ＬＩＵ Ｗ，ＲＡＮＧＡ Ａ，ｅｔ ａｌ． ＤＳＳＤ：ＤｅｃｏｎｖｏｌｕｔｉｏｎａｌＳｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ ［ＥＢ ／ ＯＬ］． （２０１７－０１－１３）［２０２３ －０７－０２］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ １７０１． ０６６５９．

［１８］ ＦＵ Ｊ，ＬＩＵ Ｊ，ＴＩＡＮ Ｈ Ｊ，ｅｔ ａｌ． Ｄｕａｌ Ａｔｔｅｎｔｉｏｎ Ｎｅｔｗｏｒｋ ｆｏｒＳｃｅｎｅ Ｓｅｇｍｅｎｔａｔｉｏｎ ［Ｃ］∥２０１９ ＩＥＥＥ ／ ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． ＬｏｎｇＢｅａｃｈ：ＩＥＥＥ，２０１９：３１４１－３１４９．

［１９］ 韦泰丞，谭颖韬． 基于视觉语义关联的卷烟零售终端文字识别［Ｊ］． 无线电工程，２０２２，５２（１０）：１８４８－１８５６．

作者简介

李有春 男，（１９６８—），硕士，高级工程师。主要研究方向：电力调度、电网运行检修、现场安全管控等。

汤春俊 男，（１９７９—），硕士，高级工程师。主要研究方向：输电线路建设、施工、运行、带电检修、精益化运检管理等。

梁加凯 男，（１９８３—），高级工程师。主要研究方向：带电作业、安全防护、线路检修精益化管理等。

林龙旭 男，（１９９８—），硕士研究生。主要研究方向：图像处理和文字识别。

徐 敏 女，（１９８３—），硕士，高级工程师。主要研究方向：电力系统信息化。

（*通信作者）谢 敏 女，（１９７５—），硕士，讲师。主要研究方向：温度计量、无人机控制与应用。

基金项目：金华八达集团有限公司科技项目（ＢＤ２０２２ＪＨ-ＫＸＸＭ００７）