基于机器视觉的飞机轮胎检查技术研究

邵欣桐 刘省贤

(1、上海民航职业技术学院 航空维修系，上海200212 2、英特尔亚太研发有限公司 物联网事业部，上海201100)

飞机轮胎作为起落架的重要组成部分，在飞机的起降过程中发挥极其重要的安全保障作用，因此飞机轮胎检查是航线维护过程中的重要工作，也是定检维修过程中较为费事费力的一项工作。由于轮胎检查发生在航线维护中，对其维护时间要求较为苛刻，快速而有效的制定其轮胎的维修方案非常重要。

机器视觉系统最基本的特点就是提高生产的灵活性和自动化程度，在一些不适于人工作业的危险工作环境或者人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉。同时，在大批量重复性工业生产过程中，用机器视觉检测方法可以大大提高生产的效率和自动化程度[1]。基于以上的特点，我们发现机器视觉非常适合引入到飞机轮胎的航线和定检维护中，一方面我们的工作环境光线较差，多数工作集中在夜间，目视检查的过程中容易造成疏漏；另一方面，在定检维护或专门的轮胎检查车间里，大量的重复性轮胎检查更是需要一种快速的、有效的检测方法。因此我们设计这样的一套系统，将机器视觉的概念引入到航线维护的过程中，通过手持式摄像头进行图像的实时采集，传递到电脑端；通过Intel 提供的openVINO 平台对轮胎表面常见的问题进行智能分析和判断，从而快速给出针对该问题的维修意见，该系统减少了机务人员大量且重复的目视检查工作，提高了现场诊断的准确率，取得了较好的效果。

1 系统平台的搭建

机器视觉是一项综合技术，包括图像处理、机械工程技术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术。一个典型的机器视觉应用系统包括图像捕捉、光源系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块[2]。

目前机器视觉的平台主要有：NVIDIA VisionWorks、Rekognition、OpenVINO 等多种，我们基于考虑硬件成本以及平台接口操作难易，我们选择OpenVINO 作为计算机视觉的开发包完成采集图像的处理工作; 其对系统的平台要求相比于其他计算机视觉工具包相对较低，我们选取Windows 平台，处理器为第8 代IntelRRCore 处理器[3]。

视频采集设备选择手持式IP Camera。网络摄像机是传统摄像机与网络视频技术相结合的新一代产品。摄像机传送来的视频信号数字化后由高效压缩芯片压缩，通过网络总线传送到Web 服务器。网络上用户可以直接用浏览器观看Web 服务器上的摄像机图像，授权用户还可以控制摄像机云台镜头的动作或对系统配置进行操作。IP 网络摄像机是基于网络传输的数字化设备，网络摄像机除了具有普通复合视频信号输出接口BNC外，还有网络输出接口，可直接将摄像机接入本地局域网。

图1 手持式IP 网络摄像机

2 基于OpenVINO 的CNN 模型研究

卷积神经网络（CNN）由纽约大学的Yann Lecun 于1998 年提出，CNN 的优势在网络的输入是图像时表现的更为明显，使得图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建的过程，在二维图像的处理过程中有很大的优势，如网络能够自行抽取图像的特征包括颜色、纹理、形状及图像的拓扑结构，在处理二维图像的问题上，特别是识别位移、缩放及其他形式扭曲不变性的应用上具有良好的鲁棒性和运算效率等[5]。

2.1 AlexNet 框架

AlexNet 是最为经典的CNN 网络结构模型，确立了CNN 在计算机界的统治地位，同时也推动了深度学习在语音识别、自然语言处理、强化学习等方面的拓展。该方法训练了一个端到端的卷积神经网络实现对图像特征提取和分类，网络结构共7 层，包含5 层卷积层和2 层全连接层[6]。其引入了ReLU 和dropout，引入数据增强、池化相互之间有覆盖；5 个卷积层中，其中3 个卷积层后面连接了最大池化层。

图2 AlexNet 的网络结构模型

由AlexNet 的架构图我们可以知道，AlexNet 总共有5 层卷积层，解释如下：

第一层：卷积核大小是11*11，步长是4*4 ，通道数为96，紧接着是一个relu 激活函数，局部正则化，最后是一个卷积核大小为3*3，步长为2*2 的最大池化层。

第二层：卷积核大小是5*5 ，步长是1*1，通道数为256，最后是一个卷积核大小为3*3，步长为2*2 的最大池化层。

第三层、第四层、第五层：卷积核大小为3 * 3，步长为1*1，通道数分别是384 、384 、256。

卷积层后一般会加入池化层，池化层可以非常有效地缩小矩阵的尺寸，从而减少最后全链层中的参数，使用池化层既可以加快计算速度也有防止过拟合问题的作用。

全连接层的作用就是进行正确的图片分类，不同神经网络的全链层层数不同，但作用确是相同的。输入到全链层的神经元个数通过卷积层和池化层的处理后大大的减少了，最后softmax 的输出，则可以根据实际分类标签数来定。AlexNet 网络中各个层发挥的作用如表1 所示。

表1 AlexNet 网络中各个层发挥的作用

2.2 OpenVINO 部署

我们将训练的模型进行优化后需要转换成中间表示文件，得到IR 文件（xml 文件中包含优化以后的网络拓扑结构，bin 文件包含优化之后的模型参数和模型变量）；然后将生成的模型IR 部署到实际环境中[7]。

图3 OpenVINO 部署流程

2.3 基于AlexNet 完成样本模型的训练

AlexNet 模型训练可以分成以下几个步骤:

2.3.1 首先加载图片库，完成程序初始化。

photos = os.listdir(“./data/image/train/”)

with open(“data/dataset.txt”,“w”) as f:

f.close()//加载训练的图片库

2.3.2 调用Alexnet 网络，并且返回一个大小为[batch_size,label]的隐层特征。

Def AlexNet(input_shape=(11,11,3) output, _shape=2):

def convLayer (x, kHeight, kWidth, strideX, strideY,featureNum, name, padding=“SAME”, groups=1)://定义卷积层

def maxPoolLayer (x, kHeight, kWidth, strideX, strideY,name, padding=“SAME”)://定义池化层

def fcLayer (x, inputD, outputD, reluFlag, name)://定义全连接层函数

2.3.3 使用选择softmax 以及adam 优化器计算隐层特征和真实label 的差距，并更新数据。

self.fc8 = fc(dropout7, 4096, self.NUM_CLASSES, relu=False,name='fc8')//最后softmax 函数输出的分类标签

def predict (data, model_path, labels_dictest_result, ,sample_num=None): //加载模型，对测试数据进行分类

3 基于OpenVINO 的飞机轮胎智能检测系统的实现

本系统的实现过程如下：

a. 建立飞机轮胎胎面图片库，将实际工作中经常遇到的胎面问题进行分类，目前系统已录入9 种常见的胎面问题。

b. 将图片进行增强处理，包括旋转、扭曲、增噪等。

c. 使用已经建立的样本模型对样本进行筛选，对问题胎面进行分类。

d.针对发现的胎面问题，在维修历史数据库中进行匹配，快速给出维修建议。

3.1 系统对飞机胎面异常情况的识别

测试样本来自一线航空公司历史资料库，测试样本图片2000 张，能够筛选轮胎问题情况包括：胎面异常磨损、胎面划水烧伤、胎面扎伤、胎面表面泡状突起、胎面肋条撕裂等9 种常见问题。如图4,5,6,7 所示。

图4 胎面点状磨平识别

图5 胎面划水烧伤识别

图6 胎面泡状突起识别

图7 胎面污染侵蚀识别

3.2 系统针对胎面情况给予维修建议

系统对问题胎面进行识别，结合数据库中的维修历史进行相似度匹配，给出维修建议，减轻了机务维修人员目视检查的压力，也弥补了维修经验不足等问题。

图8 维修方案生成

4 结论

机器视觉技术的引入使得航线的机务人员从繁琐而重复的工作中解脱出来，从以往更多依靠人的目视检查和经验判断转换为依靠机器的智能检测。飞机胎面智能检查系统可以实现对飞机胎面问题的识别和维修指导，在航线工作中，可以起到减轻维护人员目视检查的工作量以及提高筛选问题轮胎的准确率；目前该系统仅能针对较为明显的问题胎面的识别，并不能完全覆盖飞机轮胎的所有异常状况，以期在后续的研究中完善补充。