基于OpenVINO的飞机外表面检查技术研究

邵欣桐 刘省贤

摘  要：飞机的绕机检查是航线安全检查中最为重要的一个环节，传统的绕机检查经常遇到维修人员经验不足、光线较暗、检查位置过高、机体表面损伤不易发现等缺点;针对航线绕机检查这样的特点提出了一种基于OpenVINO平台的智能绕机检查的方法，将机器视觉的概念引入到航线绕机检查的工作中，针对飞机蒙皮损伤、感温探头堵塞、飞机机身表面有无油渍有较好的效果;在样本的训练中，对现有的模型进行了迁移学习，使得样本的训练量大大减小，能够快速准确的发现飞机外表面检查过程中出现相关问题。

关键词：机器视觉;OpenVINO;迁移学习;绕机检查

中图分类号：TP391.7 文献标志码：A 文章编号：2095-2945（2020）19-0161-03

Abstract： Aircraft winding inspection is the most important link in route safety inspection. Traditional winding inspection often encounters shortcomings such as inexperience of maintenance personnel， low light， high inspection position， and difficulty in finding surface damage on the aircraft. This feature of winding inspection presents a method of intelligent winding inspection based on the OpenVINO platform， which introduces the concept of machine vision into the work of route winding inspection， has a better effect aiming at aircraft skin damage， temperature probe clogging， and the presence or absence of grease on the surface of fuselage. In the sample training， apply transfer learning for the existing model， which greatly reduces the amount of training， and can quickly and accurately find related problems during the inspection of the outer surface of the aircraft.

Keywords： machine vision; OpenVINO; transfer learning; winding inspection

引言

绕机检查是航线维护过程中的重要工作，以保证飞机的整体运行状态，确保可见部件和设备安全可靠;由于绕机检查发生在航线维护中，所以对其准确性和效率有较高的要求，但由于绕机检查自身的特点导致在维护的过程中经常出现目视检查视野较差、检查高度过高、维护人员经验不足以及任务时间较为紧张等问题。因此我们设计这样的一套系统，将机器视觉的概念引入到航线维护的过程中，通过无人机对绕机检查的重点区域进行图像的实时采集，传递到电脑端;通过Intel提供的OpenVINO平台对机体表面常见的问题进行智能分析和判断，从而发现机体外表面出现的问题，该系统不但使得航线维护人员工作量减轻，大大提高了现场诊断的准确率，取得了较好的效果。

1 系统硬件平台的搭建

机器视觉是指用摄像机和电脑代替人眼对目标进行辨识、跟踪和测量等操作，进一步做图像处理，使其更利于人眼观察或传送仪器检测图像。目前机器视觉的平台主要有：

（1）NVIDIA VisionWorks是计算机的软件开发包视觉（CV）和图像处理。其实现并扩展了Khronos OpenVX标准，并且针对支持CUDA的GPU和SOC进行了优化，从而使开发人员能够在可扩展且灵活的平台上实现CV应用程序，主要应用在自动驾驶、增强现实中，对系统的资源要求较高，所需硬件较为昂贵。

（2）Amazon Rekognition，其以在图像和视频中识别对象、人物、文本、场景和活动，也可以检测任何不适宜的内容;提供高度精确的面孔分析和面孔搜索功能，但其不符合机务现场实时操作的需求。

（3）OpenVINO是英特尔基于自身现有的硬件平台开发的一种可以加快高性能计算机视觉和深度学习视觉应用开发速度工具套件，支持各种英特尔平台的硬件加速器上进行深度学习。支持在Windows与Linux系统，Python/C++语言，是目前能运行在CPU上的最好的深度学习框架，功能强大，大大降低了部署成本，体验较好，适宜在航线维护的实时检查分析中使用。

综合上述观点，考虑到飞机绕机检查项目的确定性，可变度较低等因素;在视频采集的过程中，我们通过无人机完成绕机过程中的实时图像采集，将数据实时传递给我们的服务器端，我们选择OpenVINO作为计算机视觉的开发包完成对视频中问题部件的检识别和检测，如图1所示。

2 系統软件平台技术研究

OpenVINO对系统的平台要求相比于其他计算机视觉工具包相对较低，我们选取Windows平台，处理器为第8代Intel  Core处理器。

2.1 OpenVINO的部署和使用

OpenVINO目前包含有三个全新的API分别为：深度学习部署工具包、通用的深度学习推理工具包以及OpenCV和OpenVX的优化功能;支持TensorFlow＼MXNet和Caffe。

OpenVINO的深度学习部署工具主要包括两个部分，一个是模型优化器，另一个是推理引擎。模型优化器是由Python编写，推理引擎是一套C++函数库及C++类。工作原理是对训练产生的网络模型进行优化，优化结果转换成中间表示文件，得到IR文件（XML文件和BIN文件），其中XML文件中包含优化以后的网络拓扑结构，BIN文件包含优化之后的模型参数和模型变量;在实际应用场景中使用推断引擎测试生成的IR。然后在应用程序中调用推断引擎相应接口，将生成的模型IR部署到实际环境中。

2.2 使用迁移学习完成样本模型的训练

迁移学习也称为归纳迁移、领域适配，其目标是将某个领域或任务上学习到的知识或模式应用到不同的但相关的领域或问题中。由于OpenVINO支持多种深度学习框架，诸如ONNX、TensorFlow、Caffe、Kaldi等，实际的项目中我们只需将其转换为OpenVINO的XML/BIN模型即可。我们已经获取了通过TensorFlow训练的目标模型，其提供了有关飞机、汽车部件级的识别工具包，我们只需要在其上对某型号飞机上特定的零件进行迁移学习，就可以完成对特定机型的识别和故障检测。

由于TensorFlow训练模型大多为卷积神经网络模型，其可以分为两部分，前面的卷积层和后面的全连接层。卷积层的作用是图片特征的提取，全连接层作用是特征的分类。我们的思路便是现有的网络模型上，修改全连接层，保留卷积层。卷积层的参数使用的是别人已经训练好的，全连接层的参数需要我们初始化并使用我们自己的数据来训练和学习，如图3所示。

其代码实现步骤为：

（1）首先进行模型读取和转换

Conda create -n aircraftvino python=5.0;

//打开conda控制台，创建虚拟环境

Python C：＼OpenVINO＼openvino-2020.1;

// 模型转换为BIN/XML文件

（2）对获取的模型进行迁移学习，由于我们的模型的功能是对飞机上的部件进行分类，所以我们需要修改全连接层，只增加一个连续层。

bottleneck_input = tf.placeholder（）;

//定义新的神经网络输入

With tf.name_scope（）;//定义全连接层

train_step=tf.GradientDescentOptimizer（）

//定义交叉熵损失函数

for i in range（STEPS）：

{ get_random_cached_bottlenecks（）;

//磁盘读入的张量值作为输入向量

sess.run（）;}//训练全连接层

（3）训练完成后，完成正确率测试

test_ground_truth = get_test_bottlenecks（）;

3 基于OpenVINO的绕机故障检测系统的实现

3.1 系统对绕机检查中飞机部件的识别

本系统通过无人机采集的视频可以实时地传递给电脑端，完成飞机部件的识别，目前我们仅对绕机检查中的关键部件进行识别，如感温探头、飞机风挡玻璃、皮托管雷达天线以及舱门等，如图4。

3.2 系统对飞机绕机检查中故障的发现

系统在绕机检查中检测到发动机进气道内侧六点钟位置螺栓处裂纹故障，经现场确认故障真实存在，如图5。

4 结论

机器视觉技术的引入使得航线的工作更加智能化和简洁化，从以往更多依靠人的经验判断转换为依靠机器的智能检测。基于OpenVINO的飞机绕机辅助检查系统可以实现特定的飞机部件的识别和故障检测，在航线测试中，可以起到减轻维护人员工作量且提高其检查效率的作用;目前该系统仅能针对特定的飞机及其相关部件的识别还处于系统的研发阶段，并不能完全全部的绕机检查工作，这也是该系统未来的研究方向。

参考文献：

[1]Kay-Pong D. Yip， Byeong-Jik Cha， Omkar Paudel， et al. Ryanodine Receptor-1 Mediated Endoplasmic Reticulum - Mitochondrial Calcium Transfer in High-Grade Serous Ovarian Cancer Cells（HGSOC）[J].Biophysical Journal， 2020，118（3）.

[2]英特尔OpenVINO工具包为创新智能视觉提供更多可能[J].中国信息化，2018（08）：51.

[3]郑远攀，李广阳，李晔.深度学習在图像识别中的应用研究综述[J].计算机工程与应用，2019，55（12）：20-36.

[4]W. R. Twink Allen， Sandra Wilsher. Historical Aspects Of Equine Embryo Transfer[J]. Journal of Equine Veterinary Science， 2020，89.

[5]Cook Diane， Feuz Kyle D. Transfer learning for activity recognition： a survey[J]. Knowledge and Information Systems， 2013，36（3）：537-556.

[6]Le Tianhao， Liu Chao， Yao Bin， et al. Application of Machine Learning to Hyperspectral Radiative Transfer Simulations[J].  Journal of Quantitative Spectroscopy and Radioactive Transfer， 2020（prepublish）.

[7]Pan， Sinno Jialin， and Qiang Yang. A survey on transfer learning[J]. IEEE Transactions on knowledge and data engineering，22.10（2010）：1345-1359.