基于贝叶斯纠错的AR辅助飞机装配数据纠错方法

（北京航空航天大学机械工程及自动化学院，北京 100191）

在飞机装配场景中，安装的复杂产品多、工艺信息复杂、可靠性要求高，大部分的飞机系统件采用人工装配，而人工飞机装配作业需要作业人员记忆大量操作指令[1]。以大型民航客机的航空线缆安装为例，当前线缆的安装检测工作依靠人工识别导线的编码，每次安装需要使用计算机在数据库中查询导线对应的连接器孔位，而导线编码具有字符小、编码长、数量多的特点。使用人工识别导线的编码效率低，而线缆数量巨大，其装配效率直接影响整个飞机装配的效率[2]。

增强现实（Augmented Reality，AR）技术是将计算机渲染的虚拟信息叠加到现实环境展现给用户的一种技术，形成虚实结合场景的效果。增强现实技术让装配过程的指令可视化，其虚实交互技术可以将信息叠加在现实场景，简化工人记忆大量操作指令的过程，工人只需要根据增强现实设备上的可视化指令执行操作，在狭窄的装配空间中，可以使用轻便的AR 眼镜等设备作为前端，复杂操作指令将由后端的服务器生成，使用网络连接为增强现实设备提供智能，自动的可视化辅助装配。

针对增强现实辅助飞机装配，世界各国的航空制造公司都进行了尝试和验证，美国波音公司的CAUDELL 和MIZELL 首次将AR技术应用到线缆的实际装配中，在布线系统中将线缆的路径走向与文字注释信息等内容叠加到布线工人的视野中，以辅助操作工人完成布线任务[3]。上海交大使用机器视觉的方法，提取航天连接器的特征用于分类识别以提供装配指导[4]。波音公司通过试验验证了使用AR 眼镜作为辅助可以减轻敷设线缆工人的操作负担[5]，实时的虚实融合技术在装配作业的训练中也可应用[6]。中国商飞上飞公司在支线飞机上试验了AR辅助线缆装配[7]。

使用AR 设备可以解决操作指令可视化的问题，在AR 设备中手动输入导线编码查询线缆信息较慢，可以使用OCR（光学字符识别）技术自动输入线缆编号。增强现实技术与OCR 技术都是感知图像信息的方法，前者理解图像中的环境信息，以将虚拟信息正确叠加在场景图像中，而OCR 技术更注重得到图像中的文字内容。光学字符识别包括两个过程，即文本探测与文本识别。目前的识别应用场景包括图形文本、场景文本识别两种，前者在印刷物、视频字幕应用较多，在扫描文本的识别准确率可达99%；后者应用于自然场景内的文字识别，像路标文本识别、衣服标志识别等[8]。当前的场景光学字符识别算法往往使用深度卷积神经网络的方法，而航空线缆中的字符较小，且存在扭曲、印刷模糊的问题，这导致识别结果准确率不高。

针对使用OCR 准确率不高的情况，可以在3 个方向上提高准确度，使用前处理软件来提高输入图片的质量；提高OCR 算法精度；使用后处理方法，将得到的错误结果进行推理纠错。本文使用后处理方式在线缆编码识别中以充分利用编码规则，建立后处理模型，相对其他方式更加稳定，鲁棒性更强。

后处理方法是一个输入序列及必要外部信息以进行推理纠错得到正确序列的过程，不仅在OCR 后处理[9]有所应用，在拼写纠错[10]、语音识别[11]、DNA 匹配领域中都有类似的应用，在后处理方案中，有基于贝叶斯的噪声通道方法、基于上下文语义推断[12]，以及机器学习[13–14]、有限状态转换机等方法[15]。当前的后处理技术主要应用于通用文档数字化场景[16–18]、日常语音识别中，其使用了语料中的文本关系，直接用于构建线缆编码纠错模型难以实现较高的准确率。

线缆编码纠错中将输入的导线编码转化为正确导线码的过程，传统方案使用字符串相似度来进行模糊查找，但是没有利用编码数据的关系，准确度不高。使用基于贝叶斯的噪声通道模型在文本OCR 后处理[19]纠错中效果显著，本文中介绍了一种航空线缆编码纠错方法，以基于贝叶斯纠错的噪声通道模型为基础，为OCR 训练建立不同的字符混淆矩阵作为纠错排序概率的一部分，同时利用航空线缆的编码规则，建立了导线编码数据纠错流程，与基于云服务的AR 辅助装配体系融合，提高系统整体的纠错准确率。

AR 辅助线缆装配的流程及问题

1 AR 辅助线缆装配流程

线缆装配是一项复杂且时间较长的工作，装配过程工人每次安装线缆都需要查询当前装配的线缆对应的工艺信息。装配流程较多，需要满足各环节的基本要求，如布局设计、敷设工艺、维修以及检测等[20]。如果使用增强现实技术可以将虚拟场景中的装配信息实时叠加到真实的装配环境中，工人无需再进行复杂的培训，比对装配状态更为简单，提高飞机装配的数字化程度，更便于线缆检查。

本文涉及的线缆装配主要流程见图1，通过AR 设备辅助装配工人节约了反复查询导线编码的时间，只需要AR 设备进行拍照和按照眼前AR 设备上的信息将导线安装至正确的孔中。

2 AR 辅助线缆装配问题

使用上述AR 辅助装配流程减少了工作量，将输入导线编码的工作转化为拍摄线缆图片进行OCR 输入导线编号。但是场景文字识别的准确度并不高，以街景标志识别为例，在法国街道标志文字识别数据集上，最高的OCR 识别率为84.2%[21]。由于装配现场背景复杂，光照不平衡，线缆文字还会存在随线缆扭曲，而且印刷模糊等因素都会导致识别准确度不高。图2显示了使用爱普生AR 眼镜BT–350 拍摄的航空线缆使用OCR 引擎识别线缆文字的结果。

由于导线的字体较小，且会随导线发生一定的变形，当前OCR 识别算法往往使用基于深度学习的方法，而训练样本图片中很少有线缆的图片，算法对线缆编码的识别并不足够稳定。由图2可以发现，使用OCR识别导线会产生编码识别错误的情况，但并不是完全错误，往往是存在部分错误，例如图2（b）的导线编码为W6077–27012，但是使用OCR 识别的结果 为“W607?–247/012”，将“7”识别成为“？”，同时增加了不存在的字符“4”和“/”。这样的结果在导线数据集合中并不存在，无法得到正确信息，而简单使用字符串相似度来进行选择最相似的导线编码并不能更加智能地选择最有可能的编码结果。例如图2（c）中的识别结果为W2208–44009，在当前的数据集合中搜索最相似的字符串时会得到W2208–44008 或者W2207–44009这样的结果，但是正确的结果为W2208–34009，所以为了解决AR 辅助线缆装配中导线编码识别不准确的问题，需要对识别的结果进行纠错，保证装配较高效率的同时保障准确度。

图1 AR辅助线缆装配流程Fig.1 Flow of augmented reality assistant cable assembly

在OCR 后处理过程中，基于贝叶斯的纠错器是应用范围较为广泛的一种方法，其利用了贝叶斯概率，通过计算概率最大的字符串候选来得到相对更加准确的推理结果，具有较好的鲁棒性，可扩展性。使用基于贝叶斯的后处理纠错器可以用在OCR 识别的后处理纠错，提高准确度，在语音识别的纠错中也可以应用，是一种较为广泛使用的数据纠错方法。

基于贝叶斯纠错的数据纠错模型

1 贝叶斯纠错方法

贝叶斯纠错方法最初应用于贝叶斯拼写纠错器，拼写纠错器可以对输入的单词自动检查是否存在拼写错误，并对存在错误的结果进行纠正。

贝叶斯拼写纠错器利用贝叶斯公式（式（1））计算正确可能性最大的正确的单词结果。P（wc|wi）表示在输入单词（wi）的情况下经过纠正后的单词（wc）的概率，求出正确拼写单词的过程即求最大P（wc|wi）对应的wc。由于输入单词的概率相同，式（1）可以转化为求P（wi|wc）·P（wc），P（wc）是指该正确的单词出现概率，往往由输入的字典经过统计得到；P（wi|wc）表示该正确的单词wc会是输入单词为wi的纠错对象的概率，该概率的计算往往是整个模型的难点。

传统的贝叶斯纠错过程中主要有生成候选集合和依照概率排序两个流程。

（1）生成候选集合。

为了进行数据纠错，首先需要生成可能为正确结果的候选集，不同的候选集的生成往往有按照编辑距离生成[22]、状态转换机方法[23]。由于输入单词的结果存在不同错误，可以按照字符编辑距离来生成不同的单词，字符编辑距离（Levenshtein Distance）是指两个字符串至少需要多少次编辑才能将一个字符串变成另一个字符串，例如（school，schopl）两个单词的转换只需要一次字符替换，字符编辑长度为1。每次字符编辑距离为1 的候选集合中存在替换、删除、增加3 种生成方式，而编辑长度越大表示两个字符串相似度越低。状态转换机方法是将每一个单词中的字符都当作一个状态机，词典中所有的单词都作为有限状态机的一条分支，生成候选的过程是在状态机中查找序列可能的分支过程。

（2）依照概率排序。

图2 OCR识别线缆Fig.2 Cable numbers by optical character recognition

在完成候选集合的生成后就需要计算对应的概率来得到最佳的匹配结果，按照编辑距离来生成候选集合，只需要计算每个候选词的概率，而且由于候选集合是按照不同字符编辑距离生成的，所以在处理中的排序可以先设定不同编辑距离的权重，再进行排序。在有限状态机的方法中，每一个字符都认为是状态图中的一个节点，而构建有限状态机中需要嵌入相应的概率作为图中边的权值，排序过程即寻找该有限无环图（DAG）中的最小路径。

两种方法[22–23]均在OCR 后处理的过程中有应用，使用字符编辑距离生成更易于扩展，但是伴随字符距离的增加，需要计算的候选词数量是指数增长的；使用状态机生成候选集合，具有较好的计算效率，且可以处理词典中不存在的单词，但是前期需要构建有限状态转换机，占用大量的存储，同时还需要设计较为复杂的合并分支算法。考虑到航空装配的高可靠性、线缆编码的复杂性，以及处理航空线缆编码的字符长度并不长，采用字符边编辑距离方法来生成纠错器的候选集。

2 噪声通道模型的数据纠错算法

贝叶斯纠错器噪声通道模型主要流程见图3，首先输入需要修正的字符串，以及存储所有正确字符串的总词典，按照不同编辑距离结果生成可能出现的单词；再删除不存在词典中的字符串，按照概率排序。传统的贝叶斯纠错器的概率公式按式（1）计算，即求出最佳匹配项转化为求arg max lgP（wc|wi），不同的字符编辑长度对应的概率表示先验概率P（wi|wc），字符串在数据集合中出现频率作为语言模型概率P（wc）。

上述贝叶斯纠错模型中仅使用不同字符编辑长度作为先验概率，无法体现OCR 识别错误中的字符相似度，可以使用噪声通道模型进行OCR 的线缆数据纠错。噪声通道模型在后处理过程中加入字符错误混淆矩阵，错误混淆矩阵存储正确字符识别为错误字符概率。在本文中使用带有不同字符的航空线缆图片进行识别，可以统计得到字符错误的数量，与错误识别的结果，例如（a →e）字符“a”可能识别为“e”。将错误字符结果频率与正确字符的频率一一对应可以得到字符混淆矩阵。

式（3）是加入字符混淆矩阵后新的计算公式，P（wi,j|wc,j）为实际字符wc,j是字符wi,j作为输入的概率；len 为字符的编辑长度，对概率求对数将相乘转化为相加，便于计算机计算。加入字符错误混淆矩阵是为了让模型对不同的情况自适应地调整权重，避免相同编辑距离情况下的概率相等问题。在不改变基础纠错流程的情况下，只需要更换混淆矩阵的权重文件就可以实现OCR的数据纠错。

本文采用纠错算法流程（图4），以OCR 的后处理为例，首先输入导线编码识别结果，与存储导线编码对应所有数据集；将OCR 识别结果在数据集中查找，若存在即认为识别结果可能正确，作为纠正选项的第一位；如果对错误结果生成不同编辑长度的候选集合，对每个集合中的元素查找是否存在数据集中，删除不存在的结果，算法首先按照字符编辑长度进行分级，再按照字符的错误类型给与一定权重，最后依照式（4）排序。考虑到计算复杂度，按照不同线号数据集中的字母表，提取只包含当前数据集中出现的字母（不超过36个），并对每个序列号、线束号最高只进行3 个字符编辑长度内的计算，高于3 个认为置信度过低，需要重新进行识别。

图3 噪声通道模型主要流程Fig.3 Baseline of the noise channel model

图4 纠错流程Fig.4 Error correction process

使用上述流程可以完成大部分的纠错工作，但是字符编辑距离相同的纠错结果概率相近。OCR 识别错误存在一些规律，Nguyen 等[24]试验了不同语料库中的OCR 试验错误，发现77%的OCR 错误是编辑距离为1 的错误，其中主要的错误为字符的替换，即将正确的字符识别为错误字符，这与后续试验中的错误类型相似。在本文构建的纠错模型中，相对应的在相同字符编辑距离的候选集合中，优先考虑字符替换的情况，其次考虑错误类型为缺失的情况。

使用上述纠错模型可以实现OCR 的后处理纠错功能，但是考虑到计算复杂性，只能计算编辑距离在3 以内的结果，且无法解决OCR 识别的错误结果在数据集合中存在的“Real-Word”问题。例如识别结果为W6077–27024，而在需安装的线缆数据库恰好存在该编码，但可能是将编码为W6077–27022 的线缆最后一位数字2 识别成为4，这种偶然性错误是无法避免的，但是可以通过引入上下文关系，或减少数据集合等方式来降低概率。

3 引入线缆规则的线缆数据纠错模型

航空线缆装配过程中需要安装大量的导线，为了使航空线缆编码带有标识信息，导线上的编码存在一定的规律，装配线缆的过程中，大量导线往往会先绑在一个线束上，一个线束被固定在支架上。图5显示了导线编码往往由3 个部分组成，线束号、线规号、序列号。线束号表示该导线所在的线束的识别编号，序列号表示线束中的标识号，而线规号表示线缆的规格和颜色。

在一个安装航空连接器导线的流程中，对应导线编码数据集合里线束号往往很少，该连接器往往是使用几个线束中的不同导线，而导线的序列号才是区分同一线束不同导线的标志。由于线规号往往用于区分一线多芯情况下一根航空线缆中不同颜色或规格的线芯，在实际的线缆编码中可能会出现省略线规号的情况。

图5 传统飞机线缆编码规则Fig.5 Traditional airplane cable coding rules

基于上述规则，可以先对出现次数较多的线束号进行纠错，保证线束号的正确后再对线规号纠错，完成后对两者的集合取交集，得到数据集合缩小的序列号纠错集合，使用较少的数据集合可以提高相对的准确率，最后推理得到全部的线缆编码。图6展示了线缆数据纠错后处理中的整体流程，完成该线缆的安装后，更新待安装的数据集合。

图6 线缆数据纠错后处理流程图Fig.6 Post-processing flow of cable data error correction

由于在整个系统中，使用改进的纠错模型后仍旧无法避免“Real-Word”问题，本文在AR 辅助装配系统级别上，增加了减少“Real-Word”问题的人工矫正环节，在所有的纠错候选集合排序完成后，如果概率最高的结果与概率次高的概率相近，还需要使用识别的图片，让装配工人确认最优结果，保障导线的信息正确，并为后期线缆检查提供一定的依据。完成一次线缆装配后，待安装的导线数据集合相应减少一根，伴随安装过程进行，最后得到的线缆编码准确度也会更高。

基于云服务的AR 辅助装配系统构建与试验

1 基于云服务辅助装配系统构建

AR 辅助装配系统使用增强现实的技术手段，将装配大量工装指令可视化地添加在真实场景，以实现提高装配效率和数字化装配的程度。上海交大提出了一套AR 引导训练系统[6]，成飞构建了基于AR 的液压装配智能引导系统[1]。考虑到本系统需要使用不同的智能算法，结合云服务的概率，将AR 设备、数据管控服务器、不同的智能算法服务作为终端交互层、数据逻辑层、服务层，三者集成一体化为飞机装配提供智能指导，以减少装配工人的工作量，提高装配效率。

面向AR 辅助装配场景的云服务技术，集成数据管控和智能计算、信息化制造技术，为AR 终端提供服务加速装配过程。云服务的提出让复杂系统解耦，弱化了不同设备的区别，不同的系统只负责相应的服务，降低了集成难度，增加大型制造系统的协同程度。伴随5G 技术的逐渐发展，云服务将飞机制造的信息虚拟化、数字化，各部门通过企业网络可随时随地按需获取云制造系统中的各类设计和生产服务资源，实现基于流程的跨阶段协同装配[25]。

利用云服务的AR 辅助装配体系结构见图7，使用AR 眼镜作为虚实结合的设备，也可利用网页跨平台地可视化装配过程；虚拟的场景中的工艺信息由管控数据与逻辑的服务器GrapServer 提供并分发至不同设备；而该数据管控中心需要利用不同的深度学习服务来实现智能感知，与不同的负责深度学习计算的服务器相连，负责发送请求与管控结果数据。

装配AO 中包含部分装配信息，如导线的材质、颜色、型号、导线和插孔的对应关系。从装配AO 提取单个连接器需安装的每根导线对应的插孔，以及插孔在连接器型谱图中的位置，由数据管控中心发送给客户端。以一根线缆安装为例，通过服务器返回的纠错后的编码，可以查找到该导线安装的孔号和对应孔号的连接器上的位置，并显示在AR眼镜上。

本文采用EPSON 的BT350 眼镜作为增强现实设备。EPSON 的AR 眼镜具有质量轻、功能强大、传感器多的特点，AR 眼镜端软件利用Unity3D 软件作为开发平台。Unity3D 可以发布成眼镜使用的Android 平台的软件，Unity3D内部使用C#语言进行开发。本文的飞机线缆装配试验中，使用百度OCR云服务作为图像识别的引擎，目前百度OCR 服务搭载在外网上，但百度可提供私有云部署服务。数据纠错系统搭载在本地Linux 服务器上提供数据纠错云服务。

图7 基于云服务的AR辅助系统架构图Fig.7 Cloud-based AR assisted assembly system architecture

2 AR 辅助线缆装配试验

为了验证使用OCR 技术识别导线加速AR 装配的准确率，本文构造了100 根航空线缆用于线缆编码识别（图8），并在Linux 服务器上搭载数据纠错算法，计算时间约为每条10ms，使用百度OCR 引擎作为字符识别算法。

在试验中对每一根导线的都拍摄相应的RGB 图片，服务器接收设备图片之后，将设备图片转发到OCR 服务商处，目前本系统使用的是百度OCR，服务器先将图片转发到百度服务器处。百度接收图片后，返回JSON 格式的识别结果，服务器端接收识别结果后解析JSON文件，将文件中的结果项转发给AR 眼镜端，完成编号的识别。试验结果显示100 根导线的安装过程中，12 根导线发生OCR 识别错误，每根导线的OCR 识别时间为1s 左右，纠错算法的时间为10ms 左右。在经过数据纠错算法后，错误的导线下降为两根，将线缆识别的准确度从88% 提高到了98%。图9展示试验中识别错误的12 根导线错误类型与纠错后的结果，可以发现大部分结果的编辑长度在2 以内。

图10展示了佩戴AR 眼镜可以正确识别线缆上的编码，在AR眼镜界面中可以实时显示不同颜色的线缆在连接器上的待安装线缆的孔号与位置（图10（b））。

由于OCR 识别的精度已经达到88%，为了检测复杂输入错误类型时算法结果，针对不同的错误类型建立了不同的OCR 识别输入情况。表1中对编号为W6077–27038–24BL建立了7 种错误类型，并检测了试验效果。

图8 线缆试验样本Fig.8 Experimental cable samples

图9 OCR识别错误的结果与纠错后的结果Fig.9 OCR recognition error results and corrected results

图10 AR辅助装配飞机线缆Fig.10 AR assistant assembly of aircraft cables

表1 不同输入情况下的测试结果Table 1 Test results under different input conditions

试验结果显示，在不同错误类型的线缆编码输入，大部分可以正确得到概率最大的推理结果，算法具有一定的鲁棒性。

结论

针对大型飞机线缆安装中装配现场、线缆安装指令复杂、手工输入线缆编码效率较低的情况，提出了一套基于云服务的AR 辅助线缆装配系统，使用OCR 技术来代替手工输入导线编号，智能提供线缆装配可视化指导。为了解决识别精度不高的问题，利用航空线缆编码规则建立了基于贝叶斯原理的噪声通道模型并用于航空线缆纠错后处理。在AR辅助装配系统下的线缆识别试验中，该后处理算法将OCR 识别线缆的准确率由88%提高到98%。该算法不仅可以用于OCR 后处理，同时也可用于语音识别纠错后的推理纠错、文档检查等场景中。与传统的工艺对比，基于云服务的AR 辅助装配可以有效提高线缆装配的数字化可视化水平，云服务的特点使整个系统便于集成，采用智能的识别导线编码减轻了装配的工作强度，缩短了装配时间，提高了识别的准确率，为航空装配提供了数字化的通用技术方法。