基于ARINC661和遗传融合的手势识别算法研究

摘" 要： 传统的手势识别算法通常受到复杂手势模式和噪声干扰等因素影响，导致其精度受到了限制，且不符合航电系统规范，故提出一种符合ARINC661规范的蚁群非支配顺序遗传融合神经网络算法。通过蚁群优化算法优化初始种群，使用第三代非支配排序遗传算法挑选种群下一代个体，保留种群多样性。引入蚁群优化后的变异与交叉策略以及种群寻优更新策略，提高算法的收敛速度；并对神经网络权值和阈值进行全局优化，提高估计精度以及手势识别系统的鲁棒性。实验结果表明，相较于现有算法，所提算法显著提高了准确率和收敛速度，并降低了平均标准误差，为应用于航电系统中的手势识别精度不足问题提供了有效的解决方案。

关键词： ARINC661； 非支配排序遗传算法； 手势识别； 蚁群优化算法； BP神经网络； 变异策略

中图分类号： TN911⁃34； TP391.4" " " " " " " " " 文献标识码： A" " " " " " " " " " "文章编号： 1004⁃373X（2024）24⁃0081⁃07

Research on gesture recognition algorithm based on ARINC661 and genetic fusion

SUN Senran1， CHENG Jinling2， HUANG Sujuan1

（1. School of Communication and Information Engineering， Shanghai University， Shanghai 200444， China;

2. Shanghai Aircraft Design and Research Institute， COMAC， Shanghai 201210， China）

Abstract： Traditional gesture recognition algorithms are usually affected by complex gesture patterns and noise interference， which leads to limited accuracy and does not conform to avionics system specifications. Therefore， an ant colony non⁃dominated sorting genetic algorithm⁃back propagation neural network conforming to ARINC661 specifications is proposed. The ant colony optimization （ACO） algorithm was used to optimize the initial population， and the third generation non⁃dominant sorting genetic algorithm was used to select the next generation individuals to preserve the diversity of the population. The mutation and crossover strategy after ACO and the population optimization update strategy are introduced to improve the convergence speed of the algorithm， and the weight and threshold of the neural network are optimized globally to improve the estimation accuracy and the robustness of the gesture recognition system. The experimental results show that， in comparison with existing algorithms， this algorithm can significantly increase the accuracy and convergence speed， and reduce the average standard error， providing an effective solution to the problem of insufficient gesture recognition precision in avionics systems.

Keywords： ARINC661; non⁃dominated sorting genetic algorithm; gesture recognition; ant colony optimization algorithm; BP neural network; variation strategy

0" 引" 言

手势识别技术用于识别和理解人类手部动作和姿势的过程时，需要将手势信号转换为数字信号，以便进一步处理，从而实现对手势的自动识别和解释[1]。近年来，这一技术在民机驾驶舱中得到了广泛应用[2]，驾驶舱的应用重点在于对包括显控在内的驾驶舱系统进行重新设计，以使手势识别技术对驾驶舱设备产生深远的影响。ARINC661规范[3]是一个广泛应用于航空电子领域的标准，其目的是提升航空电子显示系统的创新性和互操作性[4]。随着航空电子的不断发展，ARINC661规范也需要不断适应新性的技术趋势。在航空电子系统中，神经网络可以用于改进手势识别系统，提高准确率和性能。通过使用深度学习神经网络，可以更准确地解释和识别飞行员的手势[5]，减少误操作的可能性。这不仅提高了系统的可用性，还增加了驾驶员与系统的互动体验。

目前，基于神经网络学习的手势识别技术已成为备受瞩目的研究方向[6]。神经网络以其卓越的自学习性和非线性适应能力，被广泛用于处理手势的结构特征、边缘结构以及轮廓等方面[7]。然而，传统的反向传播（Back Propagation， BP）神经网络模型出现了收敛速度较慢、容易陷入局部最小值等问题[8]。即使在对手势图像进行预处理后，仅采用BP神经网络算法仍然容易出现手势缺失、变形以及低精度的问题[5]。文献[9]提出将遗传算法（Genetic Algorithm， GA）和粒子群（Particle Swarm Optimization， PSO）算法等全局寻优算法相结合的方法，通过融合遗传算法和粒子群算法以增强解空间的探索和搜索能力。文献[10]提出了GA⁃BP神经网络，它结合了遗传算法和反向传播算法，以优化网络的权重，防止陷入局部最优解。GA⁃BP算法相对于传统的BP神经网络算法，具有更强的全局搜索能力，有助于避免陷入局部最小值，有望缓解手势变形和缺失等状态[11]。其中，遗传算法采用多点并行搜索，依据“适者生存”的原则，逐代演化产生越来越优秀的近似解[12]。作为遗传算法的衍生方法，非支配排序遗传算法（Non⁃Dominated Sorting Genetic Algorithm， NSGA）是一种基于Pareto最优概念的多目标优化算法[13]。NSGA⁃Ⅲ算法[14]由NSGA和NSGA⁃Ⅱ[15]发展而来，其不受问题性质的限制，能够有效地处理复杂问题[16]。

为了优化系统收敛性和全局搜寻性能，提升不同手势样本的区别性，本文提出一种混合全局、局部的蚁群非支配排序遗传融合神经网络算法（Hybrid Global⁃Local Search Ant Colony Optimization⁃Non⁃dominated Sorting Genetic Algorithm⁃Back Propagation Neural Network， HSACO⁃NSGA⁃BP），该算法结合了蚁群优化（Ant Colony Optimization， ACO）算法和遗传算法的优势。实验结果表明，所提出的HSACO⁃NSGA⁃BP在ARINC661规范下的手势识别任务中，平均准确率达到97.02%，优于现有的基准算法，证明了本文方法的有效性。

1" 基于ARINC661的手势识别框架

1.1" 驾驶舱显示系统功能

基于ARINC661的驾驶舱显示系统可以分为CDS和UA两个关键部分，如图1所示。CDS是用于生成和管理驾驶舱的显示画面，同时提供外部输入设备的数据接口，接收并处理来自飞行员的控制指令[17]。而UA则负责向CDS提供数据源以及用户交互的控制指令。一旦系统上电，CDS会加载并解析定义文件（Definition File， DF），然后通过UA执行显示画面的逻辑处理和实时更新画面信息。

然而，ARINC661规范的重要创新之一是将座舱显示系统的图像显示和控制功能明确分隔开。在这一设计中，显示器的主要职责是根据接收到的指令来显示或隐藏窗体部件。因此，当用户进行点击或操作时，显示系统无法直接确定与操作相关的窗体部件。这种架构中的核心概念是“窗体化”，如图2所示，即将显示画面划分为多个窗体，每个窗体都具有特定的功能和用途。

因此当用户点击显示器时，显示器不知道画面内容，无法定义到相关窗体部件。要想获取手势信息，需要先确定具体窗口，再指向内部有渲染的画面，寻找其所在图层，并对有画面渲染的图层进行窗口部件遍历，定位具体相关的窗口部件号。这种方式类似于计算机桌面，桌面上开启很多的页面，可以在去定位需求页面时进行相关操作，但同时其他页面不可操作且相互不影响。

1.2" 手势识别框架

通过前期对ARINC661规范和手势场景的分析，出于对交互行为的合理性与功能性评估，本文主要采用基于模块化的设计思路，总体的手势识别流程如图3所示。首先截取滤波后的手势信号，通过触控轨迹拟合和矢量化后生成训练集样本，输入网络训练并生成测试集样本，训练集样本经过迭代训练出具有较高准确率和收敛性的模型；同时用测试集样本检测识别新的样本，得到最优网络模型，完成利用手势识别模块的过程。

2" 蚁群非支配遗传融合神经网络算法原理

2.1" 基于改进蚁群算法的种群初始化策略

对于NSGA⁃Ⅲ算法而言，初始种群的质量对于算法的收敛效率具有关键影响。为了优化初始种群，本文提出了一种结合ACO算法和NSGA⁃Ⅲ算法的混合方法，以综合两种算法的优点。ACO算法具有高速高效的搜索特性和强大的全局搜索能力，能够更好地探索解空间，避免陷入局部最优解，提高整体搜索效率。蚁群算法是一种启发式优化算法，受到了蚂蚁觅食行为的启发。在自然界中，蚂蚁通过释放信息素来沿着路径通信，并根据信息素浓度选择路径，从而找到食物源。蚁群算法模拟了这种行为，用于解决优化问题。其中，在路径上留下更多的信息素这一行为，使得蚂蚁在探索空间时会逐渐聚集在较短路径周围，从而实现全局路径的优化。

1） 转移概率准则：[Pkij]表示t时刻蚂蚁k由焊点i转移到焊点j的概率。

[Pkij=τijtα⋅ηijtβs∈tabukτistα⋅ηistβ，" " " " "j∈tabuk0，" " " " " " " " " " " " " " " " " " " " " " " " " " "其他" " " " ] （1）

式中[tabukk=1，2，…，n]称为禁忌表，用于记录蚂蚁k当前已经走过的地方。

2） 局部调整准则：在解的构建过程中，每只蚂蚁都会进行局部调整。经过h个时刻后，根据以下公式调整两个元素状态之间的局部信息素数量。

[τijt+h=1-ζτijt+ζτ0] （2）

[τ0=1nlmin] （3）

式中：[ζ∈0，1]；[lmin]指在集合中最近的两个变量的距离。

3） 全局调整准则：若出现全局调整的情况，就必须寻找全局最优解的蚂蚁。全局调整的规则如下：

[τijt+n=1-ρτijt+ρΔτijt] （4）

[Δτijt=k=1mΔτkijt] （5）

式中：[ρ]为挥发系数，[ρ∈0，1]；[Δτijt]表示本次循环中路径[ij]上的信息素数量的增量；[Δτkijt]表示第k只蚂蚁做本次循环中留在路径[ij]上的信息量。

在每个阶段，个体根据其适应度值与其他个体交互，生成新的解。如果新解比当前个体更优，则接受该新解。ACO算法作为辅助工具，使用加权和法将目标函数转换为单一的适应度值，通过多次迭代找到单目标问题的最优解。NSGA⁃Ⅲ算法被用来进一步优化改进，将ACO算法获得的解作为NSGA⁃Ⅲ算法的初始父代种群，可以增加初始种群的多样性和整体质量，加速进化和收敛过程，缩短寻找最优解所需的时间，从而提高整体算法效率。

2.2" 基于改进NSGA⁃Ⅲ算法的全局搜索策略

交叉和变异是影响NSGA⁃Ⅲ算法收敛性的主要因素。锦标赛选择机制是确保只有最适应的个体参与交叉和变异操作，有效地保留了种群中的优秀基因片段，并将它们传递给下一代。交叉操作通过重组种群中个体的基因片段来实现全局搜索；而变异操作则通过随机修改个体的基因片段来进行局部搜索，从而增加种群的多样性。采用自适应调整的交叉和变异算子可以根据适应度函数的大小动态的改变，从而避免优化效率过低的问题。在选择适应度函数时，可以利用目标函数的输出来计算输出期望误差与实际输出误差之间的差值（绝对值），计算公式如下所示：

[FiE=Emax-E] （6）

式中：[Emax]为误差函数的最大值；[E]为系统总误差；[FiE]为单个个体适应度函数。

在遗传算法的早期，应该采用较大的变异率和较小的交叉率，以便尽快掌握全局范围内的解；进入后期，则需要减小变异率和增加交叉率，以便更好地跳出局部最优解，并生成更多新的个体。交叉和变异概率计算公式如下：

[a'i=1-rai+rbi] （7）

[b'i=rai+1-rbi] （8）

[a'i=ai+ai-amaxfr，" " "rlt;0.5ai+amin-aifr，" " "r≥0.5] （9）

[fr=r1-GGmax] （10）

式中：[a'i]和[b'i]为父本母本经过交叉操作之后形成的新个体；[ai]和[bi]为被选中的父本和母本；[r]为0～1之间的随机数；[amin]为基因的下限值；[amax]为基因的上限值；[G]为当前迭代次数；[Gmax]为最大迭代次数。

在交叉操作过程中，采用单点交叉的方法。对于每个个体，当出现其交叉概率低于预设的交叉率时，会随机选择一个交叉点，将两个父代个体在该交叉点之后的基因部分进行互换，从而实现基因的交叉。这样做重新组合了两个个体之间的遗传信息。变异操作则是采用单点变异的方式。对于每个个体的每个基因，计算其变异概率，如果这个概率小于预设的变异率，则将该基因进行取反，即翻转对应的二进制位。这样可以引入新的遗传信息，增加个体的多样性。交叉和变异操作示意图如图4所示。

通过反复进行交叉和变异操作，不断生成新的个体并更新其适应度，这个过程将一直持续，直到满足停止条件。在优化过程中，交叉率与变异率会根据当前种群的阶段动态调整。这种自适应调整使得算法能够更灵活地适应求解过程中的不同阶段，从而提升整体算法的计算效率和收敛速度，提高全局搜索能力。通过搜索更广阔的个体解空间，增加了发现种群全局最优解的可能性，同时也加快了多目标优化问题的解决速度。

2.3" HSACO⁃NSGA⁃BP算法的实现

1） 参数初始化。参数初始化是建立BP神经网络的重要步骤。首先，根据数据集的输入和输出确定了网络的结构，包括输入层节点数和输出层节点数；然后，需要计算隐含层节点数，将产生初始权值和阈值组成的所有元素。

2） 初始化种群。初始化种群包括种群编码和种群生成。基于二进制编码随机生成一个初始的候选解种群，种群的个体数为N，并采用ACO算法对初始种群进行优化。计算得到种群中每个个体的适应度值（目标函数值），评价对应每种目标分配方案的好坏。

3） 锦标赛选择。采用锦标赛选择的方式在种群中选出优秀个体成为第一代父代，具体如下。

步骤1：对参与锦标赛的每个个体进行适应度计算，适应度越高的个体得分越高。

步骤2：从种群中随机选择2个个体，在二元锦标赛选择中，每个个体被选择的概率相同。

步骤3：比较选中个体的适应度值，选择适应度值最佳的个体作为获胜者，并将其选入下一代种群。

步骤4：重复步骤1～步骤3，直到新的种群规模达到原始种群的规模。由于每次选择是独立的，相同的个体可能在不同轮次中被多次选中，也可能有个体在锦标赛中从未被选中。这种方法使得优良个体更有机会被选中，同时保留了一定的随机性，以确保种群的多样性。

4） 交叉与变异。对父代种群进行自适应交叉和变异，产生新子代。

5） 交叉与变异后的种群优化。基于ACO算法对新子代进行扩展，得到二次寻优后的新解。

6） 合并得到新种群。合并父代和子代，得到规模为2N的新种群。

7） 非支配排序与个体选择。对新种群进行非支配排序和参考点选择，包括建立种群的非支配分层、非支配层级中的种群选择。

8） 判断迭代次数（T）。判断T是否大于最大迭代次数，若否则T=T+1，并返回步骤4）；是则算法运行，获取最优权值和阈值。

9） 将寻优结果代入BP神经网络训练，计算训练误差，当误差达到目标要求时输出结果；否则继续进行步骤，重新计算误差。

HSACO⁃NSGA⁃BP算法流程见图5。

3" 实验结果与分析

为了证明HSACO⁃NSGA⁃BP算法的有效性，设置了对比实验，分别与NSGA⁃Ⅲ、GA⁃BP、NSGA⁃BP、ACO⁃GA⁃BP进行对比。GA和NSGA⁃Ⅲ是多目标优化领域的经典算法；GA⁃BP和NSGA⁃Ⅲ⁃BP是进化多目标优化算法和神经网络算法的融合。实验在所有测试问题上均独立运行30次。

3.1" 实验参数设置

本文搭建了一个采集数据的实验平台来进行识别的相关实验，平台由触控屏硬件和手势数据解析程序软件组成。软件基于PyTorch搭建，训练轮次设置为30，输入样本的批数据量为1 024。在神经网络的训练和精度评估过程中，需要建立一个误差评判标准。本文采用平均绝对误差（Mean Absolute Error， MAE）作为误差评价指标，其表达式如下：

[MAE=1ni=1nyi-Yi] （11）

由于每个输入样本的不同，每个样本对应一种手势标签，这样可以转化为一种单标签多分类问题。在ARINC661规范下应用NSGA⁃Ⅲ和4种改进型GA算法分别进行独立实验，比较HSACO⁃NSGA⁃BP在不同种群规模和参数配置下的实验情况。算法初始参数设置如表1所示。

在神经网络模型中，阈值的设定尤为重要，针对本文设计的各种手势重复进行若干次操作，提取有效的手势数据后，将其输入到神经网络进行处理，并与预先设定的识别结果进行对比。手势识别结果表明，当判断阈值设定为0.2，结果合理可靠。手势识别结果如表2所示。从表2中可以发现，对于大部分手势，本文设计的手势识别算法能够准确地识别手势类型。

3.2" 收敛性分析

应用NSGA⁃Ⅲ算法和4种改进型NSGA⁃Ⅲ算法分别进行50次独立实验，设置多组对照实验对不同算法的收敛时间进行测试，实验结果如表3所示。

由表3可以看出，HSACO⁃NSGA⁃BP算法在收敛速度上具有明显优势，其在迭代次数不同的两种情况下的50次实验平均收敛时间为1.53 s、1.23 s，与原始NSGA⁃Ⅲ算法相比分别减少35.17%、49.80%，同时时间复杂度未见明显的上升。通过在同一组小规模测试问题上多次独立运行5种算法，并比较其解的质量可知，基于HSACO⁃NSGA⁃BP算法得到的目标函数值的平均值、最好值均明显优于原始算法，证明了改进算法的有效性。

3.3" 不同算法结果对比

通过网络训练和数据可视化，观察测试集在手势识别误差损失变化和平均准确率，具体如图6所示。

由图6可看出，HSACO⁃NSGA⁃BP算法始终优于另外4种算法，进一步验证了本文算法的优势。从整体的训练结果来看，当训练第70轮时，手势识别准确率接近最高准确率和最低误差损失，并在最后30轮中趋于平稳；同时最高和最低手势识别准确率相差只接近10%，预测模型的误差明显更小，表明HSACO⁃NSGA⁃BP神经网络模型有较好的优化效果，提高了预测精度。

4" 结" 语

本文提出了一种符合ARINC661规范的蚁群非支配顺序遗传融合神经网络算法，旨在将其应用于民航驾驶舱显示系统。首先构建了一个基于ARINC661规范的手势识别算法评估平台，实现了手势识别的模块化处理。在核心的手势识别模块，针对传统的BP神经网络算法在ARINC661规范下的一系列问题，包括收敛速度慢、精度不佳以及收敛过程中的振荡等。本文采用蚁群算法和遗传算法结合的方式，一定程度上平衡收敛性和多样性。与传统的BP神经网络和NSGA⁃Ⅲ算法相比，新算法更为简洁、复杂度更低、训练速度更快，同时更易于训练；此外，还提高了特征提取的准确率和可靠性。最终，模型的准确率较其他基准算法平均提高了近10%，收敛时间平均减少42.485%。

综合来看，本文在ARINC661规范下设计的民航驾驶舱显示系统的手势识别模型HSACO⁃NSGA⁃BP表现出更出色的整体性能，为提高民航驾驶舱系统的用户体验和操作效率提供了有力的支持。这一方法有望在实际应用中取得显著的成果，进一步促进手势识别技术在民航领域的应用和发展。

参考文献

[1] WISENER W J， RODRIGUEZ J D， OVANDO A， et al. Atop⁃view hand gesture recognition system for IoT applications [C]// Proceeding of the 5th International Conference on Smart Systems and Inventive Technology. Tirunelveli， India， 2023： 430⁃434.

[2] ARINC Specification 661Part1⁃8： Cockpit Display System Interfaces To User Systems [S]. America： Aeronautical Radio， INC， 2020.

[3] NUHOGLU M A， ALPYK， ULUSOY M E C， et al. Image segmentation for radar signal deinterleaving using deep learning [J]. IEEE transactions on aerospace and electronic systems， 2023， 59（1）： 541⁃554.

[4] BARLADIAN B K， SHAPIRO L Z， DERYABIN N B， et al. Efficient rendering for the cockpit display system designed in compliance with the ARINC 661 standard [J]. Programming and computer software， 2022， 48： 147⁃154.

[5] WANG Y， ZHANG S， KONG D， et al. The design and imple⁃mentation of primary flight display components based on SCADE [C]// Proceeding of 2021 IEEE 3rd International Conference on Civil Aviation Safety and Information Technology. Piscataway： IEEE， 2021： 470⁃474.

[6] WU H P， LI L. The BP neural network with Adam optimizer for predicting audit opinions of listed companies [J]. IAENG international journal of computer science， 2021， 48（2）： 364⁃368.

[7] BARLADYAN B， SHAPIRO L， DERYABIN N， et al. Optimiz⁃ing ARINC661 rendering for OpenGL with hardware support in the JetOS aviation operating system [EB/OL]. [2023⁃12⁃07]. https：//www.aminer.cn/pub/62ac21935aee126c0fa71fe8.

[8] 吴诗辉，周宇，李正欣，等.基于神经网络时变参数系统仿真优化方法[J].系统工程与电子技术，2023，45（2）：472⁃480.

[9] 毛锦鑫，何坤金，陈金旺，等.基于GA⁃BP的实时视频通信自适应前向纠错码[J].计算机应用研究，2023，40（12）：3760⁃3765.

[10] NIMISHA S， MARIE G， JOSCHA K， et al. ARINC 661 based user interface design for a sustainable aviation application on an electronic flight bag [C]// AIAA SCITECH 2023 Forum. Maryland， USA： AIAA， 2023： 11⁃23.

[11] MANECKSHAW B， MAHAPATRA G S. Multi⁃objective evolutionary algorithm on reliability redundancy allocation with interval alternatives for system parameters [J]. Neural computing and applications， 2022， 34（21）： 18595⁃18609.

[12] YANG T J， BAI X H， CUI X J， et al. Trans DIR： deformable imaging registration network based on transformer to improve the feature extraction ability [J]. Medical physics， 2021， 49（2）： 952⁃965.

[13] 张萌.基于BP神经网络的高精度本地多基准时钟合成算法研究[J].电子学报，2019，47（8）：1618⁃1625.

[14] ZOU F Y， SHEN L， JIE Z Q， et al. A sufficient condition for convergences of adam and RMSProp [C]// Proceeding of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach， California， USA： IEEE， 2019： 11127⁃11135.

[15] XU D P， ZHANG S D， ZHANG H S， et al. Convergence of the RMSProp deep learning method with penalty for nonconvex optimization [J]. Neural network， 2021， 139： 17⁃23.

[16] SHEN L， CHEN C， ZOU F， et al. A unified analysis of AdaGrad with weighted aggregation and momentum acceleration [J]. IEEE transactions on neural networks and learning systems， 2023（2）： 1⁃9.

[17] SENTHIL R， NARAYANAN B， VELMURUGAN K. Develop the hybrid adadelta stochastic gradient classifier with optimized feature selection algorithm to predict the heart disease at earlier stage [J]. Measurement： sensors， 2023， 25： 100602.

作者简介：孙森然（1999—），男，江苏盐城人，硕士研究生，研究方向为手势识别和民用飞机航电系统。

程金陵（1986—），男，河南信阳人，硕士研究生，研究员，研究方向为民用飞机航电系统。

黄素娟（1968—），女，江苏苏州人，博士研究生，教授，研究方向为数字图像处理、数字全息。