多特征融合的无人机控制系统设计与实现

周俊宇，刘亚群，章学良，王众

（中国电子科技集团公司第十四研究所，江苏 南京 210039）

近年来，随着电子技术、人工智能等学科的不断发展，无人机在诸多领域得到了广泛应用[1-6]。如何高效、便捷地控制无人机，已成为当前的研究热点[7-9]。脑-机接口作为一种直接通过脑电活动传递思维信息的人-机交互技术[10-11]，已被广泛应用于机器人控制领域[12-15]，可帮助用户更好地实现人-机协同。然而，在大多数的脑-机接口研究中，用户大脑意图的解析效果容易受到背景环境及用户生理状态的影响，其控制指令的数目往往较为有限。在一般的无人机控制系统中，飞行控制指令应包括起飞、降落、上升、下降、左移、右移、前进、后退、左旋、右旋、悬停等多个维度，因此在控制指令数目充足的基础上，提高指令识别的准确率成为了将脑-机接口技术应用于无人机飞行控制的主要难题。

针对以上问题，文中设计了一种融合多类别脑-机接口特征、面部表情特征以及头部动作特征的无人机控制系统,实现了通过多种特征对无人机的联合控制，有效提高了无人机飞行控制的指令数目和识别准确率。

1 系统整体设计

提出的多特征融合的无人机控制系统总体架构如图1 所示。用户的脑电信号、面部表情相关信号以及头部动作信号被信号采集系统（含脑电信号传感器和陀螺仪传感器）采集并送入地面站，经地面站系统软件分析处理后识别出用户状态，包括大脑意识（注意力水平、稳态视觉诱发电位、运动想象电位）、面部表情和头部动作，地面站软件进而将这些用户状态映射为无人机的飞行控制指令并通过遥控器传至无人机；无人机根据接收到的飞行控制指令完成相应飞行动作，并在飞行过程中将机载摄相机拍摄的视频信息以无线通信方式传至图像接收系统，最后由图像接收系统传入地面站并显示；用户根据显示的图像信息产生新的控制意图，通过脑电信号、面部表情相关信号或头部动作信号再次经信号采集系统送入地面站，经解析后产生下一步的无人机飞行控制指令。

图1 多特征融合的无人机控制系统总体架构

在多特征融合的情况下，地面站软件可能同时解析出多种飞行控制指令，例如用户在利用头部动作进行指令控制时，可能会伴随运动想象过程。因此，为了避免不同指令间的竞争而造成控制混乱，根据不同特征的解码特点及长期试验的结果分析，系统中对用户的控制意图进行了优先级设置，由高到低分别为注意力水平、头部动作、面部表情、运动想象、稳态视觉诱发。地面站系统通过优先级检测选择优先级较高的用户控制意图并发送给无人机。

2 系统详细设计

提出的多特征融合无人机控制系统的关键部分主要体现在信号采集系统设计、地面站控制软件设计、注意力水平检测、稳态视觉诱发电位解析、运动想象电位解析、面部表情解析以及头部动作检测等内容。

2.1 信号采集系统设计

该系统基于八通道脑电采集设备进行脑电信号与面部表情相关信号采集，并将陀螺仪传感器（MPU6050）固定在脑电帽表面，用于采集用户的头部动作信号。脑电极放置位置采用国际10-20 标准，如图2 所示。其中，注意力水平相关的脑电信号采集通道为Fp1、Fp2，运动想象电位相关的脑电信号采集通道为C3、C4，稳态视觉诱发电位相关的脑电信号采集通道为P3、P4、O1、O2，面部表情相关的特征信号采集通道为Fp1、Fp2、C3、C4，Cz 为参考电极，Fz 为接地信号。

图2 脑电极放置区域示意图

2.2 地面站控制软件设计

地面站控制软件的系统功能如图3 所示。地面站接收信号采集系统的用户控制信息并进行解析，从数据库中选择对应的飞行控制指令，通过遥控器接口传送给无人机以完成无人机飞行控制。同时，地面站软件通过遥控器以及图像接收系统接收无人机回传的飞行状态及图像信息，在用户界面中进行显示。

图3 地面站软件系统功能图

该系统中地面站软件界面主要包含七个分区，其相应的功能分别为：①标题区，显示系统标题文字；②状态显示区，显示无人机飞行状态及相关参数；③菜单栏，放置菜单操作控件；④调试区，显示运行过程中的调试信息；⑤飞行控制区，放置飞行控制操作控件及相关变量设置；⑥视频监控区，视频监控控制及显示播放的视频；⑦特征显示区，稳态视觉诱发电位特征频谱、运动想象电位特征和面部表情特征等实时显示。

2.3 注意力水平检测

该系统首先对用户注意力水平进行准确而快速的测量，解析出用户实时的注意力指数。归一化后注意力指数的取值范围为[0,1]，如图4 所示，且用户的注意力水平越集中，对应的注意力指数越高。在用户控制无人机飞行的过程中，系统根据实时变化的注意力指数区分用户专注和放松两种精神状态。当注意力指数不小于0.8 时，认为用户处于注意力集中状态，其产生的飞行控制指令为有效指令，可以实现对无人机的飞行控制；当用户注意力指数小于0.8时，如图4 中方框圈出的部分所示，认为此时用户处于放松状态，产生的飞行控制指令为无效指令，无人机将进行自主巡航控制。

2.4 稳态视觉诱发电位解析

该系统在融合多个脑电通道的稳态视觉诱发电位信号特征以后，能够有效识别出用户根据实验范式所诱发出的刺激信号的频率成分，处理后的频率特征曲线如图5 所示。在图5 中，f1、f2、f3、f4分别对应四种不同特征频率的刺激源，对应线段所示数值代表该特征频率的判断阈值。当用户脑电信号中某一特征频率的幅度超过对应的判断阈值时，即输出相应的分类结果。在稳态视觉诱发电位分类试验中，分类的准确率随着分类数目的减少而显著提高。当刺激源数目为四类时，分类准确率为87%；当刺激源数目为三类时，分类准确率为94%；当刺激源数目仅为两类时，分类准确率为99%。

图5 稳态视觉诱发电位特征频率曲线

2.5 运动想象电位解析

该系统在用户进行运动想象的过程中，可对其脑电信号中的运动想象特征进行可靠的提取和分类。当用户分别进行左手运动想象和右手运动想象时，在脑电通道中提取的运动想象电位典型特征如图6 所示，图6 中方框部分分别对应左手运动想象和右手运动想象模式下的特征幅度范围。当运动想象的识别维度为2 时，识别准确率为82%；当仅进行单个维度识别时（例如仅需识别左手运动想象），识别准确率为98%。

图6 运动想象电位特征范围

2.6 面部表情解析

该系统通过脑电传感器采集与面部表情相关的特征信号，实现了面部表情的高精度分类，详细说明可参考文献[16]。当面部表情的识别维度为5 时，识别准确率为96%；当面部表情的识别维度为4 时，识别准确率为98%。

2.7 头部动作检测

该系统通过陀螺仪芯片检测用户的头部动作并通过无线传输发送给地面站软件进行解析。系统中采用的陀螺仪芯片型号为MPU6050，该芯片采集头部动作并转化为XYZ 三轴的角度输出，经地面站解析后的分类结果如图7 所示。当识别四类头部动作时（抬头、低头、左转头、右转头），分类识别准确率为99%。

图7 头部动作分类结果显示

3 试验研究

为了验证提出的多特征融合的无人机控制系统的有效性，文中开展了无人机飞行控制试验研究。试验中采用了大疆公司的M-100 型无人机作为飞行平台，主要包括飞行控制、视觉导航传感器和云台相机等部分。同时，该型无人机具有对外的UART 接口，可支持添加机载设备，并提供用于二次开发的套件和通信协议，便于针对系统需求开发控制软件控制其飞行。

为了获取较高的识别准确率，根据脑电信号、面部表情相关信号以及头部动作信号的解码特点，该系统对这多种特征模式进行了择优搭配使用，构造了基于多种特征联合控制无人机飞行的方法。系统中选用的特征模式与无人机飞行控制指令的映射关系如表1 所示（选用的头部动作特征为四种，稳态视觉诱发电位特征为两种，面部表情特征为四种，运动想象电位特征为一种）。无人机飞行控制试验在较为空旷的场地上进行，测试者根据表1 所定义的映射关系。通过大脑意图、面部表情、头部动作等控制模式依次对无人机发送起飞、降落、左移、右移、前进、后退、上升、下降、左旋、右旋、悬停11 种控制指令，观察无人机是否正确执行相应的飞行控制指令，并记录数据。累计测试50 组数据后（所有指令循环一次为一组），得到的飞行控制指令准确率如表1 所示。通过计算可以得出，在满足无人机11 个飞行维度的条件下，文中试验的综合控制准确率为96.4%，表明了提出的多特征融合无人机控制系统可以实现对无人机高效而准确的控制。

表1 无人机飞行控制指令映射关系及控制准确率

4 结束语

文中设计了一种融合脑电信号、面部表情相关信号、头部动作信号等多类特征实现对无人机联合控制的系统，介绍了该系统的总体设计方案及关键部分设计，开展试验研究验证了该系统在无人机飞行控制方面具有可靠性。该系统通过对不同模式特征的择优选取与组合使用，有效实现了飞行控制指令数目的增加和识别准确率的提升。该系统可为未来机器人控制技术提供一种全新的技术支持，具有较为广阔的应用前景。