刘建业,杨 闯,熊 智,赖际舟,熊 骏
(1. 南京航空航天大学导航研究中心,南京 211106;2. 先进飞行器导航、控制与健康管理工业和信息化部重点实验室,南京 211106;3. 卫星通信与导航江苏高校协同创新中心,南京 210016)
即时定位与地图构建(Simultaneous localiza-tion and mapping,SLAM)是无人机在非结构化或未知复杂环境下自主导航与定位的主要方式之一[1]。现有的无人机SLAM存在如下问题:在配备惯性、卫星、测距等基本导航传感器的基础上,还需配备较高精度昂贵的激光雷达和视觉等环境感知传感器;主要采用概率方法解决建图和定位问题,需建立精确世界和无人机物理模型;受环境影响较大,在光照较强(弱)、图像纹理丰富度低、粉尘等恶劣环境下较难正常工作(典型的例子如特斯拉无人驾驶事故);无法自主智能应对未知复杂环境,需要发展复杂环境下的新型导航方式。
相比上述无人机SLAM问题,动物(人)在不具备高精度感觉器官和高分辨率地图的情况下仍然能够准确快速进行定位与导航,这种能力如此简单和自然,一直是该领域研究者持续关注的问题之一。随着大鼠等哺乳动物大脑海马区中与认知导航相关的位置细胞、头朝向细胞、网格细胞以及边界细胞等几种关键导航细胞的陆续发现,对深入理解哺乳动物(人)的大脑导航机理提供了可能。受这些机理启发,近年来基于人工智能的类脑导航技术得到了较大发展[2],为解决上述SLAM问题提供了一条新思路。
当前,类脑导航技术主要有五种类型:吸引子神经网络型[3]、深度学习型[4]、脉冲神经网络型[5]、振荡相干型[6]和贝叶斯推理型[7]。其中,深度学习模型可解释性不强,且需要进行大量监督学习训练;脉冲神经网络参数训练复杂,当前还主要处于仿真验证阶段;振荡相干型对传感输入噪声较为敏感;贝叶斯推理型需要建立较为准确的概率模型。相比以上四种类型,吸引子神经网络模型可解释性强,无需训练模型参数,具有较强的处理输入噪声鲁棒性,无需精确导航模型,不依赖高精度传感器,恶劣环境(暗光、强光、粉尘等)下适应性强,且具有一定的自主智能能力等优势,得到了大量研究[8-10]。
本文结合作者团队南京航空航天大学导航研究中心正在承担的国家自然科学基金项目—类脑感知定位机理的无人机密集集群编队协同导航方法(61873125),简要阐述了哺乳动物大脑导航机理,分析了吸引子神经网络的编码信息性能,概述了基于吸引子神经网络的类脑导航关键技术,最后讨论了吸引子神经网络类脑导航技术在无人机导航与定位应用中的挑战。
哺乳动物具有高度智能的导航能力,这些能力依赖于海马-内嗅皮层(海马区)产生的能够表征环境事物空间关系的认知地图,认知地图的形成与海马区中存在的导航细胞密切相关。
当前被证实的导航细胞主要有:位置细胞、头朝向细胞、网格细胞和边界细胞,如图1所示。位置细胞和头朝向细胞是认知地图的主要物质基础。动物到达环境中某个区域时,特定的位置细胞会激活放电指示动物所处位置,此外,位置细胞还可以记忆环境信标点,当遇到信标点时同样会激活位置细胞放电;动物头部朝向环境中不同方向时,特定的头朝向细胞会激活放电指示动物相对周围环境事物的方位,进而表征事物之间的方位关系;大量位置细胞和头朝向细胞联合实现编码动物所处整个环境位置与方位信息。动物处于环境中某一尺寸的正六边形网格轨迹顶点时,会有某一特定的网格细胞周期性激活放电;网格细胞被认为是动物大脑的路径积分器(航迹推算系统),实现动物位置和方位信息的更新;仅仅依靠网格细胞路径积分不可避免地存在累积误差,需要位置细胞表征的信标校正。动物到达环境边界时,特定的边界细胞会激活放电指示边界。
图1 动物大脑导航机理Fig.1 Mechanism of animal brain navigation
随后,神经生理学家又陆续发现了敏感运动速度的速度细胞[11],整合速度和方向的条纹细胞[12],感知与物体相对位矢的路标向量细胞[13],分辨街区级范围位置的临近区域细胞[14],以及敏感同伴距离和方位的社交位置细胞[15]等多种导航细胞。
上述多种导航细胞广泛存在于鼠类、猴子、海豚等哺乳动物以及人类[16],这些导航细胞相互连接构成一个复杂的神经网络,如图1所示。该网络通过导航细胞的集群放电活动,不断整合动物的自运动信息以及视觉/听觉/嗅觉等信标信息,并将这些信息转化为内部空间神经代码,形成表征环境的认知地图,进而基于认知地图进行空间认知和导航。
吸引子神经网络(Attractor Neural Network,ANN)是基于吸引子动力学和循环神经网络的一种神经动力学模型。其状态为神经元激活放电率,网络拓扑结构如图2(a)所示[3],每个神经元同时接收来自周围神经元的局部兴奋性输入和全局抑制性输入,在没有外部输入时整个神经网络状态达到某一稳态(网络能量函数E取得极小值),该稳态称为ANN的一个吸引子,如图2(b)所示[17],所有吸引子构成ANN状态空间的一个流形。在外部输入的驱动下,吸引子沿流形发生相应移动,响应外部输入。
连 续 型 ANN(Continuous Attractor Neural Network, CANN)动力学方程一般形式为
wEI·u(t)+Xi(t)]+
(1)
(a) 吸引子神经网络拓扑
(b) 吸引子流形图2 吸引子神经网络拓扑结构与吸引子流形Fig.2 The attractor manifold and the topological structure of attractor neural network
CANN常用吸引子来编码表征运动方向、空间方位和位置等连续性信息。由于CANN通过大量神经元集群放电活动来表征编码信息,使得CANN对外部输入信息具有较强的鲁棒性,仅当外部输入信息能光滑、连续驱动编码信息时,即吸引子严格沿流形连续移动时,外部输入才能驱动吸引子移动完成信息的编码更新。如图3所示,CANN处理输入信息时,具有以下显著鲁棒性:1)抵抗随机噪声;2)抵抗常值漂移;3)抵抗野值;4)自动加权融合多种输入。CANN上述特性,与导航细胞集群编码表征动物的导航参数特征尤为切合,是对大脑进行空间认知、导航和记忆等高级活动建模的常用模型[18]。
(a) 抵抗随机噪声
(b) 抵抗常值漂移
(c) 抵抗野值
(d) 自动加权融合多种输入图3 吸引子神经网络特性Fig.3 The performance of attractor neural network
借鉴动物大脑导航机理,基于ANN的类脑导航主要包括3个过程:以网格细胞为核心的路径积分,以位置细胞为核心的信标定位,以及融合路径积分和信标定位的认知地图构建,如图4所示。
图4 吸引子神经网络类脑导航工作流程Fig.4 Workflow of attractor neural network-based brain-inspired navigation
虽然路径积分存在累积误差,需要外部信标的及时校正,但过多依赖外部实时校正的路径积分算法是无意义的,需要发展接近动物能维持几分钟高精度的路径积分模型,代表性的模型是Burak等提出的CANN精确路径积分模型[19]。该模型当前仍处于大量研究和应用阶段[9,20-22],其基于放电率编码的网格细胞神经动力学方程为
(2)
(3)
其中,a为兴奋与抑制性连接比例调控因子,γ=1.05β,β=3λ-2,a与λ决定了网格细胞放电模式尺度,Bi为向网格细胞i注入的耦合速度与方位信息的前馈兴奋性输入,由式(4)确定
(4)
上述精确路径积分模型实验结果如图5所示。其中图5(a)为128×128个网格细胞集群放电图;图5(b)为其中一个网格细胞的空间放电样式。
(a)网格细胞集群活动
(b)某个网格细胞周期性网格放电模式图5 基于CANN的网格细胞精确路径积分Fig.5 Accurate path integration in CANN of grid cells
从图5中可以看出,在长时间的路径积分中,其放电样式呈六边形且覆盖整个空间,说明了网格细胞路径积分过程中的误差累积小于半个周期的相位误差,不足以破坏网格细胞的放电特性,说明了计算模型的有效性与准确性。进一步,该模型基于采集的大鼠运动速度和方位输入,实现了260m/20min误差不超过15cm的网格放电模式,接近大鼠的路径积分精度[19]。该CANN模型的输入为自运动信息(速度与方位),这些信息可经过头朝向细胞、速度细胞[23]和条纹细胞[24]计算模型输入到CANN模型,进一步提高了路径积分精度。
基于网格细胞的CANN模型在执行路径积分的过程中重现了网格细胞较为精确的空间网格放电样式,但这种放电样式相对实际空间位置为周期重复性放电,在表征实际空间位置时具有很大的歧义性,无法根据网格放电样式直接确定物理位置信息以及进一步用于构建认知地图。
为实现基于CANN网格放电样式解算位置信息,如图6所示,当前主要有三种方案:1) 多尺度网格细胞联合生成位置细胞[9];2) 网格细胞多尺度融合定位[20];3) 同尺度网格细胞集群放电模式里程计定位[21]。
(a) 多尺度网格细胞联合生成位置细胞
(b) 网格细胞多尺度融合定位
(c) 同尺度网格细胞集群放电模式里程计定位图6 基于网格细胞路径积分的位置解算方法Fig.6 Position solution derived from grid cell-based path integration
1)多尺度网格细胞联合生成位置细胞
如图6(a)所示,为确保多尺度网格细胞周期性放电活动生成单一位置细胞放电模式,主要通过竞争学习实现,如式(5)所示
(5)
2)网格细胞多尺度融合定位
大脑中的网格细胞呈离散模块化分布,每一模块中存在大量网格细胞,这些网格细胞放电野尺度相同(正六边形间距);不同模块网格细胞放电野尺度呈指数级增长,能够实现对位置信息不同层级分辨率的编码表征[25];这些网格细胞一同工作,映射环境中每个位置;任何特定位置都能被表示为一种独特的多尺度网格细胞激发放电模式组合,不同尺度放电重叠的信息点即为载体当前位置,如图6(b)所示。
3)同尺度网格细胞集群放电模式里程计定位
同一模块中含有大量同尺度、同朝向、不同相位的网格细胞,将这些网格细胞按一定逻辑规则排列,载体运动速度会驱动这些网格细胞集群放电模式的运动,模式运动的方向和速率与载体实际运动呈线性关系,如图6(c)所示。通过对该集群放电模式运动方向和距离的解码,即可解算载体的位移信息,构造里程计实时递推计算位置。
路径积分可以使运动载体在环境中产生相对某一特定物理位置的唯一的激活放电以表征特定位置信息,为载体运动提供空间坐标系[26];运动中,当遇到信标信息时,载体将信标信息转化为信标位置细胞,并将生成的信标位置细胞和路径积分提供的空间坐标关联记忆和存储,完成认知地图的构建,实现了对环境事物之间空间关系、逻辑关系以及时间关系的综合表征。但随着运行距离的不断增大,路径积分提供的空间坐标系不可避免地存在累积误差,需要环境信标的校正,如图7所示。
图7 认知地图构建Fig.7 Construction of cognitive map
信标主要有图像类、无线电类以及环境中其他能提供位置参考的信息源[27],如图8所示。信标校正的方式主要有:信标信息生成的位置细胞放电和重置路径积分产生的位置细胞放电[28];视觉位置细胞回环检测[24];对路径积分产生的位置细胞放电率和视觉信标位置细胞放电率加权融合,生成综合位置细胞放电[29]等。
图8 多源信标位置细胞Fig.8 Multi-source beacon-based place cell
信标校正后的位置细胞认知地图可以通过位置细胞之间的连接权值关系实现对环境事物之间空间关系、逻辑关系以及时间关系的准确综合表征,权值的大小表征这些关系的紧密程度[22],进而可以基于认知地图完成空间认知和导航任务。
基于ANN的类脑导航不依赖精确建模导航模型,不依赖高精度传感器,无需训练模型参数,表现出了较高的模型适用性及导航鲁棒性,这些特性与非结构或未知环境下的无人机自主导航与定位的需求较为切合。然而,当前基于ANN的类脑导航模型,主要对大脑海马-内嗅皮层神经回路中所发现的部分导航细胞的部分作用机理进行编码和功能性模拟。因此,暂时还无法从系统层面模拟大脑导航机制,应用于无人机自主导航中还存在一些挑战。当前研究人员通过提高模型的高效性、准确性、实时性、完备性,以及并行编码多信息等途径进一步提高了模型性能。
吸引子编码的高效性。将运动方向和位置分别用头朝向细胞和位置细胞表征,这种方向和位置分开表示的方法,本质上并不适合工程中类似无人机这种在大面积、不确定性环境中进行路径积分。针对上述难题,RatSLAM类脑导航模型将头朝向细胞和位置细胞的功能综合在一起,提出了一种虚拟的位姿细胞,通过在竞争CANN模型中的活动来表达机器人的位置和方向三维信息,位姿细胞的激活程度表示载体在这个位置和方向的概率,实现了大范围空间的路径积分;路径积分的输入为视觉、陀螺仪等传感器提供的方位信息,以及视觉、光电里程计等提供的速度信息;进一步通过视觉等信标信息进行回环检测及重置,即可实现认知地图的构建。该CANN位姿细胞路径积分模型基于平板电脑摄像头采集的视觉信息,经过传统视觉里程计技术(scanline intensity profile)计算提供的自运动(速度和方位)以及视觉信标信息,经过了66km城市级的车载测试验证[8],证明了其具有较好的环境鲁棒性;基于嵌入式摄像头和传统视觉里程计算法提供的方位信息、光电里程计提供的速度信息以及视觉信标信息,实现了室内机器人连续运行2周的导航测试[30],具有较好的稳定性;在井下挖煤机视觉自主定位中具有恶略环境适应性强、不依赖高精度昂贵视觉传感器等应用潜力[31]。
吸引子表达信息的精确性。ANN路径积分提供的位置信息,或是基于信标信息位置细胞提供的位置信息,主要通过载体进入某个物理环境区域(放电野),引起特定位置细胞放电进而基于该位置细胞表征的物理位置进行定位。放电野为一个区域范围而非一个点,位置细胞表征的位置信息实则代表了某个区域。实际上动物在经过某一导航细胞放电野的过程中会引起导航细胞放电相位进动。相位进动刻画了导航细胞经过放电野不同位置的放电脉冲细节[32],将相位进动引入ANN,是进一步提高吸引子表征信息精确性的一条有效途径[33]。
吸引子更新的实时性。上述基于ANN的类脑导航模型,源于大量导航细胞神经网络的集体放电模式行为,而非基于单个导航细胞放电率的求解。此外,这些集体放电模式行为,即吸引子,被限制在一个稳定状态的低维连续流形中,在流形中的位置根据载体的角(线)运动而更新,从而实现了导航参数的移动和更新。因此,如何确保吸引子快速响应[34]无人机运动,是实现类脑导航模型实时性的前提和基础。
吸引子编码导航细胞的完备性。当前的吸引子类脑导航模型主要编码表征了网格细胞、位置细胞等少数几种典型导航细胞,虽然表现出了较好的模型适用性[19],但未能从系统层面全面编码表征第1节中已发现的或其他更多未知种类的导航细胞,吸引子编码导航细胞的完备性还有待进一步研究和提高。而基于深度循环神经网络训练的以自运动信息(速度和方位)为输入的导航模型,发现了与网格细胞、位置细胞、边界细胞、速度细胞等多种导航细胞类似的深度循环神经网络隐含节点[4,35]。因此,如何结合深度学习的黑箱建模特性完善ANN类脑导航模型是提高吸引子编码导航细胞完备性的一条新途径。
吸引子的并行多信息编码。动物进行导航任务时利用了包括地理空间信息在内的多种导航信息[36],而当前吸引子类脑导航模型主要对导航细胞处理的地理类导航信息进行编码和功能性模拟。事实上,位置细胞-网格细胞回路在编码地理位置信息的同时,还编码了记忆声音频率、物体形状及其他抽象任务特征空间[37],这些信息对导航任务同样较为重要。因此,如何通过共用位置细胞-网格细胞回路,对多种导航信息并行编码是进一步从更深层次模拟动物大脑导航的重要途径。
当前,随着脑与神经科学以及人工智能技术的进步,基于ANN的类脑导航技术得到了广泛关注和大量研究,部分模型算法进行了大范围物理环境硬件测试,表现出了无需训练模型参数,不依赖高精度传感器,恶劣环境(暗光强光、粉尘等)下适应性强,无需精确导航模型等优势,这些与无人机在非结构化或未知复杂环境下对导航能力的高可靠性要求有着紧密的契合,是解决无人机SLAM现有问题的一条较好途径。但现在吸引子类脑导航技术还未能从系统层面借鉴和模拟动物(人)的大脑导航机制,因此如何进一步提高ANN类脑导航模型的高效性、准确性、实时性、完备性以及并行编码多信息的能力,从更深层次模拟大脑导航机制,是后续研究的重点,也是实现非结构化或未知环境下无人机真正自主智能导航的关键。