视知觉条件下步态运动的神经编码综述

朱凤云， 王如彬， 潘晓川

(上海华东理工大学 理学院认知神经动力学研究所，上海 200237)



视知觉条件下步态运动的神经编码综述

朱凤云， 王如彬， 潘晓川

(上海华东理工大学 理学院认知神经动力学研究所，上海 200237)

神经编码理论的研究，对于了解大脑内部工作机制以及对于人工智能、脑-机接口等技术的应用前景都具有重要意义。通过分析目前常用的几种视知觉神经编码的原理、方法，评价它们各自的优缺点，发现无论是单个神经元层次上还是多个神经元层次上，甚至是网络层次上的编码方式，由于神经元之间复杂的非线性耦合方式，用计算模型来描述视知觉功能都存在一定的困难。基于这样一种研究现状，进一步分析了一种新的简单有效的编码方式-神经能量编码，此编码与现有的其他编码相互结合，有望解决原有编码所无法解决或无法解释的问题。在应用方面介绍了视知觉条件下的步态运动输出控制，分析讨论了目前人体步态运动控制的原理、研究方法及其面临的挑战。

神经编码;能量编码;群编码;视觉-运动整合;步态运动

神经信息编码是现代认知神经科学、计算神经科学和人工智能的一个重要研究领域，其中关于视知觉条件下步态运动的神经编码模式是该领域内重要的研究课题之一。这一研究课题不仅对于了解大脑内部的感觉输入、认知过程以及运动输出等工作机制具有重要意义，而且对于人工智能、脑-机接口等技术的应用前景具有巨大影响，因此受到越来越多神经科学工作者的广泛关注与高度重视。

正常情况下，我们能够轻易地辨别出周围外部环境中的事物及其状态，并对此做出行为反应，如简单的步态运动、抓取动作。然而，实际上这些看似简单的行为过程的发生依赖于脑内不同区域许多神经元之间非常复杂的相互作用，且这些神经元之间以spike序列进行信息的表达与传递[1]。例如视知觉条件下步态运动，人类日常生活中非常普遍的这一行为，反映在大脑内部的信息处理涉及到以下过程：首先外部视觉刺激由视网膜接收并进行初级编码形成神经冲动，进而通过神经纤维传输到视皮层，引起视皮层特定区域的神经活动并以视觉编码模式呈现，然后更高一层的大脑区域基于这些神经活动的输出结果做出视知觉决定[2]，再经过理解、判断及决策等高级认知得到运动指令[3]，最后由运动控制系统接收运动指令从而产生步态的节律运动。整个过程涉及到两个看起来非常基础，实际上却又十分复杂的问题：大脑内部神经元是如何编码视知觉的；人体运动控制系统是如何依据认知活动输出步态运动的。其中，神经编码是整个过程中最关键也是最复杂的研究内容之一。目前关于视知觉条件下步态运动的神经编码理论的研究还很不充分，现有的研究主要都是独立地研究视知觉或其他知觉的神经编码和步态运动控制输出这两个理论体系。这除了部分受制于大脑神经科学理论研究的复杂性、不确定性以外，实验神经科学目前的技术水平也是重要限制因素之一[4]。由于这些理论的研究对于开发和发展脑-机接口技术以及智能机器人等应用均不可或缺，因此将这二者结合起来进行分析总结显得尤为重要。

本篇综述分为三个部分。第一部分重点总结现阶段关于视知觉的几种重要的神经编码模式，这些感知觉的神经编码模式旨在研究刺激与特定区域中单个或群体神经元响应之间的关系，或是所有神经元电活动之间的关系[5]。试图解决大脑内部神经元是如何编码视知觉的这个科学问题。在这部分内容中，作者通过分析了解这些编码的原理、方法，并且相互比较，评价它们各自的优缺点，发现尚没有一种编码模式能够用于各个层次上来描述视知觉行为。因而基于目前视知觉神经编码的研究现状，介绍一种新的可用于研究大脑的全局编码-神经能量编码，这是第二部分的主要内容。第三部分主要是总结目前关于大脑皮层信号作用下人体步态运动—即一种认知运动的理论。这一理论旨在研究认知过程与运动输出之间的联系，尤其是步态运动输出。试图解决人体运动控制系统如何依据认知活动输出步态运动这一科学问题。这些内容的研究不仅有助于找出适用于不同范围的有效的神经编码和解码的理论和方法，而且为最终应用于智能机器人的开发以及脑-机接口技术的编码与解码研究提供一定的科学依据。

1 视知觉神经编码

在视觉信息处理过程中，视觉刺激信息首先由视网膜接收并进行加工和编码得到神经信号，再由视神经传向初级视觉皮层并在此进行知觉编码，最终形成视知觉。根据这一信息处理过程，将视知觉编码分为视网膜编码和视皮层编码进行分析。

1.1 视网膜的神经编码

视网膜编码的特性很大程度上取决于其特殊的结构与功能。视网膜可以由自然感觉刺激引起反应；视网膜输出细胞即神经节细胞是大脑得到视觉信息的最重要来源，并且可以通过细胞外记录法进行观测；此外视网膜还参与大量的信息处理过程[6]，其中被激活的神经节细胞数量可以由刺激规模决定，采集数据的时间长度可以由刺激次数及持续时间决定[7]。基于视网膜的这些特性，视网膜信息编码机制有以下结论[8]：① 视网膜上接收的刺激定义为位置、时间、波长的强度分布函数；② 对于每个不同类型的神经节细胞，其预期的发放率作为刺激的函数；③ 相同的刺激，实验记录的发放率在预期的发放率基础上随机变化，且发放率随机成分独立于刺激，即神经节细胞的发放活动是随机的；④ 光适应会依赖光强的平均水平改变刺激与响应之间关系的函数，即神经节细胞的放电编码不是固定的，很大程度上依赖于视觉刺激特性。视网膜除了检测编码固定的视觉元素，如颜色、形状等，它还参与大量的计算，并且对于视觉刺激的对比变化[9]、目标移动[10-11]以及空间尺度[9]等的变化，视网膜上神经元的响应编码方式随之变化。这些研究结论的前提是，假设视网膜编码由单个神经节细胞的发放反应表示。支持这一假设的观点认为，任何神经节细胞的树突野在视网膜上很少重合，因此视网膜上每个位置点只有一个那种类型的神经元[12-13]。然而，实验研究表明神经节细胞的接受野中心或多或少大于它的树突野[14]，因此有些神经元传递了视觉刺激图像相同位置的信息。另外，从多个神经元记录的实验数据也支持这一观点：视网膜神经节细胞有着显著地协同发放模式，特别是相邻的神经元之间有着强烈的同步发放活动,这种发放模式已经在许多物种中观察到[15-18]。例如，SCHNITZER等[19]利用多电极记录技术从离体的蝾螈视网膜的神经节细胞群记录并分析视觉信号，发现这些神经元趋向于频繁地同步发放而非偶然。他们提出一个有效的算法区分出哪些细胞群同步发放。实验数据分析结果表明，这样的细胞群含有7个或7个以上神经元，它们发放的spikes占了所有spikes的50%以上，且这些发放模式代表视觉刺激的特定信息，这和用单个神经元分析得到的结论具有很大不同。

因此由以上分析可知，视网膜上形成的神经冲动的编码方式，研究者持有不同的观点。一种观点认为主要是由单个神经元spike的发放率和发放时间对外界刺激进行编码。然而多电极记录的发展，视网膜神经节细胞的协同活动在不同的物种中被广泛观察到，使得一些研究者认为这些协同发放模式编码了视觉刺激的特定信息，但究竟具体是什么信息还不清楚[20]。无论是哪种编码方式，经过视网膜上的神经编码，外部世界的视觉刺激转化为接下来视皮层可以处理的信息。

1.2 视皮层的神经编码

当视网膜上编码形成的神经冲动传递至视觉皮层时，引起视觉皮层特定区域的神经元发生响应并编码，最终产生视知觉。在对神经元放电编码规律不断的认识过程中，研究者发现，神经元对信息的编码特性不仅仅在其放电频率上，放电活动精确的时间模式以及相关神经元的群体活动时间和空间特性，都在很大程度上对神经信息编码有贡献，从而形成各种不同的编码方式。基于不同的编码模式，spike包含的信息则不同，因此编码的前提是确定信息单元。确定信息单元不仅能够帮助实验研究者确定分析数据的方法，还能够让理论研究者了解神经计算量的大小[7]。总的来说，视皮层上的编码方式可以分为两大类：单个神经元编码，如发放率编码和时间编码，以及多个神经元编码，如群编码。接下来这部分将逐一介绍视皮层上常用的这几种编码模式的特性。

1.2.1 单个神经元编码

ADRIAN于1926年首先提出了神经元放电的发放率编码理论。发放率编码理论认为：神经元放电序列的发放频率是其编码的依据，即通过发放率携带信息[21]。与频率编码不同，时间编码理论认为神经元放电序列的时间模式中蕴涵着丰富的动态信息。两种编码理论均广泛应用于视觉系统的研究。

(1) 发放率编码

发放率编码是一种基于时间间隔内spike数的普遍的编码方式。对于许多电生理学家来说，发放率编码建立了神经元如何编码信息的最简单、最清晰的概念。发放率编码最初是ADRIAN研究发现肌肉中牵张感受器神经元的发放率与外界所施加在肌肉上的力有关而提出的，并且常用于研究触觉传感的编码问题[22-23]。尽管如此，发放率编码也成功应用于视知觉的研究。研究者记录猴子V5视觉区域神经元的发放活动，当猴子进行观察移动刺激或是运动方向辨别任务时，通过计算几百毫秒(甚至超过1秒[24])时间窗内的spike数，分析结果表明：这个区域的神经元对运动方向具有选择性[25]；spike数量与猴子判别运动方向认知行为密切相关[24,26]。而且由于神经元有着动态的发放率，因而可以在不同的spike数范围内编码不同特征。然而发放率编码存在其局限性。首先，发放率编码传输率低且难以迅速解码，这是因为为了精确估计发放率，研究者需要在给定的时间窗上给指定神经元至少两个相同刺激，并且在多次实验中对spike信号进行平均，因而人们无法运用发放率编码快速提取刺激中的信息。其次，在发放率编码理论中神经元只能以放电频率的高低来反映刺激的强弱，从而使其对包含多个参数的刺激进行编码十分困难。

(2) 时间编码

任何spike序列都有对应其自身的时间发放模式，因此与刺激有关的信息就很有可能存在于spike的发放时间内。时间编码认为单个神经元spike序列的时间结构在毫秒甚至更小尺度上携带了刺激信息，而不仅仅只是平均发放率[27]。因此，与发放率编码相比，时间编码可以充分利用spike序列的时间特性来编码信息，如神经元首次spike的潜伏时间，即刺激开始后神经元首次发放spike的时间[28]。对于对比度高的刺激而言，此类时间编码比发放率编码更加有效可靠。因为发放率编码需要记录刺激后神经元在给定时间窗上的spike数，而时间潜伏编码只需记录刺激后神经元spike的首次发放时间。因此，相比渐变过渡特征，这类时间编码更可能是编码刺激轮廓分明的边缘特征[29]，而且这类编码也更能解释视觉刺激编码速度之快。另外，THORPE 和GAUTRAIS首先提出相对发放次序编码(Rank Order Coding)，即对神经元之间发放spike的相对次序进行编码，比如七个神经元A,B,C,D,E,F,G有7！种可能次序，C>D>E>F>A>B>G,就是其中一种。利用此编码可以实现中央视觉区对于快速物体的识别[30]，这主要是因为相对次序编码不用提取神经元的精确发放时间但又与时间相关，所以它比发放率编码高效，比潜伏编码容易操作。以上这些神经元spike序列的时间特性是无法仅仅通过改变spike数来表达，因此时间编码可以包含更多有关刺激参数的信息[31]。最后，尽管这些时间编码解决了发放率编码在某些方面的不足，然而事实上它们也有其局限性：首次发放潜伏编码对内在神经元的振荡过于敏感[32]，而且相同刺激重复呈现引起的神经元首次spike的发放时时间会发生变化，以及现有的时间记录技术还很有限，这些对于时间编码的可靠性产生负面影响。

通过以上的分析，发放率编码与时间编码均适用于视皮层编码的研究，而且各有各的适用范围。这两类编码在信号采集方式、信息单元选取方面的不同，使其有各自的优缺点。发放率编码在信号采集上具有能够反应刺激大小的优点，然而却存在传输效率低，难以快速解码的缺点，甚至对包含多个参数的刺激进行编码也十分困难。时间编码通过对spike序列特殊的时间特性进行编码，可以有效地解决发放率编码中存在的某些不足。但潜伏编码对内在神经元的振荡太过敏感，而且现有的时间记录技术还十分有限，这使得时间编码的大范围使用受到限制。因此在研究刺激属性的编码时，应该根据不同编码方式的特性来选择适合的编码方式。

1.2.2 多个神经元编码

单个神经元的编码方式不足以解释神经系统中的信息编码，尤其是复杂的视觉系统的编码问题。随着多电极记录以及成像等实验技术的使用，研究人员发现大脑内部实际形成视知觉的信息处理过程并不仅仅只是通过单个神经元进行编码，还有通过多个神经元的集群活动进行编码的方式，如群编码。

(1) 群编码

群编码是运用多个神经元的集群反应来编码信息的。许多证据表明这种形式的编码存在于大脑感知觉输入区域，运动输出区域，以及它们之间的许多其它神经处理区域，例如上丘神经元编码扫视方向[33],更高级视觉区域MT神经元对视觉运动方向以及局部速度的响应[34-36]，MST区域神经元对全局运动参数敏感[37]，下颞叶神经元对人脸的响应[38]，猴子初级运动皮层神经元对手臂移动方向的响应[39]等都利用群体编码方式。其中PURUSHOTHANMAN等[35]在研究灵长类动物视觉的单一方向知觉编码时，训练两组猴子进行精确方向辨别任务，这项任务的参考刺激为持续1秒的向上运动，试验刺激与参考刺激之间方向差别介于逆时针-3°到顺时针+3°，通过眼球运动方向判别猴子感知到的试验方向相对于参考方向是顺时针还是逆时针。他们记录当猴子在完成趋于不同方向任务时MT视觉区域的神经活动。记录结果分析表明，对于一个给定的刺激方向，猴子的感知决定与高精确度神经元的活动有很大的联系，而与低精确度神经元的活动没有什么关系。而且只有那些选择性地强调高精确度神经元发放活动的编码机制才能与猴子的行为结果相匹配，而集中所有神经元的活动产生的精确度不高。此外，WEBB等[36]。研究了视觉的全局运动方向感知的估计方法，研究结果表明，像最大似然算法(Maximum likelihood),优势主导算法(Winner-take-all)这样的编码算法比向量平均(Vector average)算法更吻合知觉估计的方向。这些结果说明运动方向知觉在很大程度上是由一些可提供大量信息的神经元集群活动所决定。因此群编码在MT区精确知觉运动方向上适用性很高。

(2) 同步振荡

还有一些研究者认为在研究视皮层上多个神经元的集群编码时，应该考虑到神经元集群的同步发放活动，这种同步发放活动已经越来越多的发现于与视觉有关的区域[40-42]。对于同步振荡现象的研究主要基于相位同步化，其主要内容涉及研究同步振荡所依赖的相位编码[43]。脑内神经网络活动时相位编码有三种不同的表现形式：两个区域spikes间的相关性、两个区域LFP间的相关性以及一个区域上的spikes与相同或不同区域上LFP之间的相关性，亦即spike-field相关性[44-46]，这种编码理论进一步丰富了群编码理论。

除了局部神经元同步振荡活动，研究人员还通过深入研究大尺度皮层同步网络来解释脑皮层的同步化振荡与感知觉(视听觉)之间的联系[40-41]。HIPP等为了研究脑内同步振荡与感知觉之间关系，记录24个受试者在受到相同视听刺激(两个长条相互靠近，相互重合时发出咔哒声，之后分开)时的EEG信号，实验中受试者产生两类不同感知结果：“弹开”感知(52.2%)即感觉到两个长条在咔哒声后相互弹开，“穿过”感知(47.8%)即感觉到两个长条擦身而过。他们开发了一种新的分析方法[47]，这种方法可以使整个大脑中的同步网络有效成像，利用这种方法分析记录的EEG信号与这两个截然不同的感知结果之间的联系。研究中识别出两个不同频率段的同步网络。第一个是beta波段同步网络，包括额叶眼区(FEF)、顶叶(parietal)和纹外视区(extrastriate visual areas)这些区域，这些区域之间的beta同步振荡加强，受试者更可能感知到“弹开”的感官刺激。这一结果拓展了先前在视觉注意，决策制定和感知运动整合等过程中，在额叶和顶叶区域有beta波段活动的发现[48-50]。因而他们认为beta波段的同步活动是介导横跨前额叶，顶叶和纹外视区的网络中大尺度交互作用的普通机制。第二个gamma波段同步网络，包括与感觉运动区和前运动区一致的中央区(central)以及颞区(temporal)，这两个区域都涉及多感觉加工过程。“弹回”感知比“穿过”感知有更加显著增强的gamma带相关性，因此Gamma网络的同步振荡不仅反映了被试对于视听刺激的感知，也预测了个体之间对于听觉和视觉信息的跨感觉整合的差异。最后，大尺度皮层网络的同步活动表现为广泛分布且高度结构化的网络，且与信息的感知有密切联系。这也更加证明大尺度皮层同步活动在不同的认知功能，包括选择性注意、跨感觉整合、决策制定、感觉运动整合中，起到重要的作用。另外，对这样的大尺度同步活动模式的干扰可能在几种脑障碍中起到重要作用[51]，如精神分裂症、孤独症、帕金森氏症。

因此，群编码的主要特征在于高精确度神经元发放活动的整合，或多个神经元、相互耦合神经元之间不同频率的同步发放及其识别，尤其是感知任务中不同区域的在特定频率上的功能性神经网络的识别。尽管群编码理论广泛地适用于神经系统的编码问题研究，然而现有的群编码理论仍然存在着各种各样的缺陷。例如确定性的相位编码理论忽略了随机噪声对群编码的影响，而事实上神经系统中的噪声通常要被看作试验性假设，因为明显的噪声可能有某些方面的用处[52]。此外，群编码无法描述和处理神经系统中的高维非线性耦合问题，这也是有效的编码方式所要突破的困难之一。因此大规模神经元集群的神经编码理论还没有一个能够为大家所普遍接受的成熟理论。另一方面，从实验角度来说，目前对于单个皮层区域中神经元总体活动，即局部同步振荡活动的研究已经取得显著的进展，然而科学家对大范围皮层同步活动的总体结构仍知之甚少。这主要是因为尽管侵入性记录法可以揭示皮层局部区域之间存在与任务相关的同步发放活动，但需要预选记录点，而且记录数据不含有关于整个大脑间同步模式的空间幅度和结构的任何信息。此外，脑电图(Electroencephalo Gram, EEG)和脑磁图(Magneto Encephalo Graphy,MEG)虽然可以通过相距很远的颅外传感器来测量同步信号，但要把这些在皮质水平上测量到的同步信号对应地归于神经系统水平上的同步仍然很困难。

通过以上关于大脑内部神经元是如何编码视知觉的分析与讨论可知，神经系统的编码与解码理论的研究处于瓶颈期。到目前为止，无论是单个神经元还是多个神经元编码方式都在描述视知觉方面存在各自的不足之处，且各自适用的范围都比较局限。因此现有的神经编码理论需要融入新的方法、新的理论，与传统方法相结合，逐步丰富并完善神经编码理论。近年来，一种叫做能量编码的编码方式越来越受到神经科学家的广泛关注。

2 神经能量编码

能量编码是由WANG[53]近几年首次提出的一种非常有前景的新编码方法。其理论依据是：能量最小化和信号传输效率的最大化是大脑的神经活动和脑的运筹方式所遵循的原则[54]。我们可以很自然地想到大脑的神经系统是经过高度进化的产物，所以遵循大脑工作时这种严密的运筹方式(即从能量的角度)来探讨脑的神经编码是很自然也是非常有必要的。能量编码的科学思想来源于日本科学家首次在物理实验中证明了信息可以转化为能量，即信息可以由能量来表达[55]。正是基于大脑的运筹方式以及信息可以转化为能量的科学思想，使得能量编码猜想有着科学可靠的理论基础。能量编码旨在用能量来表达知觉认知过程中的神经编码规律，并且阐明大脑皮层神经活动时能量演化的神经动力学机制[56-57]。

截至目前为止，许多与生物学神经能量有关的研究发表均只是从定性的层面上说明与发现实验观察到的结果相一致[58-60]，而没有试图找出这些实验现象背后隐含的神经系统活动的规律。然而理解神经系统活动的规律对于丰富脑科学编码理论与应用至关重要。因此，WANG致力于从探究现象学背后的神经规律出发，给出神经信号传输和能量消耗之间关系的定量描述，并且用能量理论研究大脑的神经编码以及神经能量与认知行为之间关系，已经取得一系列的研究成果[53,56-57,61-64]。其中特别值得注意的是WANG等给出了阈下刺激和阈上刺激两种不同情况下通过计算神经能量得到神经元的动作电位和对应的能量变化[53,61]。用能量方法找出了神经元的一种新的工作机制，即当神经元在发放动作电位时，它首先在开始很短的时间内从大脑血流中吸收能量，然后再消耗能量，这一发现挑战了神经元只消耗能量的传统观点，而且能够解释为什么当脑内神经元被激活的时候，脑血流大幅增加而耗氧量却只有很少的增加这个一直到现在还很难解释清楚的神经生理现象[63]。这也说明神经信息处理与血流变化之间存在一定的耦合关系，且神经能量可以作为联系两者之间的一个桥梁。

神经能量函数是能量编码理论中的一个重要概念，WANG[53]从定量的角度给出神经元的能量函数，并且所给出的神经能量函数能够很好地再现电生理实验中的神经发放(包括阈下膜电位和阈上膜电位)，这与由H-H方程得到的计算结果具有很好的一致性。同时还研究了阈上活动和阈下活动神经元耦合在一起时的神经能量函数[57]；神经元集群的总能量函数；神经元集群所构成的网络在各类刺激条件下所形成的能量流；耦合条件下大脑皮层神经振子群的能量函数等。这些研究工作对于深入了解脑的运筹方式以及从脑的全局观点出发探讨神经编码是很有帮助的，为能量编码的研究奠定可靠的基础。

通过以上能量编码的研究成果不难发现，能量方法在研究神经编码以及相关的神经活动时具有以下优点：①唯一性;即神经信息编码可以有效地用神经能量编码来表示[62]，这是因为：动作电位和对应的神经能量之间的关系是唯一的，并且神经网络的同步振荡和能量流的振荡也具有唯一的对应关系。②可分离性;即神经能量编码可以自动地按照每个神经元集团的同步振荡频率所对应的神经能量占网络中总能量的比例，将各个神经元集团从网络中分离出来。这一可分离的性质对于功能性神经网络模型的识别与分析具有重要作用，尤其是对于知觉认知或其他高级认知功能的研究来说十分重要。③可叠加性;即神经能量可叠加。这是因为神经能量编码是从定量的角度给出神经信号传输和能量消耗之间的关系。这个特性极大地方便了大规模神经元组成的高维非线性复杂神经网络建模与计算分析，而且叠加后神经网络的总能量在某一时刻能够反映整个网络在该时刻同步振荡的状态，这对于研究知觉认知的形成过程十分有益。④低成本;即神经能量编码有可能大大降低研究的成本。神经能量编码理论是通过先进的实验仪器获得大脑局部网络的能量变化来判断大脑的工作状态，这样就避开了从电生理实验上记录每个神经元的膜电位变化情况，从而避免消耗大量的科研成本。

由以上的分析可知，神经能量编码理论，作为未来神经编码理论的一个新的研究方向是非常有潜力的。这不仅是由于能量方法在研究神经编码问题中自身拥有的优势，而且用能量的方法能够解决现有的集群编码理论中存在的一些缺陷[65]，甚至对于诸如视知觉神经编码问题，脑-机接口技术的编码与解码等问题，都有希望通过神经能量编码理论来取得某些突破。因此能量编码理论和现有的其他编码相互结合，有助于推进神经编码与解码理论的研究。

视觉刺激在经过视网膜上和视皮层上的神经编码后，在脑内形成的视知觉信息流需要与运动计划整合产生时空表征(temporal-spatial representations)，以此控制个体与外部世界的交流。这是一个涉及大尺度多个高级认知功能的极其复杂的过程，到目前为止，这一整合原理仍很难解释清楚[66]。近期，SEPULCRE等[67]研究了视觉初级皮层与运动初级皮层的功能信息流是如何跨越整个脑皮层进行整合的。实验中使用了一种新的成像方法，即逐步功能性连接(Stepwise Functional Connectivity，SFC) ，SFC是一种检测功能性连接方式的图论方法[68]，它是基于不同脑区域之间自发低频率血氧水平依赖(blood oxygen level-dependent, BOLD)波动的信号耦合。他们认为潜在的信息处理过程与同步化的脑活动有密切联系[41]，基于这一观点，利用SFC方法进行分析。研究发现，视觉和运动区域的功能连接最终汇聚分布在共同的区域。这一发现表明，运动和视觉的功能连接发生于一个多模式集成网络(Multimodal integration network)，这个网络将知觉、运动、认知等功能连接在一起，此实验中的多模式集成网络主要位于顶叶盖(the parietal operculum,OP)以及腹侧运动前区(ventral premotor，vPM)。那么在进行视知觉条件下的步态运动时，很有可能大脑高级皮层依据视知觉运动多模式集成网络中形成的时空表征，快速做出运动决策得到运动指令信号，这一运动指令信号将影响接下来的步态运动。

3 步态运动输出控制

人类运动的产生机制是极其复杂的，在运动产生之前，大脑中枢对于运动的决策判断决定了整个运动的执行程度。如运动的开始、结束、加速、减速等动作都需要通过认知过程来决定，即由大脑中枢发出的运动指令信号来决定当时的动作状态。步态运动是人类正常生活最基本最重要的运动能力之一。接下来这部分，我们将着重分析介绍，视知觉条件下步态运动过程中后半部分涉及的步态运动输出及其控制原理。

步态运动是一种节律性运动，这类运动一般是可以随意地开始或停止的，节律运动一旦开始，就可以自行地重复进行，在无意识参与状态下节律运动亦不会受到影响。生物学家普遍认为动物的节律运动是低级神经中枢的一种自激产生的振荡行为，产生节律运动活动的神经环路被称为中枢模式发生器[69](Central Pattern Generator,CPG)，它存在于脊椎动物的脑干和脊髓中。关于CPG，GRILLNER[72]给出了具有影响力的定义：CPGs是指“专门用于产生运动的神经网络，这个网络包含以适当的顺序和强度激活不同运动神经元而产生运动模式所必需的信息”。目前由于实验的局限性，基于认知过程的步态运动研究，其主要方向是以CPG模型为基础，通过理论仿真模拟来展示运动的控制与原理[71-72]。

现有的许多腿部中枢模式发生器(CPG)建模研究仅表现了CPG的自激行为[73-74]，未涉及大脑皮层信号的调节性。然而人体的运动控制系统有，从高级到低级分别是大脑的运动皮层、小脑及脑干下行神经系统和脊髓，共三级中枢神经系统结构。其中脊髓中的CPG是节律运动产生的中心控制单元，其接收上层控制发出的运动指令产生节律运动信号，进而控制执行机构实现节律运动。因此大脑皮层信号对于CPG的调节性是不容忽视的，未考虑大脑皮层信号的调节性的CPG模型不能真正符合人体运动机制的生物网络模型，从而不利于开发和发展智能机器人。WANG等[72]为了体现大脑皮层信号对于腿部CPG网络的调控性，他们在Matsuoka神经振荡器的CPG模型上进行修正。通过对原有模型中输入信号(相当于大脑皮层信号)与网络内部各参数间的复杂关联的构建，使得模型本身各参数随输入信号的变化而发生改变，增强了输入信号对于网络自身的影响，这就打破了网络局限于自激的状态，而且能够产生自我调节的运动形式，从而体现出大脑信号对CPG网络的调控作用。数值模拟计算结果表明，修正后的模型随着输入信号的变化可以产生模式间的相互转换以及同种模式下不同频率状态的相互转换，因而实现了步态运动之间不同状态的转换及恢复的功能。从而在理论上很好地反映出大脑信号在步态节律运动过程中对步态的模式和频率所起到的一定的调节作用，更加完善了CPG模型本身的理论性意义，使之更加接近于生物学的实际情形。

目前，步态运动CPG模型仿真的结果离真正反应生物学的实际情况还很远。这除了由于人体本身运动产生机制的复杂性以外，还局限于目前生物实验方面的研究，因而仅仅停留在仿真模拟的层面上。近年来，越来越多的实验研究发现，人和其他脊椎动物(如七鳃鳗)的部分运动控制系统在结构和功能上有很大相似之处，甚至在细胞性质、递质、传入输出水平上也具有相同之处[75-76]。因此研究人员试图从其他脊椎动物的运动控制网络中找到启示。 KOZLOV等[77]为了研究分布式脊髓神经网络协调控制的机制，仿真整个七鳃鳗脊髓CPG的原尺度模型，其中每一个模型神经元以及它们之间的突触有类似于其生物物理的性质，因为它们对突触输入信号有相同的反应方式。实验中发现，脊髓两边的相互抑制不仅对于实现左右交替的相位后滞至关重要，而且对于节段间可靠的协调都至关重要，这与相互抑制神经网络构成的人体腿部CPG网络模型一致。实验中还发现，仅仅通过在七鳃鳗喙部几个节段上添加指令信号，而不用整个或者尾部的脊髓，就可以实现向前或向后移动之间的变换，这与人类大脑皮层信号对步态运动的调控作用是类似的。此外，研究中还提到，脊髓CPG被激活是通过脑干网状脊髓神经元提供的兴奋沿着脊髓传到其他脊髓神经元和运动神经元；转向运动是由于移动过程中，当一边的网状脊髓神经元发放活动增强时，导致另一边引起更强的发放活动，进而发生转向[78]。将这些性质结合起来运用到人体步态运动控制的研究中去，这有利于促进人体运动控制机制的研究。

然而仅仅只是基于CPG模型仿真的结果无法实现真正符合人体步态运动机制的生物网络模型，还需要与人体运动的实际神经控制机制相结合才有望实现。在这一神经控制机制中，涉及到运动决策，运动计划等一系列的高级认知加工过程，目前还没有哪一种编码模式能够用于完整解释这些认知原理，因而这是目前面临的非常具有挑战性的研究内容之一。这些复杂的认知过程往往涉及到大脑多个皮层区域之间，甚至是整个大脑皮层之间相互联系而形成的神经网络[67]。然而目前我们还没有一个从脑的活动状态的全局角度出发，给出编码与解码原理的有效理论。事实上，由前面关于神经能量编码的介绍可知，能量编码具有唯一性、可分离性、可叠加性以及低成本的特点。其中可叠加性这一特点对于这种由大规模神经元组成的高维非线性复杂神经网络的计算分析带来了极大的方便[56]。更重要的是，叠加后神经网络的总能量在某一时刻的状态可以反映整个网络在该时刻同步振荡的状态,而皮层各区域网络大范围同步振荡的状态与认知的形成过程有关。所以使用能量的方法研究大脑皮层认知的神经网络，通过能量的振荡协调各皮层区域神经网络之间的交流，可以使复杂的认知分析变得简单化。另外在神经科学实验中，实际记录一个小范围脑区内所有神经脉冲是很困难的也是不可能的，而测出每一时刻该区域所消耗的总能量却是可能的，所以能量方法也是对实验研究的一个重要补充。因此神经能量编码有望在研究人体运动的实际神经控制机制方面做出某些突破，为最终应用于运动输出控制提供坚实的理论基础。

4 结 论

综上所述，视知觉条件下步态运动的神经编码的研究内容主要包括两大方面：视知觉编码方式及其条件下的步态运动控制输出。本文首先介绍了现阶段关于视知觉的几种重要神经编码模式，按照信息处理的过程分为视网膜上的编码和视皮层上的编码，重点介绍了常用的视皮层上的编码模式：发放率编码、时间编码、群编码理论。通过分析了解这些编码的原理、方法，并通过比较发现无论是单个神经元层次上(发放率编码、时间编码)还是多个神经元层次上(群编码)，甚至是网络层次上(同步振荡)的编码方式，在描述视知觉方面都存在各自的局限性。如发放率编码传输效率低，且难以快速解码；时间编码虽然可用于实现快速物体的识别，但由于其往往需要精确记录神经元spike发放的时间特性而使其可靠性受到影响；群编码以及同步振荡能在多个神经元层次上或网络层次上解释某些特定条件下的认知功能，但仍无法解决高维神经振子群的非线性全局耦合问题。因而目前还没有哪一种编码模式能够用于各个层次上来描述知觉行为的编码。为了找出适用于不同范围的更加有效的神经编码和解码的理论与方法，我们介绍一种新的可用于研究大脑的全局编码-神经能量编码。研究表明这种新的神经能量编码，无论在计算方法上还是在各个层次结合的编码模式的研究方面都具有很大的优势，并且可用于解决现有的集群编码理论中存在的一些缺陷，因而与原有的编码方式相互结合有助于推进神经编码与解码的理论研究。最后，在步态运动控制这一部分的研究中，着重分析总结目前人体步态运动控制的原理、研究方法以及研究中遇到的巨大挑战。尽管这两方面的研究目前还很不充分，但其发展对于了解大脑内部工作机制及其在人工智能、脑-机接口技术等领域的应用具有深刻的影响。

[1] STRONG S P, KOBERLE R, de Ruyter van Steveninck R R, et al. Entropy and information in neural spikes trains [J]. Physical Review Letters, 1998, 80(1): 197-200.

[2] TSODYKS M, GILBERT C. Neural networks and perceptual learning [J]. Nature, 2004,431(7010): 775-781.

[3] WUNDERLICH K, RANGEL A, O’DOHERTY J P. Neural computations underlying action-based decision making in the human brain [J]. PNAS, 2009, 106(40): 17199-17204.

[4] KREIMAN G. Neural coding: computational and biophysical perspectives[J]. Physics of Life Reviews, 2004,1(2): 71-102.[5] BROWN E N, KASS R E, MITRA P P. Multiple neural spike train data analysis: state-of-the-art and future challenges [J]. Nature Neuroscience, 2004, 7(5): 456-461.

[6] GOLLISCH T, MEISTER M. Eye smarter than scientists believed: neural computations in circuits of the retina [J]. Neuron,2010,65(2):150-164.

[7] JACOBS A L, FRIDMAN G, DOUGLAS R M, et al. Ruling out and ruling in neural codes [J]. PNAS, 2009, 106(14): 5936-5941.

[8] MEISTER M, BERRY M J. The neural code of the retina [J]. Neuron, 1999, 22(3): 435-450.

[9] SMIRNAKIS S M, BERRY M J, WARLAND D K, et al. Adaptation of retinal processing to image contrast and spatial scale[J]. Nature,1997,386(6620):69-73.

[10] BERRY M J, BRIVANLOU I H, JORDAN T A, et al. Anticipation of moving stimuli by the retina[J]. Nature,1999,398(6725):334-338.

[11] OLVECZKY B P, BACCUS S A, MEISTER M. Segregation of object and background motion in the retina [J]. Nature,2003, 423(6938):401-408.

[12] WASSLE H, BOYCOTT B B. Functional architecture of the mammalian retina [J]. Physiological Reviews,1991,71(2): 447-480.

[13] DEVRIES S H, BAYLOR D A. Mosaic arrangement of ganglion cell receptive fields in rabbit retina [J] J. Neurophysiology,1997,78(4):2048-2060.

[14] PEICHL L, WASSLE H. Size, scatter and coverage of ganglion cell receptive field centres in the cat retina [J] J. Physiol, 1979,291(1):117-141.

[15] ACKERT J M, WU S H, LEE J C, et al. Light-induced changes in spike synchronization between coupled on direction selective ganglion cells in the mammalian retina[J] J. Neurosci.,2006, 26(16): 4206-4215.

[16] AMTHOR F R, TOOTLE J S, GRZYWACZ N M. Stimulus-dependent correlated firing in directionally selective retinal ganglion cells[J].Visual Neuroscience,2005, 22(6): 769-787.

[17] DEVRIES S H. Correlated firing in rabbit retinal ganglion cells [J]. J. Neurophysiol.,1999,81(2): 908-920.

[18] MEISTER M. Multineuronal codes in retinal signaling [J]. PNAS,1996, 93(2): 609-614.

[19] SCHNITZER M J, MEISTER M. Multineuronal firing patterns in the signal from eye to brain [J]. Neuron,2003, 37(3): 499-511.

[20] ISHIKANE H, GANGI M, HONDA S, et al. Synchronized retinal oscillations encode essential information for escape behavior in frogs [J]. Nature Neuroscience, 2005, 8(8):1087-1095.

[21] ADRIAN E D, ZOTTERMAN Y. The impulses produced by sensory nerve endings: part II. the response of a single end-organ[J]. J. Physiol., 1926, 61(2): 151-171.

[22] HU J, ZHAO Q, JIANG R, et al. Responses of cutaneous mechanoreceptors within fingerpad to stimulus information for tactile softness sensation of materials[J]. Cognitive Neurodynamics, 2013,7(5): 441-447.

[23] HU J, YANG X, DING X, et al. Probability of prickliness detection in a model of populations of fiber ends prickling human skin [J]. Fibers and Polymers, 2012,13(1):79-86.

[24] BRITTEN K H, SHADLEN M N, NEWSOME W T, et al. The analysis of visual motion: a comparison of neuronal and psychophysical performance [J]. J. Neurosci.,1992,12(12): 4745-4765.

[25] BAKER J F, PETERSEN S E, NEWSOME WT, et al. Visual response properties of neurons in four extrastriate visual areas of the owl monkey(aotus trivirgatus): a quantitative comparison of medial, dorsomedial, dorsolateral, and middle temporal areas [J]. J. Neurophysiol,1981,45(3):397-416.

[26] CELEBRINI S, NEWSOME W T. Neuronal and psychophysical sensitivity to motion signals in extrastriate area MST of the macaque monkey [J]. J. Neurosci,1994,14(7):4109-4124.

[27] BUTTS D A, WENG C, JIN J, et al. Temporal precision in the neural code and the timescales of natural vision [J]. Nature,2007, 449(7158): 92-95.

[28] HEIL P. First-spike latency of auditory neurons revisited [J]. Current Opinion in Neurobiology, 2004,14(4):461-467.

[29] VICTOR J D. Spike train metrics[J]. Current Opinion in Neurobiology, 2005,15(5): 585-592.

[30] THORPE S, DELORME A, VANRULLEN R. Spike-based strategies for rapid processing[J]. Neural Network,2001, 14(6):715-725.

[31] OPTICAN L M, RICHMOND B J. Temporal encoding of two-dimensional patterns by single units in primate inferior temporal cortex. III. Information theoretic analysis [J]. J. Neurophysiol, 1987, 57( 1):162-178.

[32] GILLES W, MICHELE T, KHASHAYAR P. Intrinsic variability of latency to first-spike[J]. Biological Cybernetics, 2010,103(1): 43-56.

[33] LEE C, ROHRER W H, SPARKS D L. Population coding of saccadic eye movement by neurons in the superiorcolliculus [J].Nature, 1988, 332(6162): 357-360.

[34] MAUNSELL J H, VAN ESSEN D C .Functional properties of neurons in middle temporal visual area of the macaque monkey.I.Selectivity for stimulus direction, speed, and orientation [J]. J. Neurophysiol., 1983,49(5):1127-1147.

[35] PURUSHOTHAMAN G, BRADLEY D C. Neural population code for fine perceptual decisions in area MT[J]. Nature Neuroscience,2005,8(1):99-106.

[36] WEBB B S, LEDGEWAY T, MCGRAW P V. Cortical pooling algorithms for judging global motion direction [J]. PNAS,2007, 104(9):3532-3537.

[37] GRAZIANO M S, ANDERSEN R A, SNOWDEN R J. Tuning of MST neurons to spiral motions [J]. Journal of Neuroscience, 1994, 14(1):54-67.

[38] PERRET D I, SMITH P A J, POTER D D, et al. Visual cells in the temporal cortex sensitive to face view and gaze direction [J]. Proceedings of the Royal Society of London.Series B: Biological Sciences, 1985,223(1232):293-317.

[39] WESSBERG J, STAMBAUGH C R, KRALIK J D, et al. Real-time prediction of hand trajectory by ensembles of cortical neurons in primates[J]. Nature,2000, 408(6810):361-365.

[40] FRIES P, ROELFSEMA P R, ENGEL A K, et al. Synchronization of oscillatory responses in visual cortex correlates with perception in interocular rivalry[J]. PNAS, 1997,94(23):12699-12704.

[41] HIPP J F, ENGEL A K, SIEGEL M. Oscillatory synchronization in large-scale cortical networks predicts perception[J]. Neuron, 2011, 69(2):387-396.

[42] GRAY C M, MCCORMICK D A. Chattering cells: superficial pyramidal neurons contributing to the generation of synchronous oscillations in the visual cortex[J]. Science,1996,274(5284):109-113.

[43] WANG R, ZHANG Z, QU J, et al. Phase synchronization motion and neural coding in dynamic transmission of neural information[J]. IEEE Transactions on Neural Networks,2011,22(7): 1097-1106.

[44] FRIES P, REYNOLDS J H, RORIE A E, et al. Modulation of oscillatory neuronal synchronization by selective visual attention [J]. Science,2001,291(5508): 1560-1563.

[45] WOMELSDORF T, SCHOFFELEN J M, OOSTENVELD R, et al. Modulation of neuronal interactions through neuronal synchronization[J]. Science,2007,316(5831):1609-1612.

[46] JUTRAS M J, FRIES P, BUFFALO E A. Gamma-band synchronization in the macaque hippocampus and memory formation [J]. J. Neurosci,2009,29(40), 12521-12531.

[47] GROSS J, KUJALA J, HAMALAINEN M, et al. Dynamic imaging of coherent sources: studying neural interactions in the human brain[J]. PNAS,2001,98(2): 694-699.

[48] BUSCHMAN T J, MILLER E K. Top-down versus bottom-up control of attention in the prefrontal and posterior parietal cortices [J]. Science,2007, 315(5820):1860-1862.

[49] DONNER T H, SIEGEL M, OOSTENVELD R, et al. Population activity in the human dorsal pathway predicts the accuracy of visual motion detection[J]. J. Neurophysiol.,2007,98(1):345-359.

[50] PESARAN B, NELSON M J, ANDERSEN R A. Free choice activates a decision circuit between frontal and parietal cortex[J]. Nature,2008, 453(7193): 406-409.

[51] UHLHASS P J, SINGER W. Neural synchrony in brain disorders: relevance for cognitive dysfunctions and pathophysiology [J]. Neuron,2006,52(1): 155-168.

[52] PRESCOTT S A, YVES D K. Gain control of firing rate by shunting inhibition: rolesof synaptic noise and dendritic saturation[J]. PNAS,2003,100(4): 2076-2081.

[53] WANG R, ZHANG Z, JIAO X. A new mechanism on brain information processing: energy coding[J]. Applied Physics Letters,2006,89(12):123903.

[54] LAUGHLIN S B, SEJNOWSKI T J. Communication in neural networks[J]. Science,2003,301(564): 1870-1874.

[55] TAYABE S, SAGAWA T, UEDA M, et al. Experimental demonstration of information-to-energy conversion and validation of the generalized Jarzynski equality[J]. Nature Physics.,2010,6(12): 988-992.

[56] WANG R, WANG Z. Energy distribution property and energy coding of a structural neural network [J]. Frontiers in Computational Neuroscience, 2014,8(14):1-17.

[57] WANG R, ZHANG Z, CHEN G. Energy function and energy evolution on neural population [J]. IEEE Transactions on Neural Networks, 2008,19(3): 535-538.

[58] LAUGHLIN S B. Energy as a constraint on the coding and processing of sensory information [J]. Current Opinion in Neurobiology,2001,11(4):475-480.

[59] RAICHLE M E, GUSNARD D A. Appraising the brain’s energy budget [J]. PNAS,2002,99(16):10237-10239.

[60] HYDER F, ROTHMAN D L, SHULMAN R G. Total neuroenergetics support localized brain activity: Implications for the interpretation of fMRI [J]. PNAS,2002,99(16):10771-10776.

[61] WANG R, ZHANG Z. Energy coding in biological neural network [J]. Cognitive Neurodynamics,2007, 1(3): 203-212.

[62] WANG R, ZHANG Z, CHEN G. Energy coding and energy functions for local activities of the brain [J].Neurocomputing, 2009,73(1-3): 139-150.

[63] WANG R, TSUDA I, ZHANG Z. A New Work mechanism on neuronal activity [J]. International Journal of Neural Systems,2015,25(3):14500373.

[64] WANG Z, WANG R, FANG R. Energy coding in neural network with inhibitory neurons [J]. Cognitive Neurodynamics, 2015,9(2):129-144.

[65] 王如彬，张志康. 耦合条件下大脑皮层神经振子群的能量函数[J].力学学报, 2008,40(2):238-249. WANG Rubin, ZHANG Zhikang. Energy function of population of neural oscillators in cerebral cortex under coupling condition[J]. Chinese Journal of Theoretical and Applied Mechanics,2008,40(2): 238-249.

[66] SEPULCRE J, SABUNCU M R, JOHNSON K A. Network assemblies in the functional brain [J]. Curr. Opin. Neurol.,2012,25(4): 384-391.

[67] SEPULCRE J. Integration of visual and motor functional streams in the human brain [J]. Neuroscience Letters,2014, 567(10):68-73.

[68] SEPULCRE J, SABUNCU M R, YEO T B, et al. Stepwise connectivity of the modal cortex reveals the multimodal organization of the human brain [J]. J. Neurosci,2012,32(31):10649-10661.

[69] NIELSEN J B. How we walk: central control of muscle activity during human walking [J]. Neuroscientist, 2003,9(3):195-204.

[70] GRILLNER S. The motor infrastructure: from ion channels to neuronal networks [J]. Nat. Rev. Neurosci.,2003, 4(7):573-586.

[71] BRODIN L, TRAVEN H, LANSNER A, et al. Computer simulations of N-methyl-D-aspartate eceptor-induced membrane properties in a neuron model [J].J. Neurophy.,1991, 66(2):473-484.

[72] DONG W, WANG R, ZHANG Z, et al. Discussion on rhythmic gait movement affected by cerebral cortex signal [R]. Advances in Cognitive Neurodynamics(Ⅱ), 2011:465-471.

[73] ZHANG D, ZHU K, ZHENG H. Model the leg cycling movement with neural oscillator [C]// In Piscataway NJ, ETATS-UNIS, eds. IEEE International Conference on Systems, Man and Cybern .Netherlands: IEEE, 2004, 1: 740-744.

[74] ZHANG D, ZHU K. Modeling biological motor control for human locomotion with function electrical stimulation [J]. Biological Cybernetics, 2007, 96(1):79-97.

[75] GRILLNER S, HELLGREN J, MENARD A, et al. Mechanisms for selection of basic motor programs-roles for the striatum and pallidum [J]. Trends Neurosci.,2005, 28(7):364-370.

[76] THOMPSON R H, MENARD A, POMBAL M, et al. Forebrain dopamine depletion impairs motor behavior in lamprey [J]. Eur. J. Neurosci.,2008,27(6): 1452-1460.

[77] KOZLOV A, HUSS M, LANSNER A, et al. Simple cellular and network control principles govern complex patterns of motor behavior [J]. PNAS,2009,106(47): 20027-20032.

[78] GRILLNER S. The motor infrastructure: from ion channels to neuronal networks[J]. Nat. Rev. Neurosci.,2003, 4(7):573-586.

A review of neural coding of gait movement under visual perception

ZHU Fengyun, WANG Rubin, PAN Xiaochuan

(1. Institute for Cognitive Neurodynamics, School of Science, East China University of Science and Technology, Shanghai 200237, China)

Studying the neural code theory has an important significance for understanding human’s brain working mechanism and practical application prospects of artificial intelligence or brain-computer interface. Through analyzing principles and methods of several current used neural codes of visual perception, and evaluating their advantages and disadvantages, it was found that there are certain difficulties for using computational model to demonstrate visual perception, whether the code pattern is at a single neuron level or at multiple neurons level, even at the network level, since the nonlinear couplings among neurons are complicated. Trying to solve these difficulties, a new simple but efficient coding theory called the neural energy code was analyzed further. It was hopeful that the existing coding theories are combined with the neural energy coding theory to solve the problems which the original codes cannot manage or explain. For applications, the gait motion output controlling under visual perception was discussed including its principles, studying methods and great challenges encountered in practical and theoretical studies.

neural code; energy code; population code; vision-motor integration; gait movement

国家自然科学基金重点项目(11232005;11472104)

2015-07-17 修改稿收到日期：2015-10-15

朱凤云 女，博士，1990年生

王如彬 男，博士，博士生导师，1951年生

Q189

A

10.13465/j.cnki.jvs.2016.21.014