类脑计算芯片与类脑智能机器人发展现状与思考

陶建华 陈云霁

近年来，以图像识别、语音识别、机器翻译、广告推荐和数据挖掘为代表的一系列以智能为核心的应用已经成为计算机的主流负载。据市场调研机构 Trend Force的报告，2015年全球智能终端的出货量接近17亿台，并以每年25%的速度增长。智能终端、智能机器人、智能硬件、智能互联网等与人工智能、大数据技术交叉融合，一起促使人类社会迈向信息时代的高级阶段：智能时代。

随着智能时代对大规模数据处理的要求，现有的处理器结构日益显得乏力。例如，谷歌大脑用了上万个通用处理器和耗时数天来学习如何识别猫脸；AlphaGo下围棋时使用了上千个通用处理器和数百个图形处理器，平均每局耗电电费近3000美元。对于很多智能技术来说，采用传统通用处理器的实现方案会导致计算成本和计算速度均难以承受。而人的大脑由大量的神经元（neuron）通过突触（synapse）连接在一起，构成了极其复杂的运算网络。目前，通过模拟人脑神经元信息处理机制的深度神经网络技术已经成为智能时代最为重要的建模方法，将深度神经网络技术融合到计算芯片（又称为类脑计算芯片）也日益受到重视。事实上，在 20世纪80年代，超大型体积电路（VLSI）主要研制者之一Carver Mead已经开始利用大规模集成电路来实现此类神经网络计算功能，这项工作获得了美国太空总署（NASA）与国家卫生研究院（NIH）的重视。然而在相当长的一段时间里，基于传统互补金属氧化物半导体（CMOS）技术的类脑计算芯片的实现一直进展缓慢。2007年纳米尺寸忆阻器（memristor）的出现使得类脑计算芯片的研究有了突飞猛进的发展，它可有效实现可调节突触强度的生物神经突触和神经元之间的互联，从而为类脑计算芯片的快速发展奠定重要基础。

与类脑计算芯片同步发展的还有类脑智能机器人。我国政府提出的《中国制造 2025》规划纲要将机器人产业发展作为智能制造重点推进的领域之一。目前，机器人已经被广泛应用于汽车及零部件制造、机械加工、电子电气及食品工业等诸多领域，成为衡量国家制造业水平和科技水平的重要标志。尽管已有机器人经常也被称为“智能”机器人，然而这些“智能”机器人能够实现的动作及行为能力基本是通过预定义的规则实现的，而人类进行动作、行为的学习主要是通过模仿及与环境的交互实现的。此外，目前“智能”机器人还不具有类脑的多模态感知及基于感知信息的类脑自主决策能力。在运动机制方面，目前智能机器人不具备类人的外周神经系统，其灵活性和自适应性与人类运动系统还具有较大差距。

随着人工智能、机器人和传感器技术的不断发展，机器人已经由传统在线示教工作模式向智能工作模式方向发展，结合脑科学研究成果，有希望为机器人理论和应用研究带来新的突破，最终有望成功制造类脑智能机器人。类脑智能机器人系统是融合了视觉、听觉、思考和执行等能力的综合智能系统，它能够以类似于人脑的工作方式运行。同时，类脑智能机器人力图将人的内部机理融入机器人系统，从而提高机器人的认知、学习和动作控制能力。

通过融入对人的机理的探索，有望实现类脑智能机器人与人“共情”，从而产生更深度的交互与合作，也有望对国防、工业、服务业等领域提供更多的帮助。

本文针对类脑计算芯片和类脑智能机器人发展的迫切需要，分析其技术发展现状，并对迫切需要展开的研究内容进行一些思考。

1 类脑芯片

广义上来讲，“类脑芯片”是指参考人脑神经元结构和人脑感知认知方式来设计的芯片。很显然，“神经形态芯片”就是一种类脑芯片，顾名思义，它侧重于参照人脑神经元模型及其组织结构来设计芯片结构，这代表了类脑芯片研究的一大方向。随着各国“脑计划”的兴起和开展，涌现出了大量神经形态芯片研究成果，受到国际上的广泛重视并为学界和业界所熟知。例如，欧盟支持的 SpiNNaker和 BrainScaleS、斯坦福大学的 Neurogrid、IBM公司的 TrueNorth以及高通公司的Zeroth。

TrueNorth是IBM潜心研发近10年的类脑芯片。美国DARPA计划从2008年起就开始资助 IBM公司研制面向智能处理的脉冲神经网络芯片。2011年，IBM公司通过模拟大脑结构，首次研制出两个具有感知认知能力的硅芯片原型，可以像大脑一样具有学习和处理信息的能力。类脑芯片的每个神经元都是交叉连接，具有大规模并行能力。2014年，IBM公司发布了称为“TrueNorth”的第2代类脑芯片。与第 1代类脑芯片相比，TrueNorth芯片性能大幅提升，其神经元数量由256个增加到100万个；可编程突触数量由 262144个增加到 2.56亿个；每秒可执行 460亿次突触运算，总功耗为70 mW，每平方厘米功耗20 mW。与此同时，TrueNorth处理核体积仅为第一代类脑芯片的1/15。目前，IBM公司已开发出一台神经元计算机原型，它采用 16颗TrueNorth芯片，具有实时视频处理能力。TrueNorth芯片的超强指标和卓越表现在其发布之初就引起了学界的极大轰动。

与TrueNorth不同，Zeroth则是高通公司近几年才开展研究的“认知计算平台”，但它却在业界引起了巨大的震动。原因就在于它可以融入到高通公司量产的 Snap-dragon处理器芯片中，以协处理的方式提升系统的认知计算性能，并可实际应用于手机和平板电脑等设备中，支持诸如语音识别、图像识别、场景实时标注等实际应用并且表现卓越。

类脑芯片研究的另一大方向则是参考人脑感知认知的计算模型而非神经元组织结构。具体讲就是设计芯片结构来高效支持成熟的认知计算算法，如人工神经网络算法或目前备受关注的深度神经网络。例如，2012年，中国科学院计算技术研究所和法国Inria合作研制了当时国际上首个支持深度神经网络处理器架构芯片“寒武纪”。该技术两次获得计算机体系结构领域主要国际会议 ASPLOS和MICRO最佳论文，其设计方法和达到的性能得到了国际上很好的认可。该芯片可以作为类脑芯片这个研究方向上的杰出代表。

比较而言，TrueNorth芯片采用了神经形态的组织结构和新兴的“脉冲神经网络”算法，因此具有更低的功耗。但也正因为如此，其数据编码信息损失很大，导致算法准确度不及目前的成熟算法。例如，在手写数字识别上，TrueNorth的脉冲神经网络准确度大约是90%左右，而20世纪80年代的人工神经网络已经可以达到95%的准确度，目前深度神经网络技术的准确度更超过了99%。

这个比较并非说明类脑芯片这两大方向孰优孰劣，而是展示了类脑芯片研制的客观现状。却也恰恰能够明确了这样一个事实：即参考已知的神经元模型、结构与工作方法可以发展出很好的“类脑智能”。随着神经科学的进一步发展，人们对大脑神经系统工作方式的逐渐清晰，脉冲神经网络算法可望进一步发展，其准确度也可望得到进一步提高从而可以实用，这也正是类脑芯片研究的目标。

实际上，类脑芯片研究的这两大方向只是侧重点不同，而并非彼此互斥，而且很多研究会逐渐模糊化这两个方向之间的界限。类脑芯片完全可以同时参考神经元组织结构并支持成熟的认知计算算法，这并不矛盾。当然，这种趋势也并不排除对该领域中某一点的重点研究。如忆阻器可以很好地模拟神经元之间的突触连接及其可塑性，其研究进展使得构建大规模神经元结构的可能性更大。2012年，英特尔正是以忆阻器和横向自旋阀（lateral spin valves）两项技术为基础开始了神经形态类脑芯片的研制。

在当前大数据和人工智能火热的时代，类脑芯片的研究受到了各国政府、大学和研究机构、国际大公司甚至是很多新兴的创新型小公司的青睐和聚焦，从不为人知突然进入到了公众视野。随着类脑芯片的百花齐放，势必会带来芯片应用领域的一场革命，甚至将改变人们的日常生活方式。

2 类脑智能机器人的仿生机构与感知控制

类脑智能机器人首先涉及到的是机器人的仿生机构和感知控制，而仿肌肉驱动器是其中的重要部分，这些仿肌肉驱动器可以省却齿轮、轴承，避免复杂的结构，同时减轻重量，具有更好的应用效果。如 Shahinpoor等人用 4片重0.1 g的人工肌内材料IPMC作手指组成的机械手，在5 V的电压下提起了10.3 g的石子，所需功率为25 mW。如用传统机械装置实现这个动作，其机构将非常复杂。

虽然自20世纪 60年代以来，日本以及美国DRAPA等机构不断进行仿肌肉驱动器的研究，但还是随着近10年材料和新型传动系统的发展才真正实现一系列的突破。目前制作的仿肌肉驱动器可以分为材料类、机械类和生物类。材料类的仿肌肉驱动器主要代表有形状记忆合金（shape memory alloy，SMA）、电致收缩聚合物（electroactive polymer，EAP）、压电陶瓷（piezoelectric transducer，PZT）、磁致收缩聚合物、功能凝胶、液晶收缩聚合物等。此类仿肌肉驱动器的共同特点是模拟动物肌肉收缩产生力这一工作特性，利用材料在不同的外部控制下，如电压、电流、pH值等，材料内部的成分发生物理变化，产生形变和力。机械类的仿肌肉驱动器，主要代表有气动人工肌肉（pneumatic artificial muscle，PAM）、液压人工肌肉（hydraulic artificial muscle）、电致收缩器、磁致收缩器等，其中由波士顿动力研制的Atlas类人机器人就采用了液压人工肌肉。不同于材料类仿肌肉驱动器，机械类仿肌肉驱动器都是结构发生变化，产生收缩和力。生物类的仿肌肉驱动器目前尚处于实验室研制阶段，目前主要是利用动物活体细胞来充当驱动器，美国DRAPA资助麻省理工学院研制的鱼形仿生机器人，由活体肌肉驱动，最大速度45 mm/s，而在类人机器人上尚未进行类似的研究。

在这些研究的基础上，瑞士苏黎世大学搭建了拥有“肌腱”和“骨头”的机器人平台ECCE Robot，相关研究成果在 2010年获得美国Popular Mechanics报道，列为2010年10大创新概念首位。此外，波士顿动力还试图研制一款更新型仿生肢体，试图采用3D打印的方式，将所有的液压元件直接打印到其机器人肢体的“骨头”结构中，使之更具有仿生元素，比如“类动脉式的液压管道布局”、看上去很像骨头的支架等。

除了具有仿生结构和仿生运动能力，类脑智能机器人还以脑科学和神经科学的研究为基础，使机器人以类脑的方式实现对外界的感知和自身的控制。人的运动系统由骨骼、关节和肌肉组成，相关的肌肉收缩或舒张由中枢神经系统与外周神经系统协同控制。以类脑的方式实现感知与控制的一体化，使得机器人能够模仿外周神经系统感知、中枢神经系统的输出与多层级反馈回路，实现机器人从感知外界信息到自身运动的快速性和准确性。

针对这项技术，瑞士洛桑理工学院（EPFL）于 2015年开发了一个神经系统仿真工具（the neural simulation tool，NEST）。在该仿真工具中，研究人员建立了一个数字化的老鼠大脑计算模型和虚拟老鼠身体模型，通过把这两个模型结合起来，来模拟大脑和身体的互作用的神经机制，这为类脑机器人的神经系统模拟提供了基础。目前，他们已在模型中模拟出一只小白鼠完整大脑中约2100万个神经元中的3.1万个模拟神经元。虽然，将神经系统和仿生机器人相结合进行研究，还只是处在初步阶段，但已经建立的脑网络模型，以及运动神经和各种运动控制上的一系列研究成果，已为类脑智能机器人的感知与控制回路的进一步研究奠定了很好的基础。

与类脑智能机器人密切相关的技术，如脑机接口、神经假体等，近几年也取得了积极的进展。脑机接口可以使计算机从大脑神经活动获知人的行为意向，其关键在于神经解码，将大脑的神经信号转化为对外部设备的控制信号，其又分为侵入式脑机接口和非侵入式脑机接口。其中侵入式脑机接口能在瘫痪病人的大脑运动区植入电极阵列，提取人的运动意向从而控制机械手臂的动作；非侵入式脑机接口是用紧贴头皮的多个电极采集大脑脑电图（EEG）信号从而控制机械臂或飞行器。而在神经假体方面，美国DARPA正投资研发一种芯片，通过植入该芯片可以帮助脑部受伤的人恢复记忆，并干扰甚至消除一些不愉快的记忆（如战争记忆）。目前此技术已在老鼠上取得了不错效果。此外，科研人员在视觉神经假体、运动神经假体方面也均取得很好进展，并已成功进行应用，以帮助人们恢复部分视觉功能或部分替代四肢功能。虽然脑机接口和神经假体等方面的研究还有很大的提升空间，但已有的研究成果为类脑智能机器人的研究提供了很多的借鉴。

3 类脑机器人的智能生长

在类脑智能机器人研究中，如何从根本上提升机器人的智能，是机器人研究领域的一个重要问题。经历了长期的发展过程，人们普遍认为机器通常在动力、速度、精巧性方面具有一定的优势，而人类具有智能、感知、情感等机器部分具有或者不具有的能力和特点。人们自然希望可以将二者各自的优点融合在一起，实现“人机协作”。早在 20世纪50年代，已有研究人员开展了相关的工作，从具体任务出发（如工业制造），研究离线状态下的人机交互，让机器人在人的指引下完成任务学习。20世纪90年代，人们开始研究实时交互问题，将服务机器人与人结合在一起。然而这种协作主要从功能角度使人和机器人共享智能，并不算真正意义上的融合。在这一过程中，人做一部分工作，机器人做一部分工作，二者分工完成同一任务。自2010年来，人们更加关注“认知-合作”，机器人作为人的“同事”，和人在一起工作。智能人机协同需要计算机在陌生的环境通过对周围环境的观察以及周围环境的反馈刺激，自主整合新旧知识，并进行综合智能决策，即要求计算机具有类脑的交互学习机制。随着人工智能技术和新材料技术兴起，智能机器人行业将是未来“脑科学研究”和“脑认知与类脑计算”研究成果的重要产出方向。在实际的应用场合，新一代的机器人或者新型人工智能必须要具有通过交互从外界获得知识，并通过智能增长的方式进一步了解外部世界的能力。建立基于交互的从零学习及智能生长认知模型，使得计算机能够像婴儿一样，在与人的交互过程中进行错误纠正与知识积累，实现模仿人类认识外部世界的智能增长。

国际上一些机构已纷纷开展人机协同下机器人智能生长的研究，如麻省理工学院人工智能实验室增量人机协同研究组（Increasing Man-Machine Collaboration MIT）采用增强学习让人与机器人（包括飞机与小汽车等）在未知环境自由协作，让计算机自动配合人并与人交互，在共同决策完成既定任务的同时，机器人也通过交互过程不断学到新的知识。此外，谷歌和百度的无人驾驶汽车平台也在进行着类似的尝试。

DeepMind公司（2014年被Google公司收购）提出了 Neural Turing Machine方法，利用深度增强学习，实现了靠不断试错学习就可获得提高的游戏人工智能。这些智能靠着对游戏视频的观察来自动寻找出模式，然后操作控制器，并获得得分的反馈结果（高分奖励），通过这样的交互方式不断学习新的知识和技能。此外，DeepMind还在研制基于长短期记忆的递归神经网络（long short-term memory-recurrent neural network，LSTM-RNN）控制的无人机，通过交互式的学习可不断提高无人机飞行的效果。

在未来，人们希望可以将人的智能更深程度地引入机器人系统，从机理上对人进行模仿，使机器人能够像人一样思考，从而“配合”人的工作，共同完成任务。类脑智能机器人不但是未来人工智能研究重要的外显载体，而且其在未来服务业、智能家居、医疗、国家与社会安全等领域都具有极为广泛的应用价值。

4 中国科学院B类先导专项下的类脑芯片与机器人研究工作

作为脑科学研究的重要组成部分，类脑智能的研究已受到我国科研人员的高度重视，尤其是近两年来，在中国科学院“脑功能链接图谱与类脑智能研究”B类先导专项的支持下，中国科学院自动化研究所（承担类脑机器人与人机协同的智能生长研究）、中国科学院计算技术研究所（承担类脑计算芯片研究）、中国科学院半导体研究所（承担类脑计算芯片研究）、中国科学院上海微系统与信息技术研究所（承担类脑视觉器件研究）等单位的合作，使我国在类脑芯片和类脑智能机器人方面的研究获得了非常积极的进展。

在类脑计算芯片方面，项目组继“寒武纪”芯片设计完成后，已经成功地进行了流片，通过了初步阶段的全部功能测试，并于2016年提出了国际上首个神经网络通用指令集，该指令集直接面对大规模神经元和突触的处理，一条指令即可完成一组神经元的处理。模拟实验已经表明，采用该指令集的深度学习处理器相对于x86指令集的CPU有两个数量级的性能提升。进一步的研究将集中在类神经形态的神经元计算芯片的构建和优化上。

在类脑智能机器人方面，项目组在人机动力学模型及表面肌电图（sEMG）信号的运动意图识别方法的基础上，实现了机械臂的交互控制，并实现了生理控制的康复机器人的应用。此外，项目组还将人类的“大脑—小脑—脊髓—肌肉”的中枢与外周运动神经系统模型引入到机器人的运动规划与控制当中来，针对仿人的“多输入—多输出”机器人运动执行机构，建立了运动信号的类神经编解码模型，使得机器人可以在运动反应速度不降低的情况下，提高机器人的运动精度，并具备运动的学习能力。项目组建立了生物启发式仿人视觉演示平台与生物启发式仿人运动演示平台，基于人的中枢神经与外周神经机理，实现了在运动中逐步提升精度，而速度不下降的学习过程。

为使类脑机器人具备针对复杂环境下物体的鲁棒识别能力，并具有很好的泛化能力，项目组进行了神经启发式模型的相关研究，将人类的联想记忆机制、注意力调控机制、泛化学习与记忆机制引入到模型当中。在研究中，项目组首先将联想和记忆机制引入计算模型HMAX中，减少识别时的存储量，加快识别速度，从而提高机器人的反应速度。基于以上工作，依据灵长类动物视皮层中前内颞叶皮层对部件、视角的调节功能以及后内颞叶皮层的多视觉任务处理能力，继续改进HMAX模型，保证了旋转、遮挡情况下鲁棒的识别，扩大机器人认知的适用场景范围，为机器人个性化服务奠定基础。

为进一步探索类脑智能机器人的智能生长技术，项目组进一步模拟了婴儿对物体的自发、动态认知过程，使机器人能够通过深度置信网络自发学习，进而实现知识的动态更新，提高机器人的自学习和归纳泛化能力。目前，项目组已经在如下几个方面取得了积极进展：（1）模仿大脑在单样本或者极少量样本条件下的基于交互学习的目标分类能力，借助目前脑科学中脑功能分区、大脑生长与神经连接生长等知识，构建新型类脑机器学习和认知模型，采用特征分析、无监督聚类、合并归纳等推理方法，实现单样本或极少量样本条件下同一物体的再次准确识别；（2）在机器人从零学习模型的基础上，采用语音交互和手势交互的模式教授计算机目标与环境知识，使得计算机具有从错误中学习新知识的能力；（3）在机器人基于交互的错误辨识纠正与记忆模型基础上，构建面向视觉、听觉、言语感知的多通道信息融合的智能模仿模型，实现计算机借助视听觉方式对外界环境的智能增长学习，并具有一定模仿人类特定行为的能力。

此外，为配合类脑智能机器人的交互过程，使机器人的视觉通道具有更多的拟人特性，项目组还通过类脑视觉感知原理研制了新型三维光场相机，相机能够自动对感兴趣目标进行最佳对焦，从而对注意的图像内容进行凸显，从而使机器人能更好地理解所观察到的内容。与此同时，项目组还研制了具有自学习在线校准功能的仿生双眼视觉系统，能模仿人的眼球运动机制，实现双目摄像机的运动控制，以及双目视觉跟踪和三维重建，为基于视觉的机器人人机交互奠定了很好的基础，并进一步推动了人机协同的机器人智能生长的研究。

5 关于类脑芯片与类脑智能机器人研究的进一步思考

由于类脑芯片与类脑智能机器人的研究，既涉及到脑科学和神经科学的最新研究成果，又和传统芯片设计、机器人仿生结构与控制等内容密切相关，未来研究迫切需要在如下方面进行进一步的攻关。

（1）类脑计算芯片方面。需从不精确、非完整信息的类脑神经计算技术出发，通过提炼神经网络处理中的共性运算特性，发展类脑神经元计算模型，通过改变控制参数，使相同神经元电路模块能完成不同的神经元功能，增强神经计算电路模块的通用性，降低设计、制造的难度。此外，还需要迫切解决类脑计算芯片的功耗问题，需要研究建立神经网络处理器相关的功耗模型，通过结构设计参数的选择，降低相对功耗。发展基于统一抽象的、实时可调的软件抽象层设计，通过和硬件结合，对低功耗设计与评估进行实时反馈和调节，为上层设计提供一个可靠且便利的软硬件间的桥梁，解决能适应多种应用需求的兼容性问题。

（2）类脑智能机器人方面。需更多借鉴类脑计算模型和仿人运动神经机理研究新的机器人感知、交互和动作计算模型，从根本上提高机器人的智能性，形成具有动态立体视觉感知、快速自感知、多模态信息融合、运动自学习能力、协调人机协作、快速反应和高精度操作的类脑智能机器人。其中，尤其需要解决类人运动执行机构带来的类脑运动神经控制、人机融合环境带来的机器人多模态信息融合、交互式学习控制和双目可动摄像头带来的摄像头高速在线校准3个问题。

6 总结

在神经科学和深度神经网络等领域快速发展的综合推动下，类脑计算芯片与类脑智能机器人经过最近几年的发展，获得了科研人员的普遍重视，并已经产生了一系列研究成果。其中，类脑计算芯片已经形成实际的产品，并有希望在近期产生重要的应用；类脑智能机器人也在研究内容上不断进行细化和深入，结合神经科学和仿生学等最新的研究成果，已经形成了一系列原型技术，并在类脑智能机器人的自主学习和交互式主动学习机制上形成了一批积极的成果。未来研究有望在仿人运动模型和“自主学习—动作”类人神经运动控制以及在人机协同的智能机器人控制和交互式学习、自适应和自主决策方法等方面取得重大突破。◎