创新持续感知 走向技术融合 ——记清华大学电子工程系智能感知集成电路与系统科研团队

马梦珂

科学技术从来没有像今天这样深刻影响着国家前途命运和人民生活福祉。习近平总书记曾强调：科技界要共同努力，树立强烈的创新自信，敢于质疑现有理论，勇于开拓新的方向，不断在攻坚克难中追求卓越。数载以来，这些话一直在影响着一批又一批的科研工作者。

在清华大学电子工程系副研究员乔飞和其所在的智能感知集成电路与系统科研团队（以下简称“科研团队”）看来，在科技强国的战略背景下，科技的自主创新至关重要。通过近二十年来脚踏实地的科研探索，研究团队在低功耗集成电路设计、面向智能感知的新型高能效信号处理架构，以及智能感知集成电路和系统领域积累了深厚的基础理论研究成果和关键芯片设计经验。如今，科研团队仍在全心致力于设计超低功耗集成智能感知芯片系统，将其面向未来机器人感知、穿戴式感知和环境信息感知等万物互联应用场景，并全力推动科研技术的落地生根。

从“分”到“合”，打破传统智能感知系统瓶颈

智能物联网是人工智能技术和物联网技术快速发展下的必然产物，也是目前学术界和工业界共同聚焦的前沿方向。设计和实现具有持续智能感知能力的集成物联网节点是实现各种终端设备智能化的必由之路，也是解决当前物联网系统功耗、实时性和安全隐私难题的关键技术。

通过对研究团队成员进行访谈，记者了解到：无论是生物体还是机器与外部环境进行交互，都需要感知系统来了解外部世界的相关信息。在民用领域，各种智能穿戴设备，以及手机里多种传感器的持续运行，都会带来一系列数据采集和能量效率的挑战。在工业及特种应用领域，很多机器设备需要在野外部署，这时就更需要超低功耗的感知系统，去支持其长时间的运行。

随着边缘计算和人工智能技术的兴起，传统感知系统在向智能感知系统演化。复杂的处理任务和有限的能量供给之间的矛盾日益突出，无法完成持续的、不间断的数据采集和智能处理任务，进而会导致设备的运行效率大大降低。在此趋势下，研究团队一直试图从信号处理链路和感知信息提取架构角度来探索新的处理范式。

通过开展一系列研究，科研团队发现：当前典型的智能感知系统的最大特点就是“分而治之”，即各个模块独立设计和优化，忽略了系统整体优化的潜力；对于某些事件驱动型感知应用，处理了大量无用数据，增加了设计难度和使用成本。“天下大势，合久必分，分久必合”。在当今技术发展对低功耗和高能效处理要求日益迫切的情况下，传统智能感知系统的分立模块设计所带来的系统效率低下，早已不符合当今时代的需求。

通过对典型智能感知系统多年的研究、对比和分析，研究团队提出智能感知集成系统领域设计的“第一性原理”，即“凡是接口，必为瓶颈”。智能感知系统中分立的模块依赖各种接口连接，如果能够消除接口的能耗和延时瓶颈，就有可能提高整个智能感知系统的效率。为了攻克相关科学问题和技术挑战，早在2012年年底至2013年年初，研究团队就提出了“模拟-信息转换处理”的思路，首先尝试解决智能感知系统的数据转换接口瓶颈问题；并以此展开了一系列的“融合”研究。

清华大学电子工程系副研究员乔飞

探索攻关，形成完备的技术体系

积跬步以至千里，汇涓滴而成江海。在近十年的智能感知集成电路和系统方向的科研探索中，科研团队从一次次科研实践中，大胆试错，开创性地提出了一系列成套技术方案。在相关研究基础上，他们致力于形成更为完备的技术体系，为更多的算法和场景提供应用支撑，以更好地服务于社会发展的需求。

目前，学术界和产业界都在致力于深度学习加速器的研究和开发，主要集中在数字信号域的信息处理上，有些技术也已经应用到智能手机等领域。但是迄今为止，这些成果主要支持突发的、短时的智能处理，还无法满足智能传感终端对于超低功耗持续感知的需求。

研究团队发明了一种面向神经网络算法的模拟信号感知计算架构。这项发明技术与各种数字域加速器的研究可以相互补充，将持续感知任务前移到近传感器端的模拟信号域，为后级的数字信号域加速器滤除冗余信息，可以显著减少数字信号域加速器的处理时间和能量消耗。

受益于模拟信号处理的数据表示优势及计算能效优势，研究团队还进一步挖掘标准CMOS工艺的强大处理潜力，在近传感器端对原始图像信息进行高效的智能化处理。与传统的数字域神经网络加速器相比，一方面借助模拟信号处理的高能效特性，大大降低了智能化处理部分的能量消耗，同时通过在近传感器端直接对图像传感器的模拟信号输出进行处理，减少了模数转换和搬运的代价，进一步降低了智能视觉感知系统的能量消耗，为终端设备具备持续智能感知能力提供了可能性和无限的应用想象空间。

集成电路技术具有典型的应用引导特征。在相关芯片设计技术的基础上，科研团队首先开始寻求与机器人感知领域的交叉合作。特别是在国家自然科学基金委员会“共融机器人基础理论与关键技术研究”重大研究计划的支持下，致力于解决高效智能视觉感知芯片和系统应用技术。

面向机器人智能视觉感知任务，大量持续不断工作的传感器产生了海量传感数据，给数据中心的处理能力和网络带宽带来了严峻的挑战。在这一背景下，研究团队设计了面向常开型智能视觉感知的终端芯片。在研究中，他们采用软硬件联合优化方式，完善了能量供给和计算资源受限下的视觉信号处理电路设计方法，实现了“传感+计算”一体化的常开型智能视觉感知节点上的微瓦级识别系统，完成了基于直接光电流计算方法的传感内计算电路架构设计并进行流片验证工作，芯片测试达到预期效果。在项目评估会议上，科研团队的研究成果得到了与会专家的一致好评。

科研团队持续推进研究工作，目前已经在视觉、听觉、触觉和多模态感知应用方向，以及系统应用、算法优化、感知处理架构和电路设计等方面形成一套完整的智能感知集成电路系统技术体系和研究范式。

团队成员进行电路设计交流

顶天立地，开拓团队科研特色

“创新从来都是九死一生”，习近平总书记曾勉励我国广大科技工作者要有强烈的创新信心和决心，要有“亦余心之所善兮，虽九死其犹未悔”的豪情，勇于攻坚克难、追求卓越、赢得胜利，积极抢占科技竞争和未来发展制高点。

颠覆式的创新技术常常源于实践环节中的深思熟虑和不经意的奇思妙想，也常常是非主流和挑战传统的技术思路。科研团队提出的采用模拟和混合信号的高能效智能感知集成电路处理架构思路，也正是源于一次灵感的碰撞。

大约在2012年年底，乔飞和他的合作伙伴进行日常科研交流。交谈中，他们谈到了各自从事研究工作的思考和困惑。在他们看来，面向真正的应用需求，并寻找到属于自己的特色研究方向，才能让自己的研究技术更具有生命力和应用价值。

面向感知问题，采用模拟信号对感知数据表示和处理是否有比主流的数字信号处理更高的效率？在不断的交流与碰撞下，他们分析了生物体连续时间信号处理的特性，探讨了各自从事的多媒体信号处理和模数转换器技术特点后，突发奇想。“其实早在数字电路出现之前，就有人用模拟电路做信号处理了。但那时候因为工艺不稳定等问题，所以很快就被数字电路取代了。而随着科技的进步，芯片制造工艺愈加可靠，更重要的是感知算法本身就有容错特性，何不在相关领域做一些尝试？”乔飞他们决定一起从解决智能感知任务的角度切入，进行模拟和混合信号的高能效感知集成电路处理架构思路探索。

模拟信号处理技术是早期被数字信号处理技术淘汰的所谓“落后”技术，因此在最开始从事相关领域研究时，科研团队也遭遇了一系列技术挑战和方案试错。但即使困难重重，在智能感知“第一性原理”的指导下，科研团队仔细分析技术发展历史和现阶段人工智能算法任务特点，大胆假设、小心求证，坚持信念并抓住技术发展的主要需求和矛盾，持续优化技术方案。

功夫不负有心人，最终，他们采用“智能算法-高效硬件”联合设计的方法突破了模拟信号人工智能感知处理的技术难题，取得了显著的性能提升，用所研发的技术打造了属于自己团队的创新自信。念念不忘，必有回响。目前，相关工作已经得到学术界和工业界的广泛关注和跟踪模仿。“研究团队所付出的一切努力都是值得的”。乔飞说。

科学研究不仅要“顶天”，还要“立地”。一路走来，研究团队始终认为，集成电路设计本身是一个工程学科，应用性和实践性都很强。因此，在相关技术的积累下，他们一直努力搭建体系化的应用平台，以服务于技术的产业落地。

2020年4月，基于科研团队技术孵化的每刻深思智能科技（北京）有限责任公司（“每刻深思MakeSens AI”）应运而生。之后，在每刻深思的配合下，研究团队将与工程应用团队合作搭建更多体系化技术平台，着力于解决智能感知集成电路和系统的相关产业落地，让团队的科研技术离产业应用越来越近。“只有将平台体系化之后，我们做一些前沿技术研发工作，才能又快、又好、又准，也能具有更好的技术先进性和影响力。”乔飞说。未来任重道远，在将研究技术做到“顶天立地”的目标驱使下，他们仍在不断探索、前行。

多年积累，打造团队文化自信

世界上并没有路，走的人多了，也便成了路。在乔飞看来，路是人走出来的。而作为一名科研工作者，更要勇于开拓创新。“虽然我们选择的技术路线比较独特，但现在看来，我们的坚持是对的。”乔飞说。近10年的蛰伏和创新，造就了一支技术坚实、信念坚定的技术团队。回顾过往，乔飞更是对和自己一路走来并肩前行的团队成员充满着感恩之情。

智能感知集成电路与系统研究团队组织首届演示日

乔飞始终认为：“科学研究是对于自己天性的激发，每个人都有属于自己的优势与特点。”在这支科研团队中，有着更加灵活的管理运行模式，团队里的成员都是平等的关系，每个人都有发表不同技术观点的权利。在日常的科研交流中，团队鼓励成员大胆思考，对于成员提出的新技术建议，研究团队会共同探讨，帮助每一个提出思路和建议的同学梳理可行性，并配给研究资源，鼓励他们用结果来证明自己的科研想法。“我很佩服我的学生，他们都在坚持自己相信的东西，并努力实践自己的想法。”乔飞骄傲地说。

除却日常的科研工作之外，科研团队还十分注重科学研究“走出去”，展开与外部科研团队的广泛交流与合作。特别是，研究团队会设立演示日，邀请领域内的合作伙伴及行业专家来进行一些科研思想及科研技术的分享与探讨。由此，让团队内外的研究人员在思想碰撞中，不断发挥自己的主观能动性，激发创新活力。

薪火相传，生生不息。科研之路上，研究团队遇到过很多和他们一起开拓前行的密切合作者，从校内到校外，从祖国各地到海外，在他们的帮助和共同努力下，多项合作成果纷纷涌现，极大推动了这一技术领域的发展。多年来，乔飞从众多的师长身上学到了科研知识、科研品德，他也希望能够悉数传承给自己的学生，让这些精神对一代又一代的科研学子产生正向的科研影响。

在攀登知识高峰中追求卓越，在肩负时代重任时行胜于言。未来，研究团队还将肩负起清华人的担当，在面向智能持续感知的“感算共融”体系架构和集成电路设计方法中持续开拓，将科研技术推广应用，使之真正地扎根于社会之中。