牢记强国使命 突破AI技术壁垒——记 西北工业大学脑与人工智能实验室张鼎文教授

文/于海芳

随着时代的发展，当今人类社会已经进入人工智能时代，智能化发展可谓是突飞猛进，已逐渐应用到生活中各个场景，并与多个领域深度融合发展。其中，人工智能在计算机领域内，也得到愈加广泛的重视，人工智能仿佛是一把科技的利剑正在开辟着崭新的未来。

西北工业大学脑与人工智能实验室教授、陕西省“信息融合”技术创新团队、西北工业大学“类脑计算”新兴交叉学科的骨干成员张鼎文，一直致力于面向开放复杂环境的类脑视觉感知与学习方法的研究，其研究工作主要涵盖了人工智能领域中的热点研究方向，如计算机视觉、模式识别、多媒体信息处理、机器学习。他的研究目标是建立面向开放环境、具备动态学习能力的新一代计算机视觉学习框架。

谈到科研方向，那就不得不提到张鼎文的家乡。他的家乡是四大古都之一洛阳，在洛阳有一个令人心驰神往的单位——中国空空导弹研究院（612 所）。张鼎文回忆道，当年选择科研方向时，他有幸得到612 所的一位前辈指点，了解到如何解决导弹导引头的图像识别问题，是目前我国实现精确制导的关键技术瓶颈。

那时，张鼎文就了解到了由国家杰青郭雷教授创建的西工大自动化学院的图像技术研究所，那里不仅具有很强的科研能力，而且又恰逢韩军伟教授刚回国。这对每一个学生来讲，都是锻炼自身能力、提高学术视野的不二选择。

从此，梦想的种子在张鼎文心中悄然种下。只要梦想的种子醒着，有一天就会生根发芽开花。

2015 年，张鼎文赴美国卡内基梅隆大学进行为期两年的访问研究。回国后，他入选科睿唯安“全球高被引科学家”，并荣获吴文俊人工智能优秀青年奖。迄今为止，张鼎文作为第一作者/通讯作者在其研究相关领域内的国际重要期刊和会议发表学术论文40 余篇，其中包含IEEE TPAMI、IJCV、IEEE SPM、IEEE TIP、CVPR、ICCV、Science China: Information Science 等，1 篇论文获2021 IEEE TCSVT 最佳论文奖，1 篇论文入选2018 年中国百篇最具影响国际学术论文，并获得中国图象图形学学会优秀博士论文奖、ACM China SIGAI（国际计算机学会中国人工智能分会）优博奖、陕西省优秀博士学位论文奖等。此外，张鼎文还是IEEE 会员、ACM 会员、中国图象图形学学会视觉大数据专委会委员、中国图象图形学学会青年工作委员会副秘书长、第六届VALSE 执行领域主席委员会委员，并担任IEEE TMM与TCSVT的专刊主编、ACM MM及ICCV 的专题学术论坛组织者等。

蜕变，是背后一成不变的坚持

张鼎文坦言：“在科研道路上，我想每个人都要经历一遍论文看不懂、代码调不通、方法搞不明、实验做不透、论文写不好之后，才会蜕变成长。”

读大三时，张鼎文就开始加入团队接触科研。俗话说：“万事开头难。”对于张鼎文来说，科研工作初期，的确是困难重重。但张鼎文是幸运的，他师从韩军伟教授门下，韩教授可是当时西北工业大学自动化学院为数不多的“海归”教授。在韩教授的精心指导下，张鼎文很快就掌握了查文献、写代码的技巧，并按照导师思路顺利设计出实验实施方案。但当张鼎文将实验结果整理成论文时，却发现无从下手。为此，张鼎文还专门用了一个月的时间来培养英文句法写作和行文逻辑。即便是这样，最终整理出来的论文依然问题百出。

“博观而约取，厚积而薄发”，韩教授告诉张鼎文要尽可能多地去看母语为英语作者的论文，从中借鉴他们的表达方式。那段时间，张鼎文专门挑选了90 余篇英/美知名教授的经典论文，并做摘抄、记录下常用的写作素材，仔细推敲每一个词的用法。功夫不负有心人，经过一段时间的素材积累，再加上韩教授传授给张鼎文的论文写作经验和技巧，英文句法写作这关张鼎文总算是平稳渡过。可接下来，写作逻辑这一关却没那么好过了。没有了素材可以参考，张鼎文始终无法找到合适的角度，将所提出的方法清晰、准确、精炼地表达出来。为了解决这个问题，韩教授每天都会抽出时间同他讨论，分析内在逻辑，并带着他全面深刻地总结——近百篇的论文阅读并伴随更具技术难度的总结与凝练。虽然只是数页的论文，耗时却近两个月，版本修改达40 余次。值得欣慰的是，功夫不负有心人，张鼎文的论文在投稿之后很快就得到审稿人的肯定，并且顺利发表。张鼎文说，这也是韩教授给他上的最为深刻的一课。

除此之外，韩教授做事认真的风格也时刻影响着张鼎文。在他看来，韩教授的每一次汇报PPT，每一篇学术论文，每一行算法代码，都会做到精益求精，不会放过任何一处有疑问的细节。如今，韩教授作为当今中国人工智能领域的代表性人物之一，他身上那“刻苦、认真、坚持”的科研精神，始终激励着张鼎文不忘初心、砥砺前行。

此外，在国外访问研究的那两年，也让张鼎文受益匪浅。张鼎文说，出国前他只知道卡内基梅隆大学（CMU）的研究团队文章发表特别厉害。出国后，他才发现CMU 其实是一所工程性的大学。他所在的机器人系有一个巨大的车间，里面很多团队都在研制各种新概念机器人，而他们发表的文章只是在这种工程环境下的中间产物。通过这件事情的启示，张鼎文对科研有了更深刻的认知。他认为，要正确看待科学研究，强大的科研不是一朝一夕的事情，更不是发表几篇论文就可以说明问题的，一定要把研究落到实处，力求解决实际问题。

回国后，张鼎文从一名博士研究生慢慢转变为了赫赫有名的“国防七子”中的一位教授，在这个过程中，更加让他坚定了要把研究做到实处、要把问题解决在实际的理念。在这个过程中，他通过深入钻研领域内的国家重大需求和难点问题，先后参与了多项军委科技委项目，解决了行业内的多项技术难题；与中国航天科工集团第三总体设计部、TCL、深睿医疗、西京医院等单位保持紧密合作关系，部分成果用于保障国防安全，应用于某型高分对地观测系统，以及空军、战略支援部队和南部战区等单位的重大演习等；部分成果产生了良好的经济效益，落地TCL 系列手机前置单摄虚化项目及北京铁路局天津西站的高铁站台和铁路列车视频监控和预警系统项目。

探究类脑视觉感知与学习方法，只为更好适应开放动态环境

如今，大数据时代来临，视觉数据（例如来自互联网的图片数据、监控系统的视觉数据及遥感卫星的对地观测数据等）呈现出前所未有的爆炸式增长。如何对这些数据进行准确的特征学习与内容理解，是人工智能领域最前沿的研究方向之一，具有十分重要的理论研究意义和实际应用价值。

尽管目前主流的深度学习领域的系列成果逐步刷新着视觉感知与学习的性能，但这些方法在训练阶段严重依赖对视觉数据的精细人工标注，并在测试阶段极易受到视觉场景中复杂多变的背景干扰。因此在“数据更新快——精细标注难以获取”“场景变化大——背景干扰难以控制”的动态开放环境下，主流的深度学习方法极易导致不可靠的深度模型训练与视觉模式分析结果。因此，“低效耗时的人工标注”与“爆发式增长的视觉数据”之间的矛盾，以及“易受干扰的感知模型”与“复杂多变的视觉场景”之间的矛盾，成为了当今视觉感知与学习领域所面临的时代性挑战，亟待发展面向动态开放环境的智能视觉感知与学习方法。

在国家自然科学基金、中国博士后创新人才支持计划等支持下，张鼎文及其团队另辟蹊径，从类人、类脑视觉感知与学习的角度出发，受人类幼儿阶段“先易后难”的学习机制与人脑“选择性”视觉注意机制启发深入开展研究工作，分别从视觉学习和视觉感知层面发展了稳健弱监督视觉学习理论与视觉显著性建模与计算方法，形成了面向动态开放环境的智能视觉感知与学习理论体系，并取得了若干重要的科学发现。

在这项研究工作中，张鼎文一方面阐明了多示例学习与自步学习两大机器学习框架的协作机制，发现了弱监督视觉学习条件下多示例学习算法的局部最优规律及自步学习算法的鲁棒性学习本质——多示例学习中示例样本的标注噪声会误导学习过程获得不准确的局部最优解，而自步学习算法通过模拟人类由易及难的学习策略，增加学习过程对标注噪声的鲁棒性，从而克服标注噪声对学习过程的影响；进而，提出了自步-多示例学习算法以阐明多示例学习与自步学习协作下的鲁棒弱监督学习机制，并构建了自步-课程学习的稳健性学习机制引导下的弱监督视觉学习框架。另一方面，他针对动态开放环境下视觉场景的复杂性与多变性问题，发展了先验驱动的视觉显著性计算方法，阐明了基于信源选择机制与多源先验整合的视觉显著性计算机理，建立了对比损失和分类器联合优化的多图一致性先验嵌入模型，在不同任务场景下实现了人脑“选择性”视觉注意机制，显著提升了模型自主进行背景抑制与前景挖掘的能力。

据张鼎文介绍，2018 年他作为新入职教师申请并获批国家自然科学基金面上项目——《基于稳健学习机制的复杂场景弱监督目标检测方法研究》。该项目正是瞄准计算机视觉领域“有限的人工标注”与“海量的视觉数据”之间的矛盾，研究更具自主学习能力的人工智能理论与方法，有着迫切的应用需求和广泛的应用前景，一旦有所突破，将惠及各类依赖图像、视频理解技术的应用任务。如：图像搜索与识别、视频监控、遥感检测、多媒体信息处理等。具体来说，该项目针对弱监督目标检测问题，首次深入研究稳健性机制下的弱监督学习策略，并在其基础上提出多任务协作学习、跨模型协同学习等新思路，不但能够扩展稳健学习理论的应用领域，所探索的新思路、新方法、新模型亦可以推动人工智能科学与认知学的学科交叉与发展。

在未来的研究工作中，张鼎文及其研究团队将聚焦多智能体多源异构协同感知与态势评估方面的研究工作，将开放环境下的感知能力从单智能体单源同构模态向多智能体多源异构模态迈进。他将开展新一代协同感知与态势评估的理论和方法研究，致力于实现开放环境下的空天地海全局立体地图实时构建、多智能体多源异构大数据信息鲁棒融合、动态、快速、准确的场景优化与地图更新，最终实现基于多智能体协同观测的全局态势评估与趋势预测。

张鼎文及其团队始终秉承着领头人韩军伟教授提出的“顶天落地”的科研理念，一方面深挖人工智能基础理论，突破领域内的重要理论瓶颈；另一发面，面向国家重大需求及人民生命健康，开展应用研究工作，突破领域内的技术壁垒。截至目前，张鼎文主持国防重点实验室开放研究基金，承担国家自然科学基金企业联合重点项目课题，并参与多项国内知名医疗AI 企业项目。在这些项目的支持下，部分成果应用于脑胶质瘤、胰腺癌、狼疮性肾炎等疾病的前期诊断与辅助诊疗。此外，张鼎文获授权发明专利10 余项。

世间事，做于细、成于严。在张鼎文看来，科研工作更是如此。科研是持之以恒的事业，需要不断地在枯燥孤独的科研工作中去挖掘，日积月累的挫败感明显多于零星点缀的成就感。张鼎文说，身为科研人员就是要探索人类未知，勇于去面对困难、接受挑战，既要有严肃、严密、严格、严谨的学风，又要有敢想、敢干和敢闯的精神，二者不可缺一。此外，一名合格的科研人员还要具备自己独特的学术品位，了解自己的研究兴趣所在，不断提高应对挫折的心理承受力，保持乐观、豁达的心态。

投身教育与社会服务，不忘初心回馈国家

习近平总书记曾多次就高等教育人才培养及人工智能技术发展作出重要指示，人工智能技术作为新一轮科技竞赛的制高点，是国家实力的体现，新时期人工智能人才的培养更是中国建设现代化强国的关键。

谈及人才培养，张鼎文深受团队带头人韩军伟教授“使命驱动，立德树人”理念的影响，以身作则、言传身教，将立德树人融入思想道德教育、文化知识教育和社会实践教育。在人才培养过程中，坚持营造良好的实验室研究氛围，严格把关选题方向与选题深度；塑造定制化科研环境，激发学生多元化潜能；兴趣驱动，因材施教，与学生形成合力，助力学生成长。此外，张鼎文还看重学生的基本道德品质的培养。他说，做人不仅要诚实、守信、热情、踏实，还要有一定的大局观。在提升学生学术能力与工程能力的同时，更注重向学生灌输家国天下、使命担当意识，提升学生的爱国情操，鼓励学生扎根西部，献身国防。如今，在实验室培养的学生中，已有20 余人留在西部或国防院所工作。

张鼎文深受韩教授的教书育人理念，从博士毕业前就开始协助导师指导本科生及研究生。他会认真地将自己的知识和技能一点一滴地传授给所指导的学生，并想尽办法帮助他们快速成长，取得能力的突破。截至目前，他总共指导/协助指导了20 余位学生。他回忆说，在这些学生中，最让他感到欣慰的是2015 年他指导的一名大二本科生，这位学生具有高远的志向与吃苦的精神，加上张鼎文一年时间的悉心指导，这名学生在大三的时候就在人工智能与模式识别领域的国际顶级刊物IEEE Transactions on Pattern Analysis and Machine Intelligence上成功发表了一篇高水平学术论文，要知道这个期刊2022 年影响因子达24.314，被公认为人工智能领域排名第一的顶级期刊，其影响力已经超过了许多Nature 子刊。这名学生也凭借这一篇论文成功保研到了心仪的学校进行继续深造。除此之外，张鼎文也特别关注国内人工智能、图象图形学领域的高年级研究生及青年学者的发展。他是中国图象图形学学会青年工作委员会的副秘书长与中国人工智能学会青年工作委员会委员，成立了中国图象图形学学会优博俱乐部并担任副主席，组织了中国图象图形学学会第一届优博论坛暨2022年度中国图象图形学学会优秀博士论文奖申报动员会。同时他是2021-2022年度中国多媒体大会专题论坛及2022年度中国模式识别与计算机视觉大会专题论坛核心组织成员。

作为我国面向计算机视觉与机器学习领域研究生群体的免费共享知识平台——视觉与学习青年学者研讨会 (VALSE)——中的一员，张鼎文担任第六届VALSE 执行领域主席委员，多次以组织者或者讲着身份参与VALSE Webinar 活 动，并 担 任VALSE 2021 大 会Workshop 组 织委员会成员。他曾于2019 年受邀在会中进行两个小时关于弱监督学习的Tutorial 专题讲解，向4600 余名研究生讲解弱监督视觉学习的国际前沿研究进展。

此外，张鼎文还积极参与到各项社会服务之中，他担任领域重要国际 期 刊IEEE Trans.on Multimedia与IEEE Trans.on Circuits and Systems for Video Technology 的客座主编（Leading Guest Editor）；作为组织委员会委员参与ACM MM 2020、2021,ICCV 2021 Workshop的组织工作；担任10 余次CCF A 类国际会议如: AAAI、IJCAI、CVPR、ICCV、NIPS、ICML、WACV 等领域主席或（高级）程序委员会委员。他曾担任北京大学、Universitat Autònoma de Barcelona 等 大 学 的硕士、博士论文评审委员会成员。由于严谨认真的工作态度，他获得了国际医学影像分析领域顶级刊物（IEEE Trans.on Medical Imaging）的审稿人金牌服务奖。

工作时的张鼎文，会全身心地投入，他勤于思考，敢于提出新的思想和方法，总是力争把工作做到极致。而生活中的张鼎文却是一个乐观幽默、纯朴善良的人，每当遇到有困难的同事或学生，他都会主动了解并帮助其解决问题。繁忙的工作之余，张鼎文会选择去做些运动。他说，每当他感到压力大时，都会通过适量的运动，释放压力、放松神经，重新唤回斗志与活力，这样才能以更好的精神状态去应对科研上的挑战。

未来，张鼎文还将深耕于人工智能领域。他说，科研之路没有捷径，身为科研人员，只有守住初心，立志推动科学和社会的前进，这样才会产生巨大的精神力量，克服科研道路上的重重困难，只有勇于探索、不断创新，才能取得科学上的一流成果，为国争光。

人物介绍

张鼎文，西北工业大学自动化学院教授、博导，科睿唯安“全球高被引科学家”、中国图象图形学学会高级会员，他是合肥综合性国家科学中心人工智能研究院、信息融合技术教育部重点实验室、陕西省“信息融合”技术创新团队、西北工业大学脑与人工智能实验室的骨干成员。曾赴美国卡耐基梅隆大学计算机学院机器人系进行为期2年的访问研究。主要从事人工智能领域中的热点研究方向—计算机视觉、模式识别、多模态智能探测、医学影像分析。在IEEE TPAMI与IJCV上发表论文16篇；获得2021 IEEE TCSVT（中科院一区、TOP，多媒体信息处理领域国际顶级期刊）最佳论文奖、2018年中国百篇最具影响国际学术论文奖、吴文俊人工智能优秀青年奖、中国图象图形学学会优秀博士论文奖等奖励，入选2022年度百度学术AI华人青年学者榜单。他是中国图象图形学学会视觉大数据专委会委员与中国计算机学会多媒体技术委员会委员。