“小之知道”：基于大模型的多路召回智能问答助手

李月标 王梁昊 谭一匡

之江实验室打造的基于大模型的多路召回智能问答助手“小之知道”，自应用以来，为垂直于自动化办公领域的数字技术管理提供了新的路径和方案

向科技创新要高质量发展的空间，向新质生产力要高质量发展的动力活力。重点实验室，作为科技创新的重要平台和科技创新要素最密集的“集大成者”之一，眼下正担负起服务国家重大战略需求的时代使命。其中，之江实验室作为浙江省首批省级重点实验室，聚焦“互联网＋”科创高地建设，是浙江打造智能科学基础前沿研究的核心高地。

然而，随着之江实验室的不断发展，人员队伍的不断壮大，每天产生海量信息，如何帮助这支站在科技最前沿的团队快速获取有效信息成为了一个亟需解决的问题。好在，这里最不缺的恰恰是数字化、智能化解决问题的手段。面对以上问题，一套基于大模型的多路召回智能问答助手“小之知道”在之江实验室应用开来，为垂直于自动化办公领域的数字技术管理提供了之江实验室的路径方案。

“小之知道”知道什么？

“食堂用餐时间”“移动端办公邮箱登录”“之江实验室目前已有多少研究成果”，打开“小之知道”的会话页面，不管是提问实验室日常制度、业务，还是研究成果明细，“小之知道”都能对答如流。

据悉，“小之知道”是按照一个平台多个场景的方式架构：一个平台指问答服务平台，多个场景指同时可以支持多个应用场景。通过归集、清洗实验室各业务系统的核心数据，以及各种规章制度、办事指南，形成标准化的知识库；并结合自然语言处理、知识图谱、大模型等技术，快速响应用户查询任务，从而提高用户信息检索效率，降低信息获取的门槛，提高实验室智能化服务水平。

“近几年，随着实验室的快速发展，相关办事制度也不断优化更新，每天都会产生海量信息。对普通员工，特别是新员工来说，从现有海量信息中高效获取有效信息存在着较大困难，甚至无法找到相关系统功能入口。不仅增加了行政管理人员的低效工作量，也降低了不少员工的信息抓取效率和工作学习效率。”

那么，“小之知道”又是如何具体解决这些痛点的？

在功能层面上，目前“小之知道”支持两类场景的问答处理，包括知识问答助手和任务型问答助手。前者主要通过分析和利用已有的知识库来回答用户的问题，后者则是通过自然语言理解和规划推理技术来识别用户的意图和需求后，从业务系统或者图数据库中获取相应的答案。

在展示能力上，“小之知道”可支持多模态输出能力，包括纯文本、图文信息、视频以及各类图表信息，并可通过权限分配，来实现敏感信息的过滤。

在系统维护上，“小之知道”可谓是独具特色。一直以来，传统的知识库维护方式普遍面临着高成本的问题，以及在对转换结果的准确度要求较高的场景下，主流的辅助工具是文档标注工具，可根据选定的内容自动生成问题，从而形成问答对。然而这种方式在处理较长的问答时，仍无法高效且批量生成问答对。为此，在“小之知道”的技术方案中，之江实验室通过本地化部署了一个具有60多亿参数的通用大模型，充分利用其自然语言处理能力，在问答知识库的维护过程中，根据文档内容批量地自动提取问答对，经过人工简单核对后，进行入库，大大提高了问答对的生成能力。此外，通过利用大模型，“小之知道”根据已知问题自动生成相似问题，进一步提升问答对的管理效率。

在开放能力上，之江实验室将“小之知道”的核心接口进行了封装，使得第三方产品根据接口文档可以快速集成“小之知道”能力，赋能第三方产品，提升产品自身的体验，使得“小之知道”的影响力最大化。眼下，“小之知道”智能问答助手数字技术案例已实现产品化，包括用户端（移动端和PC端）、后台管理系统、开放接口，可实现跨项目快速复制、快速部署。目前在之江实验室内部，已经将“小之知道”集成到了多个产品上，用户可以从多个端口对“小之知道”进行访问，比如之江精灵、统一搜索等。

何谓多路召回智能问答？

智能问答、多路召回、大模型……每一个都是当下热词，当这些词语一起汇聚在“小之知道”身上时，又会碰撞出怎样的创新“火花”？

“我们提出了一种多路召回的多场景智能问答方法，可解决智能问答助手在多场景融合的问答场景下，现有技术召回精度低的问题；同时基于多路召回的机制，满足多路模型并发运行的要求，提升运行效率；此外，每类模型还可采用N版设计的思路，进一步提升系统的可靠性。”该技术方案相关负责人介绍道。

具体来说，在实际业务中，当遇到多场景融合的问答场景时，目前主流的方法之一是先针对问题进行分类，判断问题所属场景，然后再进入到具体分类下进行问题检索或者识别指令执行任务，该方法会导致因问题分类出错而出现回答错误或者执行错误的情况。另外一种主流的方法则是按顺序进行检索，这种方法存在效率和召回精度都较低的问题。而“小之知道”所运用的多路召回的多场景智能问答方法和系统，正可直面解决这些难题。

此外，在以往的语义检索技术路线中，最关键的一个环节是需要将问题进行编码，即转换成向量。一般的技术路线是采用通用的预训练模型，然后在GPU上再次训练进行调优，从而更好地满足垂直领域内的语义场景。“小之知道”虽然采用了相同的技术路线，但是在大模型调优的训练过程中，则采用了我国具有完全自主知识产权的国产加速处理器芯片——邃思（DTU，Deep Thinking Unit），具有深刻的技术创新意义。

“智能问答助手目前在各业务领域中都已经有着非常广泛的应用，如今在大模型的加持下，技术路线进一步更新，并且从一定程度上解决了传统智能问答助手中存在的弊端。‘小之知道充分利用了大模型相关技术优势以及所提出的技术发明，在之江实验室的案例中充分体现了其在垂直领域中的推广价值和推广优势。”

（作者单位：之江实验室）