研究者提出渗透式人工智能新概念让大语言模型与真实物理世界进行交互

近日，新加坡南洋理工大学博士生、香港科技大学研究助理徐华韬和所在团队，打造了一个名为“渗透式人工智能（Penetrative AI）”的项目。

该项目旨在突破大模型（如ChatGPT）的常规边界，将其应用从仅限于处理文本的任务拓展到更广泛的场景。

本次研究的动机源于：大模型在写作、编程等多个领域取得的巨大成功，它们不仅能够理解人类语言，还能创造出惊人的人类文本。

然而，这些应用大多仍局限于数字世界。通过将来自现实世界的真实数据融合进大模型，课题组希望实现数字智能与现实世界的无缝对接。

研究人员表示，这一探索不仅希望可以拓宽大模型的应用领域，更开辟了一种新的模式，即让人工智能直接与人类周围真实物理世界的感测数据进行交互、解析并作出反应。

这种进步可能会根本性地改变人们在网络物理系统中处理问题和实施自动化的方式，比如大模型能够直接通过手机数据来推断人们的活动与环境情况。

该团队预计“渗透式人工智能”将在众多网络物理系统中发挥重要作用，包括但不限于以下领域：

其对数据的深度洞察和处理，可以显著提升应急响应效率与决策准确性，能对城市管理、紧急救援等提供技术支撑。

那么，徐华韬等人为何开展了这样一项研究？

据介绍，在ChatGPT于2022年底发布并取得显著成功之后，徐华韬的导师李默教授洞察到其可能成为颠覆性技术，2023年春节期间，李默多次鼓励徐华韬等人深入了解并积极使用ChatGPT。受到导师的启发，徐华韬开始深入思考大模型的特性和优势。据介绍，徐华韬的研究主要集中在设计算法处理传感器数据，比如利用手机传感器数据来感知人的行为。

这促使他考虑是否可以借助大模型来解析这些传感器数据。初步的实验验证表明，像ChatGPT这样的大模型，确实能够理解包括无线宽带在内的各种信号。

将这些发现汇报给导师后，后者同样感到兴奋，并认为应该继续深入探索。随后，他们开始探讨大模型是否能够处理更多其他类型的任务，并选择心跳检测作为新尝试。然而，在心跳检测任务中，大模型需要处理长串数字，直接应用大模型并不能取得良好的效果。

后来，徐华韬尝试用传统算法的思维来指导大模型，但是效果乏善可陈，研究因此陷入了僵局。

一次在南洋理工大学校园绿地散步时，徐华韬灵光一闪，开始思考人类是如何完成这类任务的。

他心想：如果面前有一个小孩，该如何指导他完成这项任务？于是，徐华韬开始将大模型视为“人类”，通过文本描述信号模式来辅助其处理信号，最终发现GPT-4能够非常出色地完成这一任务。

研究期间课题组还发现，在两个任务中，大模型处理信号的方式存在不同层次，因此他们总结出了“文本化信号”与“数字化信号”两种层次。

后来， 他们又与美国加利福尼亚大学洛杉矶分校马尼· 斯里瓦斯塔瓦教授课题组合作， 最终完成了本次研究。

此外，研究中徐华韬等人一直在思考如何给本次概念命名。经过多次筛选与考虑，他们最终选择了“渗透式人工智能（PenetrativeAi）”这一名称。

这个名称有双重含义：

一方面，“Penetrative”有“深刻理解”的意思，这意味着他们希望基于大模型的新智能可以深入理解物理世界。

另一方面，“Penetrative”有“渗透”的含义，它也象征着这种新智能能够渗透到各个产业和应用中。

另据悉，渗透式人工智能是一个很广的方向，后续该团队会积极探索大模型在物联网场景下可以支持的新应用，也会尽力普及这一概念，让更多学者一起探索更多的可能性。 （综合整理报道）（策划/克珂）