人工智能何以不听人话

马陆亭

岁末年初，ChatGPT横空出世，这是继2016年AlphaGo战胜人类顶级棋手后人工智能技术再次带给世界的惊喜。与AlphaGo的观摩效应不同，ChatGPT能够给使用者以沉浸式体验，这无疑增强了人们的参与感和娱乐感。科技正在改变世界，新一轮科技革命正在以人工智能为牵引性技术展开。

从概念内涵看，人工智能是指被人设计出来的智能机器或新的智能体（Intelligent Agents），它能够感知环境，思考并采取行动使成功机会最大化。人工智能技术会给人带来许多便利，也将给未来带来巨大的发展空间。

从前期实践看，它主要沿着两大学科路径集聚发展要素：一是计算机学科——包括芯片、算法、大数据、数据标识，典型例子即AlphaGo，在有明确边界的场景机器已完胜；二是自动控制学科——涵盖信号、识别、传感、反馈系统，典型例子是智能汽车，但因其驾驶环境的复杂性目前仍处于实验阶段。当然，最终相关学科会走向融合，包括数学、哲学、脑科学、神经學科等，使算法、数据、逻辑、控制、伦理紧密地结合在一起，形成关键算力，促进智能体在边界突破、多场景应用中的思考能力不断增强。

从发展阶段看，在一个场景下的人工智能为弱人工智能。因此，边界明确的智能应用属于弱人工智能，而突破边界的应用则需要得到强人工智能的支撑。世界才刚刚开启人工智能的进程，目前尚处于弱人工智能阶段。

人工智能就是被用以超越人类的，所谓智能就是使机器具备像人类思维一样的生成式学习能力。AlphaGo的边界在棋盘内，它依据海量棋谱和算法生成对抗网络实现自动对弈，运算速度大大超越人类。ChatGPT的数据边界虽在不断扩展，但其数据搜寻、逻辑推理和归纳整理能力极强、速度极快。

当然，人工智能从本质上讲仍是机器，底层是遵循二进位制的与非门，算法由人设计，所以理论上讲能够可控。但是，确也存在着失控因素，分主客观两个方面：主观因素可以通过制度规范和算法完善改进，如科技伦理失范与智能片面信息推送等问题的解决；而那些由客观原因造成的失控，则不易弥补，多与数据边界突破有关。

其一，数据良莠不齐失控。火爆出圈的ChatGPT很直接地把这个问题带出——它对有大数据支撑的通用问题回答得很有条理，而对于数据支撑不足的个性问题就一本正经地编瞎话了。大数据的质量是人工智能应用的基础，数据不足或不好会产生数据识别问题。ChatGPT不能辨真伪，致使人机对话过程产生海量貌似真实的虚假信息，由此导致的失控将形成对知识体系的挑战。

其二，软硬件损伤失控。任何机器都有坏的时候，人工智能作为工程产品有一个可靠性问题。例如：智能汽车面对着极其复杂的外部环境，数据边界随时会被打破，所以在实验室、特定地段或者轨道交通中易于实现，而在现实路况中很难得到实际应用，即使整个系统万无一失但只要出现机器故障也足以导致车毁人亡。

其三，系统关联作用失控。单一算法当然能够可控，但复杂系统会产生设计者尚未认识到的潜在联系，即多个算法的交互作用。如果有一天，当某些算法突然自发地产生了联系，从而触发了一些指令，那么机器人甚至某个系统不听人话的事情就会真正发生。人当然能够解决这些问题，但灾难已经降临，情况严重的话甚至不给人类解决问题的机会。这是真正的强人工智能所必须面对的问题，需要加强“防火墙”建设。

新一代人工智能正在引领社会和教育变革，谈问题不是要因噎废食，而是为了实现健康发展，要从技术、伦理、规则、制度、法律层面推进和完善。

[责任编辑：于 洋]