机器人“失控”怎么办

闫夏卿

人工智能（AI）领域近期的两个信息颇为引人关注：一是脸书关闭其对话机器人项目，坊间传闻是因为AI的语言逻辑失控；另外一个是国内的两款聊天机器人在回答一些涉及政治的问题时给出了“不正确”的答案。

由于业务范围不同，笔者对于基于深度学习的语义AI的基本原理细节了解不多。不过，所有基于深度学习的人工智能，实际上都可抽象为目标分割及基于海量数据的训练，区别在于不同领域目标分割的策略和算法不同，海量数据的训练和比对的逻辑也不同。笔者熟悉的安防领域的车牌识别，就是先切分成单个字符，然后通过数据训练识别出是什么字符；而人脸识别则先是在一幅图片中识别，分割出人脸的部分，再利用数据训练比对出目标是谁。

虽然算法逻辑各不相同，但总体来看，基于深度学习的算法有一个共通点，即程序的设计者也无法确知这种经由海量数据反复训练和迭代带来的结果是什么。因此在某种意义上，带有这种特征的AI的“行为”变得不可准确预测，这在一些人机交互相关的AI领域引发恐慌。不少人认为，这标志着这些AI开始具备某种程度上的“自主意识”，从而开始威胁人类的地位。

实际上，从基本原理的角度讲，这距离自主意识还相去甚远。AI的原生逻辑与规则能力还非常原始，更多的是通过数据量的优势，依靠强大的计算来增强结果获取的能力。举个形象的例子，比如很流行的用计算机写诗或者写歌的程序，其实是在大量人类已有诗句的基础上，基于某种策略衡量标准的组合，而不是像王维杜牧写诗时，用文字去映射所要表达的感情。从这个意义上讲，最优秀的语义AI，也依然是人类已有信息和逻辑的衍生物，而不是突破者。

但有一点值得去推演。机器拥有同时掌控大量数据和信息的能力，而人类在这方面逊色太多了。这种差异与某种程度上的“可能突变”有多少内在的因果关系，或许人类自己也回答不了。于是才会有霍金和马斯克的忧虑，才会有大家对上述事件的猜想与解读。

盲目的担忧无济于事，神秘主义的放任也是不对的。从整体上说，AI领域需要有架构设计来规避未知的风险。通过某种方式隔离运算与策略部分和动作执行部分，确保做推断和决策的AI部分不能直接进行动作操作，这在一定程度上可以降低风险。比如对于对话机器人的某些答案要设置过滤策略，以降低其太过离谱的可能。科幻电影中那种人形、活蹦乱跳的AI其实并非主体形式，目前大部分的AI其实是一堆数据线连起来的机器阵列而已。所以人类才会保留最终的“拔电权”。这当然太过简单粗暴。人类社会需要的是一个能够跟得上AI发展与迭代速度的学科分支，专门研究约束AI风险的架构和技术。▲

（作者是浙江宇视科技副总裁）