未来人工智能自主学习网络的构建

摘 要 我们在摸索人工智能自主学习网络构建方案的最优解过程中，由Norbert Wiener创立的控制论（Cybernetics）意在模仿人类思考过程到Geoffrey Hinton提出人工智能的自主学习应构建在类人神经网络之上再到近年来深度学习（Deep Learning）与强化学习（Reinforcement Learning）的热潮，再到目前人工智能发展进入瓶颈期，于此本论文希望将对人工智能如何在未来实现自主学习网络的构建加以浅析。

【关键词】强化学习 神经网络 深度学习 人工智能 Capsule理论

1 传统人工智能深度学习方式的困局

Frank Rosenblatt在1957年提出最早的神经网络Perceptron开始了人类迈向仿生人类机器智能的第一步，但是其局限在于仅仅拥有两层神经元（一个输入层与一个输出层）同时对于更多神经元的层数的加入及神经网络的训练方法上，此网络难以应用于实际问题中，随后Geoffrey Hinton通过BP（Backpropagation）误差反向算法与最优化方法结合使用来作为训练人工智能的手段，但是BP有一定局限性如学习速度慢且学习过程不稳定，而且容错率低，于是径向基网络：RBF网络应用而生，比起BP的多层单元，RBF将层数降低至3层同时使用了不同的激活函数使得RBF网络具有“局部映射”特性，每个神经元相互影响效应甚微，可以看作由一个个负责不同“职能”的神经元结合在一起，然而RBF网络的缺陷在于其仅仅是一个运算网络的执行者，只能执行命令而自身没有能力去解释该命令背后的逻辑，例如我们现在使用的所谓智能助手，让我们误以为“他们“”具有一定程度人工智能，因为“他们”的回答无不模仿人类的语言构词习惯，但是事实上智能助手更像是一个人类对话交流语言数据提取库，通过大量的归纳重复，选择其中的一些特定语句作为自己的标准答案来应答，并且进行同一问题的连续对话时，标准答案之间可能会毫不相干。我们使“他们”更多执行的是有明确任务趋向的指令式对话，虽然识别成功率很高但是距离其自主学习相距甚远，他们甚至无法学会最简单的“异或”逻辑，正如了解某一件事的名称，并不等同于真正理解它一样，在1997年击败人类国际象棋冠军的IBM的“深蓝”（Deep Blue）与2016年击败人类国际围棋冠军的Deep Mind的AlphaGo，“深蓝”的胜利依靠的是其每秒高达几亿次的暴力运算穷举，可以看作“只知其名”，而后者可以“会其意”但是“不明其理”虽然依靠的是深度学习体系---蒙特卡洛树搜索（Monte Calro Tree Search）与价值网络和策略网络的结合，基于模拟的数百万数千万次自我独立博弈，从中发挥强化学习的最大效力，借由蒙特卡洛树搜索在与动态环境的“交互反馈”中寻求最优解，但是在处理R.Bellman提出的“维数诅咒”即现实世界中，强化学习要纳入数百甚至数千个变量进行考虑，并且强化学习会消耗大量数据同时，自身依靠对于能够进行模拟的案例，成功率更高，进而现实中均陷入一定的困局。

2 未来人工智能神经网络的构建方向

对于机器又是如何完成“自我学习”这件事情，先前的BP类的构架更像是从粗铂金到精铂金的“提纯”，而深度学习与强化学习像是从原矿石中获取铂金，不可避免的是需要大量的原矿石，这是深度学习与强化学习所需要的大量的数据，虽然深度学习与强化学习能够得到很多基于大数据分析得到的“经验公式”，执行“化繁为简”的工作而不能做到“举一反三”等。所以其深度学习模仿人脑行为的程度，只能停留在一个浅薄的层面，虽然不可否认目前深度学习在图像处理，语音、模式识别这些领域仍处于绝对领先的地位，但是这并不是我们认知人工智能自主學习网络的本质，如Geoffrey Hinton所言：目前人工智能局限性的关键在于搭建“一个连接计算机科学和生物学的桥梁”，受大脑皮层中的微柱体（mini-column）的启发，近期他正式在论文中提出了更加成熟的Capsule理论，Capsule称为胶囊，每一个Capsule表示的是它所检测到的类型的一个多维实体的存在和实例化参数，作为一组神经元向量替代现在神经网络的layer中作为简单的标量neuron。Capsule其向量长度表征了某个实例（物体，视觉概念或者它们的一部分）出现的概率其方向（长度无关部分）表征了物体的某些实例的一些客观属性（包括位置、粗糙度、纹理和颜色等等），每一个capsule由对应一个layer中向量neuron构成，其本身可以进行大量运算，多个活跃同一层级预测一致的capsule输出一个经过「squashing」的非线性函数（该非线性函数确保短向量的长度能够缩短到几乎等于零，而长向量的长度压缩到接近但不超过 1 的情况）“压缩”（通过变换矩阵）获得的更高级别的capsule的预测向量，简单的capsule系统已经能在分割重叠数字任务中表现出空前强大的性能，在识别高度重叠数字上比卷积神经网络（CNN）的性能优越很多，更趋近于利用高维度向量neuron来进行多模态机器学习。灵感同样来自于对人类大脑视觉皮层对于物体的轮廓（contour）和表面（surface）的识别思考，递归皮层网络（Recursive Cortical Netowks）的诞生整合了实验神经科学结论的概率生成模型，RCN在多个CAPTCHA数据库中，获得了极佳的成绩（reCAPTCHA：66.6%， BotDetect 64.4%， Yahoo： 57.4%， PayPal： 57.1%），整体上以300倍的数据有效性（data efficiency）将深度学习的卷积网络模型远远甩开。其中，在reCAPTCHA上，对于每个字母，RCN仅使用5个训练样本，而CNN模型达到相似的成绩使用了二百三十万个训练样本。此外，RCN在多个任务（如单样本和小样本识别、手写数字生成等）中，均取得了优异的结果，RCN进一步融合了系统神经科学（systems neuroscience）研究的启发，特别是视皮层中的侧连接把物体表示为边缘和面的组合，生成式组成模型的进步，此外，RCN还可以将中低层的语义表达“具体图形化”的基本概念单元通过侧向连接来分享给不同高层语义，并且可以被不同的物体边缘轮廓所共有，大大提高了算法的高效性，算法的可解释性为其铺平道路，更是实现了某种意义上的“举一反三”。

3 综述

Capsule理论的提出和RCN的不谋而合之处在于将人工智能的发展蓝图寄希望于对人类自我大脑的认知能力的深度模仿，不是源于无数次的“归纳总结”无论是高维度的模拟还是由对人类大脑皮层识别算法的解析，或许未来人工智能自主学习网络构建的“第一性原理”基于大脑的深度解读。

作者简介

董鑫（1999-），男，河北省张家口市下花园区人。河北省张家口市宣化第一中学学生。

作者单位

张家口市宣化第一中学 河北省张家口市 075100