深度学习的发展脉络和方向

深度学习是人工智能发展的主要驱动力，没有深度学习就没有今天的人工智能。

今天的人工智能能够取得如此辉煌的进步，在很大程度上要归功于深度学习的提升。也可以说，没有深度学习就没有今天的人工智能。从发展的历程来看，深度学习的进步轨迹几乎是信息领域进步的缩影。但是，深度学习算法也带来了一些考验人类社会的问题，比如人工智能的可解释性。未来几年，深度学习领域的重要发展方向是可解释性，这也是捆绑在人工智能领域的一道“枷锁”，需要高级的深度学习来解答。

过去：从猫到“狗”

1981年10月17日，在瑞典斯德哥摩尔举行的诺贝尔奖授奖大会上，美国加利福尼亚理工学院心理生物学教授斯佩里（Roger W. Sperry）和哈佛医学院神经生物学教授哈贝尔（David H. Hubel）、韦塞尔（Torsten N. Wiesel）分享了1981年诺贝尔生理学或医学奖。斯佩里因证明大脑两半球的高度专门化以及许多较高级的功能集中在右半球而获奖，哈贝尔和韦塞尔因研究视觉系统的信息处理方面有所发现而获奖。

哈贝尔和韦塞尔的获奖要归功于“喵星人”。研究从1958年开始，他们在猫的后脑头骨上开了一个小洞，向洞里插入电极，测量神经元的活跃程度，从而发现了一种神经元细胞——方向选择性细胞，即后脑皮层的不同视觉神经元与瞳孔所受刺激之间确实存在某种对应关系。这一重要发现激活了一度沉寂的神经网络研究。但是，人们不得不面对这样的现实：神经网络相关运算中耗费的运算量与神经元数目的平方成正比。基于硬件基础，那时人们普遍认为潜在的庞大计算量几乎是无法实现的。

计算能力成了拦路虎，人们探寻真理的脚步却一刻没有停歇。同样是1981年，IBM公司首次在PC机中应用了8088芯片，开创了全新的微机时代。1985年，英特尔公司推出了32位微处理器，而且制造工艺有了很大的进步。许多人对286、386、486机器还存有记忆，人类的计算能力伴随着摩尔定律在大踏步前进。关于神经网络的算法也有了新的突破。1986年，加拿大多伦多大学教授欣顿（Geoffery Hinton）和美国斯坦福大学教授罗姆哈特（David Rumelhart）等人提出了反向传播（backpropagation，BP）算法，解决了两层神经网络所需要的复杂计算量问题，大大减少了原来预计的运算量。20世纪80年代末到90年代初，共享存储器方式的大规模并行计算机又获得了新的发展。1993年，美国克雷（Cray）公司成功研制了第一台具有标志性的大规模并行计算机。我国的银河系列并行计算机在国际上也独树一帜。进入21世纪，大规模并行计算机蓬勃发展，逐渐成为国际上高性能计算机的主流。

伴随着计算处理能力的提升，深度学习有了较快的发展，从结构上分为生成型深度结构、判别型深度结构、混合型深度结构3类。1989年，加拿大多伦多大学教授乐昆（Yann LeCun）和他的同事提出了卷积神经网络，这是一种包含卷积层的深度神经网络模型，较早尝试深度学习对图像的处理。2012年，欣顿构建深度神经网络，在图像识别问题上取得质的提升和突破。百度公司将相关最新技术成功应用到人脸识别和自然图像识别问题，并推出相应的产品。同样是从2012年起，人们逐渐熟悉谷歌大脑（Google Brain）团队。2015年至2017年初，谷歌公司的人工智能团队DeepMind所创造的阿尔法狗（AlphaGo）相继战胜了人类职业围棋选手，这只“狗”引起世界的关注，人类围棋大师们陷入沉思。

深度学习当前的能力范围

现在：深度学习有多深

以使用决策树、推导逻辑规划、聚类、贝叶斯网络等传统算法对结构化的数据进行分析为基础，对真实世界中的事件做出决策和预测，通常被称为机器学习。例如，无人驾驶汽车识别交通标志，这种机器视觉就是典型的机器学习。但是，在特定的天气条件下，算法不灵，机器学习就有了局限。

深度学习在机器学习的基础上又前进了一步。同样是从数据中提取知识来解决和分析问题，深度学习使用的是人工神经网络算法，允许发现中间表示来扩展标准机器学习。这些中间表示能够解决更复杂的问题，并且以更高的精度、更少的观察和更简便的手动调谐，潜在地解决其他问题。最常见的深度学习类型是前馈深层神经网络（DNN），其使用大量的互连处理单元层从原始输入数据中“发现”适当的中间表示。DNN提供了一个强大的框架，可应用于各种业务问题。例如，DNN可以分析视网膜扫描以“辨识”哪些模式指示健康或患病视网膜（并指示特定疾病）。“辨识”过程依赖于强力的高性能计算。

根据高德纳咨询公司的相关资料可以看出，深度学习已经在图像识别、机器翻译、语音识别、欺诈检测、产品推荐等方面得到应用。高德纳咨询公司估计，从初创公司到技术巨头，全球有2 000多家供应商正在推出深度学习相关产品。但是，当前的深度学习仍有一定的局限。

第一，深度学习技术是启发式的。深度学习能否解决一个给定的问题还暂无定论，因为目前还没有数学理论可以表明一个“足够好”的深度学习解决方案是存在的。该技术是启发式的，工作即代表有效。

第二，深度学习技术是不可预期的。深度学习涉及隐藏层，在许多情况下，即使是权威科学家也不能解释这些层面发生了什么，这样的“黑盒子”甚至会破坏合规性，对传统道德层面形成挑战。

第三，深度学习系统化运用不成熟。目前，没有适合所有行业且通用的深度学习，企业想要创建自己的解决方案就必须混合和匹配可用的工具，并能够与更新迭代的软件相互兼容。

第四，部分错误的结果造成不良影响。深度学习目前不能以100%精度解决问题。深度学习延续了较浅层机器学习的大多数风险和陷阱。

第五，学习速度不尽如人意。一个2岁的孩子可以在被告知几次后识别大象，而深度学习系统可能需要成千上万的例子，并且“看”这些例子数十万次或数百万次才能成功。

近几年来，人工智能领域又迎来了一次飞跃，深度学习在图像识别、语音识别等领域都得到落地和应用，涌现出了依图、商汤、寒武纪等人工智能企业。但是，深度学习的瓶颈依旧困扰着产学研。首先是数据瓶颈，几乎所有的深度神经网络都需要大量数据作为训练样本，而在医疗、无人驾驶等领域，因无法获取大量的标注数据，深度学习无法展开。虽然谷歌等互联网巨头开始研发人造数据技术，但是真正的效果还有待评估。其次是认知瓶颈，这是由深度学习的特性决定。深度学习对感知型任务支持较好，而对认知型任务支持的层次较低，无法形成理解、直觉、顿悟和自我意识的能力。科学家推断，可能是这一切源于人类知识认识的局限，而深度学习在某些方面已经超越了人类的认知能力和认知范围。

未来：深度学习走向何方

深度学习是人工智能发展的主要驱动力。目前，深度学习主要是在弱人工智能的发展中产生重要作用，尤其是特定的行业应用，如图像识别、自动驾驶和机器翻译等。但是，要支撑和实现与人脑类似的强人工智能，美国白宫科技政策办公室认为至少在几十年内无法实现。那么，对深度学习来说，未来有哪些发展的可能？科学家正在努力研究什么？答案可能有以下几个方面。

● 突破常识知识表示和学习的认知智能

突破知识表示和学习的认知智能或许可以在一定程度上缓解一些瓶颈。首先，知识是人类通过大量生活中的数据总结出的一些规律，知识可以弥补数据的缺失和不足。其次，知识是经过人脑深度加工所形成的，可以支持直觉、顿悟等深度认知任务。此外，知识的离散属性和良好的可读性使其成为天然绝佳的解释性工具。目前，突破常识知识表示和学习的认知智能已经深受各国政府和学术界重视。美国国防部高级研究计划局（DARPA）创建了“机器常识”项目，将探索常识的各种收集方法，以及常识在认知理解、自然语言处理、深度学习等领域的应用。谷歌公司于2012年提出知识图谱计划，拟面向通用领域构建一个庞大的网络图谱来描述世界上实体与实体之间的关系。脸书（Facebook）、微软等公司也相继推出自己的知识图谱计划，基于这些图谱，分别研发基于深度认知的搜索、自然语言问答等应用。

● 突破多模态信息融合的深层次认知理论

表征学习是人工智能实现飞速发展的重要因素。但是，目前的表征学习还集中在单模态数据，构建跨模态表征学习机制是实现新一代人工智能的重要环节。人类的认知能力是建立在视觉、听觉、语言等多种感知通道协同基础上的，这种融合与协同能够有效地避免单一通道的缺陷与错误，从而实现对世界的深层次认知。未来的方向是借鉴生物对客观世界的多通道融合感知背后所蕴藏的信号及信息表达和处理机制，对世界所蕴含的复杂机构进行高效、一致表征，提出对跨越不同媒体类型数据进行泛化分析的基础理论、方法和技术，模拟超越生物的感知能力。

● 研发可解释性等新型智能算法

通过对深度学习模型架构进行理解，以及对深度学习驱动的非凸性问题的局部最优解进行分析，尤其对非凸性问题的目标整体性质进行刻画，实现对深度学习的解释。随后，人们将可解释性建模问题转换为具有混合变量的约束多目标优化问题，设计数据驱动和知识引导的启发式优化求解算法，形成一整套可解释性“白盒”模型构建的理论和方法，设计可解释性建模算法库。

● 量子计算不会影响深度学习

量子计算至少在未来10年内不会影响深度学习。谷歌大脑团队的科学家迪安（Jeff Dean）认为，人的大脑不是量子计算机，量子计算几乎不会对深度学习造成特别明显的影响，特别是在中短期（比如未来10年）内。但是，未来的未来，量子计算是不是能从根本上改变深度学习，这谁也说不准。