先天认知与深度学习

“天赋论学说认为，人类思维是与生俱来的思想或知识。在这种理念中，最著名的是柏拉图的形式理论，以及后来的笛卡尔的《沉思录》。目前，这一观点正在获取神经科学方面的证据，以证实我们确实生来就对我们的世界有先天的认识”。

Figure 1: An elder Plato walks alongside Aristotle, The School of Athens, Raphael

然而，“天赋论”学说与“纯粹主义”机器学习方法是相冲突的。在这种“纯粹的”机器学习算法中，算法仅从数据中学习，而无需进行显式编程或配备预编程的计算和逻辑模块。

“思想的实际内容是非常深奥、无比复杂的；我们不应该试图寻找一些简单的方法来思考思想的实际内容，比如用简单的方法来思考空间、物体、多主体或对称性等内容。所有这些都是任意的、内在复杂的外部世界的一部分。它们不是应该被内置的，因为它们的复杂性是无止境的；相反，我们应该只构建那些能够发现和捕获这种任意复杂性的元方法。”

——The Bitter Lesson
Rich Sutton
March 13, 2019

但是，有一种持截然相反观念的思想流派，建议将符号主义人工智能技术与深度学习相结合。

深度学习的未来

纽约大学教授Gary Marcus等人提倡的一种观点认为，深度学习需要与更古老的、象征主义的人工智能技术相结合，以达到人类的智能水平。但是，Hinton并不这么认为。Hinton将此比作使用电动马达却仅仅用来驱动汽油发动机的喷油器，尽管电力更节能。

与此同时，混合模型可能能够会解决深度学习明显的局限性，特别是关于“深度学习目前缺乏一个明确的定义来学习抽象概念的机制，当有成千上万、数百万甚至数十亿的训练实例时，这种方法效果是最好”。

你是否认为我们最好把GOFAI融入深度学习呢？争论仍在激烈进行。

新的神经学证据

在我看来，其实这些讨论最终都归结为一个问题——我们人类是通过经验来学习一切，还是生来就具有某种形式的先天认知?

在《美国国家科学院院刊》（PNAS）上发表的一项研究表示：

“研究发现了一种突触组织原理，它以一种动物间普遍存在的方式将神经元分组，从而独立于个体经验”

——A synaptic organizing principle for cortical neuronal groups
By Rodrigo Perin, Thomas K. Berger, and Henry Markram

这样的集群包含物理世界某些简单工作的内容。

“在动物的新皮层中同时出现的神经元群，或称细胞集合体，本质上是细胞的‘积木’。对许多动物来说，学习、感知和记忆可能是将这些碎片拼凑在一起的结果，而不是形成新的细胞组合。”

——Are We Born With Knowledge?
in Uncategorized

分界线

随着越来越多的神经学证据支持先天认知的存在，用“先天”的计算模块或原语来装备深度学习可能是有意义的。同时，其中的一些原语很有可能将基于那些从GOFAI借鉴或启发的思想。

另一方面，我们很难预测未来的深度学习架构会是什么样子。Yoshua Bengio本人也承认，“在神经网络能够达到人类大脑所拥有的一般智力之前，深度学习的新架构是很需要的。”

在我看来，与诸如神经后端和符号前端（如图2）的清晰并置相反，符号操作很可能会与神经体系结构深度耦合和纠缠在一起。“ 与通用计算机程序相比，它们的模型要比我们当前可区分的层更丰富的基元之上构建，这是我们将如何进行推理和抽象的方法，也是当前模型的基本弱点 ”

Figure 2: Deep Symbolic Reinforcement Learning, the neural back end learns to map raw sensor data into a symbolic representation, which is used by the symbolic front end to learn an effective policy (source)