Deepmind "预测地图"论文：神经科学或将助力AI迎来新突破

    2017年10月2日，NATURE NEUROSCIENCE发表了Deepmind的一篇《The hippocampus as a predictive map》的论文。这篇论文中，Deepmind通过对主管人类长期记忆行为的“海马体”（hippocampus）神经元活动的研究，进一步提出了可以转化为神经网络架构的“预测图”理论。

    在博客中，Deepmind这样写到：

    “传统观点认为海马体只表示动物的现状，尤其在执行走迷宫之类的空间任务中。这种观点在发现啮齿动物的海马体中的“位置细胞”后被广泛传播，当动物处于特定位置时，它们会选择性地放电。虽然这个理论解释了许多神经生理学发现，但并不完全解释为什么海马体也参与其他功能，包括记忆，关系推理和决策等。

    我们认为，海马体用它们预测到的未来状态来展示代表每一种情况。例如，如果你要下班回家（你当前的状态），你的海马体可能会预测你很可能很快会通勤回家，到学校接孩子，或者更长远一点——到家了。海马体预测这些后期状态来表现出当前的状态，从而传达了对未来事件的摘要表达，也就是我们正式说的“后续表征”（Sucessor Representation）。我们认为，这种具体形式的预测图可以让大脑在奖励不断变化的环境中快速适应，而无需运行代价昂贵的未来模拟。

    这一理论启发我们在新算法中结合了基于模型的算法的灵活性和无模型算法中的高效性，由于计算只是简单的加权相加，因此该算法的计算效率与无模型算法相当，同时，通过分离奖励期望与期望状态（预测地图），该算法可以通过简单的更新奖励期望值并保持状态期望值不变，从而快速适应奖励变化。”

（老鼠在探索方形房间时记录下来的海马体每个位置细胞的活动及放电率的变化）

    这并不是Deepmind的第一篇神经科学用于人工智能的论文，在此之前Deepmind就表过至少两篇创始人Hassabis为作者的神经科学论文（参见AI科技评论之前文章：《DeepMind眼中的神经科学研究：人工智能进步的另一个重要支点》），这篇文章作者中虽然不包括Hassabis，但相对于前两篇论文更加具体，对未来的研究也更具有指导意义。

    随着深度学习和神经科学的发展，之前对深度学习的一些基础理论也在面临着更新。例如在深度学习领域，神经元是最底层的单元；而在神经科学领域，神经元并不是最底层的单位。目前的深度神经网络主要是三种结构，即DNN（全连接的）、CNN（卷积）和RNN（循环），而目前的研究表明，人类神经网络可能比较类似上述三种结构的组合，层内更像DNN， 层间和CNN 很类似，在时间上展开就是RNN。这种结构上的差异也导致了深度学习研究的复杂性。

图片来源：Neocortical layer 6, a review & 知乎

    深度学习正在面临一个拐点——一方面，基于我们最初基于人脑结构认识的理论研究已经到了一个平台期，而另一方面，如Hinton等最尖端的深度学习专家也在借助神经科学的最新发现，对之前对提出的理论进行反思，这也是近日Hinton就提出“深度学习需要推倒重来”，并表示可能要彻底放弃反向传播的由来（参见AI科技评论文章：《Geffory Hinton：深度学习进入平台期？不，深度学习需要的是“推倒重来”》）。

    在与OReilly的一次访谈中，Hinton曾经承认我们对人类神经系统的了解并不足够。“我们真不知道为什么神经元要发脉冲。一个理论是它们想要噪声，以便正则化，因为我们的参数超过数据量。”Hinton在访谈中说道。“这个理论已经出现有50多年了，但没人知道它是否正确。”

    神经科学和对人脑的模仿在人工智能中曾经起着重要的作用，而对于模仿人类大脑，是否能制造出最强大的人工智能，在不同人工智能学家眼里可能会有不同的答案。一个时常被提起的例子是，我们之所以能造出飞机，是因为空气动力学的发展而并非模仿鸟类飞行的动作，但AI科技评论认为，这种从仿生到理论的循环可能是一种螺旋式的上升过程，新的神经系统发现和研究可能会推翻之前的人工智能经典理论，并随之模拟出新的人工智能网络和产生新的理论，从而推动人工智能的研究突破瓶颈得到进一步发展。

摘编自：人工智能学家