克服神经网络灾难性遗忘的问题
发布时间：2017-03-21近日，DeepMind 又发布一份新研究（这一方法不同于之前提出的PathNet），宣称实现了神经网络的连续学习（Continual Learning），让计算机程序可以不忘记之前学习过的内容并渐进式地学习新内容，灵感来自于神经科学，涉及到有关哺乳动物和人类大脑巩固之前习得的技能和记忆的理论。这篇论文结合了生物学、突触弹性理论，并讨论了突触不仅存储权重还存储这一权重不确定性的理论。这项研究得到了广泛的关注，比如Bloomberg 的报道写道，这项研究「可能将为能被更轻松地应用于多种任务的人工智能系统开启新的道路，它也应该可以提升人工智能系统在任务之间迁移知识的能力和掌握一系列互相链接的步骤的能力。论文发表在PANS上。
论文摘要：以顺序的方式学习任务的能力对人工智能的开发来说是至关重要的。到目前为止，神经网络都还不具备这种能力，而且人们普遍认为灾难性遗忘（catastrophic forgetting）是连接主义模型（connectionist model）的不可避免 特征。我们的研究表明有可能克服这种限制并训练出能够在很长一段时间里在它们没有经历过的任务上保持专业知识的网络。我们的方法能够选择性地减慢对这些任务而言比较重要的权重的学习速率。通过解决一系列基于手写数字数据集的分类任务和按顺序学习多个Atari 2600 游戏，我们表明我们的方法是可扩展的和有效的。
参考论文：Overcoming catastrophic forgetting in neural networks
发表时间：13.2.2017
来源：机器之心
