一、对于神经网络中深度学习的介绍

在学习系统中哪些可修改元素应该对其成功或者失败负责？是什么改变了它们来提高了表现？这一切被称为“基本信用分配问题”。通用问题解决者有一般的信用分配方法，这些方法在各种理论意义上是时间最优的。然而，当前的调查主要关注人工神经网络中较窄，但是在商业上非常重要的深度学习的子领域上。我们对神经网络中通过可能的许多计算计算阶段的精确信用分配感兴趣。

浅层学习模型已经存在了大约几十年。具有几个连续非线性神经元层的模型可以追溯到至少20世纪60年代、70年代。在此时，有人提出了一种在离散、可微分的任意深度网络（称为“反向传播”）中基于教学的监督学习的有效梯度下降算法，并且这一方法在1981年被应用到了神经网络。

无论是前馈神经网络（FNNs，非循环）还是递归神经网络（RNNs，循环）都广受欢迎。在某种程度上来说，RNNs是所有神经网络中深度最深的——他们是通用计算机但却比FNNs更为强大，并且它可以原则上创建和处理输入模型的任意序列的记忆。不像传统自动顺序程序综合方法，RNNs可以以一种自然而有效的方式学习混合顺序和并行信息处理的程序，利用大量的并行性被认为是在维持过去75年来观察到的计算成本快速下降的关键。