1. Mini-batch 梯度下降法 对整个训练集进行梯度下降法的时候，我们必须处理整个训练数据集，然后才能进行一步梯度下降，即每一步梯度下降法需要对整个训练集进行一次处理，如果训练数据集很大的时候，处理速度就会非常慢。如果我们每次训练的时候只训练一小部分，则我们的算法速度会执行的更快。而处理的这些一小部分训练子集即称为Mini-batch。 整个算法的过程如图所示： 图1 接下来对不同size情况下性能进行比较： （1）batch梯度下降：  ·    &nbs…

优化方法 直到现在，你已经能够经常使用梯度下降来更新你的参数和最小化代价。在本次作业中，你将学到更多优秀的优化方法以来加速学习速度，并且可能最后得到一个更好的代价函数的最终结果。拥有一个好的优化算法要比等待数日或数小时来得到一个好结果更有意义。 梯度下降就像是一个代价函数J下山一般。 为了能够开始本作业，首先当然是载入所用到的包。 import numpy as np import matplotlib.pyplot as plt import …

梯度检验 欢迎来到本周的最后作业！ 在这个任务中，您将学习实现并使用梯度检验。 您是全球范围内开展移动支付的团队的一部分，并被要求建立一个深度学习模式来检测欺诈行为 - 每当有人付款时，您想要查看付款是否有欺诈行为，例如用户 帐户已被黑客占用。 但是反向传播实施起来相当具有挑战性，有时会有错误。 因为这是关键任务应用程序，所以贵公司的首席执行官要真正确定您的反向传播实施是正确的。 你的首席执行官说：“给我一个证明你的反向传播实际上是有效的！” 为了让这个保证，你将使用“梯度检验”。 我们开始做吧！ 首先依旧是导入所…

正则化 Let's first import the packages you are going to use. # import packages import numpy as np import matplotlib.pyplot as plt from reg_utils import sigmoid, relu, plot_decision_boundary from…

初始化 欢迎来到“改进深度网络”课程作业的第一周第一部分。 训练你自己的深度网络需要指定权重的初始值，精心挑选的初始化方法将有助于学习的进度。 如果你完成了之前的课程，你可以按照我们的指导进行权重初始化，并且现在已经完成了。但是，你如何对一个新的神经网络进行初始化？在本次作业，你会看到不同的初始化会带来不同的结果。 一个良好的初始化能够： l  加速梯度收敛 l  增加梯度下降收敛到较低的训练（和泛化）错误的几率 为了开始本作业，请运行下面的单元格来加载用来尝试分类的packages和plana…

改善深层神经网络：超参数调试、正则化以及优化 第一节 训练、验证、测试集 对于数据，我们可以划分为以下3类： （1）训练集（Train Set），顾名思义，用来训练模型的数据。 （2）交叉检验集(hold-out cross validation set)，选出最好的模型。 （3）测试集，最后利用测试集对模型进行测试，获取模型运行的无偏估计。 一般情况下，要求交叉检验集和测试集越小越好（当然在数据较小的时候可以采用7/2/1的比例）。 验证集的目的是为了验证不同的算法哪种更加有效，所以验证集只要足够大能够验证大约2…

个人翻译，水平有限，仅供参考。 摘要 我们展示了Deep Voice，一个完全由深度神经网络构建的生产质量的文本到语音系统。 Deep Voice为真正的端到端神经语音合成奠定了基础。该系统包括五个主要构件：用于定位音素边界的分段模型，字形到音素转换模型，音素持续时间预测模型，基频预测模型和音频合成模型。对于分割模型，我们提出了一种使用连接主义时间分类（CTC）丢失的深度神经网络进行音素边界检测的新方法。对于音频合成模型，我们实现了WaveNet的一个变体，它需要更少的参数，并且训练速度比原来的要快。通过对每个组件…