欢迎来到本周的编程训练。到目前为止，你已经经常使用numpy来组建神经网络。现在，我们将通过一个深度学习框架来让你更简单的创建一个深度网络。像Tensorflow、PaddlePaddle、Torch、Caffe、Keras等其它的机器学习网络能够显著加速你的机器学习速度。所有的这些模型都有许多你可以免费阅读的文档。在本次作业中，你将要在TensorFlow中学会以下内容： （1）初始化变量 （2）开始你自己的session （3）训练算法 （4）执行一个神经网络 编程不仅能够缩短你的编程时间，而且有时候能加速你代…

1. Mini-batch 梯度下降法 对整个训练集进行梯度下降法的时候，我们必须处理整个训练数据集，然后才能进行一步梯度下降，即每一步梯度下降法需要对整个训练集进行一次处理，如果训练数据集很大的时候，处理速度就会非常慢。如果我们每次训练的时候只训练一小部分，则我们的算法速度会执行的更快。而处理的这些一小部分训练子集即称为Mini-batch。 整个算法的过程如图所示： 图1 接下来对不同size情况下性能进行比较： （1）batch梯度下降：  ·    &nbs…

改善深层神经网络：超参数调试、正则化以及优化 第一节 训练、验证、测试集 对于数据，我们可以划分为以下3类： （1）训练集（Train Set），顾名思义，用来训练模型的数据。 （2）交叉检验集(hold-out cross validation set)，选出最好的模型。 （3）测试集，最后利用测试集对模型进行测试，获取模型运行的无偏估计。 一般情况下，要求交叉检验集和测试集越小越好（当然在数据较小的时候可以采用7/2/1的比例）。 验证集的目的是为了验证不同的算法哪种更加有效，所以验证集只要足够大能够验证大约2…