第三周：序列模型和注意力机制 3.1 基础模型 1.序列到序列模型 【参考文献：Sutskever et. al., 2014. Sequence to sequence learning with neural networks, Cho…

Project 5 Week3 自然语言处理与词汇嵌入 1 词汇表征 1. One-hot表征 one-hot表征的方式是对模型字典中的单词进行表征，对应单词的位置用1表示，其余位置用0表示，如图1所示：   图1 这种方法是存在…

序列模型 1. Why sequence models? 在实际的生活中，很多东西都是序列信号，例如语音信号、音乐产生、情感分类、DNA序列分析等，这些虽然可以使用一般神经网络去完成，但就如同图像识别一样，那样去做太过于复杂，因此在这里引入…

特殊应用：人脸识别和神经风格迁移 1.人脸识别（Face Recognition） 人脸识别包括两个部分： （1）验证（Verification） 输入图像，名字/ID；输出所输入的图像是不是所要验证的那个人。 （2）识别（Recognit…

卷积神经网络 — 目标检测 1. 目标定位&特征点检测-目标检测 图片检测的三个问题： （1）分类问题：区分图片是汽车亦或是其它； （2）目标定位：判断是否是汽车并确定其位置； （3）目标检测：源图中有多个不同的物体，分析…

卷积神经网络 — 深度卷积模型 1. 经典的卷积网络 本节，吴恩达教授介绍了几种经典的神经网络模型，分别是LeNet、AlexNet、VGGNet，并且提到了后面要介绍的ResNet（残差网络）和Google的Inception。…

卷积神经网络 — 卷积神经网络基础 本部分整理了吴恩达课程学习笔记，但是并没有完全按照课程顺序，而是做了一些调序和删减。 1.边缘检测 卷积神经网络之所以叫卷积神经网络，是因为它包含有卷积操作。下面是在利用卷积实现边缘检测的过程：…

欢迎来到本周的编程训练。到目前为止，你已经经常使用numpy来组建神经网络。现在，我们将通过一个深度学习框架来让你更简单的创建一个深度网络。像Tensorflow、PaddlePaddle、Torch、Caffe、Keras等其它的机器学习…

1. Mini-batch 梯度下降法 对整个训练集进行梯度下降法的时候，我们必须处理整个训练数据集，然后才能进行一步梯度下降，即每一步梯度下降法需要对整个训练集进行一次处理，如果训练数据集很大的时候，处理速度就会非常慢。如果我们每次训练的…