第三周：序列模型和注意力机制 3.1 基础模型 1.序列到序列模型 【参考文献：Sutskever et. al., 2014. Sequence to sequence learning with neural networks, Cho et. al., 2014. Learning phrase representations using RNN encoder-decoder for statistical machine translation】 如图1所示，那么怎样训练处一个网络来输入序列x和输出序列y…

Project 5 Week3 自然语言处理与词汇嵌入 1 词汇表征 1. One-hot表征 one-hot表征的方式是对模型字典中的单词进行表征，对应单词的位置用1表示，其余位置用0表示，如图1所示：   图1 这种方法是存在缺点的，它将每个词孤立起来，使得模型对相关词的泛化能力不强，每个词向量之间的距离都一样，乘积均为0，所以无法获取词与词之间的相似性和关联性。 2.特征表征：词嵌入 这种方法是用不同的特征来对词汇进行表示，不同的单词在不同的特征下都有不同的取值，取值可以表示该词汇在该特征下的相似度…

序列模型 1. Why sequence models? 在实际的生活中，很多东西都是序列信号，例如语音信号、音乐产生、情感分类、DNA序列分析等，这些虽然可以使用一般神经网络去完成，但就如同图像识别一样，那样去做太过于复杂，因此在这里引入了循环神经网络（RNN）。 2. Notation x：代表输入的语句，例如：Harry Potter and Herminone Granger invented a new spell.并且使用x<t>代表本句中第t个单词。 y：代表输出结果。例如上句中对人名进行…

特殊应用：人脸识别和神经风格迁移 1.人脸识别（Face Recognition） 人脸识别包括两个部分： （1）验证（Verification） 输入图像，名字/ID；输出所输入的图像是不是所要验证的那个人。 （2）识别（Recognition） l  拥有K个人的数据库。 l  得到一个输入图像。 l  如果输入图像是这K个人之一，输出ID；否则的话，输出“未识别”。 人脸识别问题相对于人脸验证来说具有更高难度。对于一个验证系统来说，如果拥有99%的精确度，则这个系统已经有很高的精…

卷积神经网络 — 目标检测 1. 目标定位&特征点检测-目标检测 图片检测的三个问题： （1）分类问题：区分图片是汽车亦或是其它； （2）目标定位：判断是否是汽车并确定其位置； （3）目标检测：源图中有多个不同的物体，分析确定该物体是什么并确定位置。 （1）目标分类与定位 如图1所示。Softmax后面可以有多个输出，其输出结果是各项目标的可能性。 定位最关键的就是输出图中红圈的中心点的坐标（bx,by），然后就是它的宽bw和高bh。通常以图片的左上角坐标为(0,0)，右下角为(1,1)。 图1 …

卷积神经网络 — 深度卷积模型 1. 经典的卷积网络 本节，吴恩达教授介绍了几种经典的神经网络模型，分别是LeNet、AlexNet、VGGNet，并且提到了后面要介绍的ResNet（残差网络）和Google的Inception。接下来对本节介绍的网络分别做一个简单的介绍。 （1）LeNet-5： 如图1 所示。LeNet-5主要针对灰度设计，所以其输入尺寸比较小，大小为32×32×1（灰度图像没有三维的RGB）。 图1 从图中可以看出，在LeNet的经典模式中：随着网络深度增加，图像的大小在缩小，但是通…

卷积神经网络 — 卷积神经网络基础 本部分整理了吴恩达课程学习笔记，但是并没有完全按照课程顺序，而是做了一些调序和删减。 1.边缘检测 卷积神经网络之所以叫卷积神经网络，是因为它包含有卷积操作。下面是在利用卷积实现边缘检测的过程： 边缘检测包括水平检测和垂直检测等多种类型，如上图所示。 ①垂直边缘检测： 为了方便描述，在这里用灰度图像来表示，即是一个height×width的矩阵。课程里采用的是一个6×6的图片，以及一个3×3的filter（即卷积核）进行卷积运算。如图所示： 其实，其计算过程是非常容易理…