训练神经网络:

  1. 参数的随机初始化(吴恩达课程9.6节内容)

  2. 利用正向传播算法计算所有的h(x)(即隐藏层等)

  3. 编写计算代价函数J的代码(9.1节)

  4. 利用反向传播算法计算所有的偏导数(9.2节,9.3节)

  5. 利用数值检验方法检验这些偏导数(例如梯度检验法,9.5节)

  6. 使用优化算法来最小化代价函数(例如梯度下降等算法,与反向传播算法相结合来处理)