神经网络的样子

两层神经网络，第一层，多个w,b 参数，得到了多个 a，第二层，多个a作为训练集，得到了z.

        m个样本，两层节点

红圈代表向量话代码：正向传播。两层神经网络

z[1]=w[1]x+b[1]

A[1]=sigmoid(z[1])

z[2]=w[2]A[1]+b[2]

A[1]=sigmoid(Z[2])

二：激活函数的选择：

(1) sigmoid(z) =1/(!+exp(-z))                  

除非是二分类函数，否则绝不要使用。  （这种情况，Y^就是应该介于0~1）。可以，隐藏层用tanh，输出层用sigmoid

g(z)' =da(1-a)

(2) tanh(z)  = (exp(z)-exp(-z))/exp(z)+exp(-z)  

dg/dz = 1- a^2

范围是[-1 , 1]这个函数平均值更接近于0，能让下一层的学习方便些。各个场合都比sigmoid更优秀

以上两个函数，当z的值很大时，斜率接近于0.学习速度会很慢。

(3)  Relu a = max(0, z)    

z > 0，斜率为1，z < 0。斜率为0

缺点是，z= 0 导数没有定义，实际上可以直接给他赋值0或1。另外，z<0。导数为0.但实际操作不需要担心这个

如果做二分类，可以隐藏层用Relu，输出层用sigmoid（）

(4) Leak Relu =max(0.01z , z)

以上的线性激活函数，用多少次，其实也是没用的，和逻辑回归是一样的。必须使用非线性激活函数tanh ，或者ReLU

L

浅层神经网络实现：

1、正向传播：

2、反响传播：keepdim =true 防止db的秩变为1

反向传播式子推导：