在初识神经网络（初识卷积神经网络CNN）篇，对卷积神经网络有了基本的认识。

不过也可以发现一个问题，输入是一张Image，图像信息是确定的；而CNN网络里面也有数据，那这些数据是哪来的？

总不能是随便一个数放在CNN网络里，它就可以正常识别；

想要CNN网络进行正确的识别工作，CNN网络中的数据（weights）是需要事先训练的；那怎么训练这些数据，才能让CNN网络正常工作呢？

这里举一个简单的神经网络进行说明如何训练CNN网络中的数据（weights）：

1 定义基础的神经网络模型：

下图是一个简单的神经网络模型：

该神经网络由两个Fully-connected layers组成：

第一层Fully-connected layer，有两个kernels，第二层Fully-connected layer也是两个kernels。

该神经网络的输入：

是由两个数据组成的Ifmap（Input Feature Map）

将此Ifmap输入到该神经网络中，得到最后的输出类目：o1和o2

Ifmap—>神经网络—>o1,o2

2 初始化该神经网络

想要这个神经网络跑起来，我们有输入的Ifmap数据，但是我们缺少神经网络中神经元的信息；神经网络没有数据信息，首先我们要进行初始化

给该神经网络中的4个kernels初始化；由于是全连接层神经网络，该4个kernels的大小均为2*1*1，即2*1*1*4=8个数据

给4个kernels一个偏置参数bias

给这8+4=12个数据一个随机化的数字，初始化该神经网络

3进行前向推理

有了Ifmap，有了神经网络数据（weights+bias），此时我们就可以进行前向推理：

3.1 第一层：

第一个Fully-connected layer的输入Ifmap数据就是（0.05， 0.10）

第一个kernel（w1=0.15,w2=0.20）的输出h1，就是：

 

同理，第二个kernel（w3=0.25,w4=0.30）的输出h2，就是:

 

给第一层Fully-connected layer加上一个Activation Function（Sigmoid）:

输出h1，h2，就变成：

 

3.2 第二层：

此时，喂给第二个Fully-connected layer的数据就是 (0.59327 , 0.59688)

第二层第一个kernel（w5=0.40,w6=0.45）的输出o1，就是：

 

同理，第二层第二个kernel（w7=0.50,w8=0.55）的输出o2同样可以计算得出。

给第二层Fully-connected layer加上一个Activation Function（Sigmoid）：

此时（neto1,neto2）—>Sigmoid—>（o1,o2）

（o1,o2）=（0.75136507, 0.772928465）

4 更新网络

在第3节，我们得到初始化之后神经网络的输出（0.75136507, 0.772928465）；

但是，我们期待的输出是类目2，即期待输出为：(0.01 , 0.99)

4.1 求出总误差：

结合实际输出和期待输出，求出总误差：

 

所以，o1输出端的误差：

 

同理，o2输出端的误差：

 

从而，得出总误差：

 

4.2 对weights求偏导：

有了总误差之后；面对这个总误差，我们对前一层的w5改变多少，可以纠正这个误差，得到正确输出呢？

这里就要依次对前面的weights求偏导：

以对w5求偏导举例，即：

 
4.2.1 偏导内容

首先，w5经过几次计算，到最后的总误差：

h1经由w5到neto1，neto1经过sigmoid到outo1，outo1经过误差方差到Etotal；

所以，Etoal对w5求偏导，即等于：

 

4.2.2 偏导的第一部分：

在上面公式中，偏导的第一部分可以计算得出：

 

偏导第一部分得到数据：0.74136507

4.2.3 偏导第二部分：

 

得到数据：0186815602

4.2.4 偏导第三部分：

 

得到第三部分数据：0.593269992

4.2.5 偏导输出：

所以，总误差对w5的偏导输出即为：

 

4.3 更新weight:

在4.2节，我们已经知道该对w5纠正多少，可以往正确值方向修正最后输出，此时我们用一个学习率，代表在这个方向上的步子；

此时，我们就能得到修正后的w5：

至此，w5就得到更新；

至于w1,w2,w3,w4,w6,w7,w8的更新，可以用同样的方法求得；

4.4 迭代

所有weights更新完后，就可以重新推理过程

把新误差，再次对weights求导，更新神经网络

逐渐迭代，直至得到想要输出，即整个神经网络训练完成。

5 一些问题：

在第4步，我们说这样训练，就可以训练完整个神经网络；但实际中，不会这么容易；比如，过拟合，欠拟合...，等等问题，层出不穷。

学习率的挑选，也不能很随意；

这些问题，在实际过程中，都会遇到。

参考：

[1] https://mattmazur.com/2015/03/17/a-step-by-step-backpropagation-example/

[2] https://towardsdatascience.com/understanding-learning-rates-and-how-it-improves-performance-in-deep-learning-d0d4059c1c10