！！！深度学习知识梳理系列文章汇总！！！
深度学习知识梳理（干货满满详解DNN/CNN/RNN）之神经网络基础（一）
深度学习知识梳理（干货满满详解DNN/CNN/RNN）之深度学习网络结构（二）
深度学习知识梳理（干货满满详解DNN/CNN/RNN）之深度学习网络模型（三）
深度学习知识梳理（干货满满详解DNN/CNN/RNN）之模型训练（四）
深度学习知识梳理（干货满满详解DNN/CNN/RNN）之评估与调参（五）

（一）神经网络基础

1.感知机：

感知器（Perceptron）由Frank Roseblatt于1957年提出，是一种广泛使用的线性分类器.感知器可谓是最简单的人工神经网络，只有一个神经元（下图MP神经元模型）

感知器是对生物神经元的简单数学模拟，有与生物神经元相对应的部件，如权重（突触）、偏置（阈值）及激活函数（细胞体），输出为+1或-1.
感知器是一种简单的两类线性分类模型，其分类准则如下：

				𝑦 = sign(𝒘T𝒙).

• 感知机可以看成是最简单的神经网络；
• 一个感知器可以有多个输入但是同时只有一个输出；
• 多个感知机组成的结构叫做全联接网络（FCN）or 深度学习神经网络（DNN）

2.神经元

人工神经元（Artificial Neuron），简称神经元（Neuron），是构成神经网络的基本单元，其主要是模拟生物神经元的结构和特性，接收一组输入信号并产生输出。典型结构如下所示：

神经元结构主要包括输入、权重求和、激活函数。
现代神经网络中的神经元和MP神经元的结构并无太多变化. 不同的是，MP神经元中的激活函数 𝑓 为 0 或 1 的阶跃函数，而现代神经元中的激活函数通常要求是连续可导的函数。

3.常用激活函数：

(1)Sigmoid

Sigmoid型函数是指一类S型曲线函数，为两端饱和函数. 常用的Sigmoid型, 函数有Logistic函数和Tanh函数。

Logistic函数
定义为

	𝜎(𝑥) =1/(1+ⅇ^(-x)  )

Logistic 激活函数的神经元具有以下
两点性质：
1）其输出直接可以看作是概率分布，使得神经网络可以更好地和统计学习模型进行结合.
2）其可以看作是一个软性门（Soft Gate），用来控制其他神经元输出信息的数量.

Tanh函数
Tanh函数是也一种Sigmoid型函数. 其定义为

tanh(𝑥) =(exp(x) - exp(-x))/(exp(x) + exp(-x))

Tanh函数的输出是零中心化的（Zero-Centered），而 Logistic 函数的输出恒大于 0. 非零中心化的输出(logistic)会使得其后一层的神经元的输入发生偏置偏移（Bias Shift），并进一步使得梯度下降的收敛速度变慢.

(2)Relu

Relu

优点：计算方便。ReLU 函数为左饱和函数，且在𝑥 > 0时导数为1，在一定程度上缓解了神经网络的梯度消失问题，加速梯度下降的收敛速度；稀疏激活性
缺点：此外，ReLU神经元在训练时比较容易“死亡”. 在训练时，如果参数在一次不恰当的更新后，第一个隐藏层中的某个ReLU神经元在所有的训练数据上都不能被激活，那么这个神经元自身参数的梯度永远都会是 0，在以后的训练过程中永远不能被激活. 这种现象称为死亡 ReLU 问题。
为了避免上述情况，有几种ReLU的变种也会被广泛使用.

带泄露的ReLU

其中 𝛾是一个很小的常数，比如0.01. 当𝛾 < 1时，带泄露的ReLU也可以写为
LeakyReLU(𝑥) = max(𝑥, 𝛾𝑥),
带参数的ReLU

其中 𝛾𝑖 为 𝑥 ≤ 0 时函数的斜率.

(3)ELU函数

其中 𝛾 ≥ 0是一个超参数，决定𝑥 ≤ 0时的饱和曲线，并调整输出均值在0附近

(4)Softplus函数

定义

Softplus(𝑥) = log(1 + exp(𝑥))

Softplus函数其导数刚好是Logistic函数. Softplus函数虽然也具有单侧抑制、宽
兴奋边界的特性，却没有稀疏激活性。

4.常见激活函数及其导数表