概述

在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练出来的网络过拟合了训练集，对训练集外的数据却不工作。

为什么将数据集分为三部分：训练集，开发集，测试集。
开发集就是用来避免过拟合的，训练过程中，通常用它来确定一些超参数。为什么不直接使用测试集，因为如果在测试集上做这些，那么随着训练的进行，我们的网络实际上就是在一点一点地overfitting我们的测试集，导致最后得到的测试集正确率没有任何参考意义。

避免过拟合的方法

1.early stopping
2.增加数据
3.L2正则化
4.dropout正则化

当发生过拟合时，也就是方差过大时，使用上述方法。但在偏差过大时，需要使用增大网络过着增加训练时间等方法。

L2正则化

L2正则化就是在原本的损失函数的基础上增加了所有层所有参数的平方和。λ就是正则项系数，权衡正则项与原损失函数项的比重。系数1/2主要是为了后面求导的结果方便，后面那一项求导会产生一个2，与1/2相乘刚好凑整。

对上式求导得到：

在不使用L2正则化时，求导结果中w前系数为1，现在w前面系数为 1−αλ/m ，因为α、λ、m都是正的，所以 1−ηλ/n小于1，它的效果是减小w，这也就是权重衰减（weight decay）的由来。当然考虑到后面的导数项，w最终的值可能增大也可能减小。

为什么L2正则化能防止过拟合

到目前为止，我们只是解释了L2正则化项有让w“变小”的效果，但是还没解释为什么w“变小”可以防止overfitting？一个所谓“显而易见”的解释就是：更小的权值w，从某种意义上说，表示网络的复杂度更低，对数据的拟合刚刚好（这个法则也叫做奥卡姆剃刀），而在实际应用中，也验证了这一点，L2正则化的效果往往好于未经正则化的效果。

过拟合的时候，拟合函数的系数往往非常大，为什么？如下图所示，过拟合，就是拟合函数需要顾忌每一个点，最终形成的拟合函数波动很大。在某些很小的区间里，函数值的变化很剧烈。这就意味着函数在某些小区间里的导数值（绝对值）非常大，由于自变量值可大可小，所以只有系数足够大，才能保证导数值很大。