误差

误差是指测量值与真实值之间的差距，误差的大小反映了实验、观察、测量和近似计算等所得结果的精确程度。误差的绝对值越小，精确程度越高。

近似误差与估计误差

近似误差：对现有训练集的训练误差。
估计误差：在测试集上的测试误差。
我们先从字面意思上理解，我们在训练过程中，追求的是要训练误差尽可能的小，就是要尽可能的逼近训练集的数据，使预测值与训练集相似程度更高，因此模型预测出来的值与训练数据的误差称为近似误差。而在测试过程中，我们是要比较用模型估计出来的值与真实值之间的差距，侧重点在于估计，所以这个误差称为估计误差。
当训练误差越小时，近似误差就会越小，这种情况下可能发生了过拟合。这种情况下，模型对现有的训练集能做出很好的模拟，但是对未知的测试样本的预测将会出现较大偏差，对于追求泛化能力的模型来说，近似误差小的模型不是最接近最佳模型的模型。
当估计误差小时，说明在测试集上，估计值与真实值的差距较小，说明模型具有较强的泛化能力，接近最佳模型。