人工神经元

人工神经元是按照生物神经元的结构和工作原理构造出来的一个抽象的和简化了的模型。在神经网络中，神经元接受输入，处理它并产生输出；而这个输出被发送到其他神经元用于进一步处理，或者作为最终输出进行输出。

权重

当输入进入神经元时，它会乘以一个权重。例如，如果一个神经元有两个输入，则每个输入都将具有分配给它的一个关联权重。神经元对权重进行随机初始化，并在模型训练过程中更新这些权重。假设输入为 a ，且与其相关联的权重为 W ，那么在通过节点后，输入变为 a×W。

偏置

除了权重之外，另一个被应用于输入的线性分量被称为偏置。它被加到权重与输入相乘的结果中。添加偏置的目的是改变权重与输入相乘结果所得的范围。假设偏置为b，则添加偏置后，结果将看起来像a×W+b，这是输入变换的最终线性分量。

激活函数

激活函数的主要作用是加入非线性因素，以解决线性模型表达能力不足的问题。因为神经网络要求在数学上处处可微，所以所选取的激活函数要求其输入和输出也都是可微的。在神经网络中常用的激活函数有 sigmoid、tanh、ReLU 和 softmax 等。

神经网络

神经网络由相互联系的神经元构成。这些神经元有权重和在网络训练期间根据错误进行更新的偏差。激活函数将非线性变换置于线性组合，而这个线性组合稍后会生成输出。激活的神经元的组合会给出输出值。

输入层、输出层和隐藏层

输入层是接收输入的那一层，本质上是网络的第一层。而输出层是生成输出的那一层，也可以说是网络的最终层。处理层是网络中的隐藏层。这些隐藏层是对传入数据执行特定任务并将其生成的输出传递到下一层的那些层。输入层和输出层是可见的，而中间层则是隐藏的。

正向传播和反向传播

正向传播是指输入通过隐藏层到输出层的运动。在正向传播中，信息沿着一个单一方向前进。输入层将输入提供给隐藏层，然后生成输出。在此过程中是没有反向运动的。
使用损失函数的梯度的权重更新，被称为反向传播。当定义神经网络时，为节点分配随机权重和偏差值，一旦收到单次迭代的输出，就可以计算出网络的错误。然后将该错误与损失函数的梯度一起从外层通过隐藏层流回，以更新网络的权重。最后更新这些权重，以便减少后续迭代中的错误。

损失函数

当建立一个网络时，网络试图将输出预测的尽可能接近实际值。可使用损失函数（也称成本函数）来衡量网络的准确性，以提高预测精度并减少误差，从而最大限度地降低损失。最优化的输出是那些损失函数值最小的输出。

学习率

学习率被定义为每次迭代中损失函数中最小化的量，即下降到损失函数的最小值的速率。学习率的选择很关键，若学习率非常大，则最佳解决方案可能被错过；若学习率非常小，则网络优化效率会很低。

泛化

泛化指训练好的模型在未见过的数据上的表现能力。具有良好泛化能力的网络，在输入数据与训练数据稍有不同时也能取得比较好的效果。

欠拟合和过拟合

欠拟合是指模型拟合程度不高，数据距离拟合曲线较远；或者指模型没有很好地捕捉到模型特征，不能很好地拟合数据。
过拟合是指模型过度的学习训练数据中的细节和噪声，以至于模型在新的数据上表现很差。

正则化

正则化是在损失函数中加入模型复杂程度，以避免过拟合。

批次

在训练神经网络时，不用一次发送全部数据，而将输入分成几个随机的大小相等的块。与将全部数据一次性送入网络相比，在训练时将数据分批发送，这样所建立的模型会更具有一般性。

周期

周期被定义为前向传播和后向传播中所有批次的单次训练迭代。这意味着1个周期是整个输入数据的单次向前和向后传递。可对用来训练网络的周期数进行选择，更大的周期数将显示出更高的网络准确性，但网络融合需要更长的时间。另外，如果周期数太大，网络可能会出现过拟合。