目录

第4章 数值计算

4.1 上溢和下溢

4.2 病态条件

4.3 基于梯度的优化方法

 4.3.1 梯度之上：Jacobian和Hessian矩阵

4.4 约束优化

4.5 实例：线性最小二乘

---

第4章 数值计算

机器学习算法通常需要大量的数值计算，这通常是指通过迭代过程更新解的估计值来解决数学问题的算法，而不是通过解析过程推导公式来提供正确解的方法，常见的操作包括优化（找到最小化或最大化函数值的参数）和线性方程组的求解。对数字计算机来说，实数无法在有限内存下精确表示，因此仅仅是计算涉及实数的函数也是困难的。

4.1 上溢和下溢

连续数学在数字计算上的根本困难是，我们需要通过有限数量的位模式来表示无限多的实数。这意味着我们在计算机中表示实数时，几乎总会引入一些近似误差。

一种极具毁灭性的舍入误差是下溢。当接近零的数被四舍五入为零时发生下溢，许多函数在其参数为零而不是一个很小的正数时才会表现出质的不同。

另一个极具破坏力的数值错误形式是上溢。当大量级的数被近似为或时发生上溢，进一步的运算通常会导致这些无限值变为非数字。

4.2 病态条件

条件数指的是函数相对于输入的微小变化而变化的快慢程度，输入被轻微扰动而迅速改变的函数对于科学计算来说可能是有问题的，因为输入中的舍入误差可能导致输出的巨大变化。

4.3 基于梯度的优化方法

大多数深度学习算法都涉及某种形式的优化。优化指的是改变x以最小化或最大化某个函数f(x)的任务。我们通常以最小化f(x)指代大多数最优化问题，最大化可经由最小化算法最小化-f(x)来实现。

我们把要最小化或最大化的函数称为目标函数或准则。当我们对其进行最小化时，也把它称为代价函数、损失函数或误差函数。

在深度学习的背景下，我们要优化的函数可能含有许多不是最优的全局极小点，或者还有很多处于非常平坦的区域内的鞍点。尤其是当输入是多维的时候，所有这些都将使优化变得困难。因此，我们通常寻找使f非常小的点，但这在任何形式意义下并不一定是最小。

 4.3.1 梯度之上：Jacobian和Hessian矩阵

有时我们需要计算输入和输出都为向量的函数的所有偏导数，包含所有这样的偏导数的矩阵被称为Jacobian矩阵。

有时我们也对导数的导数感兴趣，即二阶导数。

 当我们的函数具有多维输入时，二阶导数也有很多。我们可以将这些导数合并成一个矩阵，称为Hessian矩阵。Hessian矩阵定义为

Hessian等价于梯度的Jacobian矩阵。

仅使用梯度信息的优化算法称为一阶优化算法，如梯度下降。使用Hessian矩阵的优化算法称为二阶最优化算法，如牛顿法。

最成功的的特定优化领域或许是凸优化。凸优化通过更强的限制提供更多的保证。凸优化算法只对凸函数适用，即Hessian处处半正定的函数。因为这些函数没有鞍点而且其所有全局极小点必然是全局最小点，所以表现很好。然后，深度学习中的大多数问题都难以表示成凸优化的形式。凸优化仅用作一些深度学习算法的子程序。凸优化中的分析思路对证明深度学习算法的收敛性非常有用，然而一般来说，深度学习背景下凸优化的重要性大大减少。

4.4 约束优化

有时候，在x的所有可能值下最大化或最小化一个函数f(x)不是我们所希望的。相反，我们可能希望在x的某些集合S中找f(x)的最大值或最小值，这称为约束优化。

约束优化的一个简单方法是将约束考虑在内后简单地对梯度下降进行修改。

一个更复杂的方法是设计一个不同的、无约束的优化问题，其解可以转化成原始约束优化问题的解。

方法是针对约束优化非常通用的解决方案。

要解决约束最大化问题，我们可以构造-f(x)的广义Lagrange函数，从而导致以下优化问题：

我们也可以将其转换为在外层最大化的问题：

4.5 实例：线性最小二乘

假设我们希望找到最小化下式的x值

存在专门的线性代数算法能够高效地解决这个问题，但是我们也可以探索如何使用基于梯度的优化来解决这个问题，这可以作为这些技术是如何工作的一个简单例子。

首先，我们计算梯度

然后，我们可以采用小的步长，并按照这个梯度下降。

本章总结了开发机器学习算法所需的数学基础，现在，我们已经为建立和分析一些成熟的学习系统做好了准备。