关于torch.autograd的介绍

torch.autograd在pytorch的神经网络训练时用来自动计算梯度

一、背景

神经网络是对输入数据进行操作的一堆函数的集合，其中这一堆函数包括的参数为权重和偏差，存储在tensor张量中。
可以从李宏毅老师的机器学习视频中学习神经网络的基础知识。

训练神经网络时包含两步：

1. 前向传递
   神经网络根据输入数据和这一堆函数，得出预测结果。
   2.反向传递
   根据预测的结果调整神经网络中的参数（过程中需要计算梯度，torch.autograd在这里发挥作用）

二、在Pytorch中的使用

1. 生成官方的案例数据

import torch, torchvision
model = torchvision.models.resnet18(pretrained=True)
data = torch.rand(1, 3, 64, 64)
labels = torch.rand(1, 1000)

模型是torchvision里面一个预训练的模型，用rand随机产生了一个data代表一张图片，RGB三个通道，64x64大小，所以是torch.rand(1,3,64,64)
labels是随机产生的标签。

2. 前向传递，data给模型进行预测。

prediction = model(data)

3. 损失函数的计算，计算出预测值和标签值之间的差异

loss = (prediction - labels).sum()
loss.backward() # backward pass

4. 加载优化器，用来优化模型中的参数

optim = torch.optim.SGD(model.parameters(), lr=1e-2, momentum=0.9)

SGD是用来计算梯度的一种方法，lr是learning rate学习速率，momentum应该是动量值？表示梯度下降时的惯性？

5. 优化模型中的参数，通过step()来启动梯度下降

optim.step()

三、Autograd中的微分运算

生成a,b两个变量，并给定requires_grad=True,可以记录梯度。

import torch
a = torch.tensor([2., 3.], requires_grad=True)
b = torch.tensor([6., 4.], requires_grad=True)

定义：$Q=3a^3-b^2$

Q = 3*a**3 - b**2

则偏导数为：
$$\frac{\partial Q}{\partial a}=9a^2$$$$\frac{\partial Q}{\partial b}=-2b$$
因为Q是一个向量，所以pytorch认为Q的每个元素相当于一个中间变量，那么在求导时根据链式法则，Q和各个元素之间还应该对应有一层函数关系，所以在求梯度时需要手动给定Q和各个元素的偏导关系，由于这里定义误差函数为Q的两个元素求和，所以这个偏导关系应该为[1,1]。代码如下：

external_grad = torch.tensor([1,1])
Q.backward(gradient=external_grad)
# 求梯度的另一种表达方式
Q.sum().backward()
# 检查结果是否对应
print(9*a**2 == a.grad)
print(-2*b == b.grad)

关于backward为什么要给gradient这个参数的理解可以参考博客：gradient参数理解
或者看下面官方的解释：
对于一个向量函数$\vec{y}=f(\vec{x})$，它的梯度应该是一个雅可比矩阵：
$$J=\left(\begin{array}{ccc}\frac{\partial y_1}{\partial x_1}& \cdots & \frac{\partial y_1}{\partial x_n}\\ ⋮& \ddots & ⋮\\ \frac{\partial y_m}{\partial x_1}& \cdots & \frac{\partial y_m}{\partial x_n}\end{array}\right)$$
autograd其实计算的是雅可比矩阵$J$和前面给的那个向量gradient（记为$\vec{v}$）的点乘。即计算的是$J^T\cdot \vec{v}$
如果$\vec{v}$恰好是另一个函数$l=g(\vec{y})$的偏导数：
$$\vec{v}={\left(\begin{array}{ccc}\frac{\partial l}{\partial y_1}& \cdots & \frac{\partial l}{\partial y_m}\end{array}\right)}^T$$
那么$J^T\cdot \vec{v}$恰好是$l$对$\vec{x}$的梯度：

$$J^T\cdot \vec{v}=\left(\begin{array}{ccc}\frac{\partial y_1}{\partial x_1}& \cdots & \frac{\partial y_1}{\partial x_n}\\ ⋮& \ddots & ⋮\\ \frac{\partial y_m}{\partial x_1}& \cdots & \frac{\partial y_m}{\partial x_n}\end{array}\right)\left(\begin{array}{c}\frac{\partial l}{\partial y_1}\\ \cdots \\ \frac{\partial l}{\partial y_m}\end{array}\right)=\left(\begin{array}{c}\frac{\partial l}{\partial x_1}\\ \cdots \\ \frac{\partial l}{\partial x_n}\end{array}\right)$$
从这个角度来看，代码中的Q的各个元素相当于这里的$y1,y2...$, 所以需要给定gradient参数（$\vec{v}$）

附录

计算图

蓝色方框代表a，b，backward方框代表反向传递计算梯度时所需的反向传递函数。该图为有向无闭环图Directed Acyclic Graph(DAG)

固定神经网络中的某些参数

在神经网络中不需要计算梯度的参数成为冻结参数frozen parameters。在微调一个预训练模型时，冻结参数往往很有用。
例如，给定一个官方的预训练模型，并冻结其参数：

from torch import nn, optimmodel = torchvision.models.resnet18(pretrained=True)# 冻结神经网络中所有参数
for param in model.parameters():param.requires_grad = False

假如我们想微调模型，让它的输出可以适合分类10种标签的任务，分类器一般在模型最后的线性层model.fc。可以直接对其进行替换：

model.fc = nn.Linear(512, 10)

现在所有的模型参数，除了最后的线性层之外，其他参数均被冻结，所以只有最后线性层的参数可以被更新。使用SGD自动计算梯度并优化参数

# 优化
optimizer = optim.SGD(model.parameters(), lr=1e-2, momentum=0.9)

参考网址：A GENTLE INTRODUCTION TO TORCH.AUTOGRAD