目录

1.数据集分割

2.正则化

3.动量和学习率衰减

---

1.数据集分割

通过datasets可以直接分别获取训练集和测试集。

通常我们会将训练集进行分割，通过torch.utils.data.random_split方法。

所有的数据都需要通过torch.util.data.DataLoader进行加载，才可以得到可以使用的数据集。

具体代码如下：

2.正则化

PyTorch中的正则化和机器学习中的一样，不过设置方式不一样。

直接在优化器中，设置weight_decay即可。优化器中，默认的是L2范式，因此填入的参数就是lambda。想要使用L1范式的话，需要手动写出代码。

3.动量和学习率衰减

动量的设置可以直接在优化器中完成。通过momentum参数设置。

学习率的调整通过torch.optim.lr_scheduler中的ReduceLROnPlateau,StepLR实现。

ReduceLROnPlateau是自动检测损失值，并衰减学习率。

StepLR需要手动设置衰减的参数。