6.1 自定义损失函数
6.1.1以函数方式定义
6.1.2以类方式定义
- Loss：继承自_loss，部分继承自_WeightedLoss;_WeightedLoss继承自_loss；_loss继承自 nn.Module
6.2 动态调整学习率（scheduler）
6.2.1 使用官方scheduler：
- 了解官方提供的API：PyTorch已经在torch.optim.lr_scheduler为我们封装好了一些动态调整学习率的方法供我们使用使用官方API
6.2.2 自定义scheduler
自定义函数adjust_learning_rate来改变param_group中lr的值
6.3 模型微调
6.3.1 模型微调的流程
- 在数据集上预训练一个神经网络模型；创建新的神经网络模型；为目标模型添加输出层；在目标数据集上训练目标模型。
6.3.2 使用已有模型结构
- 实例化网络；传递pretrained参数；
6.3.3 训练特定层
6.4 半精度训练的设置：
- import autocast模型设置训练过程
