快速导航
PyTorch 6.模型创建步骤
模型创建步骤
torch.nn
- nn.Parameter
张量子类，表示可学习参数，如weight,bias - nn.Module
所有网络层基类，管理网络属性、 - nn.functional
函数具体实现，如卷积，池化，激活函数等 - nn.init
参数初始化
parameters:存储管理nn.Parameters类
modules: 存储管理nn.Module类
buffers:存储管理缓冲属性，如BN层中的running_mean
_hooks:存储管理钩子函数
nn.Module
- 一个module可以包含多个子module
- 一个module相当于一个运算，必须实现forward()函数
- 每个module都有8个字典管理它的属性
调用forward方法的具体流程为 - 调用module的call方法
- module的call里面调用module的forward方法
- forward里面如果碰到Module的子类，回到第1步，如果碰到的是Function的子类，继续向下
- 调用Function的call方法
- Function的call方法调用了Functionde forward方法
- Functionde的forward返回值
- module的forward返回值
- 在module的call进行forward_hook操作，然后返回值
