- 前言
- 1. 模型状态
- 2. 动态图与静态图
- 3. paddle.nn 与paddle.nn.functional异同
- 参考
前言
最近在学习Paddle深度学习框架，这里对个人觉得比较重要的部分跟大家分享下，加深个人记忆，方便以后回顾。
1. 模型状态
深度学习包括模型训练与推理两个阶段，深度学习模型实例包括训练 .train() 和评估 .eval() 两个状态，为什么会有两种不同的状态呢？
- 训练时要进行前向计算和梯度更新，推理时仅需要进行前向计算即可，不同阶段执行过程不同，因此所需内存和性能也不同，推理阶段需要内存更少，速度更快；
- 部分高级算子在训练和推理阶段执行逻辑不同，比如Dropout算子， BN算子等；
Paddle中动态图方便调试，执行速度相对慢；静态图性能更优，方便部署；动态图执行相对于python解释器执行方式；静态图执行相对于C++编译器执行方式，需要提前定义好网络模型，编译优化后才能执行并得到结果， paddle中实现了将动态图自动转换为静态图的装饰器to_static
3. paddle.nn 与paddle.nn.functional异同相同点：
paddle.nn与paddle.nn.functional都实现了组网相关API, 比如Linear, Conv2D, LSTM, 损失函数，激活函数等；
不同点：
paddle.nn中以类的方式实现组网相关API, 每个类自带模块参数； paddle.nn.functional中以函数方式实现组网相关API，需要手动传入模块参数，在深度学习中，卷积、全连接等拥有自身参数的层建议使用paddle.nn模块，池化、激活函数等不具有自身参数的层建议使用paddle.nn.functional模块。
https://www.paddlepaddle.org.cn/tutorials/projectdetail/2267447
