栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

Pytorch: 采用thop库正确计算模型计算量FLOPs和模型参数Params 【误区更正】

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Pytorch: 采用thop库正确计算模型计算量FLOPs和模型参数Params 【误区更正】

文章目录
  • 使用thop计算FLOPs和Params的大致流程
  • `重大误区注意`
  • 拓展说明与支持链接

使用thop计算FLOPs和Params的大致流程
from thop import profile
from thop import clever_format
input = torch.randn(1, 3, 224, 224)
model = MODEL() # your model here
?, params = profile(model, inputs=(input, )) # “问号”内容使我们之后要详细讨论的内容,即是否为FLOPs
?, params = clever_format([flops, params], "%.3f") 
重大误区注意

目前,CSDN或简书等中文平台的大部分thop使用教程都直接将上述代码段中返回的第一个元素即‘?’当作FLOPs来使用,然而这是错误的!

thop返回的第一个element不是FLOPs,而是Macs.而FLOPs实际上是Macs的两倍!!!

上面这一点要尤其注意,现在百度上所查到的基本所有有关thop计算FLOPs的文章都是错误的!!!

所以最终的FLOPs = profile(model, inputs=(input, ))[0] *2,记住要乘以2才是FLOPs

拓展说明与支持链接

Macs的定义为: 一次加法和一次乘法等于一个Mac
FLOPs的定义为: 一次加法算一个FLOP,而一次乘法也算一个FLOP
所以最终FLOPs = 2 * Macs

PS:当然实际上FLOPs是近似于Macs的两倍,具体还是跟模型设计有关

具体FLOPs以及Macs的介绍,以及thop的返回请见这里

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/882890.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号