使用thop计算FLOPs和Params的大致流程
from thop import profile
from thop import clever_format
input = torch.randn(1, 3, 224, 224)
model = MODEL() # your model here
?, params = profile(model, inputs=(input, )) # “问号”内容使我们之后要详细讨论的内容,即是否为FLOPs
?, params = clever_format([flops, params], "%.3f")
重大误区注意
目前,CSDN或简书等中文平台的大部分thop使用教程
都直接将上述代码段中返回的第一个元素即‘?’
当作FLOPs来使用,然而这是错误的!
thop返回的第一个element不是FLOPs
,而是Macs
.而FLOPs实际上是Macs的两倍!!!
上面这一点要尤其注意,现在百度上所查到的基本所有有关thop计算FLOPs的文章都是错误的!!!
所以最终的FLOPs = profile(model, inputs=(input, ))[0] *2
,记住要乘以2才是FLOPs
拓展说明与支持链接
Macs的定义为: 一次加法和一次乘法
等于一个Mac
FLOPs的定义为: 一次加法
算一个FLOP
,而一次乘法
也算一个FLOP
所以最终FLOPs = 2 * Macs
PS:当然实际上FLOPs是近似于Macs的两倍
,具体还是跟模型设计有关
具体FLOPs以及Macs的介绍,以及thop的返回请见这里
版权声明:本文为weixin_42627397原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。