卷积神经网络中十大拍案叫绝的操作(转载)

链接: https://zhuanlan.zhihu.com/p/28749411

补充

• 为什么depth-wise卷积FLOPs更少但是推理速度慢？
  简单来说，depth-wise卷积的FLOPs更少没错，但是在相同的FLOPs条件下，depth-wise卷积需要的IO读取次数是普通卷积的100倍，因此，由于depth-wise卷积的小尺寸，相同的显存下，我们能放更大的batch来让GPU跑满，但是此时速度的瓶颈已经从计算变成了IO。自然desired小尺寸卷积应该有的快速的特性，也无法实现。