0. 写作目的

     好记性不如烂笔头。

1. 主要思路

     目前的self-attention需要生成 N * N 的affinity 矩阵（其中N = H * W）， 作者提出存在一种更有效的方法？

     因此作者提出了 Criss-Cross attention，使用“十字架” 的结构来代替 所有的位置(感觉使用“十字架”的paper很多，比如GCN使用十字街的conv，SPNet使用“十字架”的Pooling)。然后使用两次 criss-cross attention，这样可以综合全部的空间信息。

2. 模型具体细节

 reduction 先将使用3*3conv将channel降低为输入channel 的1/4.

然后加入在两层 Criss-cross Attention Module之后，然后使用3*3conv进行refine一下得到H‘’， 然后与X 进行concat，

然后使用3*3conv + BN + dropuout + 1*1Conv输出结果（这里输出的是下采样的结果）。

作者这里也使用了辅助loss， 在layer3 加入了辅助loss，权重为0.4。

criss-cross attention module细节：

其中，Q， K 1*1得到的channel 为输出channel的1/8，V 的channel与输入channel相同。

3. 实验结果

注：文中图片来自于paper。

There may be some mistakes in this blog. So, any suggestions and comments are welcome!

[Reference]

   1. paper: https://arxiv.org/pdf/1811.11721.pdf

   2. code: https://github.com/speedinghzl/CCNet