Global Second-Order Pooling Convolutional Networks

Zilin Gao, Jiangtao Xie, Qilong Wang, Peihua Li

SENet 中只包含一阶统计量,不能有效在超高维空间 (very high dimmensional space) 中对类别边界进行有效的建模。因此作者在本文中通过计算通道间的相关矩阵,引入二阶统计量,增强了注意力模块的效果,提升了网络表现。值得一提的是,这也是第一篇在网络中间层引入 Global Second-Order Pooling 的工作,之前的工作都是讲 Global Second-Order Pooling 放在最后,本文也证明了在中间层使用 Global Second-Order Pooling 是很有效的。 PS:实际上本文的一些东西没看懂


  • 2nd-pooling 不知道是啥,文中没有具体说明,未来感兴趣直接百度把
  • 文中对于一个 feature map 求通道间的相关矩阵,没仔细说怎么求,我自己也没查到,好像是直接把每个通道 的特征图直接拉成向量,然后求这些向量和向量之间的相关系数
  • 为什么做row conv.后变成4c的通道数,没说,我也不知道为啥,暂时就当作是超参吧设置的把。而且作者说row-wise conv可以通过分组卷积实现,不知道怎么做的,代码写的很隐晦,应该是从其他的代码里抠出来的一部分,所以可能需要看这篇文章主要引得那个工作的代码,和Global Second-Order Pooling有关的那个工作。

My Comments and Inspiration

Cores, Contributions and Conclusions

Motivation

Methods

Experiments

Some Descriptions