发现了一个发文章的思路。
15年提出的batch norm,从 三个维度做norm;
16年提出的layer norm,从 三个维度做norm;
16年提出的instance norm,从 两个维度做norm;
18年提出的group norm,从 上面做norm, 是在把 这个维度切成多个部分;
总结起来就是在 四个维度上面做排列组合,进行norm,每个维度还可以切成多个部分。好像还没有论文做norm,下一篇norm的论文也许就是这个了,哈哈哈。
14年的dropout,随机drop一个 的特征;
15年的spatialdropout,随机drop一个 的特征;
18年的dropblock,随机drop一个 特征, 是在 上取一个region,跟group norm的group比较像;
总结起来就是在 四个维度上面做排列组合,进行drop,每个维度还可以切成多个部分。我试着继续做一下排列组合: 、 、 、 、 、 ,下一篇drop的论文也许就在上述排列组合中。
从norm系列论文和drop系列论文来看,当出现了一篇经典论文后,快速发现这篇论文方法的可拓展性,比如上述的 ,做实验,有效果了就可以发论文。
之前看non local neural networks的时候也发现了一种想idea的方法,还写了一篇回答。
这篇文章还有一个有趣的彩蛋,backbone为ResNet-50 FPN的retinanet直接train from scratch跟在ImageNet数据pretrain的网络上效果相当。
就这个彩蛋,我写了一篇文章简单介绍了一下。