如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？ 第1页

发现了一个发文章的思路。

• 先看看各种norm

15年提出的batch norm，从 三个维度做norm；

16年提出的layer norm，从 三个维度做norm；

16年提出的instance norm，从 两个维度做norm；

18年提出的group norm，从 上面做norm， 是在把 这个维度切成多个部分；

总结起来就是在 四个维度上面做排列组合，进行norm，每个维度还可以切成多个部分。好像还没有论文做norm，下一篇norm的论文也许就是这个了，哈哈哈。

• 再看看各种drop

14年的dropout，随机drop一个 的特征；

15年的spatialdropout，随机drop一个 的特征；

18年的dropblock，随机drop一个 特征， 是在 上取一个region，跟group norm的group比较像；

总结起来就是在 四个维度上面做排列组合，进行drop，每个维度还可以切成多个部分。我试着继续做一下排列组合： 、 、 、 、 、 ，下一篇drop的论文也许就在上述排列组合中。

从norm系列论文和drop系列论文来看，当出现了一篇经典论文后，快速发现这篇论文方法的可拓展性，比如上述的 ，做实验，有效果了就可以发论文。

之前看non local neural networks的时候也发现了一种想idea的方法，还写了一篇回答。

这篇文章还有一个有趣的彩蛋，backbone为ResNet-50 FPN的retinanet直接train from scratch跟在ImageNet数据pretrain的网络上效果相当。

就这个彩蛋，我写了一篇文章简单介绍了一下。