蹲个马桶的功夫来总结下这篇论文。
目前已有的三篇讲这篇deformable convolution network的文章:
1.
http:// mp.weixin.qq.com/s/OETZ 8rYC8AuR75nAVa-KNw2.
http:// mp.weixin.qq.com/s/Ulu8 Kw4FDty-dMOu7qNxxQ3.
http:// mp.weixin.qq.com/s/okI3 MT3E2o2PKCeokE7Niw一如既往的Jifeng Dai的work,继承了STN,刚花了一个下午看完这篇论文,很novel的工作,共同作者是msra的实习生们。
第一篇文章有句很生动的概括:“文章通俗的说法就是,图片中的物体形状本来就是千奇百怪,方框型的卷积核,即使卷积多次反卷积回去仍然是方框,不能真实表达物体的形状,如果卷积核的形状是可以变化的,这样卷积后反卷积回去就可以形成一个物体真实的多边形,更贴切的表达物体形状,从而可以更好的进行像素分割和物体检测。”
这张图可以很明显看出方法的有效性,每个三列的图中,左边是背景上的点对应的激活它的点(感受野),可以看出是覆盖天空的背景的。中间一列对应的是小物体,反向回去对应的激活点是几乎覆盖小物体上所有区域,同理右边那列对应大物体。
几个值得注意的地方:
1. 2.3一开头那几句讲解如何初始化deformable的部分。
2.主要是在一些detection和segmentation的task上取得了进步。后续关于分类任务的应用值得展望。
3.Learning the offset部分讲述了offset的学习过程的细节。
冒个泡,一个半月以后终于把code release出来了,放在了
msracver/Deformable-ConvNets,当时做实验用的是内部的只能在Windows上跑的支持多卡做detection的Caffe,基本没法release,花了一个多月迁移到了MXNet上。其实我们的实现跟现有的repo并不太一样,欢迎大家来围观。