百科问答小站 logo
百科问答小站 font logo



为啥gan里面几乎不用pooling? 第1页

  

user avatar   GordonQian 网友的相关建议: 
      

谈一下自己的理解。

ICLR16的DCGAN(arxiv.org/pdf/1511.0643)文章,里面的实验表明: 全卷积网络训练更稳定。

这个是有时代背景的,GAN(papers.nips.cc/paper/54) 14年刚被提出来的时候,loss function是有log函数的,这个log函数其实是个小bug,导致网络难以训练。详情点击【令人拍案叫绝的Wasserstein GAN】(zhuanlan.zhihu.com/p/25


因此14年未来两年的文章有许多是攻克GAN的训练难度问题。 DCGAN是其中之一。不过,自从ICML17的WGAN(arxiv.org/abs/1701.0787)被提出后,很大程度上解决了GAN的训练稳定性问题。

WGAN之后,也出现了许多影响力比较高的文章,并非用的全卷积网络,因为训练GAN并不是多大的问题了。比如ICLR18 Progressive Growing of GANs for Improved Quality, Stability, and Variation (arxiv.org/abs/1710.1019)(引用近1000,被认为第一篇具有高质量输出的GAN)就在D网络中用了average pooling. 再比如deep mind的bibiggan系列也并非是全卷积。

最近arxiv上也有文章指出,全卷积网络并不是最好的选择。FCCGAN(https://arxiv.org/pdf/1905.02417.pdf)还没看 ‍: )




  

相关话题

  计算机视觉是否已经进入瓶颈期? 
  现在的人工智能是否走上了数学的极端? 
  如何理解 natural gradient descent? 
  如何评价余凯创立的horizon robotics? 
  人工智能领域有哪些精妙的数学原理? 
  人工智能相关的岗位薪酬状况如何? 
  在与 AlphaGo(包括 Master) 的对局中是否出现了一些人类历史上从未想到过的着法、技巧? 
  如何评价论文「Stochastic Training is Not Necessary ...」? 
  在集成电路设计领域(数字,模拟),人工智能有无可能取代人类? 
  Yoshua Bengio为什么能跟Hinton、LeCun相提并论?? 

前一个讨论
如何评价 TGA 2019 年度游戏提名名单?
下一个讨论
随着各个领域越来越多的人都开始学习编程,计算机专业的人优势在哪里?





© 2025-01-30 - tinynew.org. All Rights Reserved.
© 2025-01-30 - tinynew.org. 保留所有权利