百科问答小站 logo
百科问答小站 font logo



ICML 2018 有哪些值得关注的亮点? 第1页

  

user avatar   2prime 网友的相关建议: 
      

赶NIPS中间来回答一下问题



arxiv:

本科真正意义上第一批工作

想法比较简单 resnet我可以写成

这个左边项把n理解成artificial time的话可以看成求导

所以我们把resnet理解成求解ODE,并且把大多数的网络都对应到了ODE的求解算法

然后我们发现了一件事情,所有网络都是单步法,几乎没有网络考虑了多步法,也就是说大家都在考虑对右端项的逼近

所以我们就用了多步法,从另一个维度我们换了逼近 ,用了线性多步法也就是我们的网络架构是

就这么每层引入一个参数就提升了网络效果,我们56层网络效果和110层的resnet效果一样


特别像强调的是请大家看下我们“”Explanation on the performance boost via modified equations.“”这一部分,这一部分的release了一个很high level的idea


我之前也写过文章,优化也可以用ode来看

优化算法新观点

我们想强调步长->0来看可能很多时候是无法理解加速效果的,因为在极限意义下逼近的动力系统和离散的会有gap,有时候是有好处的【比如我们的例子】,有时候是有坏处的【推荐一篇最近的这个方向文章我很喜欢,有时间我介绍下Direct Runge-Kutta Discretization Achieves Acceleration

我们的分析手段是所谓的修正方程


我们在随机比如dropout上做了一些分析,对应到了随机微分方程

我们用收敛推荐推导出来了stochastic depth深度变深要概率趋于1/2和他们实验一致很surprising


PDE-Net是一个反过来的工作,用dl来做数值pde


我们发现卷积核和数值格式很类似,给了卷积和数值格式的联系,我们的好处是

  • 我们不希望是black box model我们可以知道我们的网络在simulate什么pde【有些应用肯定是不希望用black box的】
  • 同时不想传统pde,又慢又没有精度

而且做了data driven的格式有很多很惊人的地方,比如用很简单的差分格式就handle了highly nonlinear的equation,我觉得之前我都不敢想象

这个方向在图形学,数值pde都有很多人在做,我整理了一下文献

© 2prime

然后后续工作我们正在赶nips,应用在low level的图像处理中


user avatar   du-shao-lei 网友的相关建议: 
      

可以参考阿里巴巴最近的工作:arxiv.org/pdf/1711.0650

联合使用用户交互过的图片(不光是图片id)和待预估的广告图片。由于要对图片进行建模,实现上有非常大的挑战,但是不是不可能做到,论文里也有较多的篇幅介绍如何实现。




  

相关话题

  如何评价FAIR提出的MaskFormer,在语义分割ADE20K上达到SOTA:55.6 mIoU? 
  为什么大家都害怕人工智能取代人类? 
  一个人能否实现自己转动螺旋桨从而上天?实现需要什么条件? 
  神经网络,人工智能这块怎么入门? 
  未来有可能出现人工智能战略家吗?能不能让人工智能管理社会? 
  对人工智能在未来的危险有哪些常见的误解? 
  如何看待人机大战第四局李世石战胜 AlphaGo? 
  在Lasso中,oracle property指的是什么性质? 
  如何看待Hinton的论文《Dynamic Routing Between Capsules》? 
  神经网络中,bias有什么用,为什么要设置bias,当加权和大于某值时,激活才有意义? 

前一个讨论
有哪些大部分中国人都爱吃而欧美人不爱吃的食物?
下一个讨论
下一次数学突破会在哪里?





© 2025-05-29 - tinynew.org. All Rights Reserved.
© 2025-05-29 - tinynew.org. 保留所有权利