ICML 2018 有哪些值得关注的亮点? 第1页

赶NIPS中间来回答一下问题

arxiv:

本科真正意义上第一批工作

想法比较简单 resnet我可以写成

这个左边项把n理解成artificial time的话可以看成求导

所以我们把resnet理解成求解ODE，并且把大多数的网络都对应到了ODE的求解算法

然后我们发现了一件事情，所有网络都是单步法，几乎没有网络考虑了多步法，也就是说大家都在考虑对右端项的逼近

所以我们就用了多步法，从另一个维度我们换了逼近 ,用了线性多步法也就是我们的网络架构是

就这么每层引入一个参数就提升了网络效果，我们56层网络效果和110层的resnet效果一样

特别像强调的是请大家看下我们“”Explanation on the performance boost via modified equations.“”这一部分，这一部分的release了一个很high level的idea

我之前也写过文章，优化也可以用ode来看

优化算法新观点

我们想强调步长->0来看可能很多时候是无法理解加速效果的，因为在极限意义下逼近的动力系统和离散的会有gap，有时候是有好处的【比如我们的例子】，有时候是有坏处的【推荐一篇最近的这个方向文章我很喜欢，有时间我介绍下Direct Runge-Kutta Discretization Achieves Acceleration】

我们的分析手段是所谓的修正方程

我们在随机比如dropout上做了一些分析，对应到了随机微分方程

我们用收敛推荐推导出来了stochastic depth深度变深要概率趋于1/2和他们实验一致很surprising

PDE-Net是一个反过来的工作，用dl来做数值pde

我们发现卷积核和数值格式很类似，给了卷积和数值格式的联系，我们的好处是

• 我们不希望是black box model我们可以知道我们的网络在simulate什么pde【有些应用肯定是不希望用black box的】
• 同时不想传统pde，又慢又没有精度

而且做了data driven的格式有很多很惊人的地方，比如用很简单的差分格式就handle了highly nonlinear的equation，我觉得之前我都不敢想象

这个方向在图形学，数值pde都有很多人在做，我整理了一下文献

© 2prime

然后后续工作我们正在赶nips，应用在low level的图像处理中