ICML 2018 有哪些值得关注的亮点? 第1页
1
2prime 网友的相关建议:
赶NIPS中间来回答一下问题
arxiv:
本科真正意义上第一批工作
想法比较简单 resnet我可以写成
这个左边项把n理解成artificial time的话可以看成求导
所以我们把resnet理解成求解ODE，并且把大多数的网络都对应到了ODE的求解算法
然后我们发现了一件事情，所有网络都是单步法，几乎没有网络考虑了多步法，也就是说大家都在考虑对右端项的逼近
所以我们就用了多步法，从另一个维度我们换了逼近 ,用了线性多步法也就是我们的网络架构是
就这么每层引入一个参数就提升了网络效果，我们56层网络效果和110层的resnet效果一样
特别像强调的是请大家看下我们“”Explanation on the performance boost via modified equations.“”这一部分，这一部分的release了一个很high level的idea
我之前也写过文章，优化也可以用ode来看
我们想强调步长->0来看可能很多时候是无法理解加速效果的，因为在极限意义下逼近的动力系统和离散的会有gap，有时候是有好处的【比如我们的例子】，有时候是有坏处的【推荐一篇最近的这个方向文章我很喜欢，有时间我介绍下Direct Runge-Kutta Discretization Achieves Acceleration】
我们的分析手段是所谓的修正方程
我们在随机比如dropout上做了一些分析，对应到了随机微分方程
我们用收敛推荐推导出来了stochastic depth深度变深要概率趋于1/2和他们实验一致很surprising
PDE-Net是一个反过来的工作，用dl来做数值pde
我们发现卷积核和数值格式很类似，给了卷积和数值格式的联系，我们的好处是
- 我们不希望是black box model我们可以知道我们的网络在simulate什么pde【有些应用肯定是不希望用black box的】
- 同时不想传统pde，又慢又没有精度
而且做了data driven的格式有很多很惊人的地方，比如用很简单的差分格式就handle了highly nonlinear的equation，我觉得之前我都不敢想象
这个方向在图形学，数值pde都有很多人在做，我整理了一下文献
然后后续工作我们正在赶nips，应用在low level的图像处理中
du-shao-lei 网友的相关建议:
可以参考阿里巴巴最近的工作：https://arxiv.org/pdf/1711.06505.pdf
联合使用用户交互过的图片（不光是图片id）和待预估的广告图片。由于要对图片进行建模，实现上有非常大的挑战，但是不是不可能做到，论文里也有较多的篇幅介绍如何实现。
1
相关话题
Resnet到底在解决一个什么问题呢？如何看待大厂争相发布 数字人 / 虚拟人 / 数智人，有哪些关键信息值得关注?
如何用简单易懂的例子解释隐马尔可夫模型？
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？
如何评价周志华教授新提出的 Deep Forest 模型，它会取代当前火热的深度学习 DNN 吗？
深度学习领域有哪些瓶颈？
是否有平台已经具备通过AI进行智能写作的能力？
人工智能在发展到极高的程度之后能否算得上是一种生命？
你在游戏里遇见的最有「人味」的 NPC 是谁？未来的游戏 AI 可能产生什么新玩法和新体验？
AI 算法在芯片设计方法学和 EDA 工具中有哪些应用和潜力？
前一个讨论
下一个讨论
相关的话题
支持向量机（SVM）是什么意思？如何评价教育部发文：AI、算法等2018年进入全国高中课程？
应届硕士毕业生如何拿到知名互联网公司算法岗（机器学习、数据挖掘、深度学习） offer？
如果有一天人类被AI取代，他们将以什么样的方式生活，娱乐，工作？
自学深度学习是怎样一种体验？
如何全面理解工程师红利？
作为从业者，你觉得人工智能行业的魅力在哪里？
计算机系学生应该怎样正确管理自己的电脑？
人类被机器人统治的条件有哪些？
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？
为什么我用相同的模型，数据，超参，随机种子，在两台服务器会得到不同的结果？
如何评价 DeepMind 在北京时间 19 年 1 月 25 日 2 点的《星际争霸 2》项目演示？
AlphaGo 与李世石的第五局比赛中有哪些值得关注之处？
2021 年，深度学习方面取得了哪些关键性进展？
人脑有海量的神经元（参数），那么人脑有没有「过拟合」行为？
AlphaGo「理解」围棋吗？
心理咨询师会被人工智能取代吗？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
为什么说深度学习没有理论基础?
如何看待字节跳动 AI 实验室总监李磊入职 UCSB？
请问一下，机器学习领域的联邦学习技术，目前看到最多的是微众银行，国内还有哪些顶级专家及机构和大学？
为什么微软要删除世界上最大的公开人脸识别数据库？
什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？
机器学习中的 Bias（偏差）、Error（误差）、Variance（方差）有什么区别和联系？
图片上训的模型，怎么迁移视频上呢？
ICLR 2022有哪些值得关注的投稿？
如果人工智能杀人，按照现在的法律应该追究谁的责任？
现在的AI能自动编写另一个AI代码吗？
有哪些比较好的机器学习，深度学习的网络资源可利用？
图片上训的模型，怎么迁移视频上呢？