百科问答小站 logo
百科问答小站 font logo



如何看待斯坦福博士生2prime陆一平关于新冠起源的一系列言论? 第1页

  

user avatar   2prime 网友的相关建议: 
      

别的说话都无所谓,你们爱批斗批斗

说了退学术内容以外的国内app说到做到


中英文打字会累的人建议换一个输入法了


谈论到我的icml pub我倒要说下来

  1. 一句话说我们比别人toy 到底和谁比 toy咋定义的来说一下? 我又没退回linear也没退回kernel来给你做convex问题,仍然保持了一个nonconvex问题,到底哪里toy了我也想知道。。。。。。
  2. 我们的point根本不在有这个mean field limit,甚至于这个limit存在我们都没证明

我们point在于,这个领域一直有一个很难得问题是

两层NN 你做mean field 逼近【考虑parameter的weight的distribution】 就是一个linear function,加上l2 loss就是convex function

所以收敛都能证明【当然这个证明也有一些tricky的点


对于深层的mean field,能写很多paper都写了,但是landscape都不是凸的怎么说明可以收敛到0 loss的地方

当然张潼用一个reweighting 变成expectation to different path把它弄convex,但是现实training也没人用啊

Fang C, Gu Y, Zhang W, et al. Convex formulation of overparameterized deep neural networks[J]. arXiv preprint arXiv:1911.07626, 2019.

怎么有这个收敛问题从最早一篇出来以后一直没有解决

我们paper要解决的是这个问题

======

当然这里面exciting 的地方不是用了ODE

而是paper里写了最重要的两个point是

  • 去证明back propagation不degenerate
  • 每一层是universial approximator

只是用ode写了就能写成一个会数学的人都能看懂的证明了,不然就和下面那篇一样长了

当然了有人的就是喜欢长的证明

没能符合你爱比较长的证明的喜好真是对不起了


这个从最早的17年就build出来的mean-field theory一直没人做最近才有paper【和我们同一时间,思路也差不多】解决了这个问题【也是最早做meanfield two-layer的stanford的大佬们

A rigorous framework for the mean field limit of multilayer neural networks PM Nguyen, HT Pham arXiv preprint arXiv:2001.11443


当然整个证明framework到最后deep NN不lazy learn的收敛还有很大的gap,anyway我是觉得至少给了一可能的证明的思路

========

当然如果你说的深层nn收敛没有assumption是NTK的paper的话

那估计你连lazy learning是啥都不知道

========

下面那个既然觉得有假设导致这个很toy

你有本事拿掉证明一遍呗。。。。。。如果你是要follow chizat-bach来证明的话

反正有一个地方我没过去




  

相关话题

  清华北大的学霸高中也早恋吗? 
  现在机器学习工业界和学术界的差别越来越大了吗?尽早实习和踏实科研各有什么利弊? 
  GAN生成的数据没有标签怎么用来训练分类模型? 
  如何评价微软亚洲研究院提出的LightRNN? 
  夫妻俩都是博士或者以上(博士后,教授)现在很常见吗? 
  机器学习系统MLSys中有哪些比较有前途的研究方向? 
  北大数学天才韦东奕手拿馒头矿泉水受访,他在数学领域取得了哪些成就?给我们哪些启示? 
  有多少个读博的人真心喜欢学术? 
  如何评价华为天才少年钟钊团队成功开启了 AutoML 大规模商用的先河?什么是 AutoML? 
  《最强大脑》张雨萱,14 岁考入清华大学,18 岁直博清华数学系,真的吗?怎么做到的? 

前一个讨论
初中生要做出什么改变才能考进复旦?
下一个讨论
如何评价观视频【金融南局】观点:应试教育是真正的通识教育?





© 2025-04-26 - tinynew.org. All Rights Reserved.
© 2025-04-26 - tinynew.org. 保留所有权利