百科问答小站 logo
百科问答小站 font logo



深度学习的多个loss如何平衡? 第1页

  

user avatar   guo-yi-wen 网友的相关建议: 
      

其实这是目前深度学习领域被某种程度上忽视了的一个重要问题,在近几年大火的multi-task learning,generative adversarial networks, 等等很多机器学习任务和方法里面都会遇到,很多paper的做法都是暴力调参结果玄学……这里偷偷跟大家分享两个很有趣的研究视角

  1. 从预测不确定性的角度引入Bayesian框架,根据各个loss分量当前的大小自动设定其权重。有代表性的工作参见Alex Kendall等人的CVPR2018文章 Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics,文章的二作Yarin Gal是Zoubin Ghahramani的高徒,近几年结合Bayesian思想和深度学习做了很多solid的工作。
  2. 构建所有loss的Pareto,以一次训练的超低代价得到多种超参组合对应的结果。有代表性的工作参见Intel在2018年NeurIPS(对,就是那个刚改了名字的机器学习顶会)发表的Multi-Task Learning as Multi-Objective Optimization 因为跟文章的作者都是老熟人,这里就不尬吹了,大家有兴趣的可以仔细读一读,干货满满。


user avatar   hzwer 网友的相关建议: 
      

其实这完全是意料之内的翻车。

有心的朋友其实可以去翻找一下MIUI的部门等级变化,就会发现一个极其有趣的现象,目前翻车的两个版本,包括13和12.5,基本上都是内部等级降级后的MIUI团队制作出来的。

可能有人不是很懂这跟内部部门等级升降有什么关系。

简单来说就是,一个部门内部等级越高,它的部门领导距离核心层也就越近,甚至直接就是核心层,它能得到的资源也好,能得到的重视程度也好,都不是普通中高层执掌的部门所能比的。

MIUI作为小米起家的重要支撑,早期等级是相当高的,雷军和部分联合创始人都曾经是它的负责人,所以在小米公司的内部,它的权重无疑是很高的,甚至于其他部门需要配合MIUI部门展开一些工作。

但在后来,MIUI的部门被分拆了,主要负责系统开发的联合创始人离开小米,取而代之的是金凡。领导地位和部门地位双降意味着MIUI的权重大大降低,至少已经不复以前风光了,而版本更新,在有限的资源投入的前提下,自然也只能做修补性的工作,亦或者是一些市面上友商已经有的功能进行技术性移植。无他,这样成本最低。

但这样的后果是严重的,因为友商的系统,即使同源,也会有不同的开发逻辑和技术实现逻辑,强行技术移植,带来的就是不稳定甚至是出现严重问题。

很多人说金凡负责的前几个版本也没问题啊。那是因为问题没有爆发,当时的MIUI还享受着前期资源带来的红利。只是到了12.5,红利已经吃完,问题开始显现而已。

解决这个问题的方式也简单,把MIUI的开发部门恢复到以前的地位,让一个懂技术的核心高层去负责,然后,砸钱去开发、重写、调教,并适配。

表面看来是技术问题,实际上反映的,只是小米部门调整策略出现问题了而已,只是这个后果是消费者承担。




  

相关话题

  有监督和无监督学习都各有哪些有名的算法和深度学习? 
  如何看待马毅老师深度学习第一性原理的文章在 ICML 四个审稿人一致接收的情况下被 AC 拒了? 
  如何评价最新的Octave Convolution? 
  如何评价 BERT 模型? 
  BERT模型可以使用无监督的方法做文本相似度任务吗? 
  为什么 MobileNet、ShuffleNet 在理论上速度很快,工程上并没有特别大的提升? 
  能否训练一个AI模型来预测房价,寻找投资机会挖掘价值洼地? 
  如何评价FAIR提出的MaskFeat:一种适用图像和视频分类的自监督学习方法? 
  为啥gan里面几乎不用pooling? 
  有哪些可以自学机器学习、深度学习、人工智能的网站? 

前一个讨论
如何看待 John Martinis 离开谷歌?
下一个讨论
请解释下variational inference?





© 2025-04-24 - tinynew.org. All Rights Reserved.
© 2025-04-24 - tinynew.org. 保留所有权利