百科问答小站 logo
百科问答小站 font logo



深度学习的多个loss如何平衡? 第1页

  

user avatar   guo-yi-wen 网友的相关建议: 
      

其实这是目前深度学习领域被某种程度上忽视了的一个重要问题,在近几年大火的multi-task learning,generative adversarial networks, 等等很多机器学习任务和方法里面都会遇到,很多paper的做法都是暴力调参结果玄学……这里偷偷跟大家分享两个很有趣的研究视角

  1. 从预测不确定性的角度引入Bayesian框架,根据各个loss分量当前的大小自动设定其权重。有代表性的工作参见Alex Kendall等人的CVPR2018文章 Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics,文章的二作Yarin Gal是Zoubin Ghahramani的高徒,近几年结合Bayesian思想和深度学习做了很多solid的工作。
  2. 构建所有loss的Pareto,以一次训练的超低代价得到多种超参组合对应的结果。有代表性的工作参见Intel在2018年NeurIPS(对,就是那个刚改了名字的机器学习顶会)发表的Multi-Task Learning as Multi-Objective Optimization 因为跟文章的作者都是老熟人,这里就不尬吹了,大家有兴趣的可以仔细读一读,干货满满。


user avatar   hzwer 网友的相关建议: 
      

其实这完全是意料之内的翻车。

有心的朋友其实可以去翻找一下MIUI的部门等级变化,就会发现一个极其有趣的现象,目前翻车的两个版本,包括13和12.5,基本上都是内部等级降级后的MIUI团队制作出来的。

可能有人不是很懂这跟内部部门等级升降有什么关系。

简单来说就是,一个部门内部等级越高,它的部门领导距离核心层也就越近,甚至直接就是核心层,它能得到的资源也好,能得到的重视程度也好,都不是普通中高层执掌的部门所能比的。

MIUI作为小米起家的重要支撑,早期等级是相当高的,雷军和部分联合创始人都曾经是它的负责人,所以在小米公司的内部,它的权重无疑是很高的,甚至于其他部门需要配合MIUI部门展开一些工作。

但在后来,MIUI的部门被分拆了,主要负责系统开发的联合创始人离开小米,取而代之的是金凡。领导地位和部门地位双降意味着MIUI的权重大大降低,至少已经不复以前风光了,而版本更新,在有限的资源投入的前提下,自然也只能做修补性的工作,亦或者是一些市面上友商已经有的功能进行技术性移植。无他,这样成本最低。

但这样的后果是严重的,因为友商的系统,即使同源,也会有不同的开发逻辑和技术实现逻辑,强行技术移植,带来的就是不稳定甚至是出现严重问题。

很多人说金凡负责的前几个版本也没问题啊。那是因为问题没有爆发,当时的MIUI还享受着前期资源带来的红利。只是到了12.5,红利已经吃完,问题开始显现而已。

解决这个问题的方式也简单,把MIUI的开发部门恢复到以前的地位,让一个懂技术的核心高层去负责,然后,砸钱去开发、重写、调教,并适配。

表面看来是技术问题,实际上反映的,只是小米部门调整策略出现问题了而已,只是这个后果是消费者承担。




  

相关话题

  Graph Attention Network的本质是什么? 
  word2vec 相比之前的 Word Embedding 方法好在什么地方? 
  共轭是指 ‘先验分布与后验分布共轭“ ,还是指 "先验分布与似然函数共轭“? 
  2021年,作为算法工程师的你们会在CV业务落地上用Transformer吗? 
  如何学习视频识别技术? 
  如何评价Kaiming He的Momentum Contrast for Unsupervised? 
  自学深度学习是怎样一种体验? 
  强化学习和自适应控制的关系是什么? 
  在NLP当中,不同的评价指标,BLEU, METEOR, ROUGE和CIDEr的逻辑意义? 
  ICLR 2018 有什么值得关注的亮点? 

前一个讨论
如何看待 John Martinis 离开谷歌?
下一个讨论
请解释下variational inference?





© 2025-06-05 - tinynew.org. All Rights Reserved.
© 2025-06-05 - tinynew.org. 保留所有权利